Meta macht mit seinem Open-Source-Projekt richtig Dampf, und es sieht so aus, als würden sie bereits an Llama 4 arbeiten, das möglicherweise noch in diesem Jahr erscheinen wird. Llama 3.1 hat jedoch bereits vielversprechende Leistungen in verschiedenen Bereichen wie Maskenkodierung, Anweisungsausführung und mehr gezeigt.

Ein Teil, über den meiner Meinung nach nicht viel gesprochen wird, der mich aber sehr begeistert, ist, dass Meta offenbar beginnt, stark in agentenbezogene Anwendungsfälle zu investieren. Sie erwähnen, dass sie Llama nicht nur als Modell positionieren, sondern als System, das Entwicklern Werkzeuge an die Hand gibt, um ihre eigenen benutzerdefinierten Agenten sowie neue Arten von agentenbasiertem Verhalten zu erstellen.

Sie haben einen öffentlichen Bericht mit dem Titel "Llama Agentic System" veröffentlicht, in dem sie ganze Komponenten des Llama-Stacks vorstellen. Dazu gehören Dinge wie Llama Guard, ein spezialisiertes Modell, das für die Moderation von Inhalten trainiert wurde, sowie Prompt Guard, um Ausbrüche zu verhindern, und Koser, um die Erstellung unsicheren Codes durch große Sprachmodelle zu verhindern.

Der aufregendste Teil für mich ist jedoch die Fähigkeit zum Werkzeugaufruf. Der Werkzeugaufruf ist wahrscheinlich der Hauptgrund, warum ich bisher OpenAI verwenden musste, da deren Modelle einfach viel besser für agentenbasierte Anwendungsfälle mit Werkzeugaufrufen sind. Wenn Sie nicht wissen, was Werkzeugaufruf ist, ist es ein Konzept, das OpenAI Ende letzten Jahres eingeführt hat. Im Wesentlichen handelt es sich um ein Modell, das, basierend auf einer Benutzeraufgabe, vorhersagt, welche Funktion aufgerufen werden muss und welche Eingaben dafür erforderlich sind, sodass wir die JSON-Ausgabe verwenden können, um die Funktion tatsächlich auszuführen und Informationen an das große Sprachmodell zurückzusenden.

Llama 3.1 ist die neueste Version von Metas Open-Source-Sprachmodell, und es hat beeindruckende Leistungen in einer Vielzahl von Fähigkeiten gezeigt. Einige Schlüsselhighlights sind:

• Maskenkodierung: Llama 3.1 hat starke Leistungen bei Aufgaben zur Maskenfüllung gezeigt, bei denen das Modell fehlende Wörter oder Token in einem gegebenen Kontext vorhersagen muss.
• Anweisungsausführung: Das Modell hat sich als geschickt im Befolgen komplexer Anweisungen und der Ausführung von Aufgaben erwiesen, was es zu einem wertvollen Werkzeug für den Aufbau interaktiver Anwendungen macht.
• Agentenverhalten: Meta hat stark in die Entwicklung von Llama als System zum Aufbau benutzerdefinierter Agenten und zur Ermöglichung neuer Arten von agentenbasiertem Verhalten investiert. Dazu gehören Komponenten wie Llama Guard für die Inhaltsmoderation und Prompt Guard, um unsichere Ausgaben zu verhindern.
• Werkzeugaufruf: Einer der aufregendsten Aspekte von Llama 3.1 ist seine starke Leistung bei Werkzeugaufrufaufgaben. Das Modell kann die geeigneten Funktionen vorhersagen, die aufgerufen werden müssen, und die erforderlichen Eingaben bereitstellen, was die Entwicklung leistungsfähiger agentenbasierter Anwendungen ermöglicht.

Meta investiert stark in die agentenrelevanten Anwendungsfälle von Llama und positioniert es nicht nur als Sprachmodell, sondern als System, das Entwicklern Werkzeuge zur Verfügung stellt, um ihre eigenen benutzerdefinierten Agenten sowie neue Arten von agentenbasiertem Verhalten zu erstellen.

Das Llama-Agentensystem umfasst mehrere Schlüsselkomponenten:

1. Llama Guard: Ein spezialisiertes Modell, das für die Moderation von Inhalten und die Verhinderung von Ausbrüchen trainiert wurde.
2. Prompt Guard: Ein Werkzeug, um die Erzeugung unsicheren Codes durch Llama-Modelle zu verhindern.
3. Werkzeugaufruf: Eine leistungsfähige Fähigkeit, die es Llama-Modellen ermöglicht, die für die Erfüllung einer Aufgabe erforderlichen Funktionen sowie deren Eingaben vorherzusagen. Dies ermöglicht es Agenten, komplexe Aufgaben in kleinere Schritte zu unterteilen und effizient auszuführen.

Das Llama-3.1-Modell zeigt vielversprechende Leistungen in mehreren Bereichen, darunter Maskenkodierung, Anweisungsausführung und Werkzeugaufruf. Die Fähigkeit zum Werkzeugaufruf ist besonders aufregend, da sie die Entwicklung leistungsfähiger agentenbasierter Anwendungen ermöglicht.

Der Werkzeugaufruf ist ein Konzept, das von OpenAI eingeführt wurde. Dabei wird ein Modell trainiert, um die Funktion vorherzusagen, die aufgerufen werden muss, um eine Benutzeraufgabe zu erfüllen, sowie die Eingaben für diese Funktion. Dies ermöglicht es dem Modell, eine JSON-Ausgabe zu generieren, die ausgeführt werden kann, um die erforderlichen Informationen abzurufen und dem Benutzer eine Antwort zu geben.

Die Werkzeugaufruffähigkeit des Llama-3.1-Modells scheint im Vergleich zu anderen Modellen wie GPT-4 und Closet 3.5 gut zu funktionieren. Die meisten Bewertungsbenchmarks konzentrieren sich jedoch auf den Werkzeugaufruf ohne Vorkenntnisse, was möglicherweise nicht die tatsächliche Leistung in realen agentenbasierten Anwendungsfällen widerspiegelt.

Zuerst möchten wir das Llama-3.1-Modell auf Ihrem lokalen Computer herunterladen und Olama, ein Paket, das es Ihnen ermöglicht, diese Open-Source-Sprachmodelle auf Ihrem lokalen Computer auszuführen, verwenden. Sie können ein Terminal öffnen und olama install llama-3.1 eingeben, um das AB-Modell herunterzuladen, das klein genug sein sollte, um auf Ihrem MacBook Pro zu laufen.

Als Nächstes müssen wir einen Llama-3.1-Agenten erstellen, der in Ihrem Slack-Arbeitsbereich existiert und zum Beantworten von Fragen und Automatisieren von Aufgaben verwendet werden kann. Wir werden eine Retrieval-Augmented Generation (RAG)-Pipeline verwenden, die einfacher einzurichten ist und dynamische Wissensquellen wie Notion oder Confluence unterstützt.

Wir werden Llama Cloud, eine vollständig verwaltete RAG-Pipeline-Plattform, die vom Llama Index-Team entwickelt wurde, verwenden, um unsere Notion-Wissensbasis mit dem Llama-3.1-Modell zu verbinden. Nach dem Einrichten des Llama Cloud-Index werden wir einen benutzerdefinierten Slack-Bot erstellen und mit dem auf unserem lokalen Computer laufenden Llama-3.1-Modell verbinden.