Meta doet het geweldig met hun open-source spel, en het lijkt erop dat ze al bezig zijn met Llama 4, die mogelijk tegen het einde van het jaar zal verschijnen. Llama 3.1 heeft echter veelbelovende prestaties laten zien op verschillende gebieden, zoals maskercoding, instructie-opvolging en meer.

Eén onderdeel waar ik merk dat mensen niet veel over praten, maar waar ik erg enthousiast over ben, is dat Meta lijkt te beginnen met het echt investeren in agent-gerelateerde toepassingen. Ze vermelden dat ze niet alleen Llama willen positioneren als een model, maar als een systeem om tools te bieden waarmee ontwikkelaars hun eigen aangepaste agenten kunnen bouwen, evenals nieuwe soorten agentgedrag.

Ze hebben een openbaar rapport genaamd het "Llama Agentic System" waarin ze hele componenten van de Llama-stack laten zien. Dit omvat dingen als Llama Guard, een gespecialiseerd model dat is getraind om content te modereren, evenals Prompt Guard om ontsnappingen te voorkomen en Koser om onveilige code te voorkomen die wordt geproduceerd door grote taalmodellen.

Maar het meest opwindende voor mij is de tool-oproepfunctie. Tool-oproepen zijn waarschijnlijk de belangrijkste reden waarom ik OpenAI heb moeten gebruiken, omdat hun modellen gewoon veel beter zijn in agent-gerelateerde toepassingen met tool-oproepen. Als je niet weet wat tool-oproepen zijn, is het een concept dat OpenAI aan het einde van vorig jaar heeft geïntroduceerd. In essentie is het een soort model dat is getraind om, gegeven een gebruikerstaak, te voorspellen welke functie moet worden aangeroepen, evenals de invoer voor die functie, zodat we de JSON-uitvoer kunnen gebruiken om de functie daadwerkelijk uit te voeren en informatie terug te sturen naar het grote taalmodel.

De initiële evaluatieresultaten laten zien dat Llama 3.1's tool-oproepvermogen er erg goed uit lijkt te komen in vergelijking met andere modellen zoals GPT-4 en Chinchilla 3.5. De meerderheid van die evaluatiebenchmarks zijn echter een soort zero-shot tool-gebruik, wat mogelijk niet de daadwerkelijke tool-gebruiksprestaties in de echte wereld weergeeft, aangezien de agent-gerelateerde toepassingen in de echte wereld veel complexer zijn, met meerdere tool-oproepen, planning en redeneervaardigheden.

Het goede nieuws is dat in het Llama 3.1-model het model specifiek lijkt te zijn getraind voor deze meertraps-dialogen, zodat als de query meerdere tool-oproepen vereist, het model een stapsgewijs plan kan schrijven, de tools in volgorde kan aanroepen en na elke tool-oproep kan redeneren.

Llama 3.1 is de nieuwste versie van Meta's open-source grote taalmodel, en het heeft indrukwekkende prestaties laten zien op een verscheidenheid aan capaciteiten. Enkele belangrijke hoogtepunten zijn:

• Maskercoding: Llama 3.1 heeft sterke prestaties laten zien in mask-invultaken, waarbij het model wordt gevraagd om ontbrekende woorden of tokens in een gegeven context te voorspellen.
• Instructie-opvolging: Het model heeft bewezen goed te zijn in het opvolgen van complexe instructies en het voltooien van taken, waardoor het een waardevol hulpmiddel is voor het bouwen van interactieve applicaties.
• Agentgedrag: Meta heeft zwaar geïnvesteerd in de ontwikkeling van Llama als een systeem voor het bouwen van aangepaste agenten en het mogelijk maken van nieuwe soorten agentgedrag. Dit omvat componenten zoals Llama Guard voor inhoudsmoderatie en Prompt Guard om onveilige uitvoer te voorkomen.
• Tool-oproepen: Een van de meest opwindende aspecten van Llama 3.1 is zijn sterke prestaties in tool-oproeptaken. Het model kan de juiste functies voorspellen om aan te roepen en de benodigde invoer leveren, waardoor de ontwikkeling van krachtige agent-gebaseerde applicaties mogelijk wordt.

Hoewel de initiële evaluatieresultaten voor Llama 3.1's tool-oproepvaardigheden veelbelovend zijn, is de daadwerkelijke prestatie in meer complexe, meertraps-scenario's nog steeds een gebied dat verder onderzoek vereist. Het vermogen van het model om context te behouden, te plannen en door meertraps-taken te redeneren, zal cruciaal zijn voor het bouwen van effectieve agent-gebaseerde systemen.

Overall vertegenwoordigt Llama 3.1 een belangrijke stap voorwaarts in de ontwikkeling van open-source grote taalmodellen, en zijn capaciteiten op een breed scala aan taken maken het een opwindend platform voor het bouwen van innovatieve AI-toepassingen.

Meta investeert zwaar in de agent-gerelateerde toepassingen van Llama, waarbij het niet alleen als een taalmodel wordt gepositioneerd, maar als een systeem om tools te bieden waarmee ontwikkelaars hun eigen aangepaste agenten kunnen bouwen, evenals nieuwe soorten agentgedrag.

Het Llama agentic system bevat verschillende belangrijke componenten:

1. Llama Guard: Een gespecialiseerd model dat is getraind om content te modereren en ontsnappingen te voorkomen.
2. Prompt Guard: Een tool om de generatie van onveilige code door Llama-modellen te voorkomen.
3. Tool-oproepen: Een krachtige functionaliteit waarmee Llama-modellen de benodigde functies kunnen voorspellen om een taak uit te voeren, evenals de invoer voor die functies. Dit stelt agenten in staat om complexe taken op te splitsen in kleinere stappen en deze efficiënt uit te voeren.

Het Llama 3.1-model heeft veelbelovende prestaties laten zien in tool-oproepen, waarbij het modellen als GPT-4 en Closure 3.5 overtreft in zero-shot tool-gebruik. De agent-gerelateerde toepassingen in de echte wereld zijn echter complexer, waarbij meertraps-dialogen, planning en redeneervaardigheden vereist zijn.

Llama 3.1 is specifiek getraind voor deze meertraps-dialogen, waardoor het model in staat is om stapsgewijze plannen te schrijven, tools in volgorde aan te roepen en te redeneren op basis van de resultaten van elke tool-oproep. Dit is een belangrijke vooruitgang in de richting van het bouwen van robuuste en capabele agenten.

Het Llama-team heeft ook voorbeeldpromoties verstrekt die de tool-oproepfunctionaliteit laten zien, die kunnen worden gebruikt om gespecialiseerde agent-modellen te fine-tunen en bouwen. Deze transparantie en toegankelijkheid maken het eenvoudiger voor ontwikkelaars om de mogelijkheden van Llama te benutten in hun eigen agent-gebaseerde toepassingen.

Overall vertegenwoordigt het Llama agentic system een opwindende stap voorwaarts in het in staat stellen van ontwikkelaars om aangepaste agenten te bouwen en nieuwe grenzen van agentgedrag te verkennen, waarbij gebruik wordt gemaakt van de krachtige mogelijkheden van het Llama-taalmodel.

Het Llama 3.1-model laat veelbelovende prestaties zien op meerdere gebieden, waaronder maskercoding, instructie-opvolging en tool-oproepen. De tool-oproepfunctionaliteit is vooral opwindend, omdat het de ontwikkeling van krachtige agent-gebaseerde toepassingen mogelijk maakt.

Tool-oproepen is een concept dat is geïntroduceerd door OpenAI, waarbij een model wordt getraind om de functie te voorspellen die moet worden aangeroepen om een gebruikerstaak uit te voeren, evenals de invoer voor die functie. Dit stelt het model in staat om een JSON-uitvoer te genereren die kan worden uitgevoerd om de benodigde informatie op te halen en een antwoord aan de gebruiker te geven.

De tool-oproepfunctionaliteit van het Llama 3.1-model lijkt goed te presteren in vergelijking met andere modellen zoals GPT-4 en Closet 3.5. De meerderheid van de evaluatiebenchmarks richt zich echter op zero-shot tool-gebruik, wat mogelijk niet de daadwerkelijke prestaties van het model in agent-gerelateerde toepassingen in de echte wereld weergeeft.

Agent-gerelateerde toepassingen in de echte wereld omvatten vaak meertraps-dialogen, waarbij de gebruikerstaak niet kan worden voltooid door slechts één tool aan te roepen. In plaats daarvan moet het model de taak opdelen in kleinere stappen, meerdere tools in volgorde aanroepen en redeneren over de resultaten om een uitgebreid antwoord te geven. Het Llama 3.1-model lijkt specifiek te zijn getraind voor dit soort meertraps-dialogen, waardoor het in staat is om stapsgewijze plannen te schrijven, tools in volgorde aan te roepen en de nodige redenering uit te voeren.

Het Llama 3.1-model biedt ook voorbeelden van de prompts die worden gebruikt om de tool-oproepfunctionaliteit aan te sturen, wat nuttig kan zijn voor het begrijpen van hoe het model werkt en het fine-tunen voor specifieke agent-gebaseerde toepassingen.

Overall is de tool-oproepfunctionaliteit van het Llama 3.1-model een belangrijke stap voorwaarts in de ontwikkeling van krachtige agent-gebaseerde toepassingen, waarbij een alternatief voor OpenAI's aanbod wordt geboden en nieuwe mogelijkheden worden gecreëerd voor het automatiseren en verbeteren van menselijke taken.

Eerst willen we het Llama 3.1-model downloaden op je lokale machine en Olama gebruiken, een pakket waarmee je deze open-source grote taalmodellen op je lokale machine kunt uitvoeren. Je kunt een terminal openen en olama install llama-3.1 typen om het AB-model te downloaden, dat klein genoeg zou moeten zijn om op je MacBook Pro te draaien.

Vervolgens moeten we een Llama 3.1-agent bouwen die bestaat in je Slack-werkruimte en waarop je kunt taggen om vragen te beantwoorden en taken te automatiseren. We zullen een Retrieval-Augmented Generation (RAG)-pipeline gebruiken, wat eenvoudiger in te stellen is en dynamische kennisbronnen zoals Notion of Confluence ondersteunt.

We zullen Llama Cloud gebruiken, een volledig beheerd RAG-pipelineplatform gebouwd door het Llama Index-team, om onze Notion-kennisbasis te verbinden met het Llama 3.1-model. Na het instellen van de Llama Cloud-index zullen we een aangepaste Slack-bot maken en deze verbinden met het Llama 3.1-model dat op onze lokale machine draait.

Vervolgens zullen we een kennisagent maken die relevante informatie uit de Llama Cloud-index kan ophalen en antwoorden kan genereren. Om de prestaties van de agent te verbeteren, zullen we ook een Ox Trator-agent toevoegen om de gebruikersquery te categoriseren en door te sturen naar de juiste agent (antwoordagent of kennisophalingagent).

Tenslotte zullen we een leeragent toevoegen die nieuwe informatie kan opslaan in de Notion-database en een synchronisatie kan activeren met Llama Cloud, waardoor de agent zichzelf kan leren en zijn kennis gaandeweg kan verbeteren.

Deze stapsgewijze handleiding biedt een eenvoudige maar krachtige manier om een op Llama 3.1 gebaseerde AI-agent te bouwen die kan worden geïntegreerd in je Slack-werkruimte, domeinkennis kan distribueren en continu kan leren van nieuwe informatie.