Meta gör det fantastiskt med sin öppna källkod, och det ser ut som att de redan arbetar på Llama 4, som kanske kommer ut i slutet av året. Men Llama 3.1 har visat lovande prestanda inom flera olika förmågor, som maskskrivning, instruktionsföljande och mer.

En del som jag tycker att folk inte pratar så mycket om, men som jag är extremt upphetsad över, är att Meta verkar börja investera ordentligt i användningsfall relaterade till agenter. De nämner att de syftar till att inte bara positionera Llama som en modell, utan som ett system för att tillhandahålla verktyg som gör det möjligt för utvecklare att bygga sina egna anpassade agenter, samt nya typer av agentbeteenden.

De har en offentlig rapport som heter "Llama Agentic System" där de visar upp hela komponenter i Llama-stacken. Detta inkluderar saker som Llama Guard, som är en specialiserad modell tränad för att moderera innehåll, samt Prompt Guard för att förhindra rymningar och Koser för att förhindra osäker kod som produceras av stora språkmodeller.

Men den mest spännande delen för mig är verktygsanropsfunktionen. Verktygsanrop är troligen den främsta anledningen till att jag har varit tvungen att använda OpenAI, eftersom deras modeller är mycket bättre på användningsfall relaterade till verktygsanrop. Om du inte vet vad verktygsanrop är, är det ett koncept som introducerades av OpenAI i slutet av förra året. I princip är det en typ av modell som är tränad att, givet en användaruppgift, förutsäga vilken funktion som behöver anropas, samt indata för den funktionen, så att vi kan ta JSON-utdata för att faktiskt köra funktionen och skicka information tillbaka till den stora språkmodellen.

Llama 3.1 är den senaste versionen av Metas öppna källkods-språkmodell, och den har visat imponerande prestanda inom en mängd olika förmågor. Några viktiga höjdpunkter inkluderar:

• Maskskrivning: Llama 3.1 har visat stark prestanda i uppgifter med maskfyllning, där modellen ombeds förutsäga saknade ord eller token i ett givet sammanhang.
• Instruktionsföljande: Modellen har visat sig skicklig på att följa komplexa instruktioner och slutföra uppgifter, vilket gör den till ett värdefullt verktyg för att bygga interaktiva applikationer.
• Agentbeteende: Meta har investerat kraftigt i att utveckla Llama som ett system för att bygga anpassade agenter och möjliggöra nya typer av agentbeteenden. Detta inkluderar komponenter som Llama Guard för innehållsmoderation och Prompt Guard för att förhindra osäkra utdata.
• Verktygsanrop: En av de mest spännande aspekterna av Llama 3.1 är dess starka prestanda i uppgifter relaterade till verktygsanrop. Modellen kan förutsäga vilka funktioner som behöver anropas och tillhandahålla nödvändiga indata, vilket möjliggör utvecklingen av kraftfulla agentbaserade applikationer.

Meta investerar kraftigt i användningsfall relaterade till agenter för Llama, och positionerar den inte bara som en språkmodell, utan som ett system för att tillhandahålla verktyg som gör det möjligt för utvecklare att bygga sina egna anpassade agenter samt nya typer av agentbeteenden.

Llama-agentsystemet innehåller flera nyckelkomponenter:

1. Llama Guard: En specialiserad modell tränad för att moderera innehåll och förhindra rymningar.
2. Prompt Guard: Ett verktyg för att förhindra generering av osäker kod av Llama-modeller.
3. Verktygsanrop: En kraftfull förmåga som gör det möjligt för Llama-modeller att förutsäga de funktioner som behövs för att slutföra en uppgift, samt indata för dessa funktioner. Detta möjliggör att agenter kan dela upp komplexa uppgifter i mindre steg och utföra dem effektivt.

Llama 3.1-modellen har visat lovande prestanda i verktygsanrop, där den överträffar modeller som GPT-4 och Closure 3.5 i nollskottsanvändning av verktyg. De verkliga användningsfall för agenter är dock mer komplexa och kräver flertursdialoger, planering och resoneringsförmåga.

Llama 3.1-modellen visar lovande prestanda inom flera förmågor, inklusive maskskrivning, instruktionsföljande och verktygsanrop. Verktygsanropsfunktionen är särskilt spännande, då den möjliggör utvecklingen av kraftfulla agentbaserade applikationer.

Verktygsanrop är ett koncept som introducerades av OpenAI, där en modell tränas att förutsäga vilken funktion som behöver anropas för att slutföra en användaruppgift, samt indata för den funktionen. Detta gör det möjligt för modellen att generera JSON-utdata som kan köras för att hämta nödvändig information och ge ett svar till användaren.

Llama 3.1-modellens verktygsanropsfunktion verkar prestera väl jämfört med andra modeller som GPT-4 och Closet 3.5. Majoriteten av utvärderingsbenchmarks fokuserar dock på nollskottsanvändning av verktyg, vilket kanske inte ger en korrekt bild av modellens prestanda i verkliga agentanvändningsfall.

För det första vill vi ladda ner Llama 3.1-modellen på din lokala dator och använda Olama, ett paket som gör det möjligt att köra dessa öppna källkods-språkmodeller lokalt. Du kan öppna en terminal och skriva olama install llama-3.1 för att ladda ner AB-modellen, som bör vara tillräckligt liten för att köra på din MacBook Pro.

Nästa steg är att bygga en Llama 3.1-agent som finns i ditt Slack-arbetsområde och som kan tagas för att svara på frågor och automatisera uppgifter. Vi kommer att använda en Retrieval-Augmented Generation (RAG)-pipeline, vilket är enklare att konfigurera och stöder dynamiska kunskapskällor som Notion eller Confluence.

Vi kommer att använda Llama Cloud, en helt hanterad RAG-pipelineplattform byggd av Llama Index-teamet, för att ansluta vår Notion-kunskapsbas till Llama 3.1-modellen. Efter att ha konfigurerat Llama Cloud-indexet kommer vi att skapa en anpassad Slack-bot och ansluta den till Llama 3.1-modellen som körs på vår lokala dator.