Våra senaste modeller utökar kontextlängden naturligt till 128k, upp från 8k tidigare. Denna betydande ökning av kontextfönstret gör att våra modeller kan hantera längre uppgifter mer effektivt, som långsiktig textsammanfattning, flerspråkiga konversationsagenter och kodningsassistans.

Utöver den utökade kontexten stöder Llama 3.1 nu åtta språk naturligt, vilket möjliggör mer mångsidiga och flerspråkiga tillämpningar. Flaggskeppsmodellen på 405 miljarder parametrar, Llama 3.1 405b, anses vara en ledande öppen källkods-basmodell, som kan mäta sig med de bästa slutna källkods-modellerna.

Denna nya modellrelease ger samhället möjlighet att låsa upp nya arbetsflöden, som syntetisk datageneration och modellförtunning. Genom att utnyttja möjligheterna hos Llama 3.1 405b kan utvecklare skapa sina egna anpassade agenter och utforska nya typer av agentbeteenden. Vi förstärker också ekosystemet med nya säkerhets- och säkerhetsverktyg, inklusive Llama Guard 3 och Prompt Guard, för att hjälpa till att bygga ansvarsfullt.

Meta har släppt Llama 3.1, en modell med 405 miljarder parametrar som anses vara state-of-the-art och kan mäta sig med de bästa slutna källkods-modellerna. Detta är en betydande milstolpe för det öppna källkods-samhället, eftersom det visar att öppna källkods-modeller nu kan konkurrera med de mest avancerade proprietära modellerna.

De viktigaste höjdpunkterna för Llama 3.1 405b inkluderar:

• Oöverträffad flexibilitet och kontroll: Modellen erbjuder state-of-the-art-funktioner som kan mäta sig med de bästa slutna källkods-modellerna, vilket möjliggör nya arbetsflöden som syntetisk datageneration och modellförtunning.
• Utökad kontextlängd: Modellen stöder nu en kontextlängd på upp till 128k tokens, en betydande ökning från tidigare 8k.
• Flerspråkigt stöd: Llama 3.1 stöder 8 språk, vilket möjliggör mer diversifierade tillämpningar.
• Förbättrad prestanda: Benchmarks visar att Llama 3.1 405b överträffar GPT-4 på en rad uppgifter, inklusive allmän kunskap, styrbarhet, matematik, verktygsanvändning och flerspråkig översättning.
• Ekosystemansats: Meta förvandlar Llama till ett ekosystem genom att tillhandahålla fler komponenter och verktyg, inklusive ett referenssystem, säkerhets- och säkerhetsverktyg, och en begäran om kommentarer om Llama stack-API:t.
• Brett ekosystemstöd: Llama 3.1 stöds av ett brett utbud av partners, inklusive AWS, Nvidia, Databricks, Google Cloud och andra, vilket säkerställer en utbredd adoption och integrering.

Llama 3.1 är en banbrytande öppen källkods-modell som har potential att mäta sig med de främsta slutna källkods-AI-modellerna. Med 405 miljarder parametrar är det den mest avancerade öppna källkods-modell som hittills har släppts.

Denna modell erbjuder state-of-the-art-funktioner inom allmän kunskap, styrbarhet, matematik, verktygsanvändning och flerspråkig översättning. Den kan konkurrera med och ofta överträffa prestandan hos GPT-4, den senaste modellen från OpenAI.

Frigörandet av Llama 3.1 är en betydande milstolpe för det öppna källkods-samhället, eftersom det visar att öppna källkods-modeller nu kan matcha förmågorna hos sina slutna källkods-motsvarigheter. Detta är ett bevis på det hårda arbetet och engagemanget från Meta-teamet, som har drivit gränserna för vad som är möjligt med öppen källkods-AI.

En av de viktigaste funktionerna hos Llama 3.1 är dess flexibilitet och kontroll. Modellen kan anpassas och finslipas för ett brett utbud av tillämpningar, vilket gör det möjligt för utvecklare att låsa upp nya arbetsflöden som syntetisk datageneration och modellförtunning.

Dessutom utökas Llama-ekosystemet med nya komponenter och verktyg, inklusive ett referenssystem, säkerhets- och säkerhetsverktyg, och en begäran om kommentarer om Llama stack-API:t. Denna ekosystemansats syftar till att ge utvecklare möjlighet att skapa sina egna anpassade agenter och nya typer av agentbeteenden.

Som en del av den senaste lanseringen introducerar Meta uppgraderade versioner av Llama-modellerna på 8 miljarder och 70 miljarder parametrar. Dessa nya modeller är flerspråkiga och har betydligt längre kontextlängder på upp till 128k tokens. De har också state-of-the-art-verktygsanvändningsförmågor, som nu är bättre än alla slutna källkods-modeller på marknaden, inklusive Anthropics Cohere.

Dessutom har dessa uppgraderade modeller starkare resoneringsförmågor, vilket gör det möjligt för dem att stödja avancerade användningsfall som långsiktig textsammanfattning, flerspråkiga konversationsagenter och kodningsassistans. Detta är en spännande utveckling, eftersom den gör det möjligt för dessa mindre modeller att konkurrera mer effektivt med större, slutna källkods-modeller.

Prestandan hos dessa uppgraderade modeller har utvärderats över 150 benchmarkdataset som spänner över ett brett utbud av språk. Resultaten visar att de mindre Llama-modellerna nu är konkurrenskraftiga med både slutna källkods- och öppna källkods-modeller av liknande parameterstorlekar, vilket ytterligare demonstrerar de imponerande framsteg som gjorts av Llama-ekosystemet.

För att stödja storskalig produktionsinferens för en modell i skalan 405B parametrar har Meta implementerat flera nyckeltekniker:

1. Modellkvantisering: De har kvantifierat sina modeller från 16-bit till 8-bit, vilket effektivt sänker de beräkningskrav som behövs och gör det möjligt för modellen att köras inom en enda servernode.

2. Efterutbildningsjustering: I efterutbildningsprocessen producerar Meta slutliga chattmodeller genom att göra flera omgångar av justering ovanpå den förutbildade modellen. Detta inbegriper tekniker som övervakad finslipning, förkastningssampling och direkt preferensoptimering för att ytterligare förbättra modellens funktioner.

3. Syntetisk datageneration: Meta har använt syntetisk datageneration för att producera merparten av sina övervakade finslipningsexempel, och itererat flera gånger för att generera högre kvalitet syntetisk data över alla funktioner. Detta gör det möjligt för dem att skala upp träningsdata utan att enbart förlita sig på knappa verkliga världsdataset.

4. Ekosystempartnerskap: För att säkerställa brett stöd för storskalig distribution har Meta samarbetat med partners som AWS, NVIDIA, Databricks och andra för att bygga dagsupport för Llama 3.1-modellerna över olika inferensplattformar och ramverk.

Lanseringen av Llama 3.1 markerar en betydande milstolpe i det öppna källkods-AI-landskapet. Som en del av denna uppdatering introducerar Meta Llama Stack - en uppsättning standardiserade och åsiktsbaserade gränssnitt för att bygga kanoniska verktygskedjor, finslipning, syntetisk datageneration och agentiska tillämpningar.

Målet med Llama Stack är att främja enklare interoperabilitet över Llama-ekosystemet, till skillnad från slutna modeller där gränssnitten ofta är proprietära. Genom att definiera dessa standardgränssnitt hoppas Meta att de ska antas över den bredare gemenskapen, vilket gör det enklare för utvecklare att anpassa och bygga vidare på Llama-modellerna.

Några av de viktigaste komponenterna i Llama Stack inkluderar:

1. Realtids- och batchinferens: Standardiserade gränssnitt för att distribuera Llama-modeller i produktionsmiljöer, vilket stöder både realtids- och batchinferensanvändningsfall.

2. Övervakad finslipning: Definierade gränssnitt för att finslipa Llama-modellerna på anpassade dataset, vilket gör det möjligt för utvecklare att anpassa modellerna till sina specifika behov.

3. Utvärderingar: Standardiserade utvärderingsramverk för att bedöma prestandan hos Llama-modeller över ett brett utbud av benchmarks och uppgifter.

4. Kontinuerlig förutbildning: Gränssnitt för att kontinuerligt förutbilda Llama-modellerna på nya data, vilket håller dem uppdaterade med den senaste informationen.

Lanseringen av Llama 3.1, med dess 405 miljarder parametrar-modell, är en betydande milstolpe i den öppna källkods-AI-världen. Denna modell anses vara state-of-the-art och kan mäta sig med de bästa slutna källkods-modellerna, vilket ger samhället utan motstycke tillgång till banbrytande AI-funktioner.

De viktigaste höjdpunkterna i denna release inkluderar:

• Llama 3.1 405b är den största öppna källkods-modellen hittills, tränad på över 15 biljoner tokens med hjälp av 16 000 H100-GPU:er.
• Modellen uppvisar konkurrenskraftig prestanda över ett brett utbud av benchmarks, och överträffar ofta den kraftfulla GPT-4-modellen.
• Mindre Llama-modeller, som 8 miljarder parametrar-versionen, har också sett betydande kvalitetsförbättringar, vilket gör dem till livskraftiga alternativ för lokal distribution.
• Meta positionerar Llama som ett ekosystem, med introduktionen av Llama Stack-API:t och partnerskap med stora teknikföretag, vilket ger utvecklare möjlighet att bygga anpassade agenter och tillämpningar.
• Den öppna källkods-naturen hos Llama säkerställer bredare tillgång till avancerade AI-funktioner, vilket demokratiserar tekniken och förhindrar dess koncentration i händerna på några få.