Meta är glada att kunna meddela lanseringen av Llama 3.1-modellserien, inklusive den banbrytande 405 miljarder parameter-modellen, samt uppdaterade 8 miljarder och 70 miljarder parameter-modeller. Detta representerar den största och mest kapabla öppna källkods-språkmodellen som någonsin har lanserats.

Modellen med 405 miljarder parametrar erbjuder betydande förbättringar i resoneringsförmåga, verktygsanvändning, flerspråkighet och kontextfönsterstorlek. De senaste benchmarkresultaten överträffar de prestationer som presenterades tidigare i år. Meta uppmuntrar användare att granska detaljerna i den nyligen publicerade forskningsartikeln.

Parallellt med 405b-modellen släpper Meta även uppdaterade 8B- och 70B-modeller, utformade för att stödja ett brett utbud av användningsfall, från entusiaster och startups till företag och forskningslaboratorier. Dessa modeller har imponerande prestanda och nya anmärkningsvärda funktioner, inklusive ett utökat 128k-token kontextfönster, generering av verktygsanrop och förbättrad resoneringsförmåga.

Den nyligen släppta Llama 3.1 405 miljarder parameter-modellen är en banbrytande prestation som sätter en ny standard för öppna källkods-AI-modeller. Denna kolossala modell har oöverträffade funktioner och överträffar tidigare benchmarks, med betydande förbättringar i resoneringsförmåga, verktygsanvändning och flerspråkig prestanda.

405 miljarder parameter-modellen är den största öppna källkods-modellen som någonsin har släppts, och överträffar tidigare erbjudanden. Denna modell levererar imponerande framsteg, inklusive ett större kontextfönster på 128k-token, vilket gör det möjligt att arbeta sömlöst med omfattande kodbasar och detaljerade referensmaterial.

Llama 3.1 har tränats för att generera verktygsanrop för specifika funktioner, såsom sökning, kodexekvering och matematisk resonering, vilket ytterligare förbättrar dess problemlösnings- och beslutsfattningsförmåga. Modellens nollställda verktygsanvändning och förbättrade resoneringsförmåga gör den till ett kraftfullt verktyg för ett brett utbud av tillämpningar.

Den senaste Llama 3.1-lanseringen innehåller uppdaterade 8B- och 70B-modeller som erbjuder imponerande prestanda och nya anmärkningsvärda funktioner. Baserat på feedback från gemenskapen har kontextfönstret för dessa modeller utökats till 128k-token, vilket gör det möjligt att arbeta med större kodbasar eller mer detaljerade referensmaterial.

Dessa uppdaterade 8B- och 70B-modeller har tränats för att generera verktygsanrop för specifika funktioner, såsom sökning, kodexekvering och matematisk resonering. De stöder även nollställd verktygsanvändning och förbättrad resoneringsförmåga, vilket förbättrar deras beslutsfattnings- och problemlösningsförmåga.

Dessutom har systemtillvägagångssättet uppdaterats för att göra det enklare för utvecklare att balansera hjälpsamhet med behovet av säkerhet. Dessa modeller är nu tillgängliga för distribution via olika partners, inklusive AWS, Databricks, NVIDIA och Gro, förutom att kunna köras lokalt.

De senaste Llama 3.1-modellerna, inklusive 405 miljarder parameter-modellen, erbjuder betydande förbättringar i verktygsanvändning, resoneringsförmåga och säkerhet. Modellerna har tränats för att generera verktygsanrop för specifika funktioner som sökning, kodexekvering och matematisk resonering, vilket gör det möjligt för användare att utnyttja dessa funktioner sömlöst. Dessutom stöder modellerna nollställd verktygsanvändning, vilket gör det möjligt för dem att tillämpa sina resoneringsförmågor på ett brett utbud av uppgifter utan behov av explicit träning.

Det utökade kontextfönstret på 128k-token gör det möjligt för modellerna att arbeta med större kodbasar eller mer detaljerade referensmaterial, vilket förbättrar deras förmåga att resonera och lösa problem. Dessa förbättringar i resoneringsförmåga översätts till bättre beslutsfattning och problemlösningsförmåga, vilket gör Llama 3.1-modellerna mer mångsidiga och effektiva i en mängd olika tillämpningar.

Förutom detta har teamet arbetat nära med partners för att säkerställa att distributionen av Llama 3.1 över plattformar som AWS, Databricks, NVIDIA och Gro är sömlös. Denna integrering med ledande molnplattformar och AI-plattformar kommer att göra det enklare för utvecklare att komma åt och utnyttja de förbättrade funktionerna i Llama 3.1-modellerna.

Vi är glada att kunna meddela att de nya Llama 3.1-modellerna, inklusive 405 miljarder parameter-modellen, nu är tillgängliga för distribution över ett antal partnerplattformar. Förutom att köra modellerna lokalt kommer utvecklare nu att kunna komma åt Llama 3.1 via AWS, Databricks, NVIDIA och andra ledande molnplattformar och AI-infrastrukturleverantörer.

Denna samarbetsbaserade distributionsansats är i linje med vårt åtagande att göra Llama tillgänglig för ett brett utbud av användare, från entusiaster och startups till företag och forskningslaboratorier. Genom att samarbeta med dessa branschledare möjliggör vi sömlös integrering av Llama 3.1 i en mängd olika arbetsflöden och användningsfall, vilket ger utvecklargemenskapen möjlighet att bygga innovativa applikationer och lösningar.

Det utökade kontextfönstret på 128k-token i dessa nya Llama 3.1-modeller kommer att göra det möjligt för användare att arbeta med större kodbasar, mer detaljerade referensmaterial och mer komplexa uppgifter. Dessutom kommer modellernas förbättrade resoneringsförmåga och stöd för nollställd verktygsanvändning att förbättra beslutsfattning och problemlösningsförmåga över ett brett utbud av tillämpningar.

På Meta tror vi på kraften i öppen källkod och är engagerade i att fortsätta vårt bidrag till gemenskapen med lanseringen av Llama 3.1. Med den uppdaterade licensen kan utvecklare nu använda utdata från 405B-modellen för att förbättra andra modeller, vilket möjliggör nya möjligheter för att skapa högpresterande mindre modeller och driva AI-forskningen framåt.

Vi förväntar oss att syntetisk datageneration och destillation kommer att vara populära användningsfall, vilket gör det möjligt för gemenskapen att bygga vidare på vårt arbete och driva gränserna för vad som är möjligt med öppen källkods-AI. Genom att göra Llama 3.1 tillgänglig via partners som AWS, Databricks, NVIDIA och Gro säkerställer vi att utvecklare och forskare har enkel åtkomst till denna kraftfulla modell, vilket ytterligare driver innovation och samarbete.

Vårt mål är att göra öppen källkods-AI till branschstandard, och fortsätta vårt åtagande mot en framtid där ökad tillgång till AI-modeller kan hjälpa ekosystem att blomstra och lösa världens mest pressande utmaningar. Vi ser fram emot feedback och bidrag från utvecklargemenskapen när de bygger vidare på Llamas funktioner.

Lanseringen av Llama 3.1 med 405 miljarder parameter-modellen, tillsammans med de uppdaterade 8B- och 70B-modellerna, representerar en betydande milstolpe i utvecklingen av öppen källkods-AI. Denna modell överträffar de prestationer som presenterades tidigare i år och erbjuder imponerande funktioner, inklusive förbättrad resoneringsförmåga, verktygsanvändning och flerspråkighet.

Det utökade kontextfönstret på 128k-token gör det möjligt för modellerna att arbeta med större kodbasar och referensmaterial, vilket ytterligare förbättrar deras användbarhet. Tillägget av nollställd verktygsanvändning och förbättrad resoneringsförmåga kommer att möjliggöra bättre beslutsfattning och problemlösning.

Metas engagemang för öppen källkods-AI framgår tydligt av den uppdaterade licensen, som tillåter utvecklare att använda modellutdata för att förbättra andra modeller, inklusive genom syntetisk datageneration och destillation. Detta kommer att möjliggöra skapandet av högpresterande mindre modeller och ytterligare driva framstegen inom AI-forskning.

Utbredningen av Llama 3.1 till Meta AI-användare, och dess integrering i Facebook Messenger, WhatsApp och Instagram, kommer att föra dessa framsteg till en bredare publik. Metas vision om att öppen källkods-AI ska bli branschstandard är ett steg närmare med denna lansering, då utvecklargemenskapen ges möjlighet att bygga innovativa lösningar som kan hjälpa till att lösa världens mest pressande utmaningar.