Metas lansering av LLAMA 3-modellen har varit en milstolpe för AI-gemenskapen. Riktmärkena och prestandan hos denna öppna källkodmodell är verkligen imponerande:

• Den 8 miljarder parameter stora LLAMA 3-modellen är redan nästan lika kraftfull som den största LLAMA 2-modellen, vilket visar på betydande förbättringar i effektivitet och kapacitet.
• Den 70 miljarder parameter stora LLAMA 3-modellen ligger runt 82 MMLU (Multitask Metric for Language Understanding), vilket leder till resonemang och matematiska riktmärken.
• Den kommande 400 miljarder parameter stora LLAMA 3-modellen, som för närvarande är under träning, förväntas vara branschledande på ett antal riktmärken och potentiellt jämförbar med GPT-4 i kapacitet.
• LLAMA 3 har överträffat prestandan hos toppmodeller som Claude Sonet, vilket visar Metas förmåga att driva gränserna för öppen källkods-AI.
• Jämfört med andra öppna källkodmodeller som Megatron och Gemini presterar LLAMA 3 konsekvent bättre över ett brett spektrum av riktmärken och uppgifter.
• Meta har utvecklat en ny högkvalitativ utvärderingssats för mänsklig bedömning för att optimera LLAMA 3 för verkliga scenarier, vilket säkerställer att modellens kapacitet översätts till praktiska tillämpningar.

Lanseringen av LLAMA 3 är en betydande milstolpe som ger AI-gemenskapen tillgång till en kraftfull öppen källkodmodell som kan låsa upp framsteg inom områden som vetenskap, hälso- och sjukvård och mycket mer. De fortsatta framstegen i LLAMA 3:s prestanda är ett bevis på Metas engagemang för att driva innovation inom AI-landskapet.

Meta har utvecklat en ny högkvalitativ utvärderingssats för mänsklig bedömning för att optimera prestandan hos deras Llama 3-modell för verkliga scenarier. Denna utvärderingssats innehåller 1 800 prompter som täcker 12 viktiga användningsområden, inklusive:

• Be om råd
• Brainstorming
• Klassificering
• Slutna frågesvar
• Kodning
• Kreativt skrivande
• Extrahering
• Att inta en karaktär
• Öppna frågesvar
• Resonemang
• Omskrivning
• Sammanfattning

För att förhindra oavsiktlig överanpassning har inte ens Metas egna modelleringsteam tillgång till denna utvärderingssats.

När den testades mot andra toppmodeller som Claude Sonic presterade Llama 3 anmärkningsvärt bra i den mänskliga utvärderingen:

• 52% vinst
• 12,9% oavgjort
• 34% förlust

Över olika riktmärken presterade den 70 miljarder parameter stora Llama 3-modellen konsekvent bättre än andra öppna källkods- och slutna källkods-modeller, inklusive Mistrals 8x22B och Gemini Pro 1.0.

Llama 3-modellen använder också en mer effektiv tokeniserare med ett ordförråd på 128 000 tokens, vilket leder till betydande prestandaförbättringar. Dessutom är träningsdatat för Llama 3 sju gånger större än det som användes för Llama 2, med fyra gånger mer kod och över 5% högkvalitativa icke-engelska data som täcker mer än 30 språk.

Llama 3-modellen från Meta använder en tokeniserare med ett ordförråd på 128 000 tokens, vilket möjliggör en mer effektiv kodning av språk och leder till betydande förbättringar i modellens prestanda.

Träningsdatat för llama 3 är omfattande och omfattar över 5 biljoner tokens som samlats in från offentligt tillgängliga källor. Denna dataset är 7 gånger större än den som användes för llama 2 och innehåller 4 gånger mer kod. Dessutom består över 5% av träningsdatat av högkvalitativa icke-engelska data som täcker mer än 30 språk, även om modellens prestanda förväntas vara starkare på engelska.

Skalan och kvaliteten på träningsdatat har varit nyckelfaktorer för llama 3:s imponerande riktmärkesresultat, där den överträffar toppmodeller som Claude Sonet och presterar bättre än andra öppna källkods- och slutna källkods-modeller av liknande storlek. Metas fokus på att optimera modellen för verkliga användningsfall genom en ny utvärderingssats för mänsklig bedömning har också bidragit till dess starka prestanda.

Förutom detta tränar Meta för närvarande en ännu större 400 miljarder parameter version av llama 3, som förväntas nå GPT-4-klass kapacitet och ha en betydande inverkan på AI-forsknings- och utvecklingslandskapet.

En av de mest överraskande och spännande nyheterna från Metas LLAMA 3-lansering är den kommande 400 miljarder parameter-modellen. Denna massiva modell är för närvarande fortfarande under träning, med den senaste kontrollpunkten från den 15 april 2023.

Jämfört med andra stora språkmodeller som GPT-4 och Chinchilla verkar denna kommande LLAMA 3-modell vara jämförbar eller till och med överträffa deras kapacitet. Enligt de riktmärken som tillhandahålls förväntas den 400 miljarder parameter stora LLAMA 3-modellen uppnå branschledande prestanda på en mängd olika uppgifter, inklusive MMLU-riktmärket för resonemang och matematik.

Denna kommande modell representerar en vattendelare för AI-gemenskapen, eftersom den kommer att ge öppen tillgång till en GPT-4-klass modell. Detta förväntas avsevärt förändra landskapet för många forskningsinsatser och gräsrotsstartar, vilket frigör en våg av innovation och byggarkraft över hela ekosystemet.

Medan de nuvarande LLAMA 3-versionerna på 8 miljarder och 70 miljarder parametrar redan har visat imponerande prestanda, förväntas den 400 miljarder parameter stora modellen ta saker till nästa nivå. Eftersom modellen fortsätter att tränas under de kommande månaderna förväntas den ytterligare förbättras och befästa sin position som en kraftfull, öppen källkods-AI-bas som kan utnyttjas av utvecklare och forskare.

Lanseringen av Metas Llama 3-modell är en milstolpe för AI-gemenskapen. Modellens prestanda på olika riktmärken, inklusive att överträffa toppmodeller som Claude Sonet, är verkligen imponerande.

Öppnandet av Llama 3 är ett betydande steg framåt, eftersom det ger utvecklargemenskapen tillgång till ett kraftfullt AI-system som är jämförbart med GPT-4 i fråga om kapacitet. Detta kommer utan tvekan att stimulera innovation och framsteg inom områden som vetenskap, hälso- och sjukvård och mycket mer.

Metas fokus på att optimera Llama 3 för verkliga användningsfall, vilket framgår av den nya utvärderingssatsen för mänsklig bedömning, är ett berömvärt tillvägagångssätt. Genom att prioritera människocentrerad prestanda säkerställer Meta att modellen inte bara är imponerande på papperet, utan också praktisk och användbar i vardagliga tillämpningar.

Den kommande lanseringen av den 400 miljarder parameter stora Llama 3-modellen är högt efterlängtad, eftersom den förväntas driva gränserna för vad som är möjligt med öppen källkods-AI ännu längre. Gemenskapen ser med spänning fram emot modellens lansering och den potential den har att frigöra nya forsknings- och utvecklingsmöjligheter.

Sammanfattningsvis är Llama 3-lanseringen en betydande milstolpe i AI-landskapet, och det kommer att bli spännande att se hur den öppna källkods-gemenskapen utnyttjar detta kraftfulla verktyg för att driva innovation och framsteg under de kommande åren.