Meta AI har nyligen släppt den tredje iterationen av deras LLaMA-språkmodell, LLaMA 3. Denna nya modell erbjuder betydande framsteg i prestanda och funktionalitet, vilket gör den till ett attraktivt val för utvecklare och forskare som arbetar med ett brett utbud av AI-tillämpningar.

LLaMA 3 finns tillgänglig i två förtränade och instruktionsanpassade versioner, med 8 miljarder respektive 70 miljarder parametrar. Modellen har tränats på ett imponerande dataset på över 15 biljoner tokens, vilket är sju gånger större än det dataset som användes för LLaMA 2. Denna utökade träningsdata inkluderar fyra gånger mer kod, vilket gör LLaMA 3 särskilt skicklig på kodgenerering och andra programmeringsrelaterade uppgifter.

De riktmärken som tillhandahålls av Meta AI visar de imponerande funktionerna hos LLaMA 3. 8-miljarders-versionen överträffar de populära Galactica 7B- och Mistral 7B Instruct-modellerna i en mängd olika uppgifter, inklusive få-skotts-inlärning, frågebesvarande och matematisk resonering. Den större 70-miljarders-modellen håller också stånd mot den kraftfulla Chinchilla 1.5B-modellen, särskilt inom kodgenerering.

Frigörandet av LLaMA 3 av Meta AI markerar ett betydande framsteg i världen av stora språkmodeller. Denna senaste iteration av LLaMA-serien har förbättrad prestanda och funktionalitet som särskiljer den från sina föregångare.

En av de viktigaste höjdpunkterna är modellens förbättrade topprestanda inom områden som språknyanser, kontextuell förståelse och komplexa uppgifter som översättning och dialoggenerering. Med förbättrad skalbarhet och prestanda kan LLaMA 3 hantera flerstegstjänster smidigt, tack vare Meta's förfinade efterträningsprocesser som avsevärt sänker falska avvisningsfrekvenser, förbättrar svarsanpassning och ökar mångfalden i modellsvar.

Modellens funktioner har drastiskt förbättrats, särskilt inom områden som resonemang, kodgenerering och instruktionsföljande. Detta framgår tydligt i de riktmärken som tillhandahålls, där LLaMA 3 överträffar både Geman 7B och MISTL 7B Instruct på olika mått, inklusive den imponerande matematikpoängen som är tre gånger högre än de konkurrerande modellerna.

Frigörandet av LLaMA 3 av Meta AI har satt en ny standard för stora språkmodeller. Enligt de riktmärken som tillhandahålls överträffar 8-miljarders-versionen av LLaMA 3 konkurrensen, inklusive Geman 7B och MISTL 7B Instruct, inom ett brett spektrum av uppgifter.

De viktigaste höjdpunkterna från riktmärkena inkluderar:

• MLU 5-shot: LLaMA 3 8B får 78,4, jämfört med 53 för Geman 7B och 58 för MISTL 7B Instruct.
• GPQA Zero-shot: LLaMA 3 8B får 34, jämfört med 21 för Geman 7B och 26 för MISTL 7B Instruct.
• Matematikpoäng: LLaMA 3 8B får betydligt högre poäng på matematikuppgifter, nästan tre gånger så höga som Geman 7B och MISTL 7B Instruct.
• Kodgenerering: Poängen för mänsklig utvärdering av kodgenerering är 81 för LLaMA 3 70B, jämfört med 71 för Geman Pro 1.5 och 73 för CLA 3 Sonic.

Meta har tagit ett heltäckande tillvägagångssätt för ansvarsfull utveckling med LLaMA 3, med fokus på tillit och säkerhet. De har uppdaterat sin Responsible Use Guide (RUG) för att tillhandahålla omfattande information om ansvarsfull utveckling med stora språkmodeller.

Deras systemcentrerade tillvägagångssätt inkluderar uppdateringar av deras verktyg för tillit och säkerhet, inklusive LLaRD (LLaMA Responsible Development) som har optimerats för att stödja den taxonomi som publicerats av ML Commons, och utökar dess täckning till en mer heltäckande uppsättning säkerhetskategorier.

Dessutom har Meta introducerat LLaMA Guard, en uppsättning verktyg för att göra säkerhetsfunktioner tillgängliga för utvecklare. Detta inkluderar Code Shield, som utvärderar kod för säkerhetspraxis, och CyberSec Eval 2, som kontrollerar för potentiell missbruk som osäker kodpraxis, hjälp till cyberbrottslingar, kodtolkarmissbruk och mottaglighet för promptinjicering.

Meta har meddelat att de integrerar den senaste versionen av deras LLaMA-språkmodell, LLaMA 3, i sina olika appar och tjänster. Detta inkluderar att integrera LLaMA 3 i:

• Facebook
• Instagram
• WhatsApp
• Messenger

Användare kommer nu att kunna interagera direkt med LLaMA 3-modellen inom dessa appar för att få realtidsinformation, besvara frågor och utföra olika uppgifter. Integrationen gör det möjligt för användare att dra nytta av LLaMA 3:s avancerade funktioner, som förbättrad prestanda, kontextuell förståelse och flerstegstaskutförande, utan att behöva lämna de appar de redan använder.

Dessutom gör Meta LLaMA 3 tillgänglig i Meta AI:s inferensgränssnitt, vilket gör det möjligt för utvecklare att enkelt komma åt och använda modellen för sina egna applikationer och projekt. Detta utökar ytterligare tillgängligheten och adoptionen av denna kraftfulla språkmodell.

LLaMA 3-modellerna är tillgängliga för nedladdning och utforskning via det officiella GitHub-förrådet på github.com/facebookresearch/llama. Detta förråd ger tillgång till kod och modellfilerna, vilket gör det möjligt för utvecklare att gå djupare in i funktionerna hos denna senaste iteration av LLaMA-serien.

Förrådet innehåller följande nyckelresurser:

1. Modellfilerna: LLaMA 3-modellerna finns tillgängliga i två storlekar - 8 miljarder och 70 miljarder parametrar. Dessa förtränade modeller kan laddas ned och användas för ett brett utbud av tillämpningar.

2. Kod: GitHub-förrådet innehåller källkoden för LLaMA 3-modellerna, vilket möjliggör för utvecklare att förstå den underliggande arkitekturen och eventuellt finjustera eller anpassa modellerna för sina specifika användningsfall.

3. Dokumentation: Förrådet innehåller detaljerad dokumentation som ger vägledning om hur man laddar ned, konfigurerar och använder LLaMA 3-modellerna effektivt.

4. Riktmärken: Förrådet visar prestandan för LLaMA 3 på olika riktmärken, vilket gör det möjligt för användare att jämföra dess funktioner med andra språkmodeller.

5. Ansvarsfull användningsguide: Meta AI har inkluderat en omfattande "Ansvarsfull användningsguide" för att säkerställa den etiska och ansvarsfulla utvecklingen av applikationer som använder LLaMA 3-modellerna.