Meta AI heeft onlangs de derde iteratie van hun LLaMA-taalmodel, LLaMA 3, uitgebracht. Dit nieuwe model biedt aanzienlijke verbeteringen in prestaties en mogelijkheden, waardoor het een aantrekkelijke keuze is voor ontwikkelaars en onderzoekers die werken aan een breed scala aan AI-toepassingen.

LLaMA 3 is beschikbaar in twee vooraf getrainde en instructie-afgestemde versies, met respectievelijk 8 miljard en 70 miljard parameters. Het model is getraind op een indrukwekkende dataset van meer dan 15 biljoen tokens, wat zeven keer groter is dan de dataset die voor LLaMA 2 is gebruikt. Deze uitgebreide trainingsdata bevat vier keer meer code, waardoor LLaMA 3 bijzonder goed is in het genereren van code en andere programmeergerelateerde taken.

De benchmarks die door Meta AI zijn verstrekt, tonen de indrukwekkende mogelijkheden van LLaMA 3 aan. De versie met 8 miljard parameters presteert beter dan de populaire Galactica 7B- en Mistral 7B Instruct-modellen op een verscheidenheid aan taken, waaronder few-shot learning, vraagbeantwoording en wiskundige redenering. Het grotere model met 70 miljard parameters houdt ook stand tegen het krachtige Chinchilla 1.5B-model, vooral op het gebied van codegeneratie.

De release van LLaMA 3 door Meta AI markeert een belangrijke vooruitgang in de wereld van grote taalmodellen. Deze nieuwste iteratie van de LLaMA-serie blinkt uit in verbeterde prestaties en mogelijkheden die het onderscheiden van zijn voorgangers.

Eén van de belangrijkste hoogtepunten is de verbeterde state-of-the-art prestaties van het model op gebieden als taalfijngevoeligheid, contextueel begrip en complexe taken zoals vertaling en dialoogopwekking. Met verbeterde schaalbaarheid en prestaties kan LLaMA 3 moeiteloos meerstapsprocessen aan, dankzij Meta's verfijnde processen na de training die de foutweigerings-ratio aanzienlijk verlagen, de respons-uitlijning verbeteren en de diversiteit van modelantwoorden vergroten.

De mogelijkheden van het model zijn drastisch verbeterd, vooral op gebieden als redeneren, codegeneratie en het opvolgen van instructies. Dit blijkt uit de benchmarks, waarin LLaMA 3 zowel Geman 7B als MISTL 7B Instruct overtreft op verschillende metriek, waaronder de indrukwekkende wiskundescore die drie keer hoger is dan die van de concurrerende modellen.

De release van LLaMA 3 door Meta AI heeft een nieuwe standaard gezet voor grote taalmodellen. Volgens de verstrekte benchmarks presteert de 8 miljard parameter-versie van LLaMA 3 beter dan de concurrentie, waaronder Geman 7B en MISTL 7B Instruct, op een reeks taken.

De belangrijkste hoogtepunten uit de benchmarks zijn:

• MLU 5-shot: LLaMA 3 8B scoort 78,4, vergeleken met 53 voor Geman 7B en 58 voor MISTL 7B Instruct.
• GPQA Zero-shot: LLaMA 3 8B scoort 34, vergeleken met 21 voor Geman 7B en 26 voor MISTL 7B Instruct.
• Wiskundescore: LLaMA 3 8B scoort significant hoger op wiskundetaken, bijna drie keer zo hoog als Geman 7B en MISTL 7B Instruct.
• Codegeneratie: De score voor menselijke evaluatie van codegeneratie is 81 voor LLaMA 3 70B, vergeleken met 71 voor Geman Pro 1.5 en 73 voor CLA 3 Sonic.

Meta heeft een alomvattende aanpak voor verantwoorde ontwikkeling met LLaMA 3 genomen, met de focus op vertrouwen en veiligheid. Ze hebben hun Responsible Use Guide (RUG) bijgewerkt om uitgebreide informatie te bieden over verantwoorde ontwikkeling met grote taalmodellen.

Hun systeemgerichte aanpak omvat updates van hun tools voor vertrouwen en veiligheid, waaronder LLaRD (LLaMA Responsible Development), dat is geoptimaliseerd om de taxonomie te ondersteunen die is gepubliceerd door ML Commons, waardoor de dekking is uitgebreid naar een uitgebreidere set veiligheidscategorieën.

Bovendien heeft Meta LLaMA Guard geïntroduceerd, een set tools om veiligheidsfuncties toegankelijk te maken voor ontwikkelaars. Dit omvat Code Shield, dat code evalueert op veiligheidspraktijken, en CyberSec Eval 2, dat controleert op mogelijke misbruik zoals onveilige codepraktijken, hulp voor cybercriminelen, misbruik van codeïnterpretator en gevoeligheid voor prompt-injectie.

Meta heeft aangekondigd dat ze de nieuwste versie van hun LLaMA-taalmodel, LLaMA 3, integreren in hun verschillende apps en diensten. Dit omvat de integratie van LLaMA 3 in:

• Facebook
• Instagram
• WhatsApp
• Messenger

Gebruikers kunnen nu rechtstreeks interactie hebben met het LLaMA 3-model binnen deze apps om realtime informatie op te halen, vragen te beantwoorden en verschillende taken uit te voeren. De integratie stelt gebruikers in staat om de geavanceerde mogelijkheden van LLaMA 3, zoals verbeterde prestaties, contextueel begrip en meerstapsprocessen, te benutten zonder de apps te hoeven verlaten waarin ze al actief zijn.

Bovendien stelt Meta LLaMA 3 beschikbaar in de Meta AI-inferentie-interface, waardoor ontwikkelaars eenvoudig toegang krijgen tot en gebruik kunnen maken van het model voor hun eigen toepassingen en projecten. Dit vergroot de toegankelijkheid en adoptie van dit krachtige taalmodel verder.

De LLaMA 3-modellen zijn beschikbaar voor download en verkenning via de officiële GitHub-repository op github.com/facebookresearch/llama. Deze repository biedt toegang tot de code en modelbestanden, waardoor ontwikkelaars dieper kunnen duiken in de mogelijkheden van deze nieuwste iteratie van de LLaMA-serie.

De repository bevat de volgende belangrijke bronnen:

1. Modelbestanden: De LLaMA 3-modellen zijn beschikbaar in twee maten - 8 miljard en 70 miljard parameters. Deze vooraf getrainde modellen kunnen worden gedownload en gebruikt voor een breed scala aan toepassingen.

2. Code: De GitHub-repository bevat de broncode voor de LLaMA 3-modellen, waardoor ontwikkelaars de onderliggende architectuur kunnen begrijpen en de modellen mogelijk kunnen fine-tunen of aanpassen voor hun specifieke use cases.

3. Documentatie: De repository bevat gedetailleerde documentatie, met richtlijnen voor het downloaden, instellen en effectief gebruiken van de LLaMA 3-modellen.

4. Benchmarks: De repository toont de prestaties van LLaMA 3 op verschillende benchmarks, waardoor gebruikers de mogelijkheden ervan kunnen vergelijken met andere taalmodellen.

5. Responsible Use Guide: Meta AI heeft een uitgebreide "Responsible Use Guide" opgenomen om de ethische en verantwoorde ontwikkeling van toepassingen met de LLaMA 3-modellen te waarborgen.