Meta heeft hun Llama3-model vrijgegeven, een AI-chatbotassistent die vergelijkbaar is met GPT-4. De eerste resultaten zijn indrukwekkend, waarbij Llama3 goed presteert op verschillende benchmarks. De 70 miljard parameter-versie van Llama3 kan worden uitgevoerd op een krachtige desktopcomputer en heeft 82% behaald op de HumanEval-codeeropgavebenchmark, wat dicht bij de prestaties van moderne eigendomssystemen ligt.

Llama3 heeft ook goed gepresteerd op de GPQA-wetenschapstest, waarbij het bijna 40% scoorde, wat zeer indrukwekkend is. De prestaties op wiskundig gerichte taken zijn echter niet zo sterk, met een score van 50%, vergeleken met OpenAI's GPT-4 die meer dan 70% kan behalen op soortgelijke wiskundeproblemen.

Bovendien werkt Meta aan een nog groter model met ongeveer 400 miljard parameters, waarvan wordt verwacht dat het aanzienlijke verbeteringen zal laten zien ten opzichte van de 70 miljard parameter-versie op verschillende tests. Dit grotere model is nog in ontwikkeling, maar wordt verwacht tegen het einde van het jaar te worden vrijgegeven.

De indrukwekkende prestaties van Llama3 zijn vooral opmerkelijk omdat het een open-source model is, dat gratis voor iedereen beschikbaar is. Dit staat in contrast met eigendomssystemen zoals GPT-4, die niet vrij toegankelijk zijn. Het feit dat Llama3 op sommige aspecten vergelijkbaar is met eerdere versies van GPT-4, is een bewijs van de vooruitgang van open-source AI-modellen.

Wanneer het gaat om het evalueren van de prestaties van AI-modellen, is de keuze van benchmarks cruciaal. De ideale benchmark moet een balans vinden tussen voldoende uitdagend om modellen te onderscheiden, maar niet zo moeilijk dat de modellen moeite hebben om goed te presteren.

Tests met een slagingspercentage onder de 10% worden over het algemeen niet als goed beschouwd voor testen, omdat het moeilijker wordt om statistisch significante conclusies te trekken. Aan de andere kant kunnen tests met een slagingspercentage van 80-85% of hoger hun betekenis verliezen, omdat ze mogelijk fouten bevatten of antwoorden hebben die gelekt zijn, waardoor modellen eenvoudigweg de juiste antwoorden kunnen repliceren.

De GPQA-test, die een reeks wetenschappelijke disciplines zoals organische chemie, moleculaire biologie en natuurkunde bestrijkt, wordt genoemd als een goed voorbeeld van een uitdagende maar zinvolle benchmark. Het behalen van bijna 40% op deze test wordt als zeer indrukwekkend beschouwd.

Wanneer het gaat om het evalueren van de prestaties van AI-modellen voor praktisch gebruik, biedt de Arena-leaderboard een relevantere beoordeling. Deze test meet de capaciteiten van de modellen om taken uit te voeren die normale mensen typisch zouden uitvoeren, in plaats van alleen academische of technische uitdagingen.

Llama3, Meta's open-source AI-chatbot, heeft indrukwekkende prestaties laten zien op verschillende benchmarks, waarbij het eigendomssystemen als GPT-4 evenaart. Met een 70 miljard parameter-versie die beschikbaar is voor gebruik op krachtige desktopcomputers, heeft Llama3 82% behaald op de HumanEval-codeeropgave en een indrukwekkende 40% op de uitdagende GPQA-wetenschapstest. Hoewel zijn wiskundeprestaties met 50% achterblijven bij GPT-4's 70%, wordt verwacht dat het aankomende 400 miljard parameter-model deze resultaten verder zal verbeteren.

Even indrukwekkend is Google DeepMind's Gemini 1.5 Pro, dat sterke prestaties heeft laten zien op de Arena-leaderboard, waarbij het zelfs eerdere versies van GPT-4 op sommige aspecten overtreft. Gemini 1.5 Pro's vermogen om te leren van hele films en codebases onderscheidt het, en het heeft de tweede plaats overall behaald, evenals de eerste plaats voor langere prompts.

De beschikbaarheid van deze krachtige AI-assistenten, zowel open-source als eigendomssystemen, markeert een belangrijke vooruitgang in het veld. Gebruikers kunnen nu gratis toegang krijgen tot Llama3 en Gemini 1.5 Pro, buiten de EU, via verschillende platforms, waardoor ze de mogelijkheden van deze geavanceerde modellen rechtstreeks kunnen ervaren.

U kunt de Llama3- en Gemini 1.5 Pro-AI-modellen gratis proberen op de volgende manieren:

1. Llama3:

   • Voor zover de auteur weet, kunt u Llama3 proberen op de website van Meta, als u zich buiten Europa bevindt.
   • U kunt ook het Llama3-model downloaden en overal uitvoeren.
   • Er zijn websites die Llama3 hosten, en u kunt het via deze platforms proberen. De links worden vermeld in de videobeschrijving.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, ontwikkeld door Google DeepMind, is ook gratis beschikbaar om te proberen, buiten de EU.
   • De link om toegang te krijgen tot Gemini 1.5 Pro wordt vermeld in de videobeschrijving.

De auteur benadrukt dat zowel Llama3 als Gemini 1.5 Pro indrukwekkende AI-modellen zijn die bijna net zo goed zijn als betaalde eigendomssystemen, maar u kunt ze gratis gebruiken.

AI-assistenten verbeteren met een verbazingwekkend tempo, en open-source modellen zoals Llama3 en Gemini 1.5 Pro zijn nu bijna even capabel als de betaalde eigendomssystemen, zoals GPT-4. Deze open-source modellen zijn gratis voor iedereen te gebruiken, wat een ongelooflijke ontwikkeling is.

Llama3, het 70 miljard parameter-model van Meta, presteert opmerkelijk goed op verschillende benchmarks, waaronder de uitdagende GPQA-test op wetenschappelijk gebied. Hoewel het mogelijk niet zo sterk is in wiskunde als GPT-4, levert het nog steeds indrukwekkende resultaten. Bovendien wordt verwacht dat het aankomende 400 miljard parameter-model van Llama3 deze mogelijkheden verder zal verbeteren.

Evenzo is Google DeepMind's Gemini 1.5 Pro een zeer capabele AI-assistent, die de prestaties van eerdere versies van GPT-4 evenaart. Het blinkt vooral uit in taken met langere prompts en complexe contexten, zoals het bekijken van hele films of het leren van codebases.

De beschikbaarheid van deze open-source AI-modellen, die gratis kunnen worden uitgeprobeerd, is een belangrijke mijlpaal. Het democratiseert de toegang tot geavanceerde AI-technologie en stelt iedereen in staat om deze krachtige hulpmiddelen te verkennen en ervan te profiteren. Dit is een prachtige tijd om te leven, aangezien we de snelle vooruitgang van AI en de toenemende toegankelijkheid van deze opmerkelijke mogelijkheden zien.