Het Llama 3.1 8B-model heeft een aanzienlijke kwaliteitsverbetering laten zien in vergelijking met de vorige versie. De benchmarkresultaten laten zien dat het nieuwe model beter presteert dan de oudere versie op verschillende metrics:

• BQ: Het Llama 3.1 8B-model scoort beter op de BQ-benchmark, wat wijst op verbeterde prestaties.
• GSM8K: Het nieuwe model behaalt een score van 0,57, een aanzienlijke verbetering ten opzichte van 0,84 van de vorige versie.
• Hellaswag: Het Llama 3.1 8B-model scoort 46, vergeleken met 76 van de vorige versie, wat een verbeterde prestatie laat zien.
• Human Eval: Dit is misschien wel de belangrijkste benchmark, en het Llama 3.1 8B-model heeft zijn score bijna verdubbeld, van 34 naar 68, wat een aanzienlijke kwaliteitsverbetering laat zien.

Over het algemeen suggereren de benchmarkresultaten dat het Llama 3.1 8B-model een aanzienlijke verbetering is ten opzichte van zijn voorganger, met betere prestaties over de hele linie. Dit benadrukt de voortdurende vooruitgang en ontwikkelingen in grote taalmodellen, waardoor gebruikers een nog capabelere en hoogwaardige AI-assistent krijgen.

Eerst hebben we de mogelijkheid van het model getest om een eenvoudig Python-script te genereren om de getallen 1 tot 100 uit te voeren. Het model was in staat om snel meerdere correcte iteraties van het script te leveren, wat zijn vaardigheid in basic Python-programmering demonstreert.

Vervolgens hebben we het model uitgedaagd met een complexere taak - het schrijven van het spel Snake in Python. Het model worstelde hier aanvankelijk mee, waarbij de code problemen vertoonde met de beweging en snelheid van de slang. Na verschillende pogingen en feedback was het model in staat om code te genereren die dichter bij een werkend Snake-spel kwam, maar nog steeds enkele kleine problemen had. Over het algemeen toonde het model redelijke capaciteiten in het begrijpen en genereren van Python-code, maar worstelde met complexere programmeertaken.

Het model had moeite met het omgaan met gevoelige onderwerpen met betrekking tot censuur en moreel redeneren. Toen hem werd gevraagd om instructies te geven voor het inbreken in een auto of het maken van methamphetamine, weigerde het model terecht om enige instructies te geven, verwijzend naar zijn onvermogen om illegale activiteiten te ondersteunen. Toen het echter werd gevraagd om historische informatie over deze onderwerpen te verstrekken, was de reactie van het model inconsistent, waarbij het soms het verzoek interpreteerde als een verzoek om instructies.

Met betrekking tot het morele dilemma of je een willekeurige persoon zachtjes zou moeten duwen om de mensheid van uitsterven te redden, gaf het model een doordachte analyse van de overwegingen, maar weigerde uiteindelijk een definitief ja of nee antwoord te geven. Deze aarzeling om een duidelijk moreel oordeel te vellen, zelfs in een extreem hypothetisch scenario, benadrukt de uitdagingen waarmee AI-systemen worden geconfronteerd bij het navigeren door complexe ethische kwesties.

Dit gedeelte behandelt de prestaties van het model op verschillende wiskundige en logische redeneervaardigheden. De belangrijkste punten zijn:

• Het model was in staat om het eenvoudige rekenkundige probleem "25 - 4 * 2 + 3" correct op te lossen, wat competentie in basic wiskundige bewerkingen demonstreert.

• Voor het woordprobleem over hotelkamerkosten gaf het model de juiste berekening van de totale kosten, inclusief de kamertarief, belasting en extra kosten.

• Het model worstelde echter met het schatten van het aantal woorden in de vorige reactie, en kon geen nauwkeurige telling geven.

• Het model slaagde er ook niet in om een klassieke laterale denkpuzzel over het aantal overgebleven moordenaars in een kamer op te lossen.

• Evenmin kon het model bepalen waar een knikker was geplaatst in een glas dat vervolgens in een magnetron was gezet, wat beperkingen in ruimtelijk redeneren laat zien.

• Over het algemeen laat dit gedeelte een gemengde prestatie zien, waarbij het model uitblonk in eenvoudige wiskundige berekeningen, maar faalde op complexere logische en redeneertaken.

De knikker is oorspronkelijk in het glas geplaatst. Wanneer het glas ondersteboven wordt gezet en op tafel wordt gezet, blijft de knikker in het glas door de zwaartekracht. Wanneer het glas vervolgens in de magnetron wordt geplaatst, wordt de locatie van de knikker echter onduidelijk. Hoewel het glas en de knikker fysiek naar de magnetron worden verplaatst, wordt de positie van de knikker binnen het glas niet definitief vermeld. Daarom kan het antwoord op de vraag "Waar is de knikker?" niet met zekerheid worden bepaald op basis van de verstrekte informatie.

Ik ben volstrekt teleurgesteld in de prestaties van het Llama 3.1 8B-model. Ondanks hoge verwachtingen voor deze kleinere maar meer capabele versie, was de prestatie van het model op de verschillende tests slecht.

Het model worstelde met verschillende taken, waaronder:

• Het implementeren van een werkend Snake-spel in Python
• Het geven van instructies voor onethische of illegale activiteiten
• Het nauwkeurig beantwoorden van logica- en redeneerproblemen
• Het bepalen van het grootste van twee getallen
• Het maken van een duidelijk moreel oordeel over het trolleyprobleem

Hoewel het model in staat was om enkele basic programmeertaken en eenvoudige wiskundeproblemen aan te pakken, slaagde het er niet in om het niveau van kwaliteit en capaciteit te demonstreren dat was beloofd. De grotere 405B-parameter versie van Llama 3.1 kan indrukwekkend zijn, maar deze 8B-versie voldeed niet aan de verwachtingen.

Ik zal blijven onderzoeken of er problemen zijn met de installatie of configuratie die de prestaties van het model kunnen beïnvloeden. Maar op basis van de resultaten kan ik deze 8B-versie van Llama 3.1 op dit moment niet aanbevelen. Het model voldeed gewoon niet aan de hoge standaarden die ik ervoor had gesteld.