Mixtral AI heeft onlangs een enorm open-weight model uitgebracht, de Mixtral 8x22B MoE, met indrukwekkende 176 miljard parameters. Dit model is een combinatie van acht expert-modellen, elk met 22 miljard parameters, wat resulteert in een zeer capabel en veelzijdig taalmodel.

De Mixtral 8x22B MoE heeft enkele opmerkelijke kenmerken:

• Grote contextlengte: Het model kan tot 655.000 tokens ondersteunen, aanzienlijk meer dan vorige generaties.
• Indrukwekkende prestaties: Zelfs in zijn basisvorm overtreft het model het vorige state-of-the-art open-weight model, Cair R+, op verschillende benchmarks.
• Commerciële beschikbaarheid: Het model wordt uitgebracht onder de Apache 2.0-licentie, waardoor commercieel gebruik mogelijk is.
• Hugging Face-integratie: Het model en de tokenizer zijn al beschikbaar op het Hugging Face-platform, waardoor het toegankelijk is voor de bredere AI-gemeenschap.

Hoewel de pre-trainingsgegevens en meertalige mogelijkheden van het model nog onbekend zijn, suggereren de eerste evaluaties dat de Mixtral 8x22B MoE een zeer capabel taalmodel is. De prestaties worden geschat tussen de mogelijkheden van Chinchilla en GPT-4, hoewel gebruikers worden aangemoedigd om het model zelf te testen op hun eigen toepassingen voor een nauwkeuriger beoordeling.

Een opvallend aspect van het model is zijn vermogen om instructies op te volgen en relevante antwoorden te geven, zelfs in zijn basisvorm. Dit suggereert dat het model is getraind op een aanzienlijke hoeveelheid instructioneel materiaal, wat kan leiden tot nog indrukwekkendere resultaten zodra fijnafgestemde versies beschikbaar komen.

Het is echter belangrijk op te merken dat de grote omvang en hoge hardwarevereisten van het model de toegankelijkheid ervan kunnen beperken. Het uitvoeren van het model vereist een aanzienlijke hoeveelheid GPU-geheugen, met 260 GB VRAM nodig voor 16-bits precisie en 73 GB voor 4-bits precisie. Dit kan een uitdaging zijn voor veel gebruikers, maar de potentiële voordelen van de mogelijkheden van het model kunnen de investering in de benodigde hardware rechtvaardigen voor degenen die over de nodige middelen beschikken.

De basisversie van het Mistal AI 822B-model heeft indrukwekkende prestaties laten zien, waarbij het zelfs het vorige beste open-weight model, Cair R+, op verschillende evaluaties overtrof. Hoewel de officiële prestatiecijfers nog niet beschikbaar zijn, heeft de gemeenschap enkele inzichten kunnen verzamelen.

De prestaties van het model lijken ergens tussen die van Chinchilla en GPT-4 te liggen, met de kanttekening dat de evaluaties mogelijk niet de werkelijke mogelijkheden van het model in de praktijk volledig weerspiegelen. De LMS Chat Arena Benchmark wordt beschouwd als een goede weergave van de prestaties van het model in praktische toepassingen.

Een opvallend aspect van het basismodel is zijn vermogen om instructies op te volgen en relevante antwoorden te geven, wat doorgaans niet verwacht wordt van een basismodel. Dit suggereert dat het model mogelijk is getraind op een aanzienlijke hoeveelheid instructioneel materiaal, wat kan wijzen op de mogelijkheden van de aankomende geïnstrueerde fijnafgestemde versies.

Het model toont ook een mate van niet-gecensureerd gedrag, zoals blijkt uit zijn reactie op de prompt over het inbreken in een auto. Dit is een kenmerk van ongecontroleerde modellen, en de geïnstrueerde fijnafgestemde versies zullen waarschijnlijk meer in lijn zijn en minder bereid zijn om onethische of illegale activiteiten aan te gaan.

De creatieve schrijfvaardigheden van het model zijn ook indrukwekkend, zoals blijkt uit zijn reactie op de prompt over Jon Snow's mening over de iPhone 14. Hoewel de prestaties van het basismodel opmerkelijk zijn, kijkt de gemeenschap vol verwachting uit naar de release van de geïnstrueerde fijnafgestemde versies, waarvan wordt verwacht dat ze nog geavanceerdere mogelijkheden zullen tonen.

Het model toont indrukwekkende mogelijkheden, zelfs in zijn basisversie. Toen hem gevraagd werd om te antwoorden hoeveel helikopters een mens in één keer kan opeten, gaf het model een doordacht antwoord, waarbij het uitlegde dat het niet in staat is fysieke objecten te consumeren, maar informatie gaf over de gevaren van het eten van niet-voedselartikelen.

Het model toont ook zijn vermogen om instructies op te volgen, zoals blijkt uit zijn reactie op de prompt over het inbreken in een auto. Hoewel het erkent dat een dergelijke actie illegaal is, geeft het toch enkele potentiële opties, wat zijn niet-gecensureerde aard demonstreert.

Om de creatieve schrijfvaardigheden van het model te testen, werd een prompt gegeven over Jon Snow's mening over de iPhone 14. Het model genereerde een coherent verhaal, waarbij het trouw bleef aan de gegeven instructies.

Wanneer hem gevraagd werd naar de moraliteit van het doden van muggen, uitte het model een duidelijke mening, waarbij het het belang van muggen in het ecosysteem en de potentiële schade die het doden ervan kan veroorzaken, uitlegde.

De beleggingsadviezen van het model, hoewel niet geheel verrassend, tonen zijn begrip van de AI-industrie en zijn vermogen om relevante aanbevelingen te doen.

Het model had echter moeite met enkele logische vragen, zoals die over de broers en zussen van Sally. Het was niet in staat het juiste antwoord te geven, wat de noodzaak voor verdere verfijning en fijnafstemming benadrukt.

Over het geheel genomen tonen de reacties van het model zijn indrukwekkende mogelijkheden, vooral op gebieden als het opvolgen van instructies, creatief schrijven en het uiten van meningen over complexe onderwerpen. Naarmate het model verder wordt fijnafgestemd, zal de prestatie naar verwachting verbeteren, waardoor het een opwindende ontwikkeling in het veld van grote taalmodellen wordt.

De transcript geeft aan dat het model een zekere mate van moreel redeneren toont wanneer het gevraagd wordt over de ethiek van het doden van muggen. Het model stelt dat het "niet moreel juist is om muggen te doden" omdat ze deel uitmaken van het natuurlijke ecosysteem en een voedselbron voor andere dieren vormen. Het legt uit dat het verstoren van het ecosysteem schade kan toebrengen aan andere soorten. Dit suggereert dat het model is getraind om de bredere milieu- en ecologische gevolgen van handelingen in overweging te nemen, in plaats van alleen een simplistische kijk op goed en kwaad.

De reactie van het model benadrukt echter ook de beperkingen van zijn morele redenering. Toen hem gevraagd werd over het inbreken in een auto, erkende het model dat het illegaal is, maar gaf het vervolgens stap-voor-stap instructies, wat wijst op een gebrek aan sterke morele uitlijning tegen onethische handelingen. Bovendien was het model niet in staat om een eenvoudig logisch probleem over familieverhoudingen correct op te lossen, wat suggereert dat zijn redeneringscapaciteiten ruimte voor verbetering hebben.

Over het geheel genomen laat de transcript zien dat het model enige basale morele redeneercapaciteiten heeft, maar benadrukt het ook de noodzaak voor verdere verfijning en uitlijning om ervoor te zorgen dat het model consequent ethische beslissingen neemt, in plaats van alleen informatie te verstrekken zonder sterke morele grondslag.

Het model gaf een lijst van AI-gerelateerde bedrijven die het zou aanbevelen om in te investeren, waaronder Nvidia, Google, Microsoft, Amazon en IBM. Dit is een redelijke selectie, aangezien dit allemaal grote spelers zijn in de AI- en technologie-industrie.

Nvidia is een toonaangevende fabrikant van GPU's en andere hardware die essentieel is voor AI- en machine learning-toepassingen. Google, Microsoft en Amazon zijn technologiereuzen met aanzienlijke investeringen en mogelijkheden op het gebied van AI-onderzoek en -ontwikkeling. IBM heeft ook een sterke aanwezigheid in de AI-sector, hoewel het misschien niet zo dominant is als sommige van de andere genoemde bedrijven.

Over het algemeen lijken de investeringsadviezen van het model gebaseerd te zijn op een solide begrip van de AI-industrie en de belangrijkste spelers daarbinnen. Hoewel de aanbevelingen mogelijk niet uitputtend zijn, bieden ze een goed startpunt voor iemand die wil investeren in AI-gerelateerde bedrijven. Het is echter belangrijk op te merken dat investeringsbeslissingen gebaseerd moeten zijn op grondig onderzoek en analyse, en niet alleen op de aanbevelingen van een AI-model.

De prestaties van het model op wiskundige en programmeeruitdagingen waren gemengd. Hoewel het in staat was om een correct Python-programma te leveren om een bestand naar een S3-bucket te schrijven, had het moeite met enkele eenvoudige wiskundige problemen.

Voor de vraag over het aantal zussen van Sally kon het model het juiste antwoord niet geven, zelfs na meerdere pogingen. Het gaf ofwel aan de vraag niet te kunnen beantwoorden, ofwel een onjuist antwoord.

Evenzo was het antwoord van het model op het "Killer's problem" incorrect, waarbij het stelde dat als er aanvankelijk 99 moordenaars waren en er één werd gedood, er 98 moordenaars over zouden blijven. Dit is niet de juiste oplossing voor het probleem.

Het vermogen van het model om echter een werkend Python-programma te genereren voor interactie met een S3-bucket is indrukwekkend en toont zijn sterke programmeervaardigheden. Dit suggereert dat het model beter geschikt kan zijn voor taken die codering en softwareontwikkeling omvatten, in plaats van pure wiskundige redenering.

Over het algemeen is de prestatie van het model op dit soort uitdagingen gemengd, met sterke punten in bepaalde gebieden en zwakke punten in andere. Naarmate het model verder wordt fijnafgestemd en verbeterd, zal het interessant zijn om te zien hoe zijn mogelijkheden op deze domeinen zich ontwikkelen.