Mixtral AI har nyligen släppt en massiv öppen viktmodell, Mixtral 8x22B MoE, som skryter med imponerande 176 miljarder parametrar. Denna modell är en blandning av åtta expertmodeller, var och en med 22 miljarder parametrar, vilket resulterar i en mycket kapabel och mångsidig språkmodell.

Mixtral 8x22B MoE har flera anmärkningsvärda funktioner:

• Stort kontextlängd: Modellen kan stödja upp till 655 000 tokens, betydligt större än tidigare generationer.
• Imponerande prestanda: Även i sin basform överträffar modellen den tidigare toppmodellen Cair R+ på en rad mätningar.
• Kommersiell tillgänglighet: Modellen släpps under Apache 2.0-licensen, vilket möjliggör kommersiell användning.
• Hugging Face-integrering: Modellen och dess tokenizer är redan tillgängliga på Hugging Face-plattformen, vilket gör den tillgänglig för det bredare AI-samhället.

Mens modellens förträningsdata och flerspråkiga funktioner fortfarande är okända, tyder de inledande utvärderingarna på att Mixtral 8x22B MoE är en mycket kapabel språkmodell. Dess prestanda uppskattas ligga någonstans mellan Chinchillas och GPT-4:s möjligheter, även om användare uppmanas att testa modellen på sina egna applikationer för en mer exakt bedömning.

En anmärkningsvärd aspekt av modellen är dess förmåga att följa instruktioner och ge relevanta svar, även i sin basform. Detta tyder på att modellen har tränats på en betydande mängd instruktionsdata, vilket skulle kunna leda till ännu mer imponerande resultat när fintunade versioner blir tillgängliga.

Basversionen av Mistal AI 822B-modellen har visat imponerande prestanda, till och med bättre än den tidigare bästa öppna viktmodellen, Cair R+, på olika utvärderingar. Även om de officiella prestationssiffrorna ännu inte är tillgängliga har gemenskapen kunnat samla in vissa insikter.

Modellens prestanda verkar ligga någonstans mellan Chinchilla och GPT-4, med förbehållet att utvärderingarna kanske inte fullt ut fångar modellens verkliga möjligheter i verkligheten. LMS Chat Arena Benchmark anses vara en bra representation av modellens prestanda i praktiska tillämpningar.

En anmärkningsvärd aspekt av basmodellen är dess förmåga att följa instruktioner och ge relevanta svar, vilket vanligtvis inte förväntas av en basmodell. Detta tyder på att modellen kan ha tränats på en betydande mängd instruktionsdata, vilket kan antyda möjligheterna för de kommande instruerade fintunade versionerna.

Modellen uppvisar också en grad av ocensurerat beteende, vilket framgår av dess svar på prompten om att bryta sig in i en bil. Detta är en egenskap hos okonstrainerade modeller, och de instruerade fintunade versionerna kommer sannolikt att vara mer anpassade och mindre benägna att engagera sig i oetiska eller olagliga aktiviteter.

Modellens kreativa skrivförmåga är också imponerande, vilket visas av dess svar på prompten om Jon Snows åsikt om iPhone 14. Även om basmodellens prestanda är anmärkningsvärd ser gemenskapen fram emot lanseringen av de instruerade fintunade versionerna, som förväntas visa ännu mer avancerade möjligheter.

Modellen visar imponerande möjligheter, även i sin basversion. När den uppmanas att svara på hur många helikoptrar en människa kan äta på en gång, ger modellen ett genomtänkt svar och förklarar att den inte har förmågan att konsumera fysiska föremål, men ger information om farorna med att äta icke-livsmedel.

Modellen visar också sin förmåga att följa instruktioner, vilket framgår av dess svar på prompten om att bryta sig in i en bil. Även om den erkänner att en sådan handling är olaglig, ger den fortfarande några potentiella alternativ, vilket visar på dess ocensurerade natur.

För att testa modellens kreativa skrivförmåga gavs en prompt om Jon Snows åsikt om iPhone 14. Modellen genererade en sammanhängande berättelse och höll sig till de givna instruktionerna.

När den tillfrågades om moralen i att döda myggor, uttryckte modellen en tydlig åsikt och förklarade betydelsen av myggor i ekosystemet och den potentiella skada som att döda dem kan orsaka.

Modellens investeringsförslag, även om de inte är helt överraskande, visar på dess förståelse för AI-industrin och dess förmåga att ge relevanta rekommendationer.

Modellen hade dock svårigheter med vissa logikbaserade frågor, som den om Sallys syskon. Den kunde inte ge det korrekta svaret, vilket belyser behovet av ytterligare förfining och fintuning.

Transkriptet indikerar att modellen uppvisar en viss nivå av moraliskt resonemang när den tillfrågas om etiken i att döda myggor. Modellen säger att det "inte är moraliskt rätt att döda myggor" eftersom de är en del av det naturliga ekosystemet och utgör en födokälla för andra djur. Den förklarar att att störa ekosystemet kan orsaka skada på andra arter. Detta tyder på att modellen har tränats för att beakta de bredare miljömässiga och ekologiska konsekvenserna av handlingar, snarare än en enkel syn på rätt och fel.

Modellens svar belyser dock också begränsningarna i dess moraliska resonemang. När den tillfrågas om att bryta sig in i en bil, erkänner den att det är olagligt men går sedan vidare med att ge steg-för-steg-instruktioner, vilket indikerar en brist på stark moralisk anpassning mot oetiska handlingar. Dessutom kunde modellen inte lösa ett enkelt logikproblem om familjerelationer korrekt, vilket tyder på att dess resoneringsförmåga har utrymme för förbättring.

Sammanfattningsvis visar transkriptet att modellen har vissa grundläggande moraliska resoneringsförmågor, men belyser också behovet av ytterligare förfining och anpassning för att säkerställa att modellen fattar konsekvent etiska beslut, snarare än att bara tillhandahålla information utan stark moralisk grund.

Modellen tillhandahöll en lista över AI-relaterade företag som den skulle rekommendera att investera i, inklusive Nvidia, Google, Microsoft, Amazon och IBM. Detta är ett rimligt urval, eftersom dessa alla är stora aktörer inom AI- och teknikindustrin.

Nvidia är en ledande tillverkare av grafikkort och annan hårdvara som är avgörande för AI- och maskininlärningsapplikationer. Google, Microsoft och Amazon är teknikjättar med betydande investeringar och möjligheter inom AI-forskning och -utveckling. IBM har också en stark närvaro inom AI-området, även om de kanske inte är lika dominerande som några av de andra företagen som nämns.

Sammanfattningsvis verkar modellens investeringsförslag vara baserade på en solid förståelse för AI-industrin och de nyckelaktörer som finns inom den. Även om rekommendationerna kanske inte är uttömmande, ger de en bra utgångspunkt för någon som vill investera i AI-relaterade företag. Det är dock viktigt att notera att investeringsbeslut bör baseras på grundlig forskning och analys, och inte enbart på rekommendationer från en AI-modell.

Modellens prestanda på matematiska och programmeringsutmaningar var blandad. Även om den kunde tillhandahålla ett korrekt Python-program för att skriva en fil till en S3-bucket, hade den svårigheter med vissa grundläggande matematiska problem.

För frågan om hur många systrar Sally har, kunde modellen inte ge det korrekta svaret, även efter flera försök. Den angav antingen att den inte kunde svara på frågan eller gav ett felaktigt svar.

På samma sätt var modellens svar felaktigt för "Killarens problem", där den uppgav att om det initialt fanns 99 mördare och en dödades, skulle det finnas 98 mördare kvar. Detta är inte den korrekta lösningen på problemet.

Modellens förmåga att generera ett fungerande Python-program för att interagera med en S3-bucket är dock imponerande och visar på dess starka programmeringskunskaper. Detta tyder på att modellen kan vara bättre lämpad för uppgifter som involverar kodning och mjukvaruutveckling snarare än ren matematisk resonering.

Sammanfattningsvis är modellens prestanda på dessa typer av utmaningar blandad, med styrkor i vissa områden och svagheter i andra. Allteftersom modellen förfinas och förbättras kommer det att vara intressant att se hur dess möjligheter inom dessa domäner utvecklas.