Meta har släppt sin Llama3-modell, en AI-chattbottsassistent liknande GPT-4. De första resultaten har varit mycket imponerande, där Llama3 presterar väl på olika mätningar. 70-miljarders-versionen av Llama3 kan köras på en kraftfull stationär dator och har uppnått 82% på HumanEval-kodningsuppgiftsmätningen, vilket är nära prestandan hos moderna proprietära system.

Llama3 har också presterat väl på GPQA-vetenskapstestet, där den uppnår nära 40%, vilket är mycket imponerande. Dess prestation på uppgifter med fokus på matematik är dock inte lika stark, med en poäng på 50%, jämfört med OpenAI:s GPT-4 som kan uppnå över 70% på liknande matematikproblem.

Dessutom arbetar Meta på en ännu större 400-miljarders-modell, som förväntas ha betydande förbättringar jämfört med 70-miljarders-versionen på olika tester. Denna större modell är fortfarande under utveckling men förväntas släppas någon gång innan årets slut.

När det gäller att utvärdera prestandan hos AI-modeller är valet av mätningar avgörande. Den ideala mätningen bör hitta en balans mellan att vara tillräckligt utmanande för att kunna differentiera modellerna, men inte så svår att modellerna kämpar för att prestera bra.

Tester med en framgångsfrekvens under 10% anses generellt inte vara bra för testning, eftersom det blir svårare att dra statistiskt signifikanta slutsatser. Å andra sidan kan tester med 80-85% framgångsfrekvens eller högre börja förlora mening, eftersom de potentiellt kan innehålla fel eller ha svar som har läckt ut, vilket gör att modellerna enkelt kan replikera de korrekta svaren.

GPQA-testet, som täcker ett brett spektrum av vetenskapliga discipliner som organisk kemi, molekylärbiologi och fysik, anges som ett bra exempel på en utmanande men meningsfull mätning. Att uppnå nära 40% på detta test anses vara mycket imponerande.

Llama3, Meta:s öppna AI-chattbot, har visat imponerande prestanda på olika mätningar, där den utmanar proprietära system som GPT-4. Med en 70-miljarders-version tillgänglig för användning på kraftfulla stationära datorer har Llama3 uppnått 82% på HumanEval-kodningsuppgiften och en imponerande 40% på det utmanande GPQA-vetenskapstestet. Även om dess matematikprestation på 50% ligger efter GPT-4:s 70%, förväntas den kommande 400-miljarders-modellen ytterligare förbättra dessa resultat.

Lika imponerande är Google DeepMinds Gemini 1.5 Pro, som har visat stark prestation på Arena-rankningen, och till och med överträffat tidigare versioner av GPT-4 på vissa aspekter. Gemini 1.5 Pro:s förmåga att lära sig från hela filmer och kodbaser särskiljer den, och den har uppnått andraplats totalt, samt förstaplats för längre prompter.

Tillgången till dessa kraftfulla AI-assistenter, både öppna och proprietära, markerar en betydande utveckling inom området. Användare kan nu komma åt Llama3 och Gemini 1.5 Pro gratis, utanför EU, via olika plattformar, vilket ger dem möjlighet att uppleva dessa banbrytande modellers kapacitet.

Du kan prova AI-modellerna Llama3 och Gemini 1.5 Pro gratis på följande sätt:

1. Llama3:

   • Enligt författarens bästa kännedom kan du prova Llama3 på Meta:s webbplats, om du befinner dig utanför Europa.
   • Du kan också ladda ner och köra Llama3-modellen var som helst.
   • Det finns webbplatser som har Llama3, och du kan prova den via dessa plattformar. Länkarna finns i videobeskrivningen.

2. Gemini 1.5 Pro:

   • Gemini 1.5 Pro, utvecklad av Google DeepMind, är också tillgänglig för gratis användning, utanför EU.
   • Länken för att komma åt Gemini 1.5 Pro finns i videobeskrivningen.

Författaren betonar att både Llama3 och Gemini 1.5 Pro är imponerande AI-modeller som är nästan lika bra som betalda proprietära system, men du kan använda dem gratis.

AI-assistenter förbättras i en häpnadsväckande takt, och öppna modeller som Llama3 och Gemini 1.5 Pro är nu nästan lika kapabla som de betalda proprietära systemen, som GPT-4. Dessa öppna modeller är tillgängliga gratis för alla att använda, vilket är en fantastisk utveckling.

Llama3, 70-miljarders-modellen från Meta, presterar anmärkningsvärt väl på olika mätningar, inklusive det utmanande GPQA-testet inom vetenskapliga områden. Även om den kanske inte är lika stark i matematik som GPT-4, levererar den fortfarande imponerande resultat. Dessutom förväntas den kommande 400-miljarders-versionen av Llama3 ytterligare förbättra dessa förmågor.

På liknande sätt är Google DeepMinds Gemini 1.5 Pro också en mycket kapabel AI-assistent, som utmanar prestandan hos tidigare versioner av GPT-4. Den utmärker sig särskilt i uppgifter med längre prompter och komplexa sammanhang, som att titta på hela filmer eller lära sig kodbaser.

Tillgången till dessa öppna AI-modeller, som kan provas gratis, är en betydande milstolpe. Det demokratiserar tillgången till avancerad AI-teknik och gör det möjligt för alla att utforska och dra nytta av dessa kraftfulla verktyg. Detta är en underbar tid att leva i, då vi bevittnar AI:s snabba framsteg och den ökande tillgängligheten till dessa anmärkningsvärda möjligheter.