Eran av små, högpresterande modeller är här. Denna vecka släppte OpenAI GPT-4 Mini, en mindre, snabbare och mycket billigare version av GPT-4. Prissatt till 15 cent per miljon inmatningstoken och 60 cent per miljon utmatningstoken är GPT-4 Mini 60% billigare än GPT-3.5 Turbo.

GPT-4 Mini får ett imponerande resultat på 82% på MLU-måttet och överträffar för närvarande GPT-4 när det gäller chattpreferenser på LM Cy-topplistan. Den stöder text och vision i API:t, med stöd för text-, bild-, video- och ljudinmatning och -utmatning som kommer i framtiden. Modellen har ett kontextfönster på 128 000 token och kunskap upp till oktober 2023.

I prestandatesterna visade GPT-4 Mini sin hastighet och kapacitet. Den kunde snabbt generera ett Python-skript för att skriva ut siffrorna 1 till 100, skapa ett fungerande Snake-spel och lösa olika logik- och resonemangsproblem. Jämfört med GPT-4 var GPT-4 Mini upp till tre gånger snabbare på vissa uppgifter.

När det gällde uppgifter relaterade till vision, som att analysera bilder och konvertera ett Excel-dokument till CSV, tog GPT-4 Mini längre tid och använde betydligt fler token än GPT-4. Detta tyder på att för uppgifter som involverar vision kan GPT-4 vara ett bättre val om latens är en fråga.

Sammanfattningsvis är GPT-4 Mini en anmärkningsvärd prestation av OpenAI, som erbjuder imponerande prestanda till en bråkdel av kostnaden för sin större motsvarighet. Denna modells hastighet och kostnadseffektivitet gör den till ett attraktivt alternativ för utvecklare och företag som vill dra nytta av kraften i stora språkmodeller utan att gå över budget.

Jag började med att testa GPT-4 Minis förmåga att generera enkla Python-skript. Den kunde snabbt och korrekt skriva ut ett skript för att skriva ut siffrorna 1 till 100. Därefter bad jag den att skriva Snake-spelet i Python, och den levererade ett fungerande skript på bara 5,8 sekunder, vilket var 3 gånger snabbare än GPT-4.

Jag testade sedan dess förmåga att hantera känsligare uppmaningar, som hur man bryter sig in i en bil. Även om GPT-4 Mini gav viss information vet jag att den här typen av innehåll sannolikt kommer att åtgärdas snart, så jag markerade det som ett misslyckande.

När det gäller mer logiska och resonemangbaserade uppgifter presterade GPT-4 Mini mycket bra. Den förklarade korrekt torktiden för skjortor, löste ett grundläggande matematikproblem och räknade till och med korrekt antalet ord i mitt föregående svar.

När jag presenterade en klassisk logikpussel om mördare i ett rum gav GPT-4 Mini en grundlig, stegvis förklaring som matchade svaret från GPT-4.

Jag testade också dess visuella förmågor genom att be den förklara en meme och konvertera en Excel-skärmbild till CSV-format. Även om GPT-4 var snabbare på de visuella uppgifterna kunde GPT-4 Mini fortfarande slutföra dem framgångsrikt.

Sammanfattningsvis är jag mycket imponerad av GPT-4 Minis kapacitet. Den presterade anmärkningsvärt väl över ett brett spektrum av uppgifter, ofta matchande eller till och med överträffande prestandan hos den större GPT-4-modellen. Att den kan leverera denna kvalitetsnivå till en bråkdel av kostnaden är en betydande prestation av OpenAI.

GPT-4 Mini visade imponerande resonemang- och logikfärdigheter under testprocessen. Här är de viktigaste höjdpunkterna:

• Löste korrekt Python-skriptet för att skriva ut siffrorna 1 till 100 samt implementeringen av Snake-spelet, vilket visar dess programmeringsförmågor.
• Gav en välgrundad förklaring på problemet med torktiden för skjortor, och insåg att torktiden är oberoende av antalet skjortor.
• Beräknade korrekt den totala hotellkostnaden, inklusive rumspriset, skatten och den extra avgiften.
• Identifierade korrekt antalet ord i det givna svaret, vilket överträffade den större GPT-4-modellen.
• Resonerade logiskt genom scenariot med "mördarproblem", och identifierade det korrekta antalet kvarvarande mördare.
• Visade en stark förståelse för marmorproblemet, och drog korrekt slutsatsen om marmorns slutliga position.

Medan GPT-4 Mini brottades med vissa uppgifter, som "10 meningar som slutar med Apple" och de visuellt baserade bildanalyserna, visade den ändå en solid förståelse för resonemang och logiskt tänkande. Modellens hastighet och kostnadseffektivitet gör den till ett attraktivt alternativ för många tillämpningar som prioriterar dessa kognitiva förmågor.

GPT-4 Mini visade imponerande prestanda i de uppgifter som rörde vision och bildbearbetning som presenterades. Här är de viktigaste resultaten:

• Bildförklaring: När den visades en meme som kontrasterade dynamiken mellan startups och stora företag, förklarade GPT-4 Mini skämtet och skillnaderna som visades i de två bilderna korrekt.

• Bild till CSV-konvertering: När den gavs en skärmbild av ett Excel-kalkylblad, kunde GPT-4 Mini korrekt konvertera data till ett CSV-format, vilket visar dess förmåga att bearbeta och transformera visuell information.

• Lagringsanalys: När den presenterades med en skärmbild av en iPhones lagringskonfiguration, identifierade GPT-4 Mini korrekt den återstående lagringsutrymmet och appen som förbrukade mest lagring, vilket demonstrerade dess kapacitet att extrahera och tolka relevant information från visuella data.

Analysen visade dock att även om GPT-4 Mini var utmärkt på textbaserade uppgifter, var den långsammare och krävde betydligt fler token när den bearbetade visuella indata jämfört med den större GPT-4-modellen. Detta tyder på att för tillämpningar som är starkt beroende av vision och bildbearbetning kan den vanliga GPT-4-modellen vara ett lämpligare val, där prestanda prioriteras över kostnadseffektiviteten hos GPT-4 Mini.

Sammanfattningsvis belyser resultaten GPT-4 Minis mångsidighet i att hantera en rad uppgifter, inklusive vision och bildbearbetning, samtidigt som den upprätthåller en betydande prestandafördel och kostnadseffektivitet jämfört med sin större motsvarighet. Detta gör GPT-4 Mini till ett attraktivt alternativ för tillämpningar där avvägningen mellan kostnad och prestanda är en nyckelövervägan.

Testningen av GPT-40 mini har avslöjat några imponerande förmågor hos denna mindre och mer kostnadseffektiva modell. Jämfört med den större GPT-4 visade GPT-40 mini anmärkningsvärd hastighet och prestanda över ett brett spektrum av uppgifter, inklusive att skriva Python-skript, lösa logikproblem och till och med generera kreativt innehåll.

En nyckelfördel med GPT-40 mini är dess betydligt lägre kostnad, med prissättning som är 60% billigare än GPT-3.5 Turbo. Detta gör den till ett attraktivt alternativ för utvecklare och företag som vill dra nytta av kraftfulla språkmodeller utan det höga priset.

Testningen lyfte dock också fram vissa begränsningar hos GPT-40 mini, särskilt när det gäller uppgifter som involverar visuell bearbetning. Modellen hade svårt att matcha prestandan hos GPT-4 i uppgifter som bildanalys och konvertering, och tog ofta längre tid att bearbeta och använde betydligt fler token.

Sammanfattningsvis representerar framväxten av GPT-40 mini ett viktigt steg i utvecklingen av språkmodeller, vilket visar på potentialen för mindre, mer effektiva modeller att leverera imponerande kapacitet till en bråkdel av kostnaden. När eran av den lilla modellen fortsätter att utvecklas kommer det att vara intressant att se hur GPT-40 mini och liknande modeller antas och används i olika tillämpningar.