Het tijdperk van kleine, zeer krachtige modellen is hier. Deze week heeft OpenAI GPT-4 Mini uitgebracht, een kleinere, snellere en veel goedkopere versie van GPT-4. GPT-4 Mini kost 15 cent per miljoen invoertokens en 60 cent per miljoen uitvoertokens, wat 60% goedkoper is dan GPT-3.5 Turbo.

GPT-4 Mini scoort indrukwekkende 82% op de MLU-benchmark en presteert momenteel beter dan GPT-4 op chat-voorkeuren op de LM Cy-leaderboard. Het ondersteunt tekst en visie in de API, met ondersteuning voor tekst-, beeld-, video- en audio-invoer en -uitvoer in de toekomst. Het model heeft een contextvenster van 128.000 tokens en kennis tot oktober 2023.

In de prestatietests toonde GPT-4 Mini zijn snelheid en mogelijkheden. Het was in staat om snel een Python-script te genereren om de getallen 1 tot 100 uit te voeren, een werkend Snake-spel te maken en verschillende logica- en redeneerproblemen op te lossen. Vergeleken met GPT-4 was GPT-4 Mini tot drie keer sneller in sommige taken.

Wanneer het echter ging om taken met betrekking tot visie, zoals het analyseren van afbeeldingen en het converteren van een Excel-document naar CSV, duurde het langer voor GPT-4 Mini en gebruikte het aanzienlijk meer tokens dan GPT-4. Dit suggereert dat voor taken die visie betreffen, GPT-4 de betere keuze kan zijn als latentie een probleem is.

Over het algemeen is GPT-4 Mini een opmerkelijke prestatie van OpenAI, met indrukwekkende prestaties tegen een fractie van de kosten van zijn grotere tegenhanger. De snelheid en kostenefficiëntie van dit model maken het een aantrekkelijke optie voor ontwikkelaars en bedrijven die de kracht van grote taalmodellen willen benutten zonder de bank te breken.

Ik begon met het testen van de mogelijkheden van GPT-4 Mini om eenvoudige Python-scripts te genereren. Het was in staat om snel en nauwkeurig een script te produceren om de getallen 1 tot 100 af te drukken. Vervolgens vroeg ik het om het spel Snake in Python te schrijven, en het leverde in slechts 5,8 seconden een werkend script op, wat 3 keer sneller was dan GPT-4.

Vervolgens testte ik zijn vermogen om met gevoeliger prompts om te gaan, zoals hoe je in een auto kunt inbreken. Hoewel GPT-4 Mini enige informatie verstrekte, weet ik dat dit soort inhoud waarschijnlijk binnenkort zal worden aangepakt, dus ik heb het als een mislukking aangemerkt.

Bij meer logische en op redeneren gebaseerde taken presteerde GPT-4 Mini zeer goed. Het legde correct de droogtijd voor shirts uit, loste een eenvoudig wiskundeprobleem op en telde zelfs nauwkeurig het aantal woorden in mijn vorige reactie.

Wanneer ik een klassieke logische puzzel over moordenaars in een kamer voorlegde, gaf GPT-4 Mini een grondige, stapsgewijze uitleg die overeenkwam met het antwoord van GPT-4.

Ik testte ook zijn visuele mogelijkheden door hem te vragen een meme uit te leggen en een Excel-screenshot naar CSV-formaat te converteren. Hoewel GPT-4 sneller was bij de visuele taken, was GPT-4 Mini nog steeds in staat om ze met succes uit te voeren.

Over het algemeen ben ik zeer onder de indruk van de mogelijkheden van GPT-4 Mini. Het presteerde opmerkelijk goed op een verscheidenheid aan taken, waarbij het vaak de prestaties van het grotere GPT-4-model evenaarde of zelfs overtrof. Het feit dat het dit kwaliteitsniveau kan leveren tegen een fractie van de kosten, is een belangrijke prestatie van OpenAI.

GPT-4 Mini toonde indrukwekkende redeneer- en logische vaardigheden tijdens het testproces. Hier zijn de belangrijkste hoogtepunten:

• Correct opgelost het Python-script om de getallen 1 tot 100 af te drukken, evenals de implementatie van het Snake-spel, waarmee zijn programmeervaardigheden werden getoond.
• Een solide uitleg gegeven voor het probleem met de droogtijd van shirts, waarbij werd erkend dat de droogtijd onafhankelijk is van het aantal shirts.
• De totale hotelkosten, inclusief de kamerprijs, belasting en extra kosten, nauwkeurig berekend.
• Het aantal woorden in de gegeven reactie correct geïdentificeerd, waarmee het de grotere GPT-4-model overtrof.
• Logisch geredeneerd door het "moordenaarsprobleem"-scenario, waarbij het juiste aantal overgebleven moordenaars werd geïdentificeerd.
• Een sterk begrip getoond van het marmerprobleem, waarbij de uiteindelijke locatie van het marmeren correct werd afgeleid.

Hoewel GPT-4 Mini moeite had met sommige taken, zoals de "10 zinnen eindigend met Apple" en de op visie gebaseerde beeldanalyse, toonde het over het algemeen een solide greep op redeneren en logisch denken. De snelheid en kostenefficiëntie van het model maken het een aantrekkelijke optie voor veel toepassingen die deze cognitieve capaciteiten prioriteren.

GPT-4 Mini toonde indrukwekkende prestaties in de visuele en beeldverwerkingstaken die werden gepresenteerd. Hier zijn de belangrijkste bevindingen:

• Beeldverklaring: Toen een meme werd getoond die de dynamiek van startups versus grote bedrijven contrasteerde, legde GPT-4 Mini de grap en de verschillen in de twee afbeeldingen nauwkeurig uit.

• Beeld-naar-CSV-conversie: Toen een screenshot van een Excel-spreadsheet werd gegeven, was GPT-4 Mini in staat om de gegevens correct naar een CSV-formaat om te zetten, waarmee zijn vermogen om visuele informatie te verwerken en te transformeren werd gedemonstreerd.

• Opslaganalyse: Toen een screenshot van de opslagverdeling van een iPhone werd gepresenteerd, identificeerde GPT-4 Mini correct de resterende opslagruimte en de app die de meeste opslagruimte in beslag nam, waarmee zijn vermogen om relevante informatie uit visuele gegevens te extraheren en te interpreteren werd aangetoond.

De analyse onthulde echter ook dat hoewel GPT-4 Mini uitblonk in tekstgebaseerde taken, het trager was en aanzienlijk meer tokens nodig had bij het verwerken van visuele invoer in vergelijking met het grotere GPT-4-model. Dit suggereert dat voor toepassingen die sterk afhankelijk zijn van visie en beeldverwerking, het standaard GPT-4-model de meer geschikte keuze kan zijn, waarbij prestaties worden geprioriteerd boven de kostenefficiëntie van GPT-4 Mini.

Over het algemeen benadrukken de resultaten de veelzijdigheid van GPT-4 Mini bij het omgaan met een reeks taken, inclusief visie en beeldverwerking, terwijl het een aanzienlijk prestatie- en kostenvoordeel behoudt ten opzichte van zijn grotere tegenhanger. Dit maakt GPT-4 Mini een aantrekkelijke optie voor toepassingen waarbij de afweging tussen kosten en prestaties een sleuteloverweging is.

Het testen van GPT-40 mini heeft enkele indrukwekkende mogelijkheden van dit kleinere en kostenefficiëntere model aan het licht gebracht. In vergelijking met het grotere GPT-4 toonde GPT-40 mini opmerkelijke snelheid en prestaties op een verscheidenheid aan taken, waaronder het schrijven van Python-scripts, het oplossen van logische problemen en zelfs het genereren van creatieve inhoud.

Een belangrijk voordeel van GPT-40 mini is de aanzienlijk lagere kosten, met prijzen die 60% goedkoper zijn dan GPT-3.5 Turbo. Dit maakt het een aantrekkelijke optie voor ontwikkelaars en bedrijven die krachtige taalmodellen willen benutten zonder de hoge prijskaartjes.

De tests wezen echter ook op enkele beperkingen van GPT-40 mini, vooral wanneer het gaat om taken die visuele verwerking vereisen. Het model had moeite om de prestaties van GPT-4 te evenaren in taken zoals beeldanalyse en -conversie, waarbij het vaak langer duurde om te verwerken en aanzienlijk meer tokens gebruikte.

Over het algemeen markeert de komst van GPT-40 mini een belangrijke stap in de evolutie van taalmodellen, waarbij het potentieel van kleinere, efficiëntere modellen wordt gedemonstreerd om indrukwekkende mogelijkheden te leveren tegen een fractie van de kosten. Naarmate het tijdperk van het kleine model zich verder ontvouwt, zal het interessant zijn om te zien hoe GPT-40 mini en soortgelijke modellen worden geadopteerd en gebruikt in verschillende toepassingen.