L'era dei modelli piccoli e altamente performanti è qui. Questa settimana, OpenAI ha rilasciato GPT-4 Mini, una versione più piccola, più veloce e molto meno costosa di GPT-4. Prezzato a 15 centesimi per milione di token di input e 60 centesimi per milione di token di output, GPT-4 Mini costa il 60% in meno rispetto a GPT-3.5 Turbo.

GPT-4 Mini ottiene un impressionante 82% sul benchmark MLU e attualmente supera GPT-4 sulle preferenze di chat sulla classifica LM Cy. Supporta testo e visione nell'API, con supporto per testo, immagine, video e audio in entrata e in uscita in arrivo in futuro. Il modello ha una finestra di contesto di 128.000 token e conoscenze fino a ottobre 2023.

Nei test di performance, GPT-4 Mini ha dimostrato la sua velocità e le sue capacità. È stato in grado di generare rapidamente uno script Python per produrre i numeri da 1 a 100, creare un gioco di Snake funzionante e risolvere vari problemi di logica e ragionamento. Rispetto a GPT-4, GPT-4 Mini è stato fino a tre volte più veloce in alcuni compiti.

Tuttavia, quando si è trattato di compiti legati alla visione, come l'analisi di immagini e la conversione di un documento Excel in CSV, GPT-4 Mini ha impiegato più tempo e ha utilizzato significativamente più token rispetto a GPT-4. Ciò suggerisce che per i compiti che coinvolgono la visione, GPT-4 potrebbe essere la scelta migliore se la latenza è una preoccupazione.

Complessivamente, GPT-4 Mini è un risultato straordinario di OpenAI, offrendo prestazioni impressionanti a una frazione del costo del suo omologo più grande. La velocità e l'efficienza in termini di costi di questo modello lo rendono un'opzione convincente per gli sviluppatori e le aziende che cercano di sfruttare il potere dei grandi modelli di linguaggio senza spendere una fortuna.

Ho iniziato testando la capacità di GPT-4 Mini di generare semplici script Python. È stato in grado di produrre rapidamente e accuratamente uno script per stampare i numeri da 1 a 100. Successivamente, gli ho chiesto di scrivere il gioco del Serpente in Python, e ha consegnato uno script funzionante in soli 5,8 secondi, che era 3 volte più veloce di GPT-4.

Ho quindi testato la sua capacità di gestire prompt più delicati, come come entrare in una macchina. Mentre GPT-4 Mini ha fornito alcune informazioni, so che questo tipo di contenuto sarà probabilmente corretto presto, quindi l'ho contrassegnato come un fallimento.

Passando a compiti più logici e basati sul ragionamento, GPT-4 Mini si è comportato molto bene. Ha spiegato correttamente il tempo di asciugatura delle magliette, ha risolto un semplice problema di matematica e persino contato accuratamente il numero di parole nella mia risposta precedente.

Quando gli è stato presentato un classico puzzle logico sui killer in una stanza, GPT-4 Mini ha fornito una spiegazione approfondita e passo dopo passo che corrispondeva alla risposta di GPT-4.

Ho anche testato le sue capacità visive chiedendogli di spiegare un meme e di convertire uno screenshot di Excel in formato CSV. Sebbene GPT-4 fosse più veloce nei compiti visivi, GPT-4 Mini è comunque riuscito a completarli con successo.

Complessivamente, sono molto impressionato dalle capacità di GPT-4 Mini. Ha svolto in modo notevole una varietà di compiti, spesso eguagliando o addirittura superando le prestazioni del più grande modello GPT-4. Il fatto che possa offrire questo livello di qualità a una frazione del costo è un risultato significativo di OpenAI.

GPT-4 Mini ha dimostrato impressionanti capacità di ragionamento e logica durante il processo di test. Ecco i principali punti salienti:

• Ha risolto correttamente lo script Python per produrre i numeri da 1 a 100, nonché l'implementazione del gioco del Serpente, mostrando le sue abilità di programmazione.
• Ha fornito una solida spiegazione per il problema del tempo di asciugatura delle magliette, riconoscendo che il tempo di asciugatura è indipendente dal numero di magliette.
• Ha calcolato accuratamente il costo totale dell'hotel, inclusa la tariffa della camera, le tasse e la commissione aggiuntiva.
• Ha correttamente identificato il numero di parole nella risposta data, superando il più grande modello GPT-4.
• Ha ragionato logicamente attraverso lo scenario del "problema del killer", identificando il numero corretto di killer rimasti.
• Ha dimostrato una solida comprensione del problema della biglia, deducendo correttamente la posizione finale della biglia.

Sebbene GPT-4 Mini abbia avuto difficoltà con alcuni compiti, come le "10 frasi che finiscono con Apple" e l'analisi di immagini basata sulla visione, ha comunque mostrato una buona padronanza del ragionamento e del pensiero logico. La velocità e l'efficienza in termini di costi del modello lo rendono un'opzione convincente per molte applicazioni che danno priorità a queste capacità cognitive.

GPT-4 Mini ha dimostrato prestazioni impressionanti nei compiti di visione ed elaborazione di immagini presentati. Ecco i principali risultati:

• Spiegazione dell'immagine: Quando gli è stato mostrato un meme che confronta la dinamica delle startup e delle grandi aziende, GPT-4 Mini ha spiegato accuratamente la battuta e le differenze raffigurate nelle due immagini.

• Conversione da immagine a CSV: Quando gli è stato fornito uno screenshot di un foglio di calcolo Excel, GPT-4 Mini è stato in grado di convertire correttamente i dati in formato CSV, dimostrando la sua capacità di elaborare e trasformare informazioni visive.

• Analisi dello spazio di archiviazione: Quando gli è stato presentato uno screenshot della ripartizione dello spazio di archiviazione di un iPhone, GPT-4 Mini ha correttamente identificato lo spazio di archiviazione rimanente e l'app che occupava più spazio, dimostrando la sua capacità di estrarre e interpretare informazioni rilevanti da dati visivi.

Tuttavia, l'analisi ha anche rivelato che, mentre GPT-4 Mini eccelleva nei compiti basati sul testo, era più lento e richiedeva significativamente più token nell'elaborazione degli input visivi rispetto al più grande modello GPT-4. Ciò suggerisce che per le applicazioni fortemente dipendenti dalla visione e dall'elaborazione di immagini, il modello standard GPT-4 potrebbe essere la scelta più adatta, privilegiando le prestazioni rispetto all'efficienza in termini di costi di GPT-4 Mini.

Complessivamente, i risultati evidenziano la versatilità di GPT-4 Mini nel gestire una gamma di compiti, inclusi la visione e l'elaborazione di immagini, mantenendo al contempo un vantaggio sostanziale in termini di prestazioni e convenienza rispetto al suo omologo più grande. Ciò rende GPT-4 Mini un'opzione convincente per le applicazioni in cui il compromesso tra costo e prestazioni è un fattore chiave.

I test su GPT-40 mini hanno rivelato alcune impressionanti capacità di questo modello più piccolo e più conveniente. Rispetto al più grande GPT-4, GPT-40 mini ha dimostrato una velocità e prestazioni notevoli in una varietà di compiti, tra cui la scrittura di script Python, la risoluzione di problemi logici e persino la generazione di contenuti creativi.

Un vantaggio chiave di GPT-40 mini è il suo costo notevolmente inferiore, con un prezzo del 60% più basso rispetto a GPT-3.5 Turbo. Ciò lo rende un'opzione attraente per gli sviluppatori e le aziende che cercano di sfruttare i potenti modelli di linguaggio senza l'alto costo.

Tuttavia, i test hanno anche evidenziato alcune limitazioni di GPT-40 mini, in particolare quando si tratta di compiti che coinvolgono l'elaborazione visiva. Il modello ha faticato a eguagliare le prestazioni di GPT-4 in attività come l'analisi e la conversione di immagini, impiegando spesso più tempo ed utilizzando significativamente più token.

Complessivamente, l'emergere di GPT-40 mini rappresenta un importante passo nell'evoluzione dei modelli di linguaggio, dimostrando il potenziale dei modelli più piccoli e più efficienti di offrire capacità impressionanti a una frazione del costo. Mentre l'era del modello piccolo continua a svilupparsi, sarà interessante vedere come GPT-40 mini e modelli simili verranno adottati e utilizzati in varie applicazioni.