La recente pubblicazione di GPT-4 Omni di OpenAI ha introdotto un modello potente in grado di ragionare in tempo reale attraverso audio, visione e testo. Questo nuovo modello offre diverse capacità impressionanti:

• Interazione multimodale: GPT-4 Omni può accettare input sotto forma di testo, audio, immagini e video, e generare output in qualsiasi combinazione di queste modalità. Ciò consente interazioni uomo-computer più naturali.

• Risposta rapida: Il modello può rispondere agli input audio in soli 232 millisecondi in media, corrispondendo alla velocità di una conversazione umana.

• Prestazioni migliorate: GPT-4 Omni supera i modelli precedenti in vari benchmark, inclusa la valutazione del testo, l'ASR audio e la traduzione audio.

• Efficienza dei costi: Il nuovo modello costa il 50% in meno rispetto al precedente GPT-4 Turbo, rendendolo più accessibile per gli utenti API. La versione gratuita di ChatGPT utilizza ora GPT-4 Omni, consentendo a più utenti di beneficiare delle sue capacità.

L'annuncio di GPT-4 Omni porta miglioramenti significativi in termini di prezzi e di efficienza dei costi rispetto ai modelli precedenti. Alcuni punti salienti:

• Il costo dell'input è sceso a $0,005 per 1.000 token, rispetto a $0,01 per GPT-4 Turbo.
• Il costo dell'output è ora di $0,015 per 1.000 token, ridotto da $0,03 per GPT-4 Turbo.
• Anche il prezzo della visione è molto più economico, rendendo l'utilizzo complessivo di GPT-4 Omni più conveniente.
• Rispetto a GPT-3.5 Turbo, GPT-4 Omni offre una riduzione dei prezzi del 50%, rendendolo un'opzione più accessibile per sviluppatori e utenti.
• La versione gratuita di ChatGPT utilizza ora il modello GPT-4 Omni, consentendo a più utenti di beneficiare delle capacità e delle prestazioni migliorate senza costi aggiuntivi.

Open AI ha sottoposto il nuovo modello GPT-4 Omni a vari test di benchmark per valutarne le prestazioni. Il modello è stato confrontato con altri modelli linguistici come GPT-4 Turbo, il GPT-4 originale, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0 e LLaMA 3.

I risultati mostrano che GPT-4 Omni supera quasi tutti gli altri modelli in diverse categorie di test:

• Valutazione del testo: GPT-4 Omni ottiene i punteggi più alti.
• ASR audio (Automatic Speech Recognition): GPT-4 Omni supera la precedente versione 3 di Whisper, con tassi di errore inferiori.
• Traduzione audio: GPT-4 Omni batte tutti gli altri modelli in questo test.
• M3 Exam Zero-Shot: GPT-4 Omni supera il modello GPT-4 originale.
• Valutazioni della comprensione visiva: GPT-4 Omni raggiunge i punteggi più alti in ciascuno di questi test.

L'articolo osserva che uno dei motivi per cui GPT-4 Omni è più economico è la sua capacità di rappresentare le lingue con un numero inferiore di token. Anche se il conteggio dei token per l'inglese è diminuito solo di 1,1 volte, quando scalato su centinaia di migliaia di parole, ciò può comportare notevoli risparmi di costi.

L'articolo spiega che la frase completa che in precedenza richiedeva 27 token ora ne richiede solo 24. Questa migliore tokenizzazione e rappresentazione del linguaggio consente a GPT-4 Omni di essere più efficiente nell'utilizzo dei token, portando a una riduzione dei costi del 50% rispetto ai modelli precedenti.

L'articolo suggerisce che questa capacità di modellazione del linguaggio migliorata è un fattore chiave nel rendere GPT-4 Omni una scelta più conveniente per sviluppatori e utenti, soprattutto per applicazioni che comportano l'elaborazione di grandi volumi di testo in più lingue.

Come per tutti i loro modelli AI, OpenAI è molto concentrata sulla sicurezza e sui limiti di GPT-4 Omni. L'articolo osserva che il modello ha ancora alcune limitazioni, come l'interruzione occasionale del flusso conversazionale e la necessità di essere informato manualmente quando l'utente ha finito di parlare. Questo è un problema che è persistito anche con i tempi di risposta migliorati di GPT-4 Omni.

L'articolo menziona anche che il modello ha funzionalità di sicurezza e limitazioni incorporate per affrontare potenziali usi impropri o output dannosi. Tuttavia, i dettagli specifici di queste misure di sicurezza non sono forniti in questa sezione.

Complessivamente, mentre GPT-4 Omni rappresenta un notevole progresso nei modelli linguistici di OpenAI, l'azienda rimane cauta e vigile sui potenziali rischi e limitazioni della tecnologia. Il monitoraggio e il perfezionamento continui delle funzionalità di sicurezza del modello saranno probabilmente una priorità man mano che verrà distribuito più ampiamente.

GPT-4 Omni, il più recente modello di punta di OpenAI, è ora ampiamente disponibile e accessibile agli utenti. Ecco i dettagli chiave:

• I modelli di testo e immagine di GPT-4 Omni sono ora integrati nel livello gratuito di ChatGPT, consentendo a tutti gli utenti di accedere a queste capacità.
• Il livello gratuito di ChatGPT ha ora limiti di messaggio 5 volte più alti, rendendolo molto più accessibile per gli utenti.
• È previsto il lancio di una nuova versione della modalità vocale con integrazione di GPT-4 Omni nelle prossime settimane, offrendo interazioni audio fluide.
• GPT-4 Omni è disponibile come modello di testo e visione autonomo tramite l'API OpenAI, offrendo agli sviluppatori il doppio della velocità e la metà del prezzo rispetto al precedente modello GPT-4 Turbo.
• OpenAI incoraggia fortemente tutti gli sviluppatori a passare al modello GPT-4 Omni, in quanto è diventata la scelta consigliata con praticamente nessun caso d'uso per il vecchio modello GPT-4 Turbo.
• I prezzi di GPT-4 Omni sono stati notevolmente ridotti, con il costo dell'input che scende a $0,005 per 1.000 token e il costo dell'output a $0,015 per 1.000 token, rendendolo più accessibile per una vasta gamma di applicazioni.

La capacità di creare personaggi coerenti attraverso più scene è una caratteristica chiave del nuovo modello GPT-4 Omni. Grazie all'addestramento su input visivi, il modello può ora generare output visivi che mantengono gli stessi attributi del personaggio, come abbigliamento, accessori e pose, anche quando il personaggio viene inserito in scenari diversi.

Negli esempi forniti, il modello è in grado di raffigurare in modo coerente il personaggio "Sally" come una fattorino postale sorridente, con la sua borsa e la sua uniforme che rimangono le stesse in diverse scene. Questo rappresenta un miglioramento significativo rispetto ai modelli precedenti, che avrebbero dovuto affidarsi a descrizioni testuali per cercare di mantenere la coerenza del personaggio.

La velocità e l'accuratezza degli output visivi di GPT-4 Omni consentono anche interazioni più fluide e naturali, in cui il modello può rispondere rapidamente agli input visivi e generare risposte visive appropriate. Ciò apre nuove possibilità per applicazioni che richiedono una rappresentazione coerente dei personaggi, come la narrazione interattiva, gli assistenti virtuali e persino lo sviluppo di videogiochi.

Sebbene gli esempi all'interno dell'interfaccia di ChatGPT potrebbero non mostrare appieno le capacità del modello, il potenziale per la creazione di personaggi coerenti con GPT-4 Omni è evidente. Gli sviluppatori possono sfruttare questa funzionalità per creare esperienze più coinvolgenti e immersive per gli utenti, e approfondire ulteriormente le possibilità dei sistemi AI multimodali.

Il nuovo modello GPT-4 Omni di OpenAI rappresenta un notevole progresso nell'elaborazione del linguaggio naturale, combinando input di testo, audio e visivi per fornire interazioni in tempo reale e simili all'uomo. Le impressionanti prestazioni del modello in vari benchmark, nonché il suo costo ridotto e la maggiore accessibilità, lo rendono una scelta convincente per sviluppatori e utenti.

Tuttavia, l'esplorazione dell'autore della capacità del modello di mantenere rappresentazioni coerenti dei personaggi attraverso più scene evidenzia le sfide in corso in quest'area. Mentre gli esempi forniti nell'articolo di annuncio suggeriscono che il modello possa preservare i dettagli visivi, gli esperimenti personali dell'autore all'interno dell'interfaccia di ChatGPT indicano che questa capacità potrebbe non essere così robusta come dichiarato.

Il suggerimento dell'autore di testare la coerenza dei personaggi del modello utilizzando l'API, piuttosto che l'interfaccia di ChatGPT, è valido, in quanto quest'ultima potrebbe essere soggetta a ulteriori vincoli di sicurezza e moderazione che potrebbero influenzare le prestazioni del modello. In definitiva, saranno necessari ulteriori test e sperimentazioni per comprendere appieno l'entità delle capacità del modello in questo ambito.

Complessivamente, il rilascio di GPT-4 Omni rappresenta un passo avanti entusiasmante nel campo dell'AI multimodale, e gli approfondimenti dell'autore forniscono una prospettiva preziosa sia sui punti di forza del modello che sulle aree che potrebbero richiedere ulteriori perfezionamenti.