Grok 1.5, la versione più recente del modello AI sviluppato dal team di Elon Musk, ha introdotto nuove e impressionanti capacità visive. Oltre alle sue solide abilità di elaborazione del testo, Grok può ora elaborare una vasta gamma di informazioni visive, tra cui documenti, diagrammi, grafici, screenshot e fotografie.

Il ritmo vertiginoso con cui Grok sta rilasciando nuove funzionalità è davvero notevole, soprattutto considerando che il progetto è relativamente giovane rispetto ad altri modelli AI prominenti come quelli di OpenAI. Grok 1.5V, che sarà presto disponibile per i primi tester e gli utenti Grok esistenti, si dice sia competitivo con i principali modelli multimodali in diversi ambiti, tra cui il ragionamento multidisciplinare, la comprensione di documenti, diagrammi scientifici, grafici, screenshot e fotografie.

Uno degli aspetti più entusiasmanti di Grok 1.5V è la sua prestazione su un nuovo benchmark "Real World QA", che misura la comprensione spaziale e le capacità di ragionamento di un modello in scenari del mondo reale. Si dice che Grok superi i suoi pari in questo benchmark, il che potrebbe essere un precursore di un concorrente SOTA (state-of-the-art) dalla squadra Grok per vari dataset.

Gli esempi forniti nella trascrizione dimostrano la versatilità di Grok in compiti come la traduzione di diagrammi manoscritti in codice Python, il calcolo delle calorie in base alle informazioni nutrizionali, la generazione di una storia della buonanotte da un semplice disegno, la spiegazione dell'umorismo di un meme, la conversione di un'immagine di una tabella in un file CSV e persino la risoluzione di un problema di codifica da uno screenshot. Questi casi d'uso mostrano l'impressionante capacità di Grok di comprendere e interagire con il mondo fisico, il che potrebbe avere implicazioni significative per lo sviluppo di assistenti AI pratici.

L'introduzione del benchmark Real World QA suggerisce che il team di Grok sta ponendo una forte enfasi sull'avanzamento della comprensione del modello del mondo reale, cosa fondamentale per la creazione di applicazioni AI utili. L'eventuale utilizzo del vasto archivio di dati del mondo reale di Tesla, incluse informazioni spaziali e testuali, potrebbe essere un fattore differenziante chiave che consente a Grok di superare i suoi concorrenti in questo ambito.

Complessivamente, la presentazione delle capacità visive di Grok 1.5V è una testimonianza dei rapidi progressi compiuti nel campo dell'AI multimodale. Man mano che Grok continua a evolversi e potenzialmente diventa open-source e open-weight, sarà entusiasmante vedere come si confronta con altri modelli leader e come può essere sfruttato per creare innovative applicazioni del mondo reale.