La prima storia di oggi riguarda una nuova azienda di chip AI chiamata Etched, che afferma di essere in grado di generare oltre 500.000 token al secondo eseguendo LLaMA 70B. Questo chip, chiamato Sohu, è il primo ASIC (Application-Specific Integrated Circuit) specializzato per i modelli Transformer.

Si dice che Sohu sia più di 10 volte più veloce e più economico persino dei futuri GPU Blackwell di Nvidia. Un singolo server Sohu può eseguire oltre 500.000 token LLaMA 70B al secondo, ovvero 20 volte più di un Nvidia H100 e 10 volte più di un Blaize B2.

Il vantaggio chiave di Sohu è la sua specializzazione per i modelli Transformer, che sono alla base della maggior parte dei principali prodotti AI di oggi. L'azienda afferma che man mano che i modelli Transformer diventano più dominanti, i chip personalizzati come Sohu saranno essenziali, poiché i GPU non migliorano abbastanza rapidamente in termini di densità di calcolo per stare al passo.

Etched ritiene che l'architettura che esegue i Transformer più velocemente e a costi più contenuti sull'hardware vincerà la "lotteria hardware". Sostengono che i laboratori di IA stanno spendendo centinaia di milioni per ottimizzare i kernel per i Transformer, e le startup stanno utilizzando librerie software Transformer specializzate, rendendo difficile per i "Transformer Killer" recuperare sui GPU.

OpenAI ha annunciato un ritardo nell'implementazione della modalità vocale avanzata per ChatGPT, precedentemente dimostrata durante l'aggiornamento primaverile. L'azienda cita la necessità di migliorare la capacità del modello di rilevare e rifiutare determinati contenuti, nonché di migliorare l'esperienza utente e preparare l'infrastruttura per scalare a milioni di utenti mantenendo risposte in tempo reale.

L'azienda prevede di iniziare a distribuire la versione alpha della modalità vocale avanzata a un piccolo gruppo di utenti ChatGPT Plus alla fine di giugno, con l'obiettivo di renderla disponibile a tutti gli utenti Plus in autunno. Tuttavia, la tempistica esatta dipenderà dal raggiungimento dei loro elevati standard di sicurezza e affidabilità.

OpenAI sta inoltre lavorando per implementare nuove funzionalità di video e condivisione dello schermo, che saranno annunciate separatamente. La modalità vocale avanzata dovrebbe avvicinare ChatGPT a conversazioni naturali in tempo reale con l'IA, con la capacità di comprendere e rispondere con emozioni e segnali non verbali.

Il ritardo nel lancio di queste funzionalità è deludente, poiché riecheggia l'attesa prolungata per il rilascio di Whisper, il modello vocale di OpenAI. Tuttavia, l'azienda sottolinea l'importanza di garantire un elevato livello di sicurezza e affidabilità prima di rendere queste capacità ampiamente disponibili.

Il modello Claude 3.5 di Anthropic ha compiuto un notevole passo avanti, assicurandosi il primo posto nell'Arena di hard prompt di codifica Arita e il secondo posto nella classifica generale. Il nuovo modello Sonet ha superato Opus a una frazione del costo, rendendolo competitivo con modelli Frontier come GPT-4 e Gemini 1.5 Pro su tutta la linea.

In un video precedente, il creatore ha testato il modello Claude 3.5 Sonet e l'ha trovato il miglior modello che abbia mai testato. Il modello ha completamente demolito i test del creatore, portando a una richiesta di nuovi test più impegnativi.

I confronti tra Claude 3.5 e GPT-4 su attività di codifica mostrano che Claude 3.5 supera GPT-4 in termini di successo delle attività e successo completo dei progetti, anche se GPT-4 ha un tasso di successo di compilazione leggermente più alto. Inoltre, Claude 3.5 è più verboso, il che può essere vantaggioso per pezzi di codice più lunghi, ma può rallentare la generazione. Il modello tende anche a essere meno affidabile nel seguire le istruzioni in prompt lunghi rispetto a GPT-4.

Complessivamente, il dominio del modello Claude 3.5 di Anthropic nell'arena di codifica e hard prompt è un risultato significativo, che dimostra i continui progressi nei modelli di linguaggio su larga scala e nelle loro applicazioni.

Il video mostrato dall'utente Twitter chubby è davvero notevole, in quanto dimostra le incredibili capacità dell'IA nel generare filmati di videogiochi realistici. I visuals, che sembrano ispirati a un gioco di stile Call of Duty, sono sorprendentemente realistici, con l'audio e i visuals generati dall'IA che si fondono perfettamente per creare un'esperienza immersiva.

Sebbene la qualità del filmato sia impressionante, la quantità di potenza di calcolo necessaria per raggiungere questo livello di realismo in tempo reale rimane una sfida significativa. Come menzionato da Jensen, CEO di Nvidia, questo è il futuro dei videogiochi e porterà l'industria a nuove vette.

Il video evidenzia i rapidi progressi nella generazione di contenuti alimentata dall'IA, dove il confine tra realtà e creazione artificiale diventa sempre più sfumato. Man mano che la tecnologia continuerà a evolversi, possiamo aspettarci di vedere esperienze di videogiochi generate dall'IA ancora più impressionanti e realistiche in un prossimo futuro.

Apple ha deciso di non integrare i modelli IA di Meta, come il modello Llama 3, in Siri a causa di preoccupazioni sulla privacy. Questa decisione arriva solo pochi giorni dopo che sono emersi rapporti secondo cui Apple era in trattative con Meta per integrare i modelli IA di quest'ultima.

Il motivo principale della decisione di Apple sono le preoccupazioni sulle pratiche di privacy di Meta. Apple è stata critica nei confronti dell'approccio di Meta alla privacy degli utenti, e il colosso tecnologico probabilmente non vuole essere associato a un'azienda che ha affrontato numerosi scandali legati alla privacy.

Ancorché Apple avrebbe potuto ospitare i modelli IA da sé e mantenere il controllo sugli aspetti della privacy, l'azienda ha comunque optato contro l'integrazione. Ciò suggerisce che le preoccupazioni di Apple vanno oltre la semplice implementazione tecnica e si estendono ai più ampi rischi reputazionali di una partnership con Meta.

La decisione evidenzia l'impegno di Apple per la privacy degli utenti e la sua volontà di rinunciare a potenziali capacità IA se queste comportano il sacrificio dei suoi valori fondamentali. Sottolinea inoltre l'importanza crescente della privacy nell'industria tecnologica, mentre le aziende cercano di trovare un equilibrio tra innovazione e protezione dei dati degli utenti.