Meta sta mirando a sviluppare il modello di intelligenza artificiale più avanzato del settore entro il 2025. Hanno in programma di addestrare il loro prossimo modello Llama 4 su 10 volte più dati rispetto a Llama 3, che affermano essere già competitivo con i modelli più avanzati.

Zuckerberg ha dichiarato che Meta preferirebbe costruire una capacità di calcolo eccessiva piuttosto che insufficiente, poiché stanno pianificando la capacità di calcolo e i dati necessari per i prossimi anni. La quantità di calcolo richiesta per addestrare Llama 4 sarà probabilmente quasi 10 volte superiore a quella utilizzata per Llama 3 e i modelli futuri continueranno a crescere oltre questo.

Questo obiettivo ambizioso significa che Llama 4 dovrà superare i modelli più recenti di Google, Anthropic, OpenAI e altri. Resta da vedere se Meta riuscirà a raggiungere questo obiettivo, poiché la corsa all'intelligenza artificiale continua a intensificarsi con rapidi progressi in tutto il settore. Tuttavia, la disponibilità di Meta a investire pesantemente in calcolo e dati suggerisce che sono seri nel mantenere la loro posizione di leader nei modelli di linguaggio su larga scala.

Secondo Adam D'Angelo, CEO di Quora e membro del consiglio di amministrazione di OpenAI, l'intelligenza artificiale generale (AGI) potrebbe essere raggiunta entro i prossimi 5-15 anni. D'Angelo ha fatto questa previsione durante un recente evento, affermando che l'avvento dell'AGI sarà un cambiamento molto importante per il mondo.

OpenAI, la società dietro il popolare modello linguistico GPT, ha sviluppato internamente un nuovo sistema di classificazione a cinque livelli per monitorare i suoi progressi verso la costruzione dell'AGI. I primi tre livelli includono:

1. Chatbot con capacità linguistiche conversazionali.
2. Ragionatori e sistemi con capacità di problem-solving a livello umano.
3. Agenti e sistemi in grado di intraprendere azioni.

La previsione di D'Angelo suggerisce che anche prima di raggiungere il traguardo completo dell'AGI, il raggiungimento di capacità di problem-solving e di azione a livello umano saranno eventi "rivoluzionari" che potrebbero trasformare significativamente il mondo.

Data la rapida evoluzione dell'intelligenza artificiale negli ultimi anni, la previsione dell'AGI entro i prossimi 5-15 anni, sebbene ambiziosa, è considerata realizzabile dagli esperti del settore. In particolare, ci si aspetta che i prossimi 5 anni vedano un'accelerazione nello sviluppo dell'intelligenza artificiale, man mano che più laboratori di ricerca e aziende di punta al mondo concentreranno i loro sforzi su questa sfida.

Tuttavia, resta da vedere se si presenteranno ostacoli o difficoltà tecniche lungo il percorso verso l'AGI. La corsa per raggiungere questo traguardo si sta intensificando e l'impatto della sua realizzazione potrebbe essere profondo, rendendolo un'area cruciale da monitorare nei prossimi anni.

Il nuovo modello sperimentale di Google, Gemini Pro 0801, è stato testato nell'arena dei chatbot nell'ultima settimana, raccogliendo oltre 20.000 voti della comunità. Per la prima volta, Gemini ha rivendicato il primo posto, superando GPT-4 e CLAUDE 3.5 con un punteggio impressionante di 1.300 e raggiungendo anche la prima posizione nella classifica delle visioni.

Gemini Pro eccelle nei compiti multilingue e offre prestazioni robuste in aree tecniche, prompt impegnativi e coding. Questo è un risultato significativo, poiché Gemini 1.5 Pro è riuscito a superare i modelli altamente capaci di GPT-4 e CLAUDE 3.5.

Interessante notare che Google non ha etichettato questo modello come Gemini 2, suggerendo che potrebbero aver implementato alcune tecniche di ragionamento o post-addestramento aggiuntive per migliorare le capacità del modello. Questo approccio è simile a quello adottato da Anthropic con CLAUDE 3.5, dove il modello dimostra capacità di ragionamento migliorate rispetto alle versioni precedenti.

Le prestazioni di Gemini Pro 0801 evidenziano i continui progressi nell'arena dei chatbot, con modelli che continuano a spingere i limiti di ciò che è possibile. Sarà interessante vedere per quanto tempo Gemini Pro 0801 potrà mantenere la sua posizione di leader e se OpenAI o altre aziende di intelligenza artificiale risponderanno con modelli ancora più capaci in un futuro prossimo.

Nvidia sta lavorando per semplificare e accelerare lo sviluppo di robot umanoidi con la sua iniziativa Project Roo. L'azienda sta introducendo un set di strumenti per gli sviluppatori nell'ecosistema dei robot umanoidi per costruire i loro modelli di intelligenza artificiale in modo più efficiente.

I principali componenti dell'approccio di Nvidia includono:

1. Pipeline di generazione di dati sintetici: Nvidia parte da dimostrazioni raccolte da umani utilizzando dispositivi di realtà mista come Apple Vision Pro. Poi moltiplica questi dati di mille o più volte utilizzando gli strumenti di simulazione di Nvidia come Omniverse, RoboSuite e MimicGen.

2. Infrastruttura di calcolo distribuito: Nvidia sta sfruttando le sue piattaforme di calcolo DGX, OVX e Jetson Thor per alimentare il flusso di lavoro di sviluppo. Il DGX gestisce l'elaborazione di video e testo per addestrare il modello di fondazione multimodale, l'OVX esegue la pila di simulazione e il Jetson Thor viene utilizzato per testare il modello sui robot reali.

3. Simulazione alimentata da Omniverse: Il framework di simulazione Omniverse di Nvidia, integrato nell'Isaac Lab, consente agli sviluppatori di generare un numero enorme di ambienti e layout per aumentare la diversità dei dati di addestramento.

4. Strumenti abilitati dall'intelligenza artificiale generativa: Lo strumento MimicGen di Nvidia aiuta a generare set di dati di movimento sintetici su larga scala basati sul numero limitato di catture originali, espandendo ulteriormente i dati di addestramento.

L'obiettivo è consentire agli sviluppatori di tutto il mondo di costruire modelli di intelligenza artificiale migliori per le piattaforme hardware dei robot umanoidi. Nvidia crede che l'era dell'"intelligenza artificiale fisica" sia qui, dove i robot possono comprendere e interagire con il mondo fisico.

Semplificando il flusso di lavoro di sviluppo e fornendo una potente infrastruttura di calcolo, Nvidia mira ad accelerare i progressi nella robotica umanoide e a portarci più vicini all'era dei robot umanoidi alimentati dall'intelligenza artificiale.

I ricercatori di ICML 2024 hanno presentato una nuova tecnica di ingegneria dei prompt chiamata "Plan Like a Graph" che può migliorare significativamente le prestazioni dei modelli linguistici su compiti complessi e multi-step.

L'intuizione chiave dietro questa tecnica è che i modelli linguistici attuali faticano con la pianificazione asincrona - la capacità di parallelizzare alcuni sottocompiti mentre ne eseguono altri in sequenza. Per affrontare questo problema, il metodo "Plan Like a Graph" chiede al modello di generare prima una rappresentazione grafica del compito, catturando le dipendenze tra i sottocompiti. Il modello può quindi utilizzare questo grafico per elaborare un piano ottimale per completare il compito complessivo.

I ricercatori hanno scoperto che questo approccio ha superato i metodi di base in una varietà di modelli linguistici. Ad esempio, in un compito che prevede la preparazione della colazione (ad esempio, preparare il caffè, friggere un uovo, fare il toast), il metodo "Plan Like a Graph" ha ridotto il tempo totale per completare il compito di oltre il 20% rispetto alla pianificazione sequenziale.

Questo lavoro evidenzia che c'è ancora un potenziale significativo inesplorato nei modelli linguistici e che nuove tecniche di ingegneria dei prompt possono sbloccare nuove capacità. Come osservano i ricercatori, questo è un "metodo di ingegneria dei prompt pronto all'uso" che non richiede ulteriore addestramento, rendendolo un modo accessibile per migliorare le prestazioni del modello.

Complessivamente, la tecnica "Plan Like a Graph" rappresenta un importante passo avanti nelle capacità dei modelli linguistici, in particolare quando si tratta di ragionamento complesso e multi-step. Man mano che i modelli linguistici continuano a evolversi, possiamo aspettarci di vedere più approcci innovativi di ingegneria dei prompt che spingono i limiti di ciò che questi sistemi possono raggiungere.