L'era della robotica è arrivata, poiché ricercatori e aziende in tutto il mondo stanno sviluppando robot alimentati dall'intelligenza artificiale fisica. Questi AI fisici sono modelli in grado di comprendere istruzioni ed eseguire in modo autonomo compiti complessi nel mondo reale. I modelli linguistici multimodali di grandi dimensioni (LLM) sono delle svolte che consentono ai robot di apprendere, percepire e comprendere il mondo che li circonda, e pianificare il loro modo di agire. Dalle dimostrazioni umane, i robot possono ora apprendere le competenze necessarie per interagire con il mondo utilizzando abilità motorie grossolane e fini.

Una delle tecnologie fondamentali per l'avanzamento della robotica è l'apprendimento per rinforzo. Così come gli LLM hanno bisogno dell'apprendimento per rinforzo dai feedback umani per imparare particolari abilità, l'intelligenza artificiale fisica generativa può apprendere abilità utilizzando l'apprendimento per rinforzo dai feedback fisici in un mondo simulato. Questi ambienti di simulazione, o "palestre robotiche", sono dove i robot imparano a prendere decisioni eseguendo azioni in un mondo virtuale che obbedisce alle leggi della fisica. In questi ambienti, i robot possono imparare a eseguire compiti complessi e dinamici in modo sicuro e rapido, affinando le loro abilità attraverso milioni di tentativi ed errori.

Nvidia Omniverse è il sistema operativo in cui possono essere creati questi AI fisici. Omniverse è una piattaforma di sviluppo per la simulazione di mondi virtuali, che combina il rendering fisicamente basato in tempo reale, la simulazione fisica e le tecnologie di intelligenza artificiale generativa. In Omniverse, i robot possono imparare a manipolare autonomamente gli oggetti con precisione, come afferrare e maneggiare oggetti, o navigare negli ambienti in modo autonomo, trovando percorsi ottimali evitando ostacoli e pericoli. L'apprendimento in Omniverse riduce al minimo il divario "simulazione-realtà" e massimizza il trasferimento del comportamento appreso.

Costruire robot con intelligenza artificiale fisica generativa richiede tre componenti chiave: i supercalcolatori AI di Nvidia per addestrare i modelli, i supercalcolatori robotici Nvidia Jetson Orin e Jetson Thor di prossima generazione per eseguire i modelli, e Nvidia Omniverse dove i robot possono apprendere e affinare le loro abilità in mondi simulati. Nvidia fornisce le piattaforme, le librerie di accelerazione e i modelli di intelligenza artificiale necessari agli sviluppatori e alle aziende, consentendo loro di utilizzare uno o tutti gli stack che meglio si adattano alle loro esigenze. La prossima ondata di intelligenza artificiale è qui, e la robotica alimentata dall'intelligenza artificiale fisica rivoluzionerà i settori industriali.

Immagina un futuro in cui i computer interagiscono con noi proprio come gli esseri umani. Questa è la realtà incredibile degli esseri umani digitali. Gli esseri umani digitali rivoluzioneranno i settori, dal servizio clienti alla pubblicità e ai videogiochi. Le possibilità sono infinite.

Utilizzando modelli di intelligenza artificiale avanzati, gli esseri umani digitali possono vedere, comprendere e interagire con noi in modi simili agli umani. Le fondamenta degli esseri umani digitali sono modelli di intelligenza artificiale basati sul riconoscimento e la sintesi vocale multilingue e sui modelli di linguaggio di grandi dimensioni che comprendono e generano conversazioni naturali. Questi modelli di intelligenza artificiale si connettono ad altri modelli di intelligenza artificiale generativa per animare dinamicamente una maglia 3D realistico di un volto, e modelli di intelligenza artificiale che riproducono aspetti realistici, consentendo la tracciatura in tempo reale della diffusione sottocutanea per simulare il modo in cui la luce penetra nella pelle, si diffonde ed esce in vari punti, conferendo alla pelle il suo aspetto morbido e traslucido.

NVIDIA Ace è un insieme di tecnologie per gli esseri umani digitali confezionate come microservizi facili da distribuire e completamente ottimizzati. Gli sviluppatori possono integrare i microservizi Ace nei loro framework, motori ed esperienze di esseri umani digitali esistenti. Questi includono i microservizi neotron SLM e LLM per comprendere l'intento e orchestrare altri modelli, i microservizi vocali Reva per la parola interattiva e la traduzione, e i microservizi per l'animazione facciale e del corpo da audio a volto. I microservizi Ace vengono eseguiti sulla rete globale di infrastrutture accelerate da NVIDIA Exel di Nvidia, offrendo un'elaborazione di esseri umani digitali a bassa latenza in oltre 100 regioni.

Gli esseri umani digitali consentiranno nuove ed migliorate esperienze in tutti i settori. Possono servire come agenti di servizio clienti AI, rendendo le interazioni più coinvolgenti e personalizzate. Possono essere operatori sanitari AI, controllando i pazienti e fornendo cure tempestive e personalizzate. Possono persino essere ambasciatori di marca AI, impostando le prossime tendenze nel marketing e nella pubblicità. L'ascesa degli esseri umani digitali è uno sguardo al futuro, in cui gli esseri virtuali alimentati dall'intelligenza artificiale si integreranno perfettamente nella nostra vita.

La domanda di calcolo accelerato da NVIDIA sta aumentando a dismisura man mano che il mondo modernizza i tradizionali data center in fabbriche di intelligenza artificiale generativa. Foxconn, il più grande produttore di elettronica al mondo, si sta preparando a soddisfare questa domanda costruendo fabbriche robotiche con Nvidia Omniverse.

I pianificatori della fabbrica AI utilizzano Omniverse per integrare i dati delle strutture e delle apparecchiature provenienti dalle principali applicazioni del settore come Siemens Teamcenter, Siemens NX e Autodesk Revit nel gemello digitale. Ottimizzano la disposizione del pavimento e le configurazioni delle linee, e individuano le posizioni ottimali delle telecamere per monitorare le future operazioni con la Vision AI alimentata da Nvidia Metropolis.

L'integrazione virtuale consente ai pianificatori di risparmiare sui costi enormi degli ordini di modifica fisica durante la costruzione. I team di Foxconn utilizzano il gemello digitale come fonte di verità per comunicare e convalidare la disposizione accurata delle apparecchiature. Il gemello digitale Omniverse è anche la palestra robotica dove gli sviluppatori di Foxconn addestrano e testano le applicazioni AI di Nvidia Isaac per la percezione e la manipolazione robotica, e le applicazioni AI di Metropolis per la fusione dei sensori.

In Omniverse, Foxconn simula due robot AI prima di distribuire i runtime sui computer Jetson sulla linea di assemblaggio. Simulano le librerie manipolatori Isaac e i modelli di intelligenza artificiale per l'ispezione ottica automatica per l'identificazione degli oggetti, il rilevamento dei difetti e la pianificazione dei percorsi. Per trasferire i sistemi HGX ai pod di test, simulano gli AMR FBOT alimentati da Isaac Perceptor mentre percepiscono e si muovono nel loro ambiente con mappatura 3D e ricostruzione.

Con Omniverse, Foxconn costruisce le loro fabbriche robotiche che orchestrano i robot in esecuzione su Nvidia Isaac per costruire i supercalcolatori AI di Nvidia, che a loro volta addestrano i robot Foxconn.