L'ère de la robotique est arrivée, car des chercheurs et des entreprises du monde entier développent des robots alimentés par l'IA physique. Ces IA physiques sont des modèles qui peuvent comprendre les instructions et effectuer de manière autonome des tâches complexes dans le monde réel. Les modèles de langage multimodaux de grande taille (LLM) sont des percées qui permettent aux robots d'apprendre, de percevoir et de comprendre le monde qui les entoure, et de planifier leurs actions. À partir de démonstrations humaines, les robots peuvent maintenant apprendre les compétences nécessaires pour interagir avec le monde en utilisant des compétences motrices grossières et fines.

L'une des technologies intégrales pour faire progresser la robotique est l'apprentissage par renforcement. Tout comme les LLM ont besoin d'un apprentissage par renforcement à partir des commentaires des humains pour apprendre des compétences particulières, l'IA physique générative peut apprendre des compétences en utilisant l'apprentissage par renforcement à partir des commentaires physiques dans un monde simulé. Ces environnements de simulation, ou "salles de gym robotiques", sont les endroits où les robots apprennent à prendre des décisions en effectuant des actions dans un monde virtuel qui obéit aux lois de la physique. Dans ces environnements, les robots peuvent apprendre à effectuer des tâches complexes et dynamiques en toute sécurité et rapidité, en affinant leurs compétences à travers des millions d'actes d'essai et d'erreur.

Nvidia Omniverse est le système d'exploitation où ces IA physiques peuvent être créées. Omniverse est une plateforme de développement pour la simulation de mondes virtuels, combinant le rendu physique en temps réel, la simulation physique et les technologies d'IA générative. Dans Omniverse, les robots peuvent apprendre à manipuler de manière autonome des objets avec précision, comme saisir et manipuler des objets, ou à naviguer de manière autonome dans des environnements, en trouvant des chemins optimaux tout en évitant les obstacles et les dangers. L'apprentissage dans Omniverse minimise l'écart "simulation-réel" et maximise le transfert du comportement appris.

La construction de robots avec une IA physique générative nécessite trois composants clés : les supercalculateurs IA Nvidia pour former les modèles, les supercalculateurs robotiques Nvidia Jetson Orin et Jetson Thor de prochaine génération pour exécuter les modèles, et Nvidia Omniverse où les robots peuvent apprendre et affiner leurs compétences dans des mondes simulés. Nvidia fournit les plateformes, les bibliothèques d'accélération et les modèles d'IA dont ont besoin les développeurs et les entreprises, leur permettant d'utiliser l'une ou l'ensemble des piles qui leur conviennent le mieux. La prochaine vague d'IA est là, et la robotique alimentée par l'IA physique révolutionnera les industries.

Imaginez un avenir où les ordinateurs interagissent avec nous comme les humains peuvent le faire. C'est la réalité incroyable des humains numériques. Les humains numériques révolutionneront les industries, du service à la clientèle à la publicité et aux jeux. Les possibilités sont infinies.

En utilisant des modèles d'IA avancés, les humains numériques peuvent nous voir, nous comprendre et interagir avec nous de manière humaine. Les fondements des humains numériques sont des modèles d'IA construits sur la reconnaissance et la synthèse de la parole multilingue, ainsi que sur de grands modèles de langage qui comprennent et génèrent des conversations naturelles. Ces modèles d'IA se connectent à d'autres IA génératrices pour animer de manière dynamique un maillage 3D réaliste d'un visage, et des modèles d'IA qui reproduisent des apparences réalistes permettant un tracé de chemin en temps réel pour simuler la manière dont la lumière pénètre dans la peau, se diffuse et sort à différents points, donnant à la peau son aspect doux et translucide.

NVIDIA Ace est une suite de technologies d'humains numériques conditionnées sous forme de microservices faciles à déployer et entièrement optimisés. Les développeurs peuvent intégrer les microservices Ace dans leurs cadres, moteurs et expériences d'humains numériques existants. Ceux-ci incluent les microservices neotron SLM et LLM pour comprendre l'intention et orchestrer d'autres modèles, les microservices de parole Reva pour la parole interactive et la traduction, ainsi que les microservices de visage et de geste audio-to-face pour l'animation faciale et corporelle. Les microservices Ace s'exécutent sur le réseau mondial d'infrastructures accélérées par NVIDIA Exel, offrant un traitement d'humains numériques à faible latence dans plus de 100 régions.

Les humains numériques permettront de nouvelles expériences et des expériences améliorées dans tous les secteurs. Ils peuvent servir d'agents de service à la clientèle IA, rendant les interactions plus engageantes et personnalisées. Ils peuvent être des travailleurs de santé IA, en vérifiant les patients et en fournissant des soins opportuns et personnalisés. Ils peuvent même être des ambassadeurs de marque IA, définissant les prochaines tendances dans le marketing et la publicité. L'essor des humains numériques est un aperçu de l'avenir, où les êtres virtuels alimentés par l'IA s'intégreront de manière transparente dans nos vies.

La demande de calcul accéléré par NVIDIA explose alors que le monde modernise les centres de données traditionnels en usines d'IA génératrices. Foxconn, le plus grand fabricant d'électronique au monde, se prépare à répondre à cette demande en construisant des usines robotiques avec Nvidia Omniverse.

Les planificateurs d'usines IA utilisent Omniverse pour intégrer les données d'installations et d'équipements provenant d'applications industrielles de premier plan comme Siemens Teamcenter, Siemens NX et Autodesk Revit dans le jumeau numérique. Ils optimisent la disposition du sol et les configurations de ligne, et localisent les emplacements de caméra optimaux pour surveiller les futures opérations avec l'IA Vision alimentée par Nvidia Metropolis.

L'intégration virtuelle permet aux planificateurs de réaliser d'énormes économies sur les coûts des modifications physiques pendant la construction. Les équipes de Foxconn utilisent le jumeau numérique comme source de vérité pour communiquer et valider la disposition précise de l'équipement. Le jumeau numérique Omniverse est également la salle de gym robotique où les développeurs de Foxconn forment et testent les applications IA Isaac de Nvidia pour la perception et la manipulation robotiques, ainsi que les applications IA Metropolis pour la fusion de capteurs.

Dans Omniverse, Foxconn simule deux IA robotiques avant de déployer les runtimes sur les ordinateurs Jetson de la ligne d'assemblage. Ils simulent les bibliothèques de manipulateurs Isaac et les modèles d'IA pour l'inspection optique automatisée pour l'identification des objets, la détection des défauts et la planification des trajectoires. Pour transférer les systèmes HGX vers les pods de test, ils simulent les FBOT AMR alimentés par Isaac Perceptor alors qu'ils perçoivent et se déplacent dans leur environnement avec une cartographie 3D et une reconstruction.

Avec Omniverse, Foxconn construit leurs usines robotiques qui orchestrent les robots fonctionnant sur Nvidia Isaac pour construire les supercalculateurs IA Nvidia, qui à leur tour forment les robots Foxconn.

Le nouvel assistant de jeu de Nvidia est un développement fascinant qui vise à transformer la façon dont les joueurs interagissent avec leurs jeux et applications préférés. Cet assistant alimenté par l'IA est conçu pour être un conduit pour les connaissances spécifiques aux jeux, fournissant aux joueurs des informations et des recommandations précieuses pour améliorer leur expérience de jeu.

Les principales caractéristiques de l'assistant de jeu de Nvidia sont les suivantes :

1. Assistance in-game : L'assistant peut répondre aux questions sur les mécaniques du jeu, les emplacements des objets et les stratégies optimales, aidant les nouveaux joueurs à se mettre à niveau et les vétérans expérimentés à explorer plus efficacement la profondeur du jeu.

2. Recommandations contextuelles : En comprenant le contexte des actions et de la progression du joueur dans le jeu, l'assistant peut adapter ses recommandations à la partie en cours, suggérant les meilleures armes de début de jeu, les matériaux de craft ou les prochaines étapes à suivre.

3. Optimisation du système : L'assistant peut également fournir des informations sur les métriques de performance du système, comme le FPS et la latence du PC, et proposer des recommandations pour optimiser les paramètres et les configurations pour une meilleure efficacité et réactivité.

4. Intégration transparente : Nvidia s'est associé à des studios de jeux, comme Studio Wildcard pour la démonstration, pour intégrer l'assistant de manière transparente dans l'expérience de jeu, en en faisant une partie naturelle et intuitive du parcours du joueur.

Cet assistant de jeu représente une avancée significative dans l'intégration de la technologie IA dans l'industrie du jeu. En fournissant aux joueurs des conseils personnalisés et une optimisation du système, l'assistant a le potentiel d'améliorer l'expérience de jeu globale, la rendant plus accessible, engageante et gratifiante pour les joueurs novices et expérimentés.

Alors que le paysage du jeu continue d'évoluer, l'intégration d'assistants alimentés par l'IA comme celui de Nvidia pourrait devenir une caractéristique déterminante de l'avenir du jeu, transformant la façon dont les joueurs interagissent et explorent leurs mondes virtuels préférés.