Het tijdperk van de robotica is aangebroken, aangezien onderzoekers en bedrijven over de hele wereld robots ontwikkelen die worden aangedreven door fysieke AI. Deze fysieke AI's zijn modellen die instructies kunnen begrijpen en autonoom complexe taken in de echte wereld kunnen uitvoeren. Multimodale grote taalmodellen (LLM's) zijn doorbraken die robots in staat stellen de wereld om hen heen te leren, waarnemen en begrijpen, en te plannen hoe ze zullen handelen. Van menselijke demonstraties kunnen robots nu de vaardigheden leren die nodig zijn om met de wereld te interageren met grove en fijne motorische vaardigheden.

Eén van de integrale technologieën voor de vooruitgang van de robotica is reinforcement learning. Net zoals LLM's reinforcement learning nodig hebben van menselijke feedback om bepaalde vaardigheden te leren, kunnen generatieve fysieke AI's vaardigheden leren met behulp van reinforcement learning van fysieke feedback in een gesimuleerde wereld. Deze simulatieomgevingen, of "robot gyms", zijn waar robots leren beslissingen te nemen door acties uit te voeren in een virtuele wereld die de natuurwetten volgt. In deze omgevingen kunnen robots leren om complexe en dynamische taken veilig en snel uit te voeren, waarbij ze hun vaardigheden verfijnen door miljoenen proef- en fouthandelingen.

Nvidia Omniverse is het besturingssysteem waar deze fysieke AI's kunnen worden gecreëerd. Omniverse is een ontwikkelingsplatform voor virtuele wereldsimulatie, waarbij real-time fysiek gebaseerde rendering, fysicasimulatie en generatieve AI-technologieën worden gecombineerd. In Omniverse kunnen robots leren hoe ze autonome objecten met precisie kunnen manipuleren, zoals het grijpen en hanteren van objecten, of autonome omgevingen kunnen navigeren, waarbij ze optimale paden vinden en obstakels en gevaren vermijden. Leren in Omniverse minimaliseert de "sim-naar-echt" kloof en maximaliseert de overdracht van geleerd gedrag.

Het bouwen van robots met generatieve fysieke AI vereist drie sleutelcomponenten: Nvidia AI-supercomputers om de modellen te trainen, Nvidia Jetson Orin en de volgende generatie Jetson Thor robotsupercomputers om de modellen uit te voeren, en Nvidia Omniverse waar robots hun vaardigheden in gesimuleerde werelden kunnen leren en verfijnen. Nvidia biedt de platforms, acceleratiebibliotheek en AI-modellen die ontwikkelaars en bedrijven nodig hebben, waardoor ze de stapels kunnen gebruiken die het beste bij hen passen. De volgende golf van AI is hier, en robotica aangedreven door fysieke AI zal industrieën revolutioneren.