Robotikens era har kommit, då forskare och företag över hela världen utvecklar robotar som drivs av fysisk AI. Dessa fysiska AI-modeller kan förstå instruktioner och autonomt utföra komplexa uppgifter i den verkliga världen. Multimodala stora språkmodeller (LLM) är genombrott som gör att robotar kan lära sig, uppfatta och förstå världen omkring sig, och planera hur de ska agera. Från mänskliga demonstrationer kan robotar nu lära sig de färdigheter som krävs för att interagera med världen med grov- och finmotoriska färdigheter.

En av de integrala teknikerna för att driva robotiken framåt är förstärkningsbaserat lärande. Precis som LLM behöver förstärkningsbaserat lärande från mänsklig feedback för att lära sig specifika färdigheter, kan generativ fysisk AI lära sig färdigheter med hjälp av förstärkningsbaserat lärande från fysisk feedback i en simulerad värld. Dessa simuleringsmiljöer, eller "robotgym", är där robotar lär sig fatta beslut genom att utföra åtgärder i en virtuell värld som lyder fysikens lagar. I dessa miljöer kan robotar lära sig att utföra komplexa och dynamiska uppgifter på ett säkert och snabbt sätt, och förfina sina färdigheter genom miljontals försök och misstag.

Nvidia Omniverse är operativsystemet där dessa fysiska AI-system kan skapas. Omniverse är en utvecklingsplattform för simulering av virtuella världar, som kombinerar realtidsbaserad fysikalisk rendering, fysiksimuleringar och generativ AI-teknik. I Omniverse kan robotar lära sig att autonomt manipulera objekt med precision, som att gripa och hantera objekt, eller navigera i miljöer autonomt och hitta optimala vägar samtidigt som de undviker hinder och faror. Inlärning i Omniverse minimerar "sim-till-verklig" gapet och maximerar överföringen av inlärda beteenden.

Att bygga robotar med generativ fysisk AI kräver tre nyckelkomponenter: Nvidia AI-superdatorer för att träna modellerna, Nvidia Jetson Orin och nästa generations Jetson Thor-robotsuperdatorer för att köra modellerna, och Nvidia Omniverse där robotar kan lära sig och förfina sina färdigheter i simulerade världar. Nvidia tillhandahåller de plattformar, accelerationsbibliotek och AI-modeller som utvecklare och företag behöver, vilket gör att de kan använda vilken eller alla de stackar som passar dem bäst. Den nästa vågen av AI är här, och robotik driven av fysisk AI kommer att revolutionera industrier.