Das Zeitalter der Robotik ist angebrochen, da Forscher und Unternehmen auf der ganzen Welt Roboter entwickeln, die von physikalischer KI angetrieben werden. Diese physischen KIs sind Modelle, die Anweisungen verstehen und autonom komplexe Aufgaben in der realen Welt ausführen können. Multimodale große Sprachmodelle (LLMs) sind Durchbrüche, die Robotern ermöglichen, die Welt um sich herum zu lernen, wahrzunehmen und zu verstehen und zu planen, wie sie handeln werden. Aus menschlichen Demonstrationen können Roboter nun die Fähigkeiten erlernen, die erforderlich sind, um mit der Welt unter Verwendung von Grobmotorik- und Feinmotorikfähigkeiten zu interagieren.

Eine der integralen Technologien für den Fortschritt der Robotik ist das Reinforcement Learning. Genau wie LLMs Reinforcement Learning aus menschlichem Feedback benötigen, um bestimmte Fähigkeiten zu erlernen, können generative physische KIs Fähigkeiten mithilfe von Reinforcement Learning aus physikalischem Feedback in einer simulierten Welt erlernen. Diese Simulationsumgebungen oder "Roboter-Gyms" sind der Ort, an dem Roboter lernen, Entscheidungen zu treffen, indem sie Aktionen in einer virtuellen Welt ausführen, die den Gesetzen der Physik gehorcht. In diesen Umgebungen können Roboter komplexe und dynamische Aufgaben sicher und schnell erlernen und ihre Fähigkeiten durch Millionen von Versuch-und-Irrtum-Aktionen verfeinern.

Nvidia Omniverse ist das Betriebssystem, in dem diese physischen KIs erstellt werden können. Omniverse ist eine Entwicklungsplattform für die Simulation virtueller Welten, die echtzeitbasierte physikalisch basierte Rendering, Physik-Simulation und generative KI-Technologien kombiniert. In Omniverse können Roboter lernen, Objekte mit Präzision autonom zu manipulieren, wie z.B. Objekte zu greifen und zu handhaben, oder Umgebungen autonom zu navigieren, optimale Wege zu finden und dabei Hindernisse und Gefahren zu vermeiden. Das Lernen in Omniverse minimiert die "Sim-to-Real"-Lücke und maximiert den Transfer des erlernten Verhaltens.

Der Aufbau von Robotern mit generativer physischer KI erfordert drei Schlüsselkomponenten: Nvidia AI-Supercomputer zum Training der Modelle, Nvidia Jetson Orin und Nvidia Jetson Thor der nächsten Generation als Roboter-Supercomputer zum Ausführen der Modelle und Nvidia Omniverse, in dem Roboter ihre Fähigkeiten in simulierten Welten lernen und verfeinern können. Nvidia bietet die Plattformen, Beschleunigungsbibliotheken und KI-Modelle, die Entwickler und Unternehmen benötigen, so dass sie die für sie am besten geeigneten Stacks nutzen können. Die nächste Welle der KI ist hier, und von physischer KI angetriebene Robotik wird Branchen revolutionieren.