Эра робототехники наступила, поскольку исследователи и компании по всему миру разрабатывают роботов, работающих на основе физического искусственного интеллекта. Эти физические ИИ - это модели, которые могут понимать инструкции и автономно выполнять сложные задачи в реальном мире. Мультимодальные крупные языковые модели (LLM) - это прорывы, которые позволяют роботам учиться, воспринимать и понимать окружающий мир, а также планировать, как они будут действовать. Из человеческих демонстраций роботы теперь могут научиться навыкам, необходимым для взаимодействия с миром с помощью грубых и тонких двигательных навыков.

Одной из ключевых технологий для развития робототехники является обучение с подкреплением. Так же, как LLM нужно обучение с подкреплением на основе обратной связи от человека, чтобы научиться конкретным навыкам, генеративный физический ИИ может учиться навыкам с помощью обучения с подкреплением на основе физической обратной связи в имитационной среде. Эти имитационные среды, или "тренажерные залы для роботов", - это места, где роботы учатся принимать решения, выполняя действия в виртуальном мире, подчиняющемся законам физики. В этих средах роботы могут безопасно и быстро учиться выполнять сложные и динамичные задачи, совершенствуя свои навыки через миллионы попыток и ошибок.

Nvidia Omniverse - это операционная система, в которой могут быть созданы эти физические ИИ. Omniverse - это платформа разработки для имитации виртуального мира, объединяющая физически обоснованную визуализацию в реальном времени, имитацию физики и технологии генеративного ИИ. В Omniverse роботы могут учиться автономно манипулировать объектами с точностью, например, захватывать и обрабатывать объекты, или автономно перемещаться в средах, находя оптимальные пути и избегая препятствий и опасностей. Обучение в Omniverse минимизирует разрыв между имитацией и реальностью и максимизирует перенос усвоенного поведения.

Создание роботов с генеративным физическим ИИ требует трех ключевых компонентов: суперкомпьютеров Nvidia AI для обучения моделей, робототехнических суперкомпьютеров Nvidia Jetson Orin и следующего поколения Jetson Thor для запуска моделей, и Nvidia Omniverse, где роботы могут учиться и совершенствовать свои навыки в имитационных мирах. Nvidia предоставляет платформы, библиотеки ускорения и модели ИИ, необходимые разработчикам и компаниям, позволяя им использовать любые или все стеки, которые им подходят лучше всего. Следующая волна ИИ уже здесь, и робототехника, работающая на основе физического ИИ, революционизирует отрасли.

Представьте будущее, в котором компьютеры взаимодействуют с нами так же, как люди. Это невероятная реальность цифровых людей. Цифровые люди революционизируют отрасли от обслуживания клиентов до рекламы и игр. Возможности безграничны.

Используя передовые модели ИИ, цифровые люди могут видеть, понимать и взаимодействовать с нами по-человечески. Основой цифровых людей являются модели ИИ, построенные на многоязычном распознавании и синтезе речи, а также крупные языковые модели, которые понимают и генерируют естественный разговор. Эти модели ИИ связаны с другими генеративными ИИ для динамической анимации реалистичной 3D-модели лица и моделями ИИ, которые воспроизводят реалистичный внешний вид, обеспечивая трассировку лучей в реальном времени для имитации проникновения света в кожу, его рассеивания и выхода в различных точках, придавая коже мягкий и полупрозрачный вид.

NVIDIA Ace - это набор технологий цифровых людей, упакованных в легко развертываемые, полностью оптимизированные микросервисы. Разработчики могут интегрировать микросервисы Ace в свои существующие фреймворки, движки и цифровые человеческие переживания. Сюда входят микросервисы neotron SLM и LLM для понимания намерений и оркестровки других моделей, микросервисы речи Reva для интерактивной речи и перевода, а также микросервисы для анимации лица и жестов. Микросервисы Ace работают на глобальной сети инфраструктуры, ускоренной NVIDIA Exel, обеспечивая обработку цифровых людей с низкой задержкой более чем в 100 регионах.

Цифровые люди позволят создавать новые и улучшенные переживания во всех отраслях. Они могут выступать в качестве агентов обслуживания клиентов на основе ИИ, делая взаимодействия более увлекательными и персонализированными. Они могут быть медицинскими работниками на основе ИИ, следить за пациентами и оказывать своевременную, персонализированную помощь. Они даже могут быть представителями брендов на основе ИИ, задавая новые тенденции в маркетинге и рекламе. Появление цифровых людей - это взгляд в будущее, где виртуальные существа, управляемые ИИ, будут органично интегрироваться в нашу жизнь.

Спрос на вычисления, ускоренные NVIDIA, стремительно растет, поскольку мир модернизирует традиционные центры обработки данных в фабрики генеративного ИИ. Foxconn, крупнейший в мире производитель электроники, готовится удовлетворить этот спрос, строя роботизированные фабрики с помощью Nvidia Omniverse.

Планировщики фабрик ИИ используют Omniverse для интеграции данных об объектах и оборудовании из ведущих отраслевых приложений, таких как Siemens Teamcenter, Siemens NX и Autodesk Revit, в цифровом двойнике. Они оптимизируют планировку этажей и конфигурации линий, а также находят оптимальные места для установки камер для мониторинга будущих операций с помощью Vision AI, работающей на Nvidia Metropolis.

Виртуальная интеграция экономит планировщикам огромные затраты на физические изменения во время строительства. Команды Foxconn используют цифровой двойник как источник истины для общения и проверки точной компоновки оборудования. Цифровой двойник Omniverse также является тренажерным залом для роботов, где разработчики Foxconn обучают и тестируют приложения Nvidia Isaac AI для робототехнического восприятия и манипулирования, а также приложения Metropolis AI для сенсорного слияния.

В Omniverse Foxconn моделирует два робота-ИИ перед развертыванием рантаймов на компьютерах Jetson на сборочной линии. Они моделируют библиотеки манипуляторов Isaac и модели ИИ для автоматизированной оптической инспекции для идентификации объектов, обнаружения дефектов и планирования траектории. Чтобы перевозить системы HGX на тестовые стенды, они моделируют FBOT AMR, управляемые Isaac Perceptor, поскольку они воспринимают и перемещаются по своей среде с помощью 3D-картографирования и реконструкции.

С помощью Omniverse Foxconn строит свои роботизированные фабрики, которые координируют роботов, работающих на Nvidia Isaac, для сборки суперкомпьютеров Nvidia AI, которые, в свою очередь, обучают роботов Foxconn.

Новый игровой помощник Nvidia - это захватывающая разработка, которая стремится преобразовать способ, которым геймеры взаимодействуют со своими любимыми играми и приложениями. Этот помощник на основе ИИ предназначен для того, чтобы стать каналом для игровых знаний, предоставляя игрокам ценные идеи и рекомендации для улучшения их игрового опыта.

Основные функции игрового помощника Nvidia включают:

1. Помощь в игре: Помощник может отвечать на вопросы о механике игры, местоположении предметов и оптимальных стратегиях, помогая новым игрокам быстро освоиться и опытным ветеранам более эффективно исследовать глубину игры.

2. Контекстно-зависимые рекомендации: Понимая контекст действий и прогресса игрока в игре, помощник может адаптировать свои рекомендации к конкретному прохождению, предлагая лучшее оружие для начала игры, материалы для крафта или следующие шаги, которые нужно предпринять.

3. Оптимизация системы: Помощник также может предоставлять информацию о метриках производительности системы, таких как FPS и задержка ПК, и предлагать рекомендации по оптимизации настроек и конфигураций для повышения эффективности и отзывчивости.

4. Плавная интеграция: Nvidia сотрудничает со студиями-разработчиками, такими как Studio Wildcard для демонстрации, чтобы интегрировать помощника плавно в игровой опыт, сделав его естественной и интуитивной частью пути игрока.

Этот игровой помощник представляет собой значительный шаг вперед в интеграции технологий ИИ в игровую индустрию. Предоставляя игрокам персонализированные рекомендации и оптимизацию системы, помощник имеет потенциал для улучшения общего игрового опыта, делая его более доступным, увлекательным и вознаграждающим как для новых, так и для опытных игроков.

По мере развития игрового ландшафта интеграция таких ИИ-помощников, как у Nvidia, может стать определяющей чертой будущего игр, преобразуя способ, которым игроки взаимодействуют и исследуют свои любимые виртуальные миры.