机器人时代已经到来,全球各地的研究人员和公司正在开发由物理人工智能驱动的机器人。这些物理人工智能是可以理解指令并自主完成复杂任务的模型。多模态大型语言模型(LLM)是一项突破性进展,使机器人能够学习、感知和理解周围的世界,并计划如何行动。从人类示范中,机器人现在可以学习使用粗细动作技能与世界互动所需的技能。

推进机器人技术的关键技术之一是强化学习。正如LLM需要通过人类反馈的强化学习来学习特定技能,生成式物理人工智能也可以通过在模拟世界中从物理反馈中学习技能的强化学习来学习技能。这些模拟环境或"机器人健身房"是机器人通过在遵循物理定律的虚拟世界中执行操作来学习做出决策的地方。在这些环境中,机器人可以安全快速地学习执行复杂动态任务,并通过数百万次试错来完善技能。

Nvidia Omniverse是可以创建这些物理人工智能的操作系统。Omniverse是一个虚拟世界模拟的开发平台,结合了基于实时物理的渲染、物理模拟和生成式人工智能技术。在Omniverse中,机器人可以学习如何自主精确地操纵物体,例如抓取和处理物体,或自主导航环境,找到最佳路径并避开障碍和危险。在Omniverse中学习可以最大限度地缩小"模拟到现实"的差距,并最大限度地提高学习行为的转移。

构建具有生成式物理人工智能的机器人需要三个关键组件:Nvidia AI超级计算机来训练模型,Nvidia Jetson Orin和下一代Jetson Thor机器人超级计算机来运行模型,以及Nvidia Omniverse,机器人可以在模拟世界中学习和完善技能。Nvidia提供开发人员和公司所需的平台、加速库和人工智能模型,让他们可以使用最适合自己的任何或所有堆栈。人工智能的下一个浪潮已经到来,由物理人工智能驱动的机器人将革新各个行业。

想象一个未来,计算机能像人类一样与我们互动。这就是数字人类的令人难以置信的现实。数字人类将革新从客户服务到广告和游戏等各个行业。可能性是无穷无尽的。

利用先进的人工智能模型,数字人类可以用人类的方式看、理解和与我们互动。数字人类的基础是建立在多语言语音识别和合成以及理解和生成自然对话的大型语言模型之上的人工智能模型。这些人工智能模型连接到其他生成式人工智能,以动态地为一个逼真的3D面部网格进行动画制作,以及再现逼真外观的人工智能模型,通过实时路径跟踪次表面散射来模拟光线穿透皮肤、散射和从各个点出射的方式,从而赋予皮肤柔软和半透明的外观。

NVIDIA Ace是一套数字人类技术,打包为易于部署的完全优化的微服务。开发人员可以将Ace微服务集成到他们现有的框架、引擎和数字人类体验中。这些包括用于理解意图和协调其他模型的neotron SLM和LLM微服务,用于交互式语音和翻译的Reva语音微服务,以及用于面部和身体动画的音频到面部和手势微服务。Ace微服务在NVIDIA的全球NVIDIA Exel加速基础设施网络上运行,为超过100个地区提供低延迟的数字人类处理。

数字人类将为各行各业带来新的和增强的体验。他们可以作为人工智能客户服务代理,使互动更加引人入胜和个性化。他们可以成为人工智能医疗工作者,关注患者并提供及时、个性化的护理。他们甚至可以成为人工智能品牌大使,引领营销和广告的下一个趋势。数字人类的崛起是对未来的一瞥,在那里人工智能驱动的虚拟存在将无缝融入我们的生活。

对NVIDIA加速计算的需求正在飙升,因为世界正在将传统数据中心转变为生成式人工智能工厂。全球最大的电子制造商富士康正准备通过使用Nvidia Omniverse建立机器人工厂来满足这一需求。

人工智能工厂规划人员使用Omniverse整合来自领先行业应用程序(如Siemens Teamcenter、Siemens NX和Autodesk Revit)的设施和设备数据,以构建数字孪生。他们优化布局和线路配置,并使用由Nvidia Metropolis驱动的视觉人工智能定位最佳摄像头位置,以监控未来的操作。

虚拟集成可以为规划人员节省在建设过程中进行大量物理变更订单的巨大成本。富士康团队使用数字孪生作为真实信息源,以沟通和验证准确的设备布局。Omniverse数字孪生也是富士康开发人员训练和测试用于机器人感知和操作的Nvidia Isaac人工智能应用程序,以及用于传感器融合的Metropolis人工智能应用程序的"机器人健身房"。

在Omniverse中,富士康模拟两个机器人人工智能,然后将运行时部署到装配线上的Jetson计算机。他们模拟Isaac操纵器库和用于自动光学检测的人工智能模型,用于物品识别、缺陷检测和轨迹规划。为了将HGX系统转移到测试舱,他们模拟了由Isaac Perceptor驱动的FBOT自主移动机器人,因为它们可以感知并在其环境中移动,具有3D建图和重建功能。

借助Omniverse,富士康建立了他们的机器人工厂,协调运行在Nvidia Isaac上的机器人来构建Nvidia AI超级计算机,后者又训练富士康机器人。

Nvidia的新游戏助手是一个引人注目的发展,旨在改变玩家与最喜欢的游戏和应用程序互动的方式。这个由人工智能驱动的助手旨在成为游戏特定知识的渠道,为玩家提供有价值的见解和建议,以增强他们的游戏体验。

Nvidia游戏助手的主要功能包括:

1. 游戏内辅助:助手可以回答关于游戏机制、物品位置和最佳策略的问题,帮助新玩家快速上手,并让资深玩家更有效地探索游戏的深度。

2. 基于上下文的建议:通过了解玩家的游戏内操作和进度,助手可以针对特定的游戏过程提供定制的建议,如最佳初期武器、合成材料或下一步行动。

3. 系统优化:助手还可以提供系统性能指标(如FPS和PC延迟)的见解,并提供优化设置和配置的建议,以提高效率和响应能力。

4. 无缝集成:Nvidia已经与工作室Wildcard等游戏工作室合作,将助手无缝集成到游戏体验中,使其成为玩家旅程的自然和直观的一部分。

这个游戏助手代表了人工智能技术融入游戏行业的重大进步。通过为玩家提供个性化指导和系统优化,该助手有望提升整体游戏体验,使新手和资深玩家都能获得更加可访问、引人入胜和有价值的体验。

随着游戏格局的不断发展,像Nvidia这样的人工智能驱动助手的集成可能会成为未来游戏的一个定义性特征,改变玩家与最喜欢的虚拟世界互动和探索的方式。