機器人時代已經到來,全球各地的研究人員和公司正在開發由物理 AI 驅動的機器人。這些物理 AI 是可以理解指令並自主執行複雜任務的模型。多模態大型語言模型 (LLM) 是一項突破性進展,使機器人能夠學習、感知和理解周圍的世界,並計劃如何行動。從人類示範中,機器人現在可以學習使用粗細動作技能與世界互動所需的技能。

推進機器人技術的關鍵技術之一是強化學習。就像 LLM 需要從人類反饋中進行強化學習來學習特定技能一樣,生成式物理 AI 也可以通過從模擬世界中的物理反饋中學習技能來學習技能。這些模擬環境或「機器人健身房」是機器人通過在遵循物理定律的虛擬世界中執行操作來學習做出決策的地方。在這些環境中,機器人可以安全快速地學習執行複雜和動態的任務,並通過數百萬次試錯來完善其技能。

Nvidia Omniverse 是可以創建這些物理 AI 的操作系統。Omniverse 是一個虛擬世界模擬的開發平台,結合了基於實時物理的渲染、物理模擬和生成式 AI 技術。在 Omniverse 中,機器人可以學習如何自主精確地操縱物體,例如抓取和處理物體,或自主導航環境,找到最佳路徑同時避開障礙物和危險。在 Omniverse 中學習可以最大限度地縮小「模擬到現實」的差距,並最大化學習行為的轉移。

使用生成式物理 AI 構建機器人需要三個關鍵組件:Nvidia AI 超級計算機來訓練模型、Nvidia Jetson Orin 和下一代 Jetson Thor 機器人超級計算機來運行模型,以及 Nvidia Omniverse 作為機器人在模擬世界中學習和完善技能的場所。Nvidia 提供開發人員和公司所需的平台、加速庫和 AI 模型,讓他們可以使用最適合自己的任何或全部堆棧。下一波 AI 已經到來,由物理 AI 驅動的機器人將徹底改變各行各業。

想像一個未來,電腦能像人類一樣與我們互動。這就是數位人類的令人難以置信的現實。數位人類將徹底改變客戶服務、廣告和遊戲等行業。可能性是無限的。

利用先進的 AI 模型,數位人類可以用人類般的方式看、理解和與我們互動。數位人類的基礎是建立在多語言語音識別和合成,以及能夠理解和生成自然對話的大型語言模型之上的 AI 模型。這些 AI 模型連接到其他生成式 AI,以動態地為一個逼真的 3D 面部網格進行動畫製作,以及再現逼真外觀的 AI 模型,使用實時路徑跟蹤次表面散射來模擬光線穿透皮膚、散射和從各個角度退出的方式,使皮膚呈現柔軟和半透明的外觀。

NVIDIA Ace 是一套數位人類技術,以易於部署、完全優化的微服務的形式提供。開發人員可以將 Ace 微服務集成到他們現有的框架、引擎和數位人類體驗中。這些包括用於理解意圖和協調其他模型的 neotron SLM 和 LLM 微服務、用於互動式語音和翻譯的 Reva 語音微服務,以及用於面部和身體動畫的音頻到面部和手勢微服務。Ace 微服務在 NVIDIA 的全球 NVIDIA Exel 加速基礎設施網絡上運行,為超過 100 個地區提供低延遲的數位人類處理。

數位人類將為各行各業帶來新的和增強的體驗。他們可以作為 AI 客戶服務代理,使互動更加引人入勝和個性化。他們可以成為 AI 醫療工作者,關注患者並提供及時、個性化的護理。他們甚至可以成為 AI 品牌大使,引領營銷和廣告的未來趨勢。數位人類的崛起是對未來的一瞥,在那裡 AI 驅動的虛擬存在將seamlessly融入我們的生活。

隨著世界將傳統數據中心現代化為生成式 AI 工廠,對 NVIDIA 加速計算的需求正在飆升。作為全球最大的電子製造商,富士康正準備通過使用 Nvidia Omniverse 建立機器人工廠來滿足這一需求。

人工智能工廠規劃師使用 Omniverse 整合來自領先行業應用程序(如 Siemens Teamcenter、Siemens NX 和 Autodesk Revit)的設施和設備數據,以構建數字孿生。他們優化佈局和線路配置,並使用 Nvidia Metropolis 驅動的視覺 AI 定位最佳攝像頭位置,以監控未來的操作。

虛擬集成可以為規劃人員節省在建設過程中進行大量實體變更訂單的巨大成本。富士康團隊使用數字孿生作為真實信息源,以溝通和驗證準確的設備佈局。Omniverse 數字孿生也是富士康開發人員訓練和測試 Nvidia Isaac AI 應用程序(用於機器人感知和操作)以及 Metropolis AI 應用程序(用於傳感器融合)的機器人健身房。

在 Omniverse 中,富士康在將運行時部署到裝配線上的 Jetson 計算機之前,模擬了兩個機器人 AI。他們模擬 Isaac 操縱器庫和用於自動光學檢測的 AI 模型,用於物品識別、缺陷檢測和軌跡規劃。為了將 HGX 系統轉移到測試艙,他們模擬了 Isaac Perceptor 驅動的 FBOT AMR,因為它們可以感知並在其環境中移動,具有 3D 建圖和重建功能。

通過 Omniverse,富士康建立了他們的機器人工廠,協調運行在 Nvidia Isaac 上的機器人來構建 Nvidia AI 超級計算機,後者又訓練富士康機器人。

Nvidia 的新遊戲助手是一個引人入勝的發展,旨在改變玩家與最喜歡的遊戲和應用程序互動的方式。這個由 AI 驅動的助手旨在成為遊戲特定知識的渠道,為玩家提供有價值的洞見和建議,以增強他們的遊戲體驗。

Nvidia 遊戲助手的主要功能包括:

1. 遊戲內協助:助手可以回答有關遊戲機制、物品位置和最佳策略的問題,幫助新玩家快速上手,並讓資深玩家更有效地探索遊戲的深度。

2. 基於上下文的建議:通過理解玩家的遊戲內操作和進度,助手可以根據特定的遊戲過程提供定制的建議,如最佳的早期武器、製造材料或下一步行動。

3. 系統優化:助手還可以提供有關系統性能指標(如 FPS 和 PC 延遲)的洞見,並提供優化設置和配置的建議,以提高效率和響應能力。

4. 無縫集成:Nvidia 已與遊戲工作室(如 Studio Wildcard)合作,將助手無縫集成到遊戲體驗中,使其成為玩家旅程的自然和直觀部分。

這個遊戲助手代表了 AI 技術融入遊戲行業的重大進步。通過為玩家提供個性化指導和系統優化,該助手有望提升整體遊戲體驗,使新手和資深玩家的遊戲過程更加易於接近、引人入勝和有價值。

隨著遊戲格局的不斷發展,像 Nvidia 這樣的 AI 驅動助手的集成可能會成為未來遊戲的一個定義性特徵,改變玩家與最喜歡的虛擬世界互動的方式。