로봇공학의 시대가 도래했습니다. 전 세계의 연구자와 기업들이 물리적 AI로 구동되는 로봇을 개발하고 있습니다. 이러한 물리적 AI는 지침을 이해하고 실제 세계에서 복잡한 작업을 자율적으로 수행할 수 있는 모델입니다. 다중 모달 대형 언어 모델(LLM)은 로봇이 주변 세계를 학습, 인식, 이해하고 행동 계획을 수립할 수 있게 해주는 혁신적인 기술입니다. 인간의 시연을 통해 로봇은 이제 거친 운동 기술과 미세 운동 기술을 사용하여 세계와 상호 작용하는 데 필요한 기술을 배울 수 있습니다.

로봇공학 발전을 위한 핵심 기술 중 하나는 강화 학습입니다. LLM이 특정 기술을 학습하기 위해 인간의 피드백을 통한 강화 학습이 필요한 것처럼, 물리적 생성 AI도 시뮬레이션 세계에서 물리적 피드백을 통한 강화 학습으로 기술을 습득할 수 있습니다. 이러한 시뮬레이션 환경, 즉 "로봇 체육관"에서 로봇은 물리 법칙을 따르는 가상 세계에서 행동을 수행하며 의사 결정을 학습합니다. 이러한 환경에서 로봇은 수많은 시행착오를 통해 안전하고 신속하게 복잡하고 역동적인 작업을 수행하는 기술을 연마할 수 있습니다.

Nvidia Omniverse는 이러한 물리적 AI를 생성할 수 있는 운영 체제입니다. Omniverse는 실시간 물리 기반 렌더링, 물리 시뮬레이션, 생성 AI 기술을 결합한 가상 세계 시뮬레이션 개발 플랫폼입니다. Omniverse에서 로봇은 물체를 정밀하게 조작하거나 장애물과 위험을 피해 최적의 경로를 찾는 등 자율적으로 작업을 수행하는 방법을 학습할 수 있습니다. Omniverse에서의 학습은 "시뮬레이션-실제" 격차를 최소화하고 학습된 행동의 전이를 극대화합니다.

물리적 생성 AI로 구동되는 로봇을 구축하려면 세 가지 핵심 구성 요소가 필요합니다: 모델 학습을 위한 Nvidia AI 슈퍼컴퓨터, 모델 실행을 위한 Nvidia Jetson Orin 및 차세대 Jetson Thor 로봇 슈퍼컴퓨터, 그리고 시뮬레이션 세계에서 기술을 학습하고 연마할 수 있는 Nvidia Omniverse입니다. Nvidia는 개발자와 기업이 필요에 따라 이러한 구성 요소를 활용할 수 있도록 플랫폼, 가속화 라이브러리, AI 모델을 제공합니다. 다음 세대 AI가 도래했으며, 물리적 AI로 구동되는 로봇이 산업을 혁신할 것입니다.

컴퓨터가 인간처럼 우리와 상호 작용하는 미래를 상상해 보세요. 이것이 바로 디지털 인간의 놀라운 현실입니다. 디지털 인간은 고객 서비스, 광고, 게임 등 다양한 산업을 혁신할 것입니다. 그 가능성은 무궁무진합니다.

첨단 AI 모델을 사용하여 디지털 인간은 인간과 유사한 방식으로 보고, 이해하고, 상호 작용할 수 있습니다. 디지털 인간의 기반은 다국어 음성 인식 및 합성, 자연스러운 대화를 이해하고 생성하는 대형 언어 모델로 구축됩니다. 이러한 AI 모델은 생동감 있는 3D 얼굴 메시를 역동적으로 애니메이션화하고, 피부의 부드럽고 반투명한 외관을 실시간으로 시뮬레이션하는 다른 생성 AI와 연결됩니다.

NVIDIA Ace는 쉽게 배포할 수 있는 완전히 최적화된 마이크로서비스 형태의 디지털 인간 기술 제품군입니다. 개발자는 Ace 마이크로서비스를 기존 프레임워크, 엔진, 디지털 인간 경험에 통합할 수 있습니다. 이에는 의도를 이해하고 다른 모델을 조율하는 neotron SLM 및 LLM 마이크로서비스, 대화형 음성 및 번역을 위한 Reva 음성 마이크로서비스, 얼굴 및 신체 애니메이션을 위한 오디오-대-얼굴 및 제스처 마이크로서비스 등이 포함됩니다. Ace 마이크로서비스는 NVIDIA의 전 세계 NVIDIA Exel 가속 인프라 네트워크에서 실행되어 100개 이상의 지역에 저지연 디지털 인간 처리를 제공합니다.

디지털 인간은 다양한 산업에 새롭고 향상된 경험을 제공할 것입니다. 고객 서비스 AI 에이전트로 활용되어 상호 작용을 더욱 흥미롭고 개인화할 수 있습니다. 의료 AI 근로자로 활용되어 환자를 돌보고 시기적절하고 개인화된 관리를 제공할 수 있습니다. 또한 브랜드 대사 AI로 활용되어 마케팅과 광고의 새로운 트렌드를 선도할 수 있습니다. 디지털 인간의 등장은 AI 기반 가상 존재가 우리 삶에 seamlessly 통합되는 미래를 보여줍니다.

전통적인 데이터 센터를 생성 AI 공장으로 현대화하면서 NVIDIA 가속 컴퓨팅에 대한 수요가 급증하고 있습니다. 세계 최대 전자 제조업체인 Foxconn은 Nvidia Omniverse를 활용한 로봇 공장 구축을 통해 이 수요에 대응하고 있습니다.

AI 공장 기획자들은 Omniverse를 사용하여 Siemens Teamcenter, Siemens NX, Autodesk Revit 등 주요 산업 애플리케이션에서 시설 및 장비 데이터를 디지털 트윈에 통합합니다. 그리고 Nvidia Metropolis 기반 Vision AI를 활용하여 레이아웃과 라인 구성을 최적화하고 향후 운영을 모니터링할 최적의 카메라 위치를 찾습니다.

가상 통합을 통해 건설 중 발생하는 막대한 물리적 변경 비용을 절감할 수 있습니다. Foxconn 팀은 디지털 트윈을 진실의 원천으로 활용하여 정확한 장비 배치를 소통하고 검증합니다. Omniverse 디지털 트윈은 또한 Foxconn 개발자가 Nvidia Isaac AI 애플리케이션(로봇 인식 및 조작)과 Metropolis AI 애플리케이션(센서 융합)을 학습하고 테스트하는 로봇 체육관입니다.

Omniverse에서 Foxconn은 조립 라인에 배포하기 전에 두 개의 로봇 AI를 시뮬레이션합니다. 그들은 Isaac 조작기 라이브러리와 자동 광학 검사를 위한 AI 모델(물체 식별, 결함 감지, 궤적 계획)을 시뮬레이션합니다. 또한 Isaac Perceptor 기반 FBOT AMR이 3D 매핑 및 재구성으로 환경을 인식하고 이동하는 것을 시뮬레이션합니다.

Omniverse를 통해 Foxconn은 Nvidia Isaac으로 구동되는 로봇을 조율하는 로봇 공장을 구축하고, 이 공장에서 Nvidia AI 슈퍼컴퓨터를 생산합니다.

Nvidia의 새로운 게임 어시스턴트는 게이머가 좋아하는 게임과 애플리케이션에 참여하는 방식을 혁신하는 것을 목표로 하는 흥미로운 발전입니다. 이 AI 기반 어시스턴트는 게임 관련 지식의 통로 역할을 하도록 설계되어 플레이어에게 게임 경험을 향상시키는 데 도움이 되는 가치 있는 통찰력과 권장 사항을 제공합니다.

Nvidia 게임 어시스턴트의 주요 기능은 다음과 같습니다:

1. 게임 내 지원: 어시스턴트는 게임 메커니즘, 아이템 위치, 최적의 전략 등에 대한 질문에 답변하여 새로운 플레이어가 빨리 익숙해지고 숙련된 플레이어가 게임의 깊이를 더 효과적으로 탐험할 수 있도록 돕습니다.

2. 상황 인식 권장 사항: 플레이어의 게임 내 행동과 진행 상황을 이해하여 특정 플레이스루에 맞춘 권장 사항, 예를 들어 초반 게임에 좋은 무기, 제작 재료, 다음에 취해야 할 조치 등을 제공합니다.

3. 시스템 최적화: 어시스턴트는 FPS, PC 지연 등의 시스템 성능 지표를 제공하고 더 나은 효율성과 응답성을 위한 설정 및 구성 최적화 권장 사항을 제공합니다.

4. seamless 통합: Nvidia는 Studio Wildcard와 같은 게임 스튜디오와 협력하여 어시스턴트를 게임 경험에 seamlessly 통합하여 플레이어의 여정에 자연스럽고 직관적인 부분이 되도록 합니다.

이 게임 어시스턴트는 게임 산업에 AI 기술을 통합하는 중요한 진전을 나타냅니다. 개인화된 안내와 시스템 최적화를 제공함으로써 어시스턴트는 게임 경험을 향상시킬 수 있으며, 이는 새로운 플레이어와 숙련된 플레이어 모두에게 더 접근하기 쉽고 몰입감 있으며 보람 있는 경험을 제공할 수 있습니다.

게임 환경이 계속 발전함에 따라 Nvidia의 AI 기반 어시스턴트와 같은 기술의 통합은 게임의 미래를 정의하는 특징이 될 수 있으며, 플레이어가 좋아하는 가상 세계와 상호 작용하는 방식을 변화시킬 것입니다.