La era de la robótica ha llegado, ya que investigadores y empresas de todo el mundo están desarrollando robots impulsados por IA física. Estas IA físicas son modelos que pueden entender instrucciones y realizar de forma autónoma tareas complejas en el mundo real. Los modelos de lenguaje multimodales de gran tamaño (LLM) son avances que permiten a los robots aprender, percibir y entender el mundo que los rodea, y planificar cómo actuarán. A partir de demostraciones humanas, los robots ahora pueden aprender las habilidades necesarias para interactuar con el mundo utilizando habilidades motoras gruesas y finas.

Una de las tecnologías integrales para el avance de la robótica es el aprendizaje por refuerzo. Así como los LLM necesitan el aprendizaje por refuerzo a partir de la retroalimentación humana para aprender habilidades particulares, la IA física generativa puede aprender habilidades utilizando el aprendizaje por refuerzo a partir de la retroalimentación física en un mundo simulado. Estos entornos de simulación, o "gimnasios de robots", son donde los robots aprenden a tomar decisiones realizando acciones en un mundo virtual que obedece las leyes de la física. En estos entornos, los robots pueden aprender a realizar tareas complejas y dinámicas de forma segura y rápida, refinando sus habilidades a través de millones de actos de prueba y error.

Nvidia Omniverse es el sistema operativo donde se pueden crear estas IA físicas. Omniverse es una plataforma de desarrollo para la simulación de mundos virtuales, que combina renderizado físico en tiempo real, simulación física y tecnologías de IA generativa. En Omniverse, los robots pueden aprender a manipular objetos de forma autónoma con precisión, como agarrar y manipular objetos, o navegar por entornos de forma autónoma, encontrando rutas óptimas mientras evitan obstáculos y peligros. El aprendizaje en Omniverse minimiza la brecha "sim-a-real" y maximiza la transferencia del comportamiento aprendido.

La construcción de robots con IA física generativa requiere tres componentes clave: supercomputadoras de IA Nvidia para entrenar los modelos, supercomputadoras robóticas Nvidia Jetson Orin y Jetson Thor de próxima generación para ejecutar los modelos, y Nvidia Omniverse donde los robots pueden aprender y refinar sus habilidades en mundos simulados. Nvidia proporciona las plataformas, las bibliotecas de aceleración y los modelos de IA necesarios para que los desarrolladores y las empresas los utilicen como mejor les convenga. La próxima ola de IA ya está aquí, y la robótica impulsada por IA física revolucionará las industrias.

Imaginad un futuro en el que los ordenadores interactúen con nosotros como lo hacen los humanos. Esta es la increíble realidad de los humanos digitales. Los humanos digitales revolucionarán industrias desde el servicio al cliente hasta la publicidad y los juegos. Las posibilidades son infinitas.

Utilizando modelos de IA avanzados, los humanos digitales pueden ver, entender e interactuar con nosotros de formas similares a los humanos. La base de los humanos digitales son modelos de IA construidos sobre el reconocimiento y la síntesis de voz multilingüe, y modelos de lenguaje de gran tamaño que entienden y generan conversaciones naturales. Estos modelos de IA se conectan a otras IA generativas para animar dinámicamente un modelo 3D realista de un rostro, y modelos de IA que reproducen apariencias realistas que permiten el trazado de rayos en tiempo real para simular la forma en que la luz penetra en la piel, se dispersa y sale en varios puntos, dando a la piel su apariencia suave y translúcida.

NVIDIA Ace es un conjunto de tecnologías de humanos digitales empaquetadas como microservicios fáciles de implementar y totalmente optimizados. Los desarrolladores pueden integrar los microservicios de Ace en sus marcos, motores y experiencias de humanos digitales existentes. Estos incluyen microservicios de neotron SLM y LLM para entender la intención y orquestar otros modelos, microservicios de voz Reva para el habla interactiva y la traducción, y microservicios de audio a rostro y gestos para la animación facial y corporal. Los microservicios de Ace se ejecutan en la red global de infraestructura acelerada por NVIDIA Exel de NVIDIA, lo que permite un procesamiento de humanos digitales de baja latencia en más de 100 regiones.

Los humanos digitales permitirán nuevas y mejoradas experiencias en todas las industrias. Pueden servir como agentes de servicio al cliente de IA, haciendo que las interacciones sean más atractivas y personalizadas. Pueden ser trabajadores de salud de IA, controlando a los pacientes y proporcionando una atención oportuna y personalizada. Incluso pueden ser embajadores de marca de IA, marcando las próximas tendencias en marketing y publicidad. El auge de los humanos digitales es un vistazo al futuro, donde los seres virtuales impulsados por IA se integrarán sin problemas en nuestras vidas.

La demanda de computación acelerada por NVIDIA se dispara a medida que el mundo moderniza los centros de datos tradicionales en fábricas de IA generativa. Foxconn, el mayor fabricante de electrónica del mundo, se está preparando para satisfacer esta demanda construyendo fábricas robóticas con Nvidia Omniverse.

Los planificadores de fábricas de IA utilizan Omniverse para integrar los datos de las instalaciones y el equipo de aplicaciones líderes de la industria como Siemens Teamcenter, Siemens NX y Autodesk Revit en el gemelo digital. Optimizan la distribución de la planta y las configuraciones de las líneas, y ubican los puntos de cámara óptimos para monitorear las futuras operaciones con la IA de Visión impulsada por Nvidia Metropolis.

La integración virtual ahorra a los planificadores los enormes costos de los cambios físicos durante la construcción. Los equipos de Foxconn utilizan el gemelo digital como la fuente de la verdad para comunicar y validar la disposición precisa del equipo. El gemelo digital de Omniverse también es el gimnasio de robots donde los desarrolladores de Foxconn entrenan y prueban las aplicaciones de IA de Isaac de Nvidia para la percepción y manipulación robótica, y las aplicaciones de IA de Metropolis para la fusión de sensores.

En Omniverse, Foxconn simula dos IA robóticas antes de implementar los tiempos de ejecución en las computadoras Jetson de la línea de montaje. Simulan las bibliotecas de manipuladores Isaac y los modelos de IA para la inspección óptica automatizada para la identificación de objetos, la detección de defectos y la planificación de trayectorias. Para transferir los sistemas HGX a los pods de prueba, simulan los FBOT AMR impulsados por Isaac Perceptor mientras perciben y se mueven por su entorno con mapeo y reconstrucción 3D.

Con Omniverse, Foxconn construye sus fábricas robóticas que orquestan robots que funcionan con Nvidia Isaac para construir supercomputadoras de IA Nvidia, que a su vez entrenan a los robots de Foxconn.

El nuevo asistente de juegos de Nvidia es un desarrollo fascinante que tiene como objetivo transformar la forma en que los jugadores se involucran con sus juegos y aplicaciones favoritos. Este asistente impulsado por IA está diseñado para ser un conducto para el conocimiento específico del juego, proporcionando a los jugadores información valiosa y recomendaciones para mejorar su experiencia de juego.

Las principales características del asistente de juegos de Nvidia incluyen:

1. Asistencia en el juego: El asistente puede responder preguntas sobre mecánicas del juego, ubicación de objetos y estrategias óptimas, ayudando a los nuevos jugadores a ponerse al día y a los veteranos a explorar más eficazmente la profundidad del juego.

2. Recomendaciones contextuales: Al comprender el contexto de las acciones y el progreso del jugador en el juego, el asistente puede adaptar sus recomendaciones a la partida específica, sugiriendo las mejores armas iniciales, materiales de fabricación o los siguientes pasos a seguir.

3. Optimización del sistema: El asistente también puede proporcionar información sobre métricas de rendimiento del sistema, como FPS y latencia del PC, y ofrecer recomendaciones para optimizar la configuración y los ajustes para una mayor eficiencia y capacidad de respuesta.

4. Integración fluida: Nvidia se ha asociado con estudios de desarrollo de juegos, como Studio Wildcard para la demostración, para integrar el asistente sin problemas en la experiencia de juego, convirtiéndolo en una parte natural e intuitiva del viaje del jugador.

Este asistente de juegos representa un paso importante en la integración de la tecnología de IA en la industria de los juegos. Al proporcionar a los jugadores una guía personalizada y una optimización del sistema, el asistente tiene el potencial de mejorar la experiencia de juego general, haciéndola más accesible, atractiva y gratificante tanto para los jugadores nuevos como para los experimentados.

A medida que el panorama de los juegos siga evolucionando, la integración de asistentes impulsados por IA como el de Nvidia podría convertirse en una característica definitoria del futuro de los juegos, transformando la forma en que los jugadores interactúan y exploran sus mundos virtuales favoritos.