A era da robótica chegou, à medida que pesquisadores e empresas em todo o mundo estão desenvolvendo robôs alimentados por IA física. Essas IAs físicas são modelos que podem entender instruções e realizar tarefas complexas de forma autônoma no mundo real. Modelos de linguagem multimodais de grande porte (LLMs) são avanços que permitem que os robôs aprendam, percebam e entendam o mundo ao seu redor, e planejem como agirão. A partir de demonstrações humanas, os robôs agora podem aprender as habilidades necessárias para interagir com o mundo usando habilidades motoras grossas e finas.

Uma das tecnologias integrais para o avanço da robótica é o aprendizado por reforço. Assim como os LLMs precisam de aprendizado por reforço com feedback humano para aprender habilidades específicas, a IA física gerativa pode aprender habilidades usando aprendizado por reforço com feedback de física em um mundo simulado. Esses ambientes de simulação, ou "academias de robôs", são onde os robôs aprendem a tomar decisões realizando ações em um mundo virtual que obedece às leis da física. Nesses ambientes, os robôs podem aprender a executar tarefas complexas e dinâmicas de forma segura e rápida, refinando suas habilidades através de milhões de atos de tentativa e erro.

O Nvidia Omniverse é o sistema operacional onde essas IAs físicas podem ser criadas. O Omniverse é uma plataforma de desenvolvimento para simulação de mundos virtuais, combinando renderização fisicamente baseada em tempo real, simulação de física e tecnologias de IA gerativa. No Omniverse, os robôs podem aprender a manipular objetos de forma autônoma com precisão, como agarrar e manusear objetos, ou navegar em ambientes de forma autônoma, encontrando caminhos ideais enquanto evitam obstáculos e perigos. A aprendizagem no Omniverse minimiza o hiato "sim-para-real" e maximiza a transferência de comportamento aprendido.

Construir robôs com IA física gerativa requer três componentes-chave: supercomputadores de IA Nvidia para treinar os modelos, supercomputadores robóticos Nvidia Jetson Orin e Jetson Thor de próxima geração para executar os modelos, e Nvidia Omniverse onde os robôs podem aprender e refinar suas habilidades em mundos simulados. A Nvidia fornece as plataformas, bibliotecas de aceleração e modelos de IA necessários para desenvolvedores e empresas, permitindo que eles usem qualquer um ou todos os pilares que lhes convêm melhor. A próxima onda de IA chegou, e a robótica alimentada por IA física revolucionará as indústrias.

Imagine um futuro em que os computadores interajam conosco como os humanos podem. Esta é a incrível realidade dos humanos digitais. Os humanos digitais revolucionarão indústrias, desde o atendimento ao cliente até a publicidade e os jogos. As possibilidades são infinitas.

Utilizando modelos de IA avançados, os humanos digitais podem ver, entender e interagir conosco de maneiras semelhantes aos humanos. A base dos humanos digitais são modelos de IA construídos sobre reconhecimento e síntese de fala multilíngue, e modelos de linguagem de grande porte que entendem e geram conversas naturais. Esses modelos de IA se conectam a outras IAs gerativas para animar dinamicamente uma malha 3D realista de um rosto, e modelos de IA que reproduzem aparências realistas, permitindo o rastreamento de caminhos em tempo real para simular a maneira como a luz penetra na pele, se espalha e sai em vários pontos, dando à pele sua aparência suave e translúcida.

O NVIDIA Ace é um conjunto de tecnologias de humanos digitais empacotadas como microserviços fáceis de implantar e totalmente otimizados. Os desenvolvedores podem integrar os microserviços Ace em suas estruturas, motores e experiências de humanos digitais existentes. Estes incluem microserviços neotron SLM e LLM para entender a intenção e orquestrar outros modelos, microserviços de fala Reva para fala interativa e tradução, e microserviços de áudio para rosto e gestos para animação facial e corporal. Os microserviços Ace são executados na rede global de infraestrutura acelerada por NVIDIA Exel da Nvidia, entregando processamento de humanos digitais de baixa latência em mais de 100 regiões.

Os humanos digitais possibilitarão novas e aprimoradas experiências em todos os setores. Eles podem servir como agentes de atendimento ao cliente de IA, tornando as interações mais envolventes e personalizadas. Eles podem ser profissionais de saúde de IA, acompanhando pacientes e fornecendo cuidados oportunos e personalizados. Eles podem até ser embaixadores de marca de IA, definindo as próximas tendências em marketing e publicidade. O surgimento dos humanos digitais é um vislumbre do futuro, onde seres virtuais alimentados por IA se integrarão perfeitamente em nossas vidas.

A demanda por computação acelerada pela NVIDIA está disparando à medida que o mundo moderniza os data centers tradicionais em fábricas de IA gerativa. A Foxconn, o maior fabricante de eletrônicos do mundo, está se preparando para atender a essa demanda, construindo fábricas robóticas com a Nvidia Omniverse.

Os planejadores da Fábrica de IA usam o Omniverse para integrar os dados de instalações e equipamentos de aplicativos líderes da indústria, como Siemens Teamcenter, Siemens NX e Autodesk Revit, no gêmeo digital. Eles otimizam o layout do piso e as configurações da linha, e localizam os posicionamentos de câmera ideais para monitorar as futuras operações com a Visão IA alimentada pelo Nvidia Metropolis.

A integração virtual economiza aos planejadores os enormes custos de ordens de mudança físicas durante a construção. As equipes da Foxconn usam o gêmeo digital como a fonte da Verdade para se comunicar e validar o layout preciso do equipamento. O gêmeo digital Omniverse também é a academia de robôs onde os desenvolvedores da Foxconn treinam e testam aplicativos de IA Isaac da Nvidia para percepção e manipulação robótica, e aplicativos de IA Metropolis para Fusão de Sensores.

No Omniverse, a Foxconn simula dois robôs de IA antes de implantar tempos de execução nos computadores Jetson na linha de montagem. Eles simulam bibliotecas de manipuladores Isaac e modelos de IA para inspeção óptica automatizada para identificação de objetos, detecção de defeitos e planejamento de trajetória. Para transferir os sistemas HGX para os pods de teste, eles simulam AMRs FBOT alimentados pelo Isaac Perceptor à medida que percebem e se movem em seu ambiente com mapeamento e reconstrução 3D.

Com o Omniverse, a Foxconn constrói suas fábricas robóticas que orquestram robôs executando na Isaac da Nvidia para construir supercomputadores de IA da Nvidia, que por sua vez treinam os robôs da Foxconn.

O novo assistente de jogos da Nvidia é um desenvolvimento fascinante que visa transformar a maneira como os jogadores se envolvem com seus jogos e aplicativos favoritos. Este assistente alimentado por IA é projetado para ser um canal para o conhecimento específico do jogo, fornecendo aos jogadores insights e recomendações valiosos para aprimorar sua experiência de jogo.

Os principais recursos do assistente de jogos da Nvidia incluem:

1. Assistência no Jogo: O assistente pode responder a perguntas sobre mecânicas de jogo, localizações de itens e estratégias ideais, ajudando os novos jogadores a se familiarizarem e os veteranos experientes a explorar mais efetivamente a profundidade do jogo.

2. Recomendações Sensíveis ao Contexto: Ao entender o contexto das ações e do progresso do jogador no jogo, o assistente pode personalizar suas recomendações para a jogada específica, sugerindo as melhores armas iniciais, materiais de fabricação ou próximos passos a serem tomados.

3. Otimização do Sistema: O assistente também pode fornecer insights sobre métricas de desempenho do sistema, como FPS e latência do PC, e oferecer recomendações para otimizar configurações e configurações para maior eficiência e capacidade de resposta.

4. Integração Perfeita: A Nvidia fez parceria com estúdios de jogos, como o Studio Wildcard para a demonstração, para integrar o assistente de forma perfeita à experiência de jogo, tornando-o uma parte natural e intuitiva da jornada do jogador.

Este assistente de jogos representa um passo significativo na integração da tecnologia de IA na indústria de jogos. Ao fornecer aos jogadores orientação personalizada e otimização do sistema, o assistente tem o potencial de aprimorar a experiência geral de jogo, tornando-a mais acessível, envolvente e recompensadora para jogadores novos e experientes.

À medida que o cenário dos jogos continua a evoluir, a integração de assistentes alimentados por IA como o da Nvidia pode se tornar um recurso definitivo do futuro dos jogos, transformando a maneira como os jogadores interagem e exploram seus mundos virtuais favoritos.