A Nvidia anuncia acesso antecipado ao Omniverse Sensor RTX para máquinas autônomas mais inteligentes.

A Nvidia anunciou o acesso antecipado ao software Omniverse Cloud Sensor RTX para habilitar máquinas autônomas mais inteligentes com IA generativa.

A IA generativa e os modelos de fundação permitem que máquinas autônomas generalizem além dos domínios de design operacional nos quais foram treinadas. Usando novas técnicas de IA, como tokenização e modelos de linguagem e difusão de grande escala, desenvolvedores e pesquisadores agora podem enfrentar obstáculos de longa data em relação à autonomia. A Nvidia fez o anúncio durante a apresentação do CEO Jensen Huang na CES 2025.

Esses modelos maiores requerem enormes quantidades de dados diversos para treinamento, ajuste fino e validação. No entanto, coletar tais dados – incluindo casos raros e cenários potencialmente perigosos, como um pedestre atravessando em frente a um veículo autônomo à noite ou um humano entrando em uma célula de trabalho de um robô de soldagem – pode ser incrivelmente difícil e consumir muitos recursos.

Para ajudar os desenvolvedores a preencher essa lacuna, as APIs do NVIDIA Omniverse Cloud Sensor RTX possibilitam a simulação de sensores fisicamente precisos para geração de conjuntos de dados em grande escala. As interfaces de programação de aplicativos (APIs) são projetadas para suportar sensores comumente usados para autonomia – incluindo câmeras, radar e lidar – e podem ser integradas facilmente em fluxos de trabalho existentes para acelerar o desenvolvimento de veículos autônomos e robôs de todos os tipos.

As APIs do Omniverse Sensor RTX estão agora disponíveis para um grupo seleto de desenvolvedores em acesso antecipado. Organizações como Accenture, Foretellix, MITRE e Mcity estão integrando essas APIs por meio de projetos específicos de domínio para fornecer aos clientes as ferramentas necessárias para implantar a próxima geração de robôs de fabricação industrial e carros autônomos.

Potencializando a IA Industrial com Omniverse Blueprints

Em ambientes complexos, como fábricas e armazéns, os robôs devem ser orquestrados para trabalhar de forma segura e eficiente ao lado de máquinas e trabalhadores humanos. Todas essas partes móveis apresentam um grande desafio ao projetar, testar ou validar operações sem causar interrupções.

Mega é um Omniverse Blueprint que oferece uma arquitetura de referência das tecnologias de computação acelerada pela Nvidia, IA, NVIDIA Isaac e NVIDIA Omniverse.

As empresas podem usá-lo para desenvolver gêmeos digitais e testar cérebros de robôs impulsionados por IA que controlam robôs, câmeras, equipamentos e mais, para lidar com uma enorme complexidade e escala.

Integrando o Omniverse Sensor RTX, o blueprint permite que os desenvolvedores de robótica renderizem simultaneamente dados de sensores de qualquer tipo de máquina inteligente em uma fábrica para simulação de sensor em grande escala e alta fidelidade.

Com a capacidade de testar operações e fluxos de trabalho em simulação, os fabricantes podem economizar tempo e investimento consideráveis, além de melhorar a eficiência de maneiras completamente novas.

A Kion Group, uma empresa internacional de soluções para cadeias de suprimentos, e a Accenture estão usando o blueprint Mega para construir gêmeos digitais Omniverse que servem como ambientes de treinamento e teste virtuais para os cérebros robóticos da IA industrial, utilizando dados de câmeras inteligentes, empilhadeiras, equipamentos robóticos e humanos digitais.

Os cérebros robóticos percebem o ambiente simulado com dados de sensores fisicamente precisos renderizados pelas APIs do Omniverse Sensor RTX. Eles usam esses dados para planejar e agir, com cada ação sendo rastreada com precisão pelo Mega, juntamente com o estado e a posição de todos os ativos no gêmeo digital. Com essas capacidades, os desenvolvedores podem continuamente criar e testar novos layouts antes de serem implementados no mundo físico.

Impulsionando o Desenvolvimento e Validação de AVs

Veículos autônomos estão em desenvolvimento há mais de uma década, mas barreiras na aquisição dos dados corretos para treinamento e validação e ciclos de iteração lentos têm dificultado a implantação em grande escala.

Para atender à necessidade de dados de sensores, as empresas estão aproveitando o Nvidia Omniverse Blueprint para simulação de AV, um fluxo de trabalho de referência que permite a simulação fisicamente precisa de sensores. O fluxo de trabalho utiliza as APIs do Omniverse Sensor RTX para renderizar os dados de câmeras, radar e lidar necessários para o desenvolvimento e validação de AV.

O fornecedor de ferramentas para AV Foretellix integrou o blueprint em sua ferramenta de desenvolvimento Foretify AV para transformar a simulação em nível de objeto em simulação de sensor fisicamente precisa.

A ferramenta Foretify pode gerar qualquer número de cenários de teste simultaneamente. Ao adicionar capacidades de simulação de sensores a esses cenários, o Foretify agora pode permitir que os desenvolvedores avaliem a completude do seu desenvolvimento de AV, bem como treinem e testem nos níveis de fidelidade e escala necessários para alcançar uma implantação segura e em grande escala. Além disso, a Foretellix usará a recém-anunciada plataforma Nvidia Cosmos para gerar uma diversidade ainda maior de cenários para verificação e validação.

A Nuro, uma provedora de tecnologia de direção autônoma com uma das maiores implantações de nível 4 nos EUA, está usando a ferramenta Foretify para treinar, testar e validar seus veículos autônomos antes da implantação.

Além disso, a organização de pesquisa MITRE está colaborando com a instalação de teste Mcity da Universidade de Michigan para construir uma estrutura de validação digital de AV para uso regulatório, incluindo um gêmeo digital do campo de provas de 32 acres do Mcity para veículos autônomos. O projeto utiliza o blueprint de simulação de AV para renderizar dados de sensores fisicamente precisos em escala no ambiente virtual, aumentando a eficácia do treinamento.

O futuro da robótica e da autonomia está se tornando cada vez mais claro, graças ao poder da simulação de sensores de alta fidelidade. Saiba mais sobre essas soluções na CES visitando a Accenture no Salão F e a Foretellix no estande 4016 no West Hall.