A Nvidia avança com robótica humanoide apoiada pela nuvem

A Nvidia anunciou que está avançando rapidamente na tecnologia de robótica humanoide, fornecendo um modelo de fundação personalizado para raciocínio humanoide, um plano para gerar dados de movimento sintético e mais sistemas Blackwell para acelerar o desenvolvimento de robôs humanoides.

No evento Computex 2025 em Taiwan, a Nvidia apresentou o Isaac GR00T N1.5, a primeira atualização do modelo de fundação aberto, generalizado e totalmente personalizável para raciocínio e habilidades humanoides; Nvidia Isaac GR00T-Dreams, um plano para geração de dados de movimento sintético; e sistemas Nvidia Blackwell para acelerar o desenvolvimento de robôs humanoides.

Desenvolvedores em robótica humanoide como Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI e XPENG Robotics estão adotando as tecnologias da plataforma Nvidia Isaac para avançar no desenvolvimento e implantação de robôs humanoides.

“A IA física e a robótica trarão a próxima revolução industrial,” disse Jensen Huang, CEO da Nvidia, em um comunicado. “De cérebros de IA para robôs a mundos simulados para prática ou supercomputadores de IA para treinar modelos de fundação, a Nvidia fornece blocos de construção para cada estágio da jornada de desenvolvimento da robótica.”

Novo Plano de Geração de Dados Isaac GR00T Fecha a Lacuna de Dados

Apresentado no discurso de abertura da Computex por Huang, o Nvidia Isaac GR00T-Dreams é um plano que ajuda a gerar grandes quantidades de dados de movimento sintético — também conhecidos como trajetórias neurais — que desenvolvedores de IA física podem usar para ensinar robôs novas habilidades, incluindo como se adaptar a ambientes em mudança.

Os desenvolvedores podem primeiro treinar modelos fundacionais Cosmos Predict para seus robôs. Em seguida, usando uma única imagem como entrada, o GR00T-Dreams gera vídeos do robô realizando novas tarefas em novos ambientes. O plano, então, extrai tokens de ação — pedaços de dados compactados e digeríveis — que são utilizados para ensinar aos robôs como realizar essas novas tarefas.

O plano GR00T-Dreams complementa o plano Isaac GR00T-Mimic, que foi lançado na conferência GTC da Nvidia em março. Enquanto o GR00T-Mimic usa as plataformas Nvidia Omniverse e Nvidia Cosmos para aumentar dados existentes, o GR00T-Dreams utiliza o Cosmos para gerar dados completamente novos.

Jim Fan, diretor de IA e cientista distinto da Nvidia, afirmou em uma coletiva de imprensa, “A Nvidia tem uma estratégia robótica muito forte, centrada no que Jensen chama de três problemas computacionais.”

Ele observou que a empresa possui o computador OVX, destinado a simulações e ao motor de simulação física, que é usado para sintetizar e gerar dados. Esses dados são consumidos pelo computador DGX, que é utilizado para treinar modelos de fundação, e depois é implantado no computador HX, que é o runtime na borda para plataformas como robôs humanoides.

Gr00t é o ciclo de vida da IA física e dos fluxos de trabalho baseados em robôs, disse Fan.

“É uma implementação do problema dos três computadores”, acrescentou.

Ele apontou para dois avanços no Projeto Gr00t, Gr00t Dreams e Gr00t N1.5. (Ele disse estar bastante orgulhoso desses nomes).

Para o Gr00t Dreams, Fan comentou que é um modelo que pode gerar vídeos para treinar robôs. Ele mostrou uma série de vídeos, afirmando que todos os vídeos foram gerados pelo Nvidia Cosmos.

“Encontramos uma maneira de aplicar modelos de geração de vídeo avançados como o Cosmos para ajudar na robótica humanoide. De maneira geral, esse método funciona da seguinte forma: primeiro afinamos o Cosmos com vídeos de robôs do nosso laboratório para que esse modelo de vídeo agora esteja customizado para os robôs do nosso laboratório, e então podemos usar esse modelo ajustado para gerar, em princípio, um número infinito de vídeos de sonho ao provocar o modelo de diferentes maneiras,” disse Fan. “E agora isso se torna dados sintéticos para ampliar nossos conjuntos de dados reais de robôs. Como muitos de vocês devem saber, coletar dados em um robô real é muito demorado e caro, pois você é fundamentalmente limitado a 24 horas por robô por dia, certo? É um sistema físico, mas com Gr00t Dreams, esse novo fluxo de trabalho, esse novo conjunto de algoritmos, agora podemos quebrar esse limite físico fundamental e multiplicar dados em uma escala sem precedentes.”

O resultado é que os robôs conseguirão pegar objetos corretamente. Você pode solicitar que pegue um pepino, despeje um suco de laranja ou abra um laptop. O robô nunca foi treinado para essas ações específicas, disse Fan, mas como foi treinado com modelos de vídeo, o robô consegue “entender a física e o significado desses verbos.”

E assim ele aprende a realizar as ações.

Novos Modelos Isaac GR00T Avançam o Desenvolvimento de Robôs Humanoides

A Nvidia Research utilizou o plano GR00T-Dreams para gerar dados sintéticos de treinamento para desenvolver o GR00T N1.5 — uma atualização do GR00T N — em apenas 36 horas, comparado ao que teria levado quase três meses sem o plano.

O GR00T N1.5 pode se adaptar melhor a novos ambientes e configurações de trabalho, além de reconhecer objetos por meio de instruções do usuário. Esta atualização melhora significativamente a taxa de sucesso do modelo em tarefas comuns de manuseio de materiais e fabricação, como classificar ou guardar objetos. O GR00T N1.5 poderá ser implantado no Jetson Thor, que será lançado ainda este ano.

O modelo de fundação Gr00t N1.5 está incorporando Gr00t Dreams como parte do pipeline de geração de dados sintéticos. A Nvidia atualizou a estrutura do backbone de linguagem visual, para que o Gr00t N1.5 tenha melhor adaptabilidade e conformidade com instruções linguísticas, disse Fan.

O Gr00t N1.5 será anunciado na Computex e depois será lançado como código aberto até 9 de junho. Quanto ao Gr00t Dreams, a Nvidia ainda está trabalhando na linha do tempo. A esperança é abrir o código de tudo o que for possível, comentou Fan.

Os primeiros adotantes do GR00T N incluem AeiRobot, Foxlink, Lightwheel e NEURA Robotics. AeiRobot emprega o modelo para permitir que o ALICE4 entenda instruções em linguagem natural e execute fluxos de trabalho complexos de coleta e colocação em ambientes industriais. O Foxlink Group está utilizando-o para melhorar a flexibilidade e eficiência do manipulador robótico industrial, enquanto a Lightwheel o está aproveitando para validar dados sintéticos para uma implantação mais rápida de robôs humanoides em fábricas. A NEURA Robotics está avaliando o modelo para acelerar seu desenvolvimento de automação doméstica.

Novas Frameworks de Simulação e Geração de Dados de Robôs Aceleram Pipelines de Treinamento

Desenvolver robôs humanoides altamente habilidosos requer uma quantidade massiva de dados diversos, que é custosa para capturar e processar. Os robôs precisam ser testados no mundo físico, o que pode apresentar custos e riscos.

Para ajudar a fechar a lacuna de dados e testes, a Nvidia revelou as seguintes tecnologias de simulação:
● Nvidia Cosmos Reason, um novo WFM que usa raciocínio encadeado para ajudar a curar dados sintéticos precisos e de maior qualidade para treinamento de modelos de IA física, agora disponível no Hugging Face
● Cosmos Predict 2, utilizado no GR00T Dreams, também em breve será lançado no Hugging Face com melhorias de desempenho para geração de mundos de alta qualidade e redução de alucinações.
● Nvidia Isaac GR00T-Mimic, um plano para gerar quantidades exponencialmente grandes de trajetórias de movimento sintéticas para manipulação robótica, usando apenas algumas demonstrações humanas.
● Conjunto de Dados de IA Física de Código Aberto, que agora inclui 24.000 trajetórias de movimento humanoide robóticas de alta qualidade usadas para desenvolver os modelos GR00T N.
● Nvidia Isaac Sim 5.0, uma estrutura de simulação e geração de dados sintéticos, agora aberta no GitHub.
● Nvidia Isaac Lab 2.2, uma estrutura de aprendizado de robôs de código aberto, que incluirá novos ambientes de avaliação para ajudar desenvolvedores a testar modelos GR00T N.

Foxconn e Foxlink estão usando o plano GR00T-Mimic para geração de manipulação de movimento sintético para acelerar seus pipelines de treinamento em robótica. Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics e XPENG Robotics estão simulando e treinando seus robôs humanoides utilizando Nvidia Isaac Sim e Isaac Lab. A Skild AI está usando as estruturas de simulação para desenvolver inteligência geral em robôs, e a General Robotics está as integrando em sua plataforma de inteligência robótica.

Sistemas Blackwell Universais para Desenvolvedores de Robôs

Fabricantes globais de sistemas estão construindo workstations e servidores Nvidia RTX PRO 6000, oferecendo uma única arquitetura para executar facilmente todas as cargas de trabalho de desenvolvimento de robôs em treinamento, geração de dados sintéticos, aprendizado de robôs e simulação.

A Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo e Supermicro anunciam servidores, todos capacitados com Nvidia RTX PRO 6000 Blackwell, além de workstations Nvidia RTX PRO 6000 Blackwell anunciadas pela Dell Technologies e Lenovo.

Quando mais potência computacional é necessária para executar cargas de trabalho de treinamento ou geração de dados em larga escala, os desenvolvedores podem se conectar aos sistemas Nvidia Blackwell, como o GB200 NVL72 — disponível com o Nvidia DGX Cloud em provedores de nuvem líderes e Parceiros da Nvidia Cloud — para alcançar até 18 vezes mais desempenho para processamento de dados.