Rapt AI e AMD trabalham para tornar a utilização de GPUs mais eficiente

Rapt AI, um fornecedor de automação de carga de trabalho de IA impulsionada por inteligência artificial para GPUs e aceleradores de IA, se uniu à AMD para aprimorar a infraestrutura de IA.

A colaboração estratégica de longo prazo visa melhorar a gestão e o desempenho das cargas de trabalho de inferência e treinamento de IA em GPUs AMD Instinct, oferecendo aos clientes uma solução escalável e econômica para implantação de aplicações de IA.

Com a aceleração da adoção da IA, as organizações estão lidando com alocação de recursos, gargalos de desempenho e gerenciamento complexo de GPU.

Ao integrar a plataforma inteligente de automação de cargas de trabalho da Rapt com as GPUs AMD Instinct MI300X, MI325X e a próxima série MI350, esta colaboração oferece uma solução escalável, de alto desempenho e custo-efetiva que permite aos clientes maximizar a eficiência de inferência e treinamento de IA em infraestruturas on-premises e multi-nuvem.

Uma solução mais eficiente

Charlie Leeming, CEO da Rapt AI, afirmou em uma coletiva de imprensa: “Os modelos de IA que estamos vendo hoje são muito grandes e, o mais importante, são dinâmicos e imprevisíveis. As ferramentas antigas para otimização não se adequam mais. Observamos essas dinâmicas. As empresas estão gastando muito dinheiro. Contratando um novo conjunto de talentos em IA. É uma dessas tecnologias disruptivas. Temos um cenário onde CFOs e CIOs estão perguntando onde está o retorno. Em alguns casos, são dezenas de milhões, centenas de milhões ou bilhões de dólares gastos em infraestrutura relacionada a GPU.”

Leeming disse que Anil Ravindranath, CTO da Rapt AI, viu a solução. E isso envolveu implementar monitores para permitir observações da infraestrutura.

“Acreditamos que temos a solução certa na hora certa. Nós saímos do modo secreto no outono passado. Estamos em um número crescente de empresas da Fortune 100. Duas estão executando o código entre os provedores de serviços de nuvem,” disse Leeming.

E ele afirmou: “Temos parceiros estratégicos, mas nossas conversas com a AMD foram extremamente bem. Eles estão construindo GPUs e aceleradores de IA incríveis. Nós somos conhecidos por colocar a máxima quantidade de carga de trabalho em GPUs. A inferência está decolando. Está em estágio de produção agora. As cargas de trabalho de IA estão explodindo. Os cientistas de dados estão correndo o mais rápido que podem. Eles estão em pânico, eles precisam de ferramentas, precisam de eficiência, precisam de automação. Está gritando por uma solução adequada. Ineficiências — 30% de subutilização de GPU. Os clientes querem flexibilidade. Grandes clientes estão perguntando se você dá suporte à AMD.”

Melhorias que podem levar nove horas podem ser realizadas em três minutos, disse ele. Ravindranath afirmou em uma coletiva de imprensa que a plataforma Rapt AI permite até 10 vezes a capacidade de execução de modelo no mesmo nível de gastos com computação IA, até 90% de economia de custos, e zero humanos no loop e nenhuma alteração de código. Para a produtividade, isso significa não mais esperar por computação e tempo gasto ajustando a infraestrutura.

Leeming disse que outras técnicas têm estado disponíveis por um tempo e não funcionaram. A Run AI, um rival, se sobrepõe de forma competitiva em certo sentido. Ele afirmou que sua empresa observa em minutos ao invés de horas e então otimiza a infraestrutura. Ravindranath disse que a Run AI é mais como um agendador, mas a Rapt AI se posiciona para resultados imprevisíveis e lida com isso.

“Executamos o modelo e descobrimos a solução, e isso é um enorme benefício para as cargas de trabalho de inferência. Deve simplesmente rodar automaticamente,” disse Ravindranath.

Os benefícios: custos mais baixos, melhor utilização de GPU

As empresas afirmaram que as GPUs AMD Instinct, com sua capacidade de memória líder da indústria, combinadas com a
otimização inteligente de recursos da Rapt, ajudam a garantir a máxima utilização da GPU para cargas de trabalho de IA, ajudando a reduzir o custo total de propriedade (TCO).

A plataforma da Rapt simplifica o gerenciamento de GPU, eliminando a necessidade de cientistas de dados gastarem tempo valioso em configurações de infraestrutura baseadas em tentativa e erro. Ao otimizar automaticamente a alocação de recursos para suas cargas de trabalho específicas, capacita-os a se concentrarem na inovação em vez da infraestrutura. Ela suporta perfeitamente diversos ambientes de GPU (AMD e outros, seja na nuvem, em locais ou ambos) por meio de uma única instância, ajudando a garantir máxima flexibilidade de infraestrutura.

A solução combinada otimiza inteligentemente a densidade de trabalho e a alocação de recursos nas GPUs AMD Instinct, resultando em melhor desempenho de inferência e escalabilidade para implantações de IA em produção. As capacidades de escalonamento automático da Rapt ajudam ainda a garantir o uso eficiente de recursos com base na demanda, reduzindo a latência e maximizando a eficiência de custos.

A plataforma da Rapt funciona imediatamente com as GPUs AMD Instinct, ajudando a garantir benefícios de desempenho imediato. A colaboração contínua entre a Rapt e a AMD impulsionará mais otimizações em áreas emocionantes, como agendamento de GPU, utilização de memória e muito mais, ajudando a garantir que os clientes estejam equipados com uma infraestrutura de IA pronta para o futuro.

“Na AMD, estamos comprometidos em fornecer soluções de IA escaláveis e de alto desempenho que capacitem as organizações a desbloquear todo o potencial de suas cargas de trabalho de IA,” disse Negin Oliver, vice-presidente corporativa de desenvolvimento de negócios para o setor de GPU de data center da AMD, em uma declaração. “Nossa colaboração com a Rapt AI combina as capacidades de ponta das GPUs AMD Instinct com a automação inteligente de carga de trabalho da Rapt, permitindo que os clientes alcancem maior eficiência, flexibilidade e economia de custos em toda a sua infraestrutura de IA.”