Bolt42

Apresentado por Applied Digital

Aplicações de IA generativa e modelos de ML exigem um alto desempenho. As cargas de trabalho atuais — treinamento e inferência de modelos GenAI, pré e pós-processamento de dados de vídeo, imagem e texto, geração de dados sintéticos, processamento de bancos de dados SQL e vetoriais, entre outros — são massivas. Modelos de próxima geração, como novas aplicações utilizando IA agentiva, precisarão de 10 a 20 vezes mais computação para treinar usando significativamente mais dados.

Mas essas implantações de IA em grande escala só são viáveis se forem aplicadas de maneira acessível, escalável e resiliente, diz Dave Salvator, diretor de produtos de computação acelerada da Nvidia.

“A IA generativa, e a IA em geral, é um problema de pilha completa,” diz Salvator. “Os chips são obviamente o coração da plataforma, mas o chip é apenas o começo. A pilha completa de IA inclui aplicações e serviços na parte superior da pilha, centenas de bibliotecas no meio da pilha e, claro, a otimização constante para os últimos e melhores modelos.”

Novas tecnologias e abordagens são necessárias para liberar totalmente as possibilidades da computação acelerada na era da IA, incluindo inovações em plataformas de IA, energia renovável e resfriamento líquido em larga escala, para oferecer uma computação de alto desempenho mais acessível, resiliente e eficiente em termos de energia — especialmente à medida que as organizações enfrentam o crescente desafio energético.

Esses data centers não podem ser retrofitados — eles precisam ser construídos para um propósito específico, acrescenta Wes Cummins, CEO e presidente da Applied Digital.

“É um grande desafio atualizar para o tipo de resfriamento, densidade de potência, elétrica, encanamento e HVAC que precisam ser retrofitados. No entanto, o maior problema se resume à energia,” diz Cummins. “Eficiência se traduz diretamente em custos mais baixos. Ao maximizar a eficiência energética, otimizar o uso do espaço e melhorar a utilização da infraestrutura e equipamentos no data center, podemos reduzir o custo de geração do produto a partir do hardware.”

A Applied Digital está colaborando com a Nvidia para entregar a computação de alto desempenho acessível, resiliente e eficiente em energia necessária para construir a fábrica de IA do amanhã.

Como a plataforma de computação acelerada da Nvidia torna a fábrica de IA construída para um propósito possível

A fábrica de IA resolve o fluxo de trabalho de ponta a ponta, ajudando os desenvolvedores a trazer produtos de IA à realidade mais rapidamente. Seus processos intensivos em computação são significativamente mais performáticos, utilizando mais energia, mas de forma muito mais eficiente, permitindo que a preparação de dados, construção de modelos do zero e pré-treinamento ou ajuste fino de modelos fundamentais sejam feitos em uma fração do tempo e com uma fração da energia gasta.

Modelos são construídos mais rápido, de forma mais eficiente e mais facilmente do que nunca, com o suporte de soluções verdadeiramente de pilha completa. E à medida que aplicações avançadas de IA generativa e IA agentiva começam a chegar ao mercado, até mesmo o lado da inferência será um desafio com múltiplos GPUs e nós múltiplos.

Inovações recentes em computação acelerada da Nvidia fornecem o desempenho e a eficiência necessários para atender a esses requisitos avançados de computação acelerada, como a plataforma Nvidia Blackwell. Ela utiliza uma tecnologia de interconexão ultrarrápida chamada Nvidia NVLink, que é cerca de sete vezes mais rápida que o PCIe, conectando 72 GPUs em um único domínio e podendo escalar até 576 GPUs para liberar desempenho acelerado para modelos de IA com trilhões e multi-trilhões de parâmetros. A tecnologia Nvidia NVLink Switch interconecta totalmente cada GPU, então qualquer uma das 72 GPUs pode se comunicar com qualquer outra a plena velocidade, sem compromisso de largura de banda e com baixa latência. O NVLink permite comunicações rápidas de todos para todos (all-to-all) e redução total (all-reduce) que são extensivamente utilizadas no treinamento e inferência de IA.

Fazer com que nós de servidor se comuniquem entre si se torna cada vez mais uma parte maior do que pode limitar o desempenho ou permitir que o desempenho continue a escalar, então uma rede realmente rápida, performática e configurável se torna um componente crítico de um grande sistema. A rede Nvidia Quantum-2 InfiniBand é projetada para cargas de trabalho de IA, proporcionando desempenho altamente escalável com motores de descarregamento avançados que reduzem os tempos de treinamento para grandes modelos de IA.

“Nosso objetivo é garantir que essas eficiências de escala sejam tão altas quanto possível, porque quanto mais você escala, mais a comunicação escalada se torna uma parte crítica da sua equação de desempenho,” diz Salvatore.

Manter supercomputadores de alto desempenho funcionando 24 horas por dia, 7 dias por semana, pode ser um desafio, e falhas podem ser caras. Interrupções em trabalhos de treinamento custam tempo e dinheiro; para aplicações implantadas, se um servidor falhar e servidores adicionais tiverem que assumir, a experiência do usuário é significativamente impactada, e assim por diante.

Para abordar os desafios específicos de tempo de atividade de uma infraestrutura acelerada por GPU, o Blackwell foi projetado com motores dedicados para confiabilidade, disponibilidade e capacidade de manutenção (RAS). O motor RAS mantém os gerentes de infraestrutura atualizados sobre a saúde do servidor, e os servidores se reportam automaticamente sobre quaisquer problemas para que possam ser rapidamente localizados em um rack de centenas.

Explorando fontes de energia ecologicamente sustentáveis

A quantidade de energia necessária para atender à demanda por infraestrutura de IA e impulsionar aplicações de IA está se tornando um desafio crescente. A Applied Digital tem uma abordagem única para resolver essa questão, que inclui a energia “stranded” ou recursos energéticos já existentes que estão subutilizados, além de energia renovável. Esses recursos energéticos existentes aceleram o tempo de lançamento no mercado, permitindo um método mais ecologicamente responsável de fornecer energia, e serão centrais na estratégia da empresa até que sistemas de geração de energia de baixa emissão de carbono mais eficientes se tornem comuns.

A energia stranded é criada na América do Norte de duas maneiras: uma, quando uma organização com aplicações que consomem muita energia fecha, como uma fundição de alumínio ou uma siderúrgica. Uma grande quantidade de infraestrutura de geração e distribuição foi originalmente instalada para apoiar essa fábrica.

A principal fonte de energia renovável da Applied Digital é a energia eólica, de parques eólicos em estados onde a terra é barata e o vento é abundante. As turbinas eólicas são frequentemente restringidas porque frequentemente não há fontes suficientes para direcionar essa energia, e enviá-la para a rede elétrica pode fazer com que os preços caiam para negativos. A empresa co-localiza data centers próximos a esses parques eólicos — em Dakota do Norte, eles aproveitam dois gigawatts de energia eólica que alimentam uma subestação próxima.

“O que é único sobre as cargas de trabalho de IA é que elas não são tão sensíveis à latência da rede para o usuário final,” diz Cummins. “Podemos ser mais flexíveis e, na verdade, levar a carga, a aplicação, diretamente à fonte de energia, algo que fizemos em várias locais. Não apenas conseguimos usar uma grande porcentagem de energias renováveis, mas estamos usando eletricidade que, de outra forma, não seria utilizada. Isso cria muitos benefícios econômicos locais e traz muitos empregos tecnológicos interessantes para locais na América que foram deixados de lado nos últimos 20 anos.”

Aproveitando avanços tecnológicos em resfriamento líquido

Avanços tecnológicos em resfriamento líquido otimizarão ainda mais a eficiência energética e a sustentabilidade. O resfriamento líquido reduz a carga térmica e limita as necessidades de consumo de energia. Os racks de servidores resfriados a líquido diretamente no chip também reduzem a necessidade de consumo de recursos hídricos em comparação com sistemas de refrigeração a ar ou evaporativos. Em 2025, a Applied Digital implantará resfriamento líquido em chip em grande escala. O objetivo é levar o parâmetro PUE, ou eficiência de utilização de energia, o mais próximo possível de um.

Para um PUE de um, 100% da eletricidade impulsiona a carga de trabalho de TI; qualquer valor acima de um utiliza aquela quantidade de energia para resfriamento e mecânico. Historicamente, o PUE de um data center hyperscale muito eficiente, dependendo da localização, seria entre 1,35 a 1,5, enquanto abaixo de 1,5 qualifica-se como um data center verde.

“Em nossa localização utilizando resfriamento líquido, esperamos que o PUE seja 1,15 ao longo de todo o ano,” diz Cummins. “Devido à eficiência, o resfriamento líquido melhorará significativamente o PUE de qualquer data center, independentemente da localização.”

O resfriamento líquido oferece algumas outras vantagens — reduz drasticamente o nível de ruído ambiente em data centers, sem o barulho dos ventiladores usados para resfriamento a ar nos chassis. Subtrair esses ventiladores também contribui para a eficiência energética. O resfriamento líquido direto também elimina a necessidade de chillers, o que reduz ainda mais o consumo de energia. E a quantidade de HVAC necessária para resfriar o data center também é significativamente reduzida.

“Se você comparar nossa instalação em Dakota do Norte com algo em um estado do sul, o preço da energia, o baixo PUE e a eficiência com a qual as instalações podem operar com 100 megawatts por ano,” diz Cummins, “estamos estimando que economizamos aos nossos clientes aproximadamente $50 milhões por ano em custos operacionais.”

Aprofunde-se: Para saber mais sobre como construir a fábrica de IA do futuro, entre em contato com a Applied Digital. Descubra como nossas soluções inovadoras impulsionam a eficiência energética, melhoram o desempenho e apoiam a sustentabilidade para a computação de próxima geração.

Artigos patrocinados são conteúdos produzidos por uma empresa que está pagando pelo post ou tem um relacionamento comercial com a VentureBeat, e eles são sempre claramente marcados. Para mais informações, contate sales@venturebeat.com.

    um × três =

    Bolt42

    IA