Governança de Tarefas do AWS HyperPod evita que GPUs fiquem ociosas

O custo continua sendo uma preocupação principal para o uso de IA nas empresas e é um desafio que a AWS está enfrentando diretamente.

No evento AWS:reinvent 2024, a gigante da nuvem anunciou o HyperPod Task Governance, uma solução sofisticada que visa uma das ineficiências mais caras nas operações de IA das empresas: recursos de GPU subutilizados.

Segundo a AWS, o HyperPod Task Governance pode aumentar a utilização de aceleradores de IA, ajudando as empresas a otimizar os custos da IA e gerando economias potencialmente significativas.

“Essa inovação ajuda a maximizar a utilização dos recursos computacionais, automatizando a priorização e a gestão dessas tarefas de IA generativa, reduzindo o custo em até 40%”, disse Swami Sivasubramanian, VP de IA e Dados da AWS.

Acabar com o tempo ocioso da GPU

À medida que as organizações ampliam rapidamente suas iniciativas de IA, muitas estão descobrindo um paradoxo custoso. Apesar dos pesados investimentos em infraestrutura de GPU para impulsionar várias cargas de trabalho de IA, incluindo treinamento, ajuste fino e inferência, esses recursos computacionais caros frequentemente ficam ociosos.

Líderes empresariais relatam taxas de utilização surpreendentemente baixas em seus projetos de IA, mesmo enquanto as equipes competem por recursos computacionais. Aparentemente, é um desafio que a própria AWS enfrentou.

“Internamente, tivemos esse tipo de problema enquanto escalávamos há mais de um ano, e construímos um sistema que leva em conta as necessidades de consumo desses aceleradores”, disse Sivasubramanian ao VentureBeat. “Conversei com muitos de nossos clientes, CIOs e CEOs, e eles disseram que queriam exatamente isso; queriam que fosse parte do Sagemaker, e é isso que estamos lançando.”

Swami afirmou que, uma vez que o sistema foi implantado, a utilização de aceleradores de IA da AWS disparou, com taxas de utilização acima de 90%

Como funciona o HyperPod Task Governance

A tecnologia SageMaker Hyperpod foi anunciada pela primeira vez na conferência re:invent 2023.

O SageMaker HyperPod é projetado para lidar com a complexidade de treinar grandes modelos com bilhões ou dezenas de bilhões de parâmetros, o que requer a gestão de grandes clusters de aceleradores de aprendizado de máquina.

O HyperPod Task Governance adiciona uma nova camada de controle ao SageMaker Hyperpod, introduzindo alocação inteligente de recursos entre diferentes cargas de trabalho de IA.

O sistema reconhece que diferentes tarefas de IA têm padrões de demanda variados ao longo do dia. Por exemplo, as cargas de trabalho de inferência geralmente atingem seu pico durante o horário comercial, quando os aplicativos têm maior uso, enquanto o treinamento e a experimentação podem ser agendados durante horários off-peak.

O sistema fornece às empresas insights em tempo real sobre a utilização dos projetos, o consumo de recursos da equipe e as necessidades computacionais. Ele permite que as organizações equilibrem efetivamente seus recursos de GPU entre diferentes equipes e projetos, garantindo que a cara infraestrutura de IA nunca fique ociosa.

AWS quer garantir que as empresas não deixem dinheiro na mesa

Sivasubramanian destacou a importância crítica da gestão de custos de IA durante seu discurso principal.

Como exemplo, ele disse que se uma organização alocou mil aceleradores de IA, nem todos são utilizados de forma consistente ao longo de um período de 24 horas. Durante o dia, eles são amplamente utilizados para inferência, mas à noite, uma grande parte desses recursos caros fica ociosa quando a demanda de inferência pode ser muito baixa.

“Vivemos em um mundo onde os recursos de computação são finitos e caros, e pode ser difícil maximizar a utilização e alocar recursos de forma eficiente, o que geralmente é feito por meio de planilhas e calendários”, afirmou. “Agora, sem uma abordagem estratégica para alocação de recursos, você não apenas perde oportunidades, mas também deixa dinheiro na mesa.”