ServiceNow torna Fast-LLM open source para ajudar as empresas a treinar modelos de IA 20% mais rápido

Treinar um grande modelo de linguagem (LLM) é uma das tarefas mais caras e demoradas para as empresas. Um novo modelo open-source lançado hoje pela ServiceNow pode fazer uma grande diferença, prometendo um tempo de treinamento 20% mais rápido, economizando tempo e dinheiro para as empresas.

A tecnologia Fast-LLM já estava em desenvolvimento dentro da empresa, ajudando a ServiceNow a acelerar seus próprios esforços de treinamento de LLM. Fast-LLM ajudou a treinar o LLM StarCoder 2 da ServiceNow, que foi lançado no início deste ano. O StarCoder também é um esforço open-source, que se beneficia das contribuições da Hugging Face, Nvidia e outros. A ServiceNow também utiliza o Fast-LLM para pré-treinamento contínuo de trilhões de tokens de modelos existentes, além de tarefas de ajuste fino.

Por ser uma tecnologia open-source, qualquer pessoa pode usar o Fast-LLM para ajudar a acelerar o treinamento de IA, incluindo operações de ajuste fino. A intenção é que ele possa ser uma substituição direta para um pipeline de treinamento de IA existente com mínimas alterações de configuração. O novo projeto open-source visa se diferenciar dos frameworks de treinamento de IA comumente utilizados, incluindo o PyTorch open-source, com uma série de inovações em paralelismo de dados e gerenciamento de memória.

“Quando se trata de clusters de computação que custam centenas de milhões e execuções de treinamento que custam milhões de dólares, 20% pode representar uma economia enorme em termos de dinheiro, tempo e a pegada de CO2 geral,” disse Nicolas Chapados, VP de pesquisa na ServiceNow, ao VentureBeat.

As inovações que permitem ao Fast-LLM acelerar o treinamento de IA

A indústria de IA entende bem o desafio de treinar IA de forma mais eficiente. O VentureBeat Transform 2024 apresentou um painel que discutiu exatamente esse problema, detalhando opções para escalar a infraestrutura.

A abordagem do Fast-LLM não se trata de escalar a infraestrutura; trata-se de otimizar a eficiência dos recursos de treinamento existentes.

“Analisamos cuidadosamente todas as operações necessárias para treinar grandes modelos de linguagem, especialmente modelos de linguagem baseados em transformadores,” explicou Chapados. “Otimamos cuidadosamente tanto a forma como a computação é distribuída entre os núcleos individuais dentro da GPU quanto a forma como a memória é utilizada pelos próprios modelos.”

A vantagem competitiva do Fast-LLM decorre de duas inovações principais que o diferenciam. A primeira é a abordagem do Fast-LLM ao empilhamento dos cálculos, que define a ordem em que as operações ocorrem em uma execução de treinamento de IA. Chapados explicou que o Fast-LLM usa uma nova técnica que a ServiceNow chama de “Paralelismo de Pipeline de Amplitude-Primeiro.”

“Esta é a inovação científica fundamental em relação à forma como a computação é agendada, tanto dentro de uma única GPU quanto entre múltiplas GPUs,” disse Chapados.

A segunda grande inovação aborda o gerenciamento de memória. Em grandes operações de treinamento, a memória se fragmenta com o tempo. Isso significa que a memória se torna fracionada à medida que o treinamento avança. A fragmentação cria ineficiências de memória, impedindo que os clusters de treinamento utilizem toda a memória disponível adequadamente.

“Fomos muito cuidadosos na forma como projetamos o Fast-LLM para quase eliminar completamente o problema da fragmentação de memória ao treinar esses grandes modelos de linguagem,” disse Chapados.

Como as empresas podem usar o Fast-LLM hoje para acelerar o treinamento

O framework Fast-LLM foi projetado para ser acessível enquanto mantém capacidades de nível empresarial. Ele funciona como uma substituição direta para ambientes PyTorch e se integra a configurações de treinamento distribuído existentes.

“Para qualquer desenvolvedor de modelo ou pesquisador, é apenas um arquivo de configuração simples que permite especificar todos os detalhes arquitetônicos que importam,” disse Chapados.

Executar operações de treinamento mais rapidamente traz múltiplos benefícios e pode permitir que as empresas experimentem mais.

“Isso torna o risco de grandes execuções de treinamento menor,” disse Chapados. “Isso equipa usuários, pesquisadores e construtores de modelos com um pouco mais de ambição para treinar execuções maiores, porque eles não terão mais medo de que isso custe tanto.”

Olhando para o futuro, a expectativa é que, como um projeto open-source, o Fast-LLM possa se expandir mais rapidamente, beneficiando-se de contribuições externas. A ServiceNow já teve sucesso com essa abordagem com o StarCoder.

“Nosso objetivo é realmente ser muito, muito transparente e responsivo às contribuições da comunidade em relação ao uso deste framework,” disse Chapados. “Ainda estamos recebendo feedback inicial sobre o que as pessoas gostam, o que elas conseguem fazer com isso e nosso objetivo é realmente escalar isso.”