Pesquisadores da Microsoft afirmam ter desenvolvido um modelo de IA hipereficiente que pode ser executado em CPUs.

Pesquisadores da Microsoft afirmam ter desenvolvido o maior modelo de IA de 1 bit, também conhecido como “bitnet”, até hoje. Chamado de BitNet b1.58 2B4T, está disponível abertamente sob licença MIT e pode ser executado em CPUs, incluindo o M2 da Apple.

Os bitnets são essencialmente modelos compactos projetados para rodar em hardwares leves. Em modelos tradicionais, os pesos, os valores que definem a estrutura interna de um modelo, frequentemente são quantizados para que os modelos funcionem bem em uma ampla gama de máquinas. A quantização dos pesos reduz o número de bits — as menores unidades que um computador pode processar — necessários para representar esses pesos, permitindo que os modelos operem em chips com menos memória, de forma mais rápida.

Os bitnets quantizam os pesos em apenas três valores: -1, 0 e 1. Em teoria, isso os torna muito mais eficientes em termos de memória e computação do que a maioria dos modelos atuais.

Os pesquisadores da Microsoft afirmam que o BitNet b1.58 2B4T é o primeiro bitnet com 2 bilhões de parâmetros, sendo que “parâmetros” são em grande parte sinônimos de “pesos.” Treinado em um conjunto de dados de 4 trilhões de tokens — equivalente a cerca de 33 milhões de livros, segundo uma estimativa — o BitNet b1.58 2B4T supera modelos tradicionais de tamanhos semelhantes, afirmam os pesquisadores.

É importante ressaltar que o BitNet b1.58 2B4T não supera completamente modelos rivais de 2 bilhões de parâmetros, mas aparentemente se mantém bem. De acordo com os testes dos pesquisadores, o modelo supera o Llama 3.2 1B da Meta, o Gemma 3 1B do Google e o Qwen 2.5 1.5B da Alibaba em benchmarks como GSM8K (uma coleção de problemas matemáticos de nível escolar) e PIQA (que testa habilidades de raciocínio físico do senso comum).

Talvez mais impressionante, o BitNet b1.58 2B4T seja mais rápido do que outros modelos de seu tamanho — em alguns casos, o dobro da velocidade — enquanto utiliza uma fração da memória.

No entanto, há um porém.

Para alcançar esse desempenho, é necessário usar a estrutura personalizada da Microsoft, bitnet.cpp, que atualmente funciona apenas com certos hardwares. Os GPUs, que dominam a infraestrutura de IA, estão ausentes da lista de chips suportados.

Isso tudo para dizer que os bitnets podem ter um grande potencial, especialmente para dispositivos com recursos limitados. Mas a compatibilidade é — e provavelmente continuará a ser — um grande obstáculo.