Pesquisadores da Hugging Face estão tentando construir uma versão mais aberta do modelo de 'raciocínio' da IA do DeepSeek.

Pouco depois que a DeepSeek lançou seu modelo de IA R1 “raciocínio” — que agitou os mercados — pesquisadores da Hugging Face estão tentando replicar o modelo do zero, em uma busca que eles estão chamando de “conhecimento aberto”.

Leandro von Werra, chefe de pesquisa da Hugging Face, e vários engenheiros da empresa lançaram o Open-R1, um projeto que busca construir uma cópia do R1 e abrir todo o seu código-fonte, incluindo os dados usados para treiná-lo.

Os engenheiros afirmaram que foram levados a agir pela filosofia de lançamento “caixa preta” da DeepSeek. Tecnicamente, o R1 é “aberto” na medida em que o modelo é licenciado de forma permissiva, o que significa que pode ser implantado em grande parte sem restrições. No entanto, o R1 não é “código aberto” na definição amplamente aceita, pois algumas das ferramentas usadas para construí-lo estão envoltas em mistério. Como muitas empresas de IA de destaque, a DeepSeek é relutante em revelar seu ingrediente secreto.

“O modelo R1 é impressionante, mas não há um conjunto de dados aberto, detalhes dos experimentos ou modelos intermediários disponíveis, o que torna a replicação e a pesquisa adicional difíceis”, disse Elie Bakouch, um dos engenheiros da Hugging Face no projeto Open-R1, ao TechCrunch. “Abrir completamente a arquitetura do R1 não é apenas sobre transparência — é sobre desbloquear seu potencial.”

Não tão aberto

A DeepSeek, um laboratório de IA chinês financiado em parte por um fundo de hedge quantitativo, lançou o R1 na semana passada. Em vários benchmarks, o R1 iguala — e até supera — o desempenho do modelo de raciocínio o1 da OpenAI.

Sendo um modelo de raciocínio, o R1 efetivamente verifica suas próprias afirmações, ajudando a evitar algumas das armadilhas que normalmente atrapalham os modelos. Modelos de raciocínio levam um pouco mais de tempo — geralmente segundos a minutos a mais — para chegar a soluções em comparação com um modelo típico que não utiliza raciocínio. O lado positivo é que tendem a ser mais confiáveis em domínios como física, ciência e matemática.

O R1 entrou na consciência popular depois que o aplicativo de chatbot da DeepSeek, que oferece acesso gratuito ao R1, subiu ao topo das classificações da Apple App Store. A rapidez e eficiência com que o R1 foi desenvolvido — a DeepSeek lançou o modelo apenas semanas após a OpenAI lançar o o1 — levaram muitos analistas de Wall Street e tecnólogos a questionar se os EUA podem manter sua liderança na corrida da IA.

O projeto Open-R1 está menos preocupado com a dominância da IA nos EUA do que com “abrir completamente a caixa preta do treinamento de modelos”, disse Bakouch ao TechCrunch. Ele observou que, como o R1 não foi lançado com código de treinamento ou instruções de treinamento, é desafiador estudar o modelo em profundidade — muito menos direcionar seu comportamento.

“Ter controle sobre o conjunto de dados e o processo é crítico para implantar um modelo de forma responsável em áreas sensíveis”, disse Bakouch. “Isso também ajuda a entender e abordar os preconceitos no modelo. Os pesquisadores precisam de mais do que fragmentos… para expandir os limites do que é possível.”

Passos para replicação

O objetivo do projeto Open-R1 é replicar o R1 em poucas semanas, contando em parte com o Science Cluster da Hugging Face, um servidor de pesquisa dedicado com 768 GPUs Nvidia H100.

Os engenheiros da Hugging Face planejam utilizar o Science Cluster para gerar conjuntos de dados semelhantes aos que a DeepSeek usou para criar o R1. Para construir um pipeline de treinamento, a equipe está solicitando ajuda das comunidades de IA e tecnologia mais amplas na Hugging Face e no GitHub, onde o projeto Open-R1 está sendo hospedado.

“Precisamos ter certeza de que estamos implementando os algoritmos e receitas [corretamente]”, disse von Werra ao TechCrunch, “mas é algo que um esforço comunitário é perfeito para enfrentar, onde você tem o maior número possível de olhos no problema.”

Já há muito interesse. O projeto Open-R1 acumulou 10.000 estrelas em apenas três dias no GitHub. As estrelas são uma forma para os usuários do GitHub indicarem que gostam de um projeto ou o consideram útil.

Se o projeto Open-R1 for bem-sucedido, os pesquisadores em IA poderão construir sobre o pipeline de treinamento e trabalhar no desenvolvimento da próxima geração de modelos de raciocínio de código aberto, disse Bakouch. Ele espera que o projeto Open-R1 não apenas produza uma forte replicação de código aberto do R1, mas também uma base para modelos melhores no futuro.

“Em vez de ser um jogo de soma zero, o desenvolvimento de código aberto beneficia imediatamente a todos, incluindo os laboratórios de ponta e os provedores de modelos, pois todos podem usar as mesmas inovações”, disse Bakouch.

Embora alguns especialistas em IA tenham levantado preocupações sobre o potencial de abuso da IA de código aberto, Bakouch acredita que os benefícios superam os riscos.

“Quando a receita do R1 for replicada, qualquer pessoa que puder alugar algumas GPUs poderá construir sua própria variante do R1 com seus próprios dados, difundindo ainda mais a tecnologia por toda parte”, afirmou. “Estamos realmente empolgados com os lançamentos recentes de código aberto que estão fortalecendo o papel da transparência na IA. É uma mudança importante para o campo que altera a narrativa de que apenas um punhado de laboratórios pode progredir e que o código aberto está ficando para trás.”