DeepSeek afirma que seu modelo de raciocínio supera o o1 da OpenAI em certos benchmarks.

O laboratório chinês de IA DeepSeek lançou uma versão aberta do DeepSeek-R1, seu modelo de raciocínio, que afirma ter um desempenho equivalente ao do o1 da OpenAI em certos benchmarks de IA.

O R1 está disponível na plataforma de desenvolvimento de IA Hugging Face sob uma licença MIT, o que significa que pode ser utilizado comercialmente sem restrições. Segundo a DeepSeek, o R1 supera o o1 nos benchmarks AIME, MATH-500 e SWE-bench Verified. O AIME utiliza outros modelos para avaliar o desempenho de um modelo, enquanto o MATH-500 é uma coleção de problemas de palavras. O SWE-bench Verified, por sua vez, foca em tarefas de programação.

Por ser um modelo de raciocínio, o R1 efetivamente verifica a si mesmo, o que ajuda a evitar algumas armadilhas que normalmente atrapalham outros modelos. Modelos de raciocínio geralmente levam um pouco mais de tempo — normalmente de segundos a minutos a mais — para chegar a soluções em comparação com um modelo típico sem raciocínio. A vantagem é que tendem a ser mais confiáveis em domínios como física, ciência e matemática.

O R1 contém 671 bilhões de parâmetros, revelou a DeepSeek em um relatório técnico. Os parâmetros correspondem, aproximadamente, às habilidades de resolução de problemas de um modelo, e modelos com mais parâmetros geralmente têm um desempenho melhor do que aqueles com menos parâmetros.

671 bilhões de parâmetros é um número massivo, mas a DeepSeek também lançou versões “destiladas” do R1 variando de 1,5 bilhões a 70 bilhões de parâmetros. O menor pode rodar em um laptop. Quanto ao R1 completo, ele requer um hardware mais robusto, mas está disponível através da API da DeepSeek a preços 90%-95% inferiores aos do o1 da OpenAI.

Há uma desvantagem no R1. Sendo um modelo chinês, ele está sujeito à avaliação pelo regulador da internet da China para garantir que suas respostas “incorporem valores socialistas centrais.” O R1 não responderá a perguntas sobre a Praça Tiananmen, por exemplo, ou sobre a autonomia de Taiwan.

Muitos sistemas de IA chineses, incluindo outros modelos de raciocínio, se recusam a responder a tópicos que podem irritar os reguladores do país, como especulações sobre o regime de Xi Jinping.

O R1 chega dias após a administração Biden sair e propor regras de exportação mais rigorosas e restrições para tecnologias de IA voltadas para empresas chinesas. Empresas na China já estavam impedidas de comprar chips avançados de IA, mas se as novas regras entrarem em vigor como estão escritas, as empresas enfrentarão limites mais rígidos tanto na tecnologia de semicondutores quanto nos modelos necessários para desenvolver sistemas de IA sofisticados.

Em um documento de política na semana passada, a OpenAI instou o governo dos EUA a apoiar o desenvolvimento da IA americana, sob pena de que os modelos chineses igualem ou superem os seus em capacidade. Em uma entrevista ao The Information, o VP de política da OpenAI, Chris Lehane, destacou a High Flyer Capital Management, a empresa mãe da DeepSeek, como uma organização de preocupação particular.

Até agora, pelo menos três laboratórios chineses — DeepSeek, Alibaba e Kimi, que é propriedade da unicórnio chinesa Moonshot AI — produziram modelos que afirmam rivalizar com o o1. (Vale notar que a DeepSeek foi a primeira — anunciou uma prévia do R1 no final de novembro.) Em um post no X, Dean Ball, um pesquisador de IA da George Mason University, disse que a tendência sugere que os laboratórios de IA chineses continuarão sendo “seguidores rápidos.”

“O desempenho impressionante dos modelos destilados da DeepSeek […] significa que raciocinadores muito capazes continuarão a se proliferar amplamente e poderão ser executados em hardware local,” escreveu Ball, “longe dos olhos de qualquer regime de controle centralizado.”