Menos é mais: Estudo meta revela que raciocínios mais curtos aumentam a precisão da IA em 34%

Pesquisadores da equipe FAIR da Meta e da Universidade Hebraica de Jerusalém descobriram que fazer grandes modelos de linguagem “pensarem” menos melhora seu desempenho em tarefas de raciocínio complexo.

O estudo divulgado hoje revelou que processos de raciocínio mais curtos em sistemas de IA levam a resultados mais precisos enquanto reduzem significativamente os custos computacionais.

“Neste trabalho, desafiamos a suposição de que longas cadeias de pensamento resultam em melhores capacidades de raciocínio,” escrevem os autores em seu artigo intitulado “Don’t Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning.”

A pesquisa contradiz a tendência prevalente no desenvolvimento de IA, onde as empresas investiram pesadamente em aumentar recursos computacionais para permitir que os modelos realizem raciocínio extensivo através de longas “cadeias de pensamento” — trajetórias detalhadas que os sistemas de IA usam para resolver problemas complexos.

A precisão da IA aumenta em 34% quando modelos utilizam cadeias de raciocínio mais curtas

Os pesquisadores descobriram que, dentro da mesma tarefa de raciocínio, “cadeias de raciocínio mais curtas têm significativamente mais chances de produzir respostas corretas — até 34,5% mais precisas do que a cadeia mais longa amostrada para a mesma pergunta.” Essa descoberta se manteve verdadeira em múltiplos modelos de IA líderes e benchmarks.

“Embora demonstrem resultados impressionantes, [raciocínio extenso] acarreta custos computacionais e tempos de inferência significativos,” os autores observam, apontando uma ineficiência substancial na forma como esses sistemas estão atualmente implantados.

Com base nesses achados, a equipe desenvolveu uma nova abordagem chamada “short-m@k,” que executa várias tentativas de raciocínio em paralelo, mas interrompe a computação assim que os primeiros processos são concluídos. A resposta final é então selecionada por votação majoritária entre essas cadeias mais curtas.

Novo método ‘short-m@k’ reduz custos computacionais em 40% enquanto melhora o desempenho

Para organizações que implantam grandes sistemas de raciocínio em IA, as implicações podem ser substanciais. Os pesquisadores descobriram que seu método pode reduzir recursos computacionais em até 40% enquanto mantém o mesmo nível de desempenho que abordagens padrão.

“Short-3@k, embora um pouco menos eficiente que short-1@k, supera consistentemente a votação majoritária em todos os orçamentos de computação, enquanto ainda é substancialmente mais rápido (com reduções de tempo de parede de até 33%),” afirma o artigo.

Michael Hassid, autor principal do artigo, e sua equipe também descobriram que treinar modelos de IA em exemplos de raciocínio mais curtos melhorou seu desempenho — desafiando outra suposição fundamental no desenvolvimento de IA.

“Treinar com os exemplos mais curtos leva a um melhor desempenho,” escrevem os pesquisadores. “Por outro lado, o fine-tuning em S1-longo aumenta o tempo de raciocínio sem ganhos significativos de desempenho.”

Gigantes da tecnologia poderiam economizar milhões ao implementar a abordagem “não pense demais”

Os achados surgem em um momento crítico para a indústria de IA, enquanto as empresas correm para implantar modelos cada vez mais poderosos que consomem enormes recursos computacionais.

“Nossos achados sugerem repensar os métodos atuais de computação em tempo de teste em LLMs de raciocínio, enfatizando que ‘pensar’ mais tempo não necessariamente se traduz em melhor desempenho e pode, contrariamente, levar a resultados degradados,” concluem os pesquisadores.

Essa pesquisa contrasta com outras abordagens proeminentes. Estudos anteriores influentes, incluindo o trabalho da OpenAI sobre “prompting de cadeia de pensamento” e métodos de “auto-consistência”, geralmente defenderam processos de raciocínio mais extensos. Também se baseia no trabalho recente como a estrutura “Tree of Thoughts” de Princeton e Google DeepMind e a metodologia “Self-Refine” da Carnegie Mellon, que exploraram diferentes abordagens para raciocínio em IA.

Para tomadores de decisão técnica que avaliam investimentos em IA, a pesquisa sugere que maior e mais intensivo computacionalmente não é sempre melhor. O estudo aponta para potenciais economias de custos e melhorias de desempenho otimizando para eficiência em vez de poder computacional bruto.

Em uma indústria obcecada em escalar, parece que ensinar a IA a ser mais concisa não apenas economiza poder computacional — também torna as máquinas mais inteligentes. Às vezes, até mesmo a inteligência artificial se beneficia da sabedoria antiga: não pense demais.