Bolt42

Participe de nossas newsletters diárias e semanais para receber as últimas atualizações e conteúdo exclusivo sobre a cobertura de IA de ponta. Saiba mais


Pesquisadores do Alibaba Group desenvolveram uma abordagem inovadora que pode reduzir dramaticamente os custos e a complexidade do treinamento de sistemas de IA para busca de informações, eliminando a necessidade de APIs caras de motores de busca comerciais.

A técnica, chamada de “ZeroSearch”, permite que modelos de linguagem de grande porte (LLMs) desenvolvam capacidades avançadas de busca por meio de uma abordagem de simulação, ao invés de interagir com motores de busca reais durante o processo de treinamento. Essa inovação pode economizar despesas significativas com APIs, ao mesmo tempo que oferece melhor controle sobre como os sistemas de IA aprendem a recuperar informações.

“O treinamento por aprendizado por reforço [RL] requer rollout frequentes, envolvendo potencialmente centenas de milhares de solicitações de busca, o que acarreta despesas substanciais com APIs e limita severamente a escalabilidade,” escrevem os pesquisadores em seu artigo publicado no arXiv esta semana. “Para abordar esses desafios, introduzimos o ZeroSearch, um framework de aprendizado por reforço que incentiva as capacidades de busca dos LLMs sem interagir com motores de busca reais.”

Como o ZeroSearch treina IA para buscar sem motores de busca

O problema que o ZeroSearch resolve é significativo. Empresas que desenvolvem assistentes de IA que podem buscar informações de forma autônoma enfrentam dois grandes desafios: a qualidade imprevisível dos documentos retornados pelos motores de busca durante o treinamento e os custos excessivos de fazer centenas de milhares de chamadas de API para motores de busca comerciais como o Google.

A abordagem da Alibaba começa com um processo leve de ajuste fino supervisionado para transformar um LLM em um módulo de recuperação capaz de gerar documentos relevantes e irrelevantes em resposta a uma consulta. Durante o treinamento por aprendizado por reforço, o sistema utiliza o que os pesquisadores chamam de uma “estratégia de rollout baseada em currículo” que gradualmente degrada a qualidade dos documentos gerados.

“Nosso principal insight é que os LLMs adquiriram um extenso conhecimento do mundo durante o pré-treinamento em grande escala e são capazes de gerar documentos relevantes quando apresentados a uma consulta de busca,” explicam os pesquisadores. “A principal diferença entre um motor de busca real e um LLM de simulação está no estilo textual do conteúdo retornado.”

Superando o Google a uma fração do custo

Em experimentos abrangentes em sete conjuntos de dados de perguntas e respostas, o ZeroSearch não apenas igualou, mas frequentemente superou o desempenho de modelos treinados com motores de busca reais. Notavelmente, um módulo de recuperação de 7B parâmetros alcançou desempenho comparável ao Google Search, enquanto um módulo de 14B parâmetros até mesmo o superou.

As economias de custo são substanciais. Segundo a análise dos pesquisadores, treinar com aproximadamente 64.000 consultas de busca usando Google Search via SerpAPI custaria cerca de $586,70, enquanto utilizar um LLM de simulação de 14B parâmetros em quatro GPUs A100 custa apenas $70,80 — uma redução de 88%.

“Isso demonstra a viabilidade de usar um LLM bem treinado como substituto para motores de busca reais em configurações de aprendizado por reforço,” observa o artigo.

O que isso significa para o futuro do desenvolvimento de IA

Esse avanço representa uma mudança significativa na forma como os sistemas de IA podem ser treinados. ZeroSearch demonstra que a IA pode melhorar sem depender de ferramentas externas como motores de busca.

O impacto pode ser substancial para a indústria de IA. Até agora, treinar sistemas avançados de IA costumava exigir chamadas de API caras para serviços controlados por grandes empresas de tecnologia. O ZeroSearch muda essa equação, permitindo que a IA simule a busca em vez de usar motores de busca reais.

Para pequenas empresas de IA e startups com orçamentos limitados, essa abordagem pode igualar o campo de jogo. Os altos custos das chamadas de API têm sido uma grande barreira de entrada no desenvolvimento de assistentes de IA sofisticados. Ao reduzir esses custos em quase 90%, o ZeroSearch torna o treinamento avançado de IA mais acessível.

Além das economias de custo, essa técnica oferece aos desenvolvedores mais controle sobre o processo de treinamento. Ao usar motores de busca reais, a qualidade dos documentos retornados é imprevisível. Com a busca simulada, os desenvolvedores podem controlar precisamente quais informações a IA vê durante o treinamento.

A técnica funciona em várias famílias de modelos, incluindo Qwen-2.5 e LLaMA-3.2, e com variantes base e ajustadas por instruções. Os pesquisadores disponibilizaram seu código, conjuntos de dados e modelos pré-treinados no GitHub e Hugging Face, permitindo que outros pesquisadores e empresas implementem a abordagem.

Conforme os modelos de linguagem de grande porte continuam a evoluir, técnicas como o ZeroSearch sugerem um futuro onde os sistemas de IA podem desenvolver capacidades cada vez mais sofisticadas por meio da auto-simulação, em vez de depender de serviços externos — potencialmente mudando a economia do desenvolvimento de IA e reduzindo dependências de grandes plataformas tecnológicas.

A ironia é clara: ao ensinar a IA a buscar sem motores de busca, a Alibaba pode ter criado uma tecnologia que torna motores de busca tradicionais menos necessários para o desenvolvimento de IA. À medida que esses sistemas se tornam mais autossuficientes, o cenário tecnológico pode parecer muito diferente em apenas alguns anos.





    2 × um =




    Bolt42