A TAO dos dados: Como o Databricks está otimizando o ajuste fino de LLMs de IA sem rótulos de dados

Modelos de IA têm desempenho apenas tão bom quanto os dados utilizados para treiná-los ou ajustá-los.

Dados rotulados têm sido um elemento fundamental do aprendizado de máquina (ML) e da IA generativa por grande parte de sua história. Dados rotulados são informações marcadas para ajudar os modelos de IA a entender o contexto durante o treinamento.

À medida que as empresas correm para implementar aplicações de IA, o gargalo oculto muitas vezes não é a tecnologia – é o processo de meses para coletar, curar e rotular dados específicos de domínio. Este “imposto de rotulação de dados” forçou líderes técnicos a escolher entre atrasar a implementação ou aceitar desempenho subótimo com modelos genéricos.

A Databricks está enfrentando esse desafio diretamente.

Esta semana, a empresa lançou uma pesquisa sobre uma nova abordagem chamada Otimização Adaptativa em Tempo de Teste (TAO). A ideia básica por trás dessa abordagem é permitir o ajuste de modelos de linguagem de grande porte (LLM) de nível empresarial utilizando apenas dados de entrada que as empresas já possuem – sem necessidade de rótulos – enquanto atinge resultados que superam o ajuste tradicional com milhares de exemplos rotulados. A Databricks começou como um fornecedor de plataforma de lago de dados e tem se concentrado cada vez mais em IA nos últimos anos. A Databricks adquiriu a MosaicML por 1,3 bilhões de dólares e está lançando ferramentas que ajudam os desenvolvedores a criar aplicativos de IA rapidamente. A equipe de pesquisa Mosaic da Databricks desenvolveu o novo método TAO.

“Obter dados rotulados é difícil e rótulos ruins levarão diretamente a saídas ruins, é por isso que laboratórios de fronteira usam fornecedores de rotulação de dados para comprar dados caros anotados por humanos”, disse Brandon Cui, líder em aprendizado de reforço e cientista de pesquisa sênior na Databricks, ao VentureBeat. “Queremos encontrar os clientes onde estão, os rótulos eram um obstáculo para a adoção de IA empresarial, e com TAO, não são mais.”

A inovação técnica: Como o TAO reinventa o ajuste fino de LLM

No seu cerne, o TAO muda o paradigma de como os desenvolvedores personalizam modelos para domínios específicos.

Em vez da abordagem convencional de ajuste fino supervisionado, que requer exemplos de entrada-saída pareados, o TAO utiliza aprendizado por reforço e exploração sistemática para melhorar modelos utilizando apenas consultas exemplares.

O pipeline técnico emprega quatro mecanismos distintos trabalhando em conjunto:

Geração de resposta exploratória: O sistema pega exemplos de entrada não rotulados e gera múltiplas respostas potenciais para cada um, usando técnicas avançadas de engenharia de prompt que exploram o espaço de soluções.

Modelagem de recompensa calibrada para a empresa: As respostas geradas são avaliadas pelo Modelo de Recompensa da Databricks (DBRM), que é especificamente projetado para avaliar o desempenho em tarefas empresariais com ênfase na correção.

Otimização de modelo baseada em aprendizado por reforço: Os parâmetros do modelo são otimizados por meio de aprendizado por reforço, que essencialmente ensina o modelo a gerar respostas de alta pontuação diretamente.

Ciclo de dados contínuo: À medida que os usuários interagem com o sistema implantado, novas entradas são automaticamente coletadas, criando um loop autoaperfeiçoante sem esforço adicional de rotulação humana.

O uso de computação em tempo de teste não é uma ideia nova. A OpenAI usou computação em tempo de teste para desenvolver o modelo de raciocínio o1, e a DeepSeek aplicou técnicas semelhantes para treinar o modelo R1. O que distingue o TAO de outros métodos de computação em tempo de teste é que, embora use computação adicional durante o treinamento, o modelo ajustado final tem o mesmo custo de inferência que o modelo original. Isso oferece uma vantagem crítica para implantações em produção onde os custos de inferência escalam com o uso.

“O TAO usa apenas computação adicional como parte do processo de treinamento; não aumenta o custo de inferência do modelo após o treinamento”, explicou Cui. “A longo prazo, acreditamos que o TAO e abordagens de computação em tempo de teste como o o1 e o R1 serão complementares – você pode fazer os dois.”

Benchmarks revelam uma surpreendente vantagem de desempenho sobre o ajuste fino tradicional

A pesquisa da Databricks revela que o TAO não apenas iguala o ajuste fino tradicional – ele o supera. Em múltiplos benchmarks relevantes para empresas, a Databricks afirma que a abordagem é melhor, apesar de usar significativamente menos esforço humano.

No FinanceBench (um benchmark de perguntas e respostas sobre documentos financeiros), o TAO melhorou o desempenho do Llama 3.1 8B em 24,7 pontos percentuais e do Llama 3.3 70B em 13,4 pontos. Para geração de SQL usando o benchmark BIRD-SQL adaptado ao dialeto da Databricks, o TAO proporcionou melhorias de 19,1 e 8,7 pontos, respectivamente.

Notavelmente, o Llama 3.3 70B ajustado pelo TAO se aproximou do desempenho do GPT-4o e o3-mini nesses benchmarks – modelos que normalmente custam de 10 a 20 vezes mais para operar em ambientes de produção.

Isso apresenta uma proposta de valor convincente para os tomadores de decisão técnica: a capacidade de implantar modelos menores e mais acessíveis que desempenham de forma comparável a seus equivalentes premium em tarefas específicas de domínio, sem os custos extensivos de rotulação tradicionalmente exigidos.

O TAO possibilita uma vantagem de tempo de mercado para as empresas

Embora o TAO ofereça vantagens de custo claras ao permitir o uso de modelos menores e mais eficientes, seu maior valor pode estar na aceleração do tempo de mercado para iniciativas de IA.

“Acreditamos que o TAO economiza algo mais valioso para as empresas do que dinheiro: ele economiza tempo”, enfatizou Cui. “Obter dados rotulados geralmente requer atravessar fronteiras organizacionais, estabelecer novos processos, fazer com que especialistas em assunto realizem a rotulação e verificar a qualidade. As empresas não têm meses para alinhar várias unidades de negócios apenas para prototipar um caso de uso de IA.”

Essa compressão de tempo cria uma vantagem estratégica. Por exemplo, uma empresa de serviços financeiros implementando uma solução de análise de contratos poderia começar a implantar e iterar usando apenas contratos de amostra, em vez de esperar que as equipes jurídicas rotulem milhares de documentos. Da mesma forma, organizações de saúde poderiam melhorar sistemas de suporte à decisão clínica usando apenas consultas de médicos, sem exigir respostas pareadas de especialistas.

“Nossos pesquisadores passam muito tempo conversando com nossos clientes, entendendo os verdadeiros desafios que eles enfrentam ao construir sistemas de IA e desenvolvendo novas tecnologias para superar esses desafios”, disse Cui. “Já estamos aplicando o TAO em muitas aplicações empresariais e ajudando os clientes a iterar e melhorar continuamente seus modelos.”

O que isso significa para os tomadores de decisão técnica

Para as empresas que desejam liderar na adoção de IA, o TAO representa um potencial ponto de inflexão na forma como sistemas de IA especializados são implantados. Alcançar um desempenho de alta qualidade e específico de domínio sem conjuntos de dados rotulados extensos remove uma das barreiras mais significativas para a implementação generalizada de IA.

Essa abordagem beneficia particularmente organizações com grandes tesouros de dados não estruturados e requisitos específicos de domínio, mas com recursos limitados para rotulação manual – exatamente a posição em que muitas empresas se encontram.

À medida que a IA se torna cada vez mais central para a vantagem competitiva, tecnologias que comprimem o tempo desde o conceito até a implantação, enquanto melhoram simultaneamente o desempenho, separarão os líderes dos retardatários. O TAO parece estar posicionado para ser tal tecnologia, potencialmente permitindo que as empresas implementem capacidades especializadas de IA em semanas, em vez de meses ou trimestres.

Atualmente, o TAO está disponível apenas na plataforma Databricks e está em pré-visualização privada.