O que há dentro do LLM? O Ai2 OLMoTrace irá 'rastrear' a fonte.

Compreender exatamente como a saída de um modelo de linguagem grande (LLM) se relaciona com os dados de treinamento tem sido um mistério e um desafio para o TI empresarial.

Um novo esforço de código aberto lançado esta semana pelo Instituto Allen para IA (Ai2) visa ajudar a resolver esse desafio, rastreando a saída do LLM para as entradas de treinamento. A ferramenta OLMoTrace permite que os usuários rastreiem as saídas do modelo de linguagem diretamente de volta para os dados de treinamento originais, abordando uma das barreiras mais significativas para a adoção de IA nas empresas: a falta de transparência em como os sistemas de IA tomam decisões.

OLMo é um acrônimo para Open Language Model, que também é o nome da família de LLMs de código aberto da Ai2. No site Ai2 Playground da empresa, os usuários podem experimentar o OLMoTrace com o recém-lançado modelo OLMo 2 32B. O código aberto também está disponível no GitHub e é livremente acessível para qualquer pessoa usar.

Diferente das abordagens existentes que se concentram em pontuações de confiança ou geração aumentada por recuperação, o OLMoTrace oferece uma janela direta para a relação entre as saídas do modelo e os conjuntos de dados de treinamento de bilhões de tokens que os moldaram.

“Nosso objetivo é ajudar os usuários a entender por que os modelos de linguagem geram as respostas que geram”, disse Jiacheng Liu, pesquisador da Ai2, ao VentureBeat.

Como o OLMoTrace funciona: Mais do que apenas citações

LLMs com funcionalidade de pesquisa na web, como Perplexity ou ChatGPT Search, podem fornecer citações de fontes. No entanto, essas citações são fundamentalmente diferentes do que o OLMoTrace faz.

Liu explicou que Perplexity e ChatGPT Search usam geração aumentada por recuperação (RAG). Com o RAG, o propósito é melhorar a qualidade da geração do modelo fornecendo mais fontes do que as que o modelo foi treinado. O OLMoTrace é diferente porque rastreia a saída do modelo em si sem RAG ou fontes de documentos externas.

A tecnologia identifica sequências de texto longas e únicas nas saídas do modelo e as associa a documentos específicos do corpus de treinamento. Quando uma correspondência é encontrada, o OLMoTrace destaca o texto relevante e fornece links para o material original, permitindo que os usuários vejam exatamente onde e como o modelo aprendeu as informações que está usando.

Além de pontuações de confiança: evidência tangível da tomada de decisão da IA

Por design, os LLMs geram saídas com base em pesos de modelo que ajudam a fornecer uma pontuação de confiança. A ideia básica é que quanto maior a pontuação de confiança, mais precisa é a saída.

Na visão de Liu, as pontuações de confiança são fundamentalmente falhas.

“Os modelos podem ser excessivamente confiantes nas coisas que geram e, se você pedir que eles gerem uma pontuação, geralmente é inflacionada”, disse Liu. “Isso é o que os acadêmicos chamam de erro de calibração — a confiança que os modelos emitem não reflete sempre quão precisas suas respostas realmente são.”

Em vez de outra pontuação potencialmente enganosa, o OLMoTrace fornece evidências diretas da fonte de aprendizagem do modelo, permitindo que os usuários façam seus próprios julgamentos informados.

“O que o OLMoTrace faz é mostrar as correspondências entre as saídas do modelo e os documentos de treinamento”, explicou Liu. “Através da interface, você pode ver diretamente onde estão os pontos de correspondência e como as saídas do modelo coincidem com os documentos de treinamento.”

Como o OLMoTrace se compara a outras abordagens de transparência

Ai2 não está sozinha na busca por entender melhor como os LLMs geram saída. A Anthropic recentemente lançou sua própria pesquisa sobre o assunto. Essa pesquisa focou nas operações internas do modelo, em vez de entender os dados.

“Estamos adotando uma abordagem diferente da deles”, disse Liu. “Estamos rastreando diretamente o comportamento do modelo, seus dados de treinamento, em vez de rastrear coisas nas estruturas internas do modelo, circuitos internos, esse tipo de coisa.”

Essa abordagem torna o OLMoTrace mais imediatamente útil para aplicações empresariais, já que não requer experiência profunda na arquitetura de redes neurais para interpretar os resultados.

Aplicações de IA empresarial: da conformidade regulatória à depuração de modelos

Para empresas que implementam IA em indústrias reguladas como saúde, finanças ou serviços jurídicos, o OLMoTrace oferece vantagens significativas sobre sistemas de caixa-preta existentes.

“Acreditamos que o OLMoTrace ajudará usuários empresariais a entender melhor o que foi usado no treinamento dos modelos, para que possam estar mais confiantes ao querer construir sobre eles”, disse Liu. “Isso pode ajudar a aumentar a transparência e a confiança entre eles e seus clientes sobre o comportamento dos modelos.”

A tecnologia habilita várias capacidades críticas para equipes de IA empresarial:

• Verificação de fatos em saídas de modelos contra fontes originais
• Compreensão das origens de alucinações
• Aprimoramento da depuração do modelo identificando padrões problemáticos
• Aumento da conformidade regulatória através da rastreabilidade dos dados
• Construção de confiança com partes interessadas através de maior transparência

A equipe da Ai2 já utilizou o OLMoTrace para identificar e corrigir problemas em seus modelos.

“Já estamos usando para melhorar nossos dados de treinamento,” revela Liu. “Quando construímos o OLMo 2 e começamos nosso treinamento, através do OLMoTrace, descobrimos que na verdade alguns dos dados pós-treinamento não eram bons.”

O que isso significa para a adoção de IA empresarial

Para empresas que buscam liderar o caminho na adoção de IA, o OLMoTrace representa um avanço significativo em direção a sistemas de IA empresarial mais responsáveis. A tecnologia está disponível sob uma licença de código aberto Apache 2.0, o que significa que qualquer organização com acesso aos dados de treinamento de seu modelo pode implementar capacidades de rastreamento semelhantes.

“OLMoTrace pode funcionar em qualquer modelo, desde que você tenha os dados de treinamento do modelo,” observa Liu. “Para modelos totalmente abertos, onde todos têm acesso aos dados de treinamento do modelo, qualquer um pode configurar o OLMoTrace para aquele modelo e, para modelos proprietários, talvez alguns provedores não queiram liberar seus dados, eles também podem fazer esse OLMoTrace internamente.”

À medida que os frameworks de governança de IA continuam a evoluir globalmente, ferramentas como o OLMoTrace, que permitem verificação e auditoria, provavelmente se tornarão componentes essenciais das pilhas de IA empresarial, especialmente em indústrias regulamentadas onde a transparência algorítmica é cada vez mais exigida.

Para os tomadores de decisão técnica que pesam os benefícios e riscos da adoção de IA, o OLMoTrace oferece um caminho prático para implementar sistemas de IA mais confiáveis e explicáveis, sem sacrificar o poder dos grandes modelos de linguagem.