Agentes Guardian: Nova abordagem pode reduzir alucinações em IA para abaixo de 1%

A alucinação é um risco que limita a implementação real de IA nas empresas.

Muitas organizações tentaram resolver o desafio da redução de alucinações com várias abordagens, cada uma com diferentes graus de sucesso. Entre os diversos fornecedores que têm trabalhado nos últimos anos para reduzir esse risco está a Vectara. A empresa começou como uma pioneira no recuperação fundamentada, que hoje é conhecida pelo acrônimo Geração Aumentada por Recuperação (RAG). Uma das promessas iniciais do RAG era ajudar a reduzir alucinações buscando informações a partir de conteúdos fornecidos.

Embora o RAG seja útil como uma abordagem de redução de alucinações, estas ainda ocorrem mesmo com o RAG. Entre as soluções existentes no setor, a maioria das tecnologias se concentra em detectar alucinações ou implementar barreiras preventivas. A Vectara revelou uma abordagem fundamentalmente diferente: identificar, explicar e corrigir automaticamente alucinações de IA por meio de agentes de proteção em um novo serviço chamado Vectara Hallucination Corrector.

Os agentes de proteção são funcionalmente componentes de software que monitoram e tomam ações de proteção dentro dos fluxos de trabalho de IA. Em vez de apenas aplicar regras dentro de um LLM, a promessa dos agentes de proteção é aplicar medidas corretivas em uma abordagem de IA agente que melhora os fluxos de trabalho. A abordagem da Vectara faz correções cirúrgicas enquanto preserva o conteúdo geral e fornece explicações detalhadas sobre o que foi alterado e por quê.

A abordagem parece entregar resultados significativos. Segundo a Vectara, o sistema pode reduzir as taxas de alucinação para modelos de linguagem menores de 7 bilhões de parâmetros, para menos de 1%.

“À medida que as empresas estão implementando mais fluxos de trabalho agentes, todos sabemos que as alucinações ainda são um problema com LLMs e como isso vai amplificar exponencialmente o impacto negativo de cometer erros em um fluxo de trabalho agente é um pouco assustador para as empresas”, disse Eva Nahari, diretora de produtos da Vectara, em uma entrevista exclusiva ao VentureBeat. “Assim, o que nos propusemos como uma continuação de nossa missão de construir IA confiável e permitir o pleno potencial da IA generativa para empresas… é essa nova via de liberar agentes de proteção.”

O panorama da detecção de alucinações de IA empresarial

Não é surpreendente que cada empresa queira ter IA precisa. Também não é surpreendente que haja muitas opções diferentes para reduzir alucinações.

As abordagens RAG ajudam a reduzir alucinações fornecendo respostas fundamentadas a partir de conteúdos, mas ainda podem resultar em respostas imprecisas. Uma das implementações mais interessantes de RAG vem da Mayo Clinic, que usa uma abordagem de ‘RAG reverso’ para limitar alucinações.

A melhoria da qualidade dos dados e como as incorporações de dados vetoriais são criadas é outra abordagem para melhorar a precisão. Entre os muitos fornecedores que trabalham nessa abordagem está o fornecedor de banco de dados MongoDB, que adquiriu recentemente o fornecedor de modelos avançados de incorporação e recuperação Voyage AI.

As barreiras, disponíveis de muitos fornecedores, incluindo Nvidia e AWS, entre outros, ajudam a detectar saídas arriscadas e podem ajudar na precisão em alguns casos. A IBM realmente tem um conjunto de seus modelos de código aberto Granite conhecidos como Granite Guardian que integra diretamente barreiras como uma série de instruções de ajuste fino para reduzir saídas arriscadas.

Outra solução potencial é usar raciocínio para validar a saída. A AWS afirma que sua abordagem Automatizada de Raciocínio Bedrock captura 100% das alucinações, embora essa afirmação seja difícil de validar.

A startup Oumi oferece outra abordagem: validar as alegações feitas pela IA em uma base de frase a frase, validando materiais de origem com uma tecnologia de código aberto chamada HallOumi.

Como a abordagem do agente de proteção é diferente

Embora haja mérito em todas as outras abordagens para redução de alucinações, a Vectara afirma que sua abordagem é diferente.

Em vez de apenas identificar se uma alucinação está presente e, em seguida, sinalizar ou rejeitar o conteúdo, a abordagem do agente de proteção realmente corrige o problema. Nahari enfatizou que o agente de proteção toma ação.

“Não é apenas um aprendizado sobre algo,” ela disse. “É tomar uma ação em nome de alguém, e isso o torna um agente.”

A mecânica técnica dos agentes de proteção

O agente de proteção é um pipeline de múltiplas etapas em vez de um único modelo.

Suleman Kazi, líder de tecnologia de aprendizado de máquina da Vectara, disse ao VentureBeat que o sistema compreende três componentes principais: um modelo gerador, um modelo de detecção de alucinações e um modelo de correção de alucinações. Esse fluxo de trabalho agente permite a proteção dinâmica de aplicações de IA, abordando uma preocupação crítica para empresas hesitantes em abraçar totalmente tecnologias de IA generativa.

Em vez de eliminar integralmente saídas potencialmente problemáticas, o sistema pode fazer ajustes mínimos e precisos a termos ou frases específicas. Aqui está como funciona:

1. Um LLM primário gera uma resposta
2. O modelo de detecção de alucinações da Vectara (Modelo de Avaliação de Alucinação Hughes) identifica potenciais alucinações
3. Se alucinações forem detectadas acima de certo limiar, o agente de correção é ativado
4. O agente de correção faz mudanças mínimas e precisas para corrigir imprecisões enquanto preserva o restante do conteúdo
5. O sistema fornece explicações detalhadas sobre o que foi alucinado e por quê

Por que a nuance importa para a detecção de alucinações

As capacidades de correção nuançadas são criticamente importantes. Compreender o contexto da consulta e dos materiais de origem pode distinguir entre uma resposta precisa e uma alucinação.

Ao discutir as nuances da correção de alucinações, Kazi forneceu um exemplo específico para ilustrar por que a correção de alucinações em bloco nem sempre é apropriada. Ele descreveu um cenário em que uma IA está processando um livro de ficção científica que descreve o céu como vermelho, em vez do típico azul. Nesse contexto, um sistema rígido de correção de alucinações poderia automaticamente “corrigir” o céu vermelho para azul, o que seria incorreto para o contexto criativo de uma narrativa de ficção científica.

O exemplo foi usado para demonstrar que a correção de alucinações necessita de compreensão contextual. Nem toda variação em relação à informação esperada é uma verdadeira alucinação – algumas são escolhas criativas intencionais ou descrições específicas de domínio. Isso destaca a complexidade de desenvolver um sistema de IA que possa distinguir entre erros genuínos e variações intencionais em linguagem e descrição.

Junto com seu agente de proteção, a Vectara está lançando o HCMBench, um conjunto de avaliação de código aberto para modelos de correção de alucinações.

Esse benchmark fornece maneiras padronizadas de avaliar quão bem diferentes abordagens corrigem alucinações. O objetivo do benchmark é ajudar a comunidade em geral e permitir que as empresas avaliem a precisão das alegações de correção de alucinações, incluindo as da Vectara. O toolkit suporta múltiplas métricas, incluindo HHEM, Minicheck, AXCEL e FACTSJudge, proporcionando uma avaliação abrangente da eficácia da correção de alucinações.

“Se a comunidade em geral quiser desenvolver seus próprios modelos de correção, pode usar esse benchmark como um conjunto de dados de avaliação para aprimorar seus modelos,” disse Kazi.

O que isso significa para as empresas

Para empresas que navegam pelos riscos de alucinações de IA, a abordagem da Vectara representa uma mudança significativa de estratégia.

Em vez de apenas implementar sistemas de detecção ou abandonar a IA em casos de uso de alto risco, as empresas agora podem considerar um caminho intermediário: implementar capacidades de correção. A abordagem do agente de proteção também se alinha à tendência de fluxos de trabalho de IA mais complexos e em múltiplas etapas.

As empresas que desejam implementar essas abordagens devem considerar:

1. Avaliar onde os riscos de alucinação são mais críticos em suas implementações de IA.
2. Considerar agentes de proteção para fluxos de trabalho de alto valor e alto risco onde a precisão é primordial.
3. Manter capacidades de supervisão humana juntamente com correção automatizada.
4. Utilizar benchmarks como HCMBench para avaliar capacidades de correção de alucinações.

Com as tecnologias de correção de alucinações amadurecendo, as empresas em breve poderão implantar IA em casos de uso anteriormente restritos, mantendo os padrões de precisão exigidos para operações comerciais críticas.