Patronus AI lança a primeira API self-service do mundo para combater alucinações em IA

Um chatbot de atendimento ao cliente descreve com confiança um produto que não existe. Uma IA financeira inventa dados do mercado. Um bot de saúde fornece conselhos médicos perigosos. Essas alucinações de IA, antes descartadas como peculiaridades engraçadas, tornaram-se problemas de milhões para empresas que correm para implantar inteligência artificial.

Hoje, Patronus AI, uma startup de São Francisco que recentemente garantiu $17 milhões em financiamento da Série A, lançou o que chama de primeira plataforma autônoma para detectar e prevenir falhas de IA em tempo real. Pense nisso como um sofisticado verificador ortográfico para sistemas de IA, capturando erros antes que cheguem aos usuários.

Dentro da rede de segurança de IA: Como funciona

“Muitas empresas estão lidando com falhas de IA em produção, enfrentando problemas como alucinações, vulnerabilidades de segurança e comportamento imprevisível,” disse Anand Kannappan, CEO da Patronus AI, em uma entrevista ao VentureBeat. Os riscos são altos: pesquisas recentes da empresa descobriram que modelos líderes de IA, como o GPT-4, reproduzem conteúdo protegido por direitos autorais 44% das vezes quando solicitados, enquanto mesmo modelos avançados geram respostas inseguras em mais de 20% dos testes básicos de segurança.

O momento não poderia ser mais crítico. À medida que as empresas correm para implementar capacidades de IA generativa — de chatbots de atendimento ao cliente a sistemas de geração de conteúdo — elas estão descobrindo que as medidas de segurança existentes são insuficientes. As ferramentas de avaliação atuais, como o LlamaGuard da Meta, apresentam precisão abaixo de 50%, tornando-as pouco melhores do que um cara ou coroa.

A solução da Patronus AI introduz várias inovações que podem reformular a forma como as empresas implantam IA. Talvez a mais significativa seja o recurso de “avaliadores juízes”, que permite que as empresas criem regras personalizadas em linguagem simples.

“Você pode personalizar a avaliação exatamente [para atender] às necessidades do seu produto,” disse Varun Joshi, líder de produto da Patronus AI, ao VentureBeat. “Deixamos os clientes escreverem em inglês o que desejam avaliar e verificar.” Uma empresa de serviços financeiros pode especificar regras sobre conformidade regulatória, enquanto um prestador de serviços de saúde pode focar na privacidade do paciente e na precisão médica.

Da detecção à prevenção: O avanço técnico

O alicerce do sistema é o Lynx, um modelo revolucionário de detecção de alucinações que supera o GPT-4 em 8,3% na detecção de imprecisões médicas. A plataforma opera em duas velocidades: uma versão de resposta rápida para monitoramento em tempo real e uma versão mais completa para análises mais profundas. “As versões menores podem ser usadas para guarda em tempo real, enquanto as maiores podem ser mais apropriadas para análise offline,” explicou Joshi ao VentureBeat.

Além da verificação de erros tradicional, a empresa desenvolveu ferramentas especializadas como o CopyrightCatcher, que detecta quando sistemas de IA reproduzem conteúdo protegido, e o FinanceBench, o primeiro benchmark da indústria para avaliar o desempenho de IA em questões financeiras. Essas ferramentas funcionam em conjunto com o Lynx para fornecer cobertura abrangente contra falhas de IA.

Além de simples guarda-corpos: Reformulando a segurança em IA

A empresa adotou um modelo de precificação baseado no uso, começando em $10 por 1000 chamadas de API para avaliadores menores e $20 por 1000 chamadas de API para os maiores. Essa estrutura de preços pode aumentar dramaticamente o acesso a ferramentas de segurança em IA, tornando-as disponíveis para startups e pequenas empresas que anteriormente não podiam bancar monitoramento sofisticado de IA.

A adoção inicial sugere que grandes empresas veem a segurança em IA como um investimento crítico, não apenas uma funcionalidade desejável. A empresa já atraiu clientes como HP, AngelList e Pearson, além de parcerias com gigantes da tecnologia como Nvidia, MongoDB e IBM.

O que diferencia a Patronus AI é seu foco na melhoria, em vez de apenas na detecção. “Podemos realmente destacar o trecho específico de texto onde a alucinação está,” explicou Kannappan. Essa precisão permite que engenheiros identifiquem e resolvam problemas rapidamente, em vez de apenas saber que algo deu errado.

A corrida contra as alucinações de IA

O lançamento ocorre em um momento decisivo no desenvolvimento da IA. À medida que modelos de linguagem grandes, como o GPT-4 e Claude, se tornam mais poderosos e amplamente utilizados, os riscos de falhas de IA crescem proporcionalmente. Um sistema de IA alucinado pode expor as empresas a responsabilidade legal, danificar a confiança do cliente ou pior.

Recentes movimentos regulatórios, incluindo a ordem executiva de IA do presidente Biden e o Ato de IA da UE, sugerem que as empresas logo enfrentarão requisitos legais para garantir que seus sistemas de IA sejam seguros e confiáveis. Ferramentas como a plataforma da Patronus AI podem se tornar essenciais para a conformidade.

“Uma boa avaliação não se trata apenas de proteger contra um resultado ruim — é profundamente sobre melhorar seus modelos e melhorar seus produtos,” enfatiza Joshi. Essa filosofia reflete uma abordagem amadurecida para a segurança em IA, movendo-se de simples guarda-corpos para melhoria contínua.

O verdadeiro teste para a Patronus AI não é apenas pegar erros — será acompanhar a evolução acelerada da IA. À medida que os modelos de linguagem se tornam mais sofisticados, suas alucinações podem se tornar mais difíceis de detectar, como encontrar falsificações cada vez mais convincentes.

Os riscos não poderiam ser mais altos. Cada vez que um sistema de IA inventa fatos, recomenda tratamentos perigosos ou gera conteúdo protegido por direitos autorais, ele erode a confiança que essas ferramentas precisam para transformar negócios. Sem guias confiáveis, a revolução da IA pode tropeçar antes de realmente começar.

No final, é uma verdade simples: se a inteligência artificial não consegue parar de inventar, pode ser os humanos que acabarão pagando o preço.