Nova abordagem para confiabilidade de agentes, AgentSpec, obriga agentes a seguir regras.

Os agentes de IA enfrentam problemas de segurança e confiabilidade. Embora esses agentes permitam que as empresas automatizem mais etapas em seus fluxos de trabalho, eles podem tomar ações não intencionais ao executar uma tarefa, não são muito flexíveis e são difíceis de controlar.

As organizações já emitiram alertas sobre agentes não confiáveis, preocupadas que, uma vez implantados, os agentes poderiam esquecer de seguir as instruções.

A OpenAI até admitiu que garantir a confiabilidade dos agentes exigiria colaboração com desenvolvedores externos, por isso, liberou seu SDK de Agentes para ajudar a resolver essa questão.

No entanto, pesquisadores da Universidade de Gestão de Cingapura (SMU) desenvolveram uma nova abordagem para resolver a confiabilidade dos agentes.

O AgentSpec é uma estrutura específica de domínio que permite que os usuários “definam regras estruturadas que incorporam gatilhos, predicados e mecanismos de aplicação.” Os pesquisadores afirmaram que o AgentSpec fará com que os agentes operem apenas dentro dos parâmetros que os usuários desejam.

Orientando agentes baseados em LLM com uma nova abordagem

O AgentSpec não é um novo modelo de linguagem de grande escala (LLM), mas sim uma abordagem para guiar agentes de IA baseados em LLM. Os pesquisadores acreditam que o AgentSpec pode ser utilizado para agentes em configurações empresariais e em aplicações de direção autônoma.

Os primeiros testes do AgentSpec foram integrados nas infraestruturas do LangChain, mas os pesquisadores afirmaram que ele foi projetado para ser independente de estrutura, significando que também pode funcionar nos ecossistemas AutoGen e Apollo.

Experimentos utilizando o AgentSpec mostraram que ele impediu “mais de 90% das execuções de código inseguro, garante total conformidade em cenários de violação da lei de direção autônoma, elimina ações perigosas em tarefas de agentes incorporados e opera com uma sobrecarga de nível de milissegundos.” As regras geradas pelo AgentSpec, que usaram o o1 da OpenAI, também tiveram um desempenho forte e aplicaram 87% do código arriscado, evitando “quebras de lei em 5 de 8 cenários.”

Métodos atuais são um pouco insuficientes

O AgentSpec não é o único método para ajudar os desenvolvedores a conferir mais controle e confiabilidade aos agentes. Outras abordagens incluem ToolEmu e GuardAgent. A startup Galileo lançou a Avaliação Agentica, uma maneira de garantir que os agentes funcionem conforme o esperado.

A plataforma de código aberto H2O.ai utiliza modelos preditivos para melhorar a precisão dos agentes utilizados por empresas nas áreas de finanças, saúde, telecomunicações e governo.

Os pesquisadores do AgentSpec afirmaram que as abordagens atuais para mitigar riscos, como o ToolEmu, identificam riscos de maneira eficaz. Eles observaram que “esses métodos carecem de interpretabilidade e não oferecem um mecanismo para aplicação de segurança, tornando-os suscetíveis a manipulações adversariais.”

Utilizando o AgentSpec

O AgentSpec funciona como uma camada de aplicação em tempo de execução para agentes. Ele intercepta o comportamento do agente enquanto executa tarefas e adiciona regras de segurança definidas por humanos ou geradas por prompts.

Uma vez que o AgentSpec é uma linguagem específica de domínio personalizada, os usuários devem definir as regras de segurança. Existem três componentes para isso: o primeiro é o gatilho, que determina quando ativar a regra; o segundo é a verificação para adicionar condições; e o terceiro é a aplicação, que impõe ações a serem tomadas se a regra for violada.

O AgentSpec é construído sobre o LangChain, embora, como mencionado anteriormente, os pesquisadores afirmaram que o AgentSpec também pode ser integrado a outras estruturas como AutoGen ou na pilha de software de veículos autônomos Apollo.

Essas estruturas orquestram as etapas que os agentes precisam seguir, levando em consideração a entrada do usuário, criando um plano de execução, observando o resultado e então decidindo se a ação foi concluída e, se não, planejando a próxima etapa. O AgentSpec adiciona a aplicação de regras a esse fluxo.

“Antes que uma ação seja executada, o AgentSpec avalia as restrições pré-definidas para garantir a conformidade, modificando o comportamento do agente quando necessário. Especificamente, o AgentSpec se conecta a três pontos decisivos principais: antes da execução de uma ação (AgentAction), após uma ação produzir uma observação (AgentStep), e quando o agente completa sua tarefa (AgentFinish). Esses pontos fornecem uma maneira estruturada de intervir sem alterar a lógica central do agente,” afirma o artigo.

Agentes mais confiáveis

Abordagens como o AgentSpec ressaltam a necessidade de agentes confiáveis para uso empresarial. À medida que as organizações começam a planejar sua estratégia de agentes, os líderes de decisão tecnológica também consideram maneiras de garantir confiabilidade.

Para muitos, os agentes eventualmente realizarão tarefas de forma autônoma e proativa para os usuários. A ideia de agentes ambientes, onde agentes e aplicativos de IA rodem continuamente em segundo plano e se autoativem para executar ações, exigiria agentes que não se desviem de seu caminho e introduzam acidentalmente ações não seguras.

Se os agentes ambientes são o futuro da IA agentiva, espere que mais métodos como o AgentSpec proliferem à medida que as empresas busquem tornar os agentes de IA continuamente confiáveis.