Invisível, autônomo e hackeável: O dilema dos agentes de IA que ninguém previu.

Este artigo faz parte da edição especial da VentureBeat, “O playbook de resiliência cibernética: Navegando na nova era de ameaças.” Leia mais desta edição especial aqui.

A IA generativa apresenta questões de segurança interessantes e, à medida que as empresas avançam para um mundo de agentes, essas questões de segurança aumentam.

Quando agentes de IA entram nos fluxos de trabalho, eles precisam acessar dados e documentos sensíveis para realizar seu trabalho — tornando-os um risco significativo para muitas empresas preocupadas com a segurança.

“O aumento do uso de sistemas de múltiplos agentes introduzirá novos vetores de ataque e vulnerabilidades que podem ser explorados se não forem devidamente protegidos desde o início,” disse Nicole Carignan, vice-presidente de ciber IA estratégica da Darktrace. “Mas os impactos e danos dessas vulnerabilidades podem ser ainda maiores devido ao volume crescente de pontos de conexão e interfaces que sistemas de múltiplos agentes têm.”

Por que agentes de IA representam um alto risco de segurança

Agentes de IA — ou IA autônoma que executa ações em nome dos usuários — se tornaram extremamente populares apenas nos últimos meses. Idealmente, eles podem ser integrados em fluxos de trabalho tediosos e realizar qualquer tarefa, desde algo tão simples quanto encontrar informações com base em documentos internos até fazer recomendações para que os funcionários humanos desempenhem suas funções.

Mas eles apresentam um problema interessante para os profissionais de segurança das empresas: Eles devem acessar os dados que os tornam eficazes, sem, acidentalmente, abrir ou enviar informações privadas para terceiros. Com os agentes realizando mais tarefas que antes eram executadas por funcionários humanos, a questão da precisão e responsabilidade entra em cena, potencialmente se tornando uma dor de cabeça para as equipes de segurança e conformidade.

Chris Betz, CISO da AWS, disse à VentureBeat que a geração aumentada por recuperação (RAG) e os casos de uso agência “são uma perspectiva fascinante e interessante” em segurança.

“As organizações precisarão pensar sobre como o compartilhamento padrão em sua organização se parece, porque um agente encontrará por meio da pesquisa qualquer coisa que apoie sua missão,” disse Betz. “E se você compartilhar em excesso documentos, precisará considerar a política de compartilhamento padrão em sua organização.”

Os profissionais de segurança devem então perguntar se os agentes devem ser considerados funcionários digitais ou software. Quanta liberdade de acesso os agentes devem ter? Como eles devem ser identificados?

Vulnerabilidades dos agentes de IA

A IA generativa fez com que muitas empresas se tornassem mais conscientes das potenciais vulnerabilidades, mas os agentes podem abrir ainda mais questões.

“Ataques que vemos hoje impactando sistemas de um único agente, como envenenamento de dados, injeção de prompts ou engenharia social para influenciar o comportamento do agente, poderiam ser todas vulnerabilidades dentro de um sistema de múltiplos agentes,” disse Carignan.

As empresas devem prestar atenção ao que os agentes podem acessar para garantir que a segurança dos dados permaneça forte.

Betz apontou que muitos problemas de segurança relacionados ao acesso de funcionários humanos podem se estender aos agentes. Portanto, “tudo se resume a garantir que as pessoas tenham acesso às coisas certas e apenas às coisas certas.” Ele acrescentou que quando se trata de fluxos de trabalho de agente com várias etapas, “cada uma dessas etapas é uma oportunidade” para os hackers.

Dar uma identidade aos agentes

Uma resposta poderia ser emitir identidades de acesso específicas para os agentes.

Um mundo onde modelos raciocinam sobre problemas ao longo de dias é “um mundo onde precisamos começar a pensar mais sobre registrar a identidade do agente, assim como a identidade do humano responsável por aquele pedido do agente em toda a nossa organização,” disse Jason Clinton, CISO do fornecedor de modelos Anthropic.

Identificar funcionários humanos é algo que as empresas têm feito há muito tempo. Eles têm empregos específicos; possuem um endereço de e-mail que usam para entrar em contas e serem rastreados pelos administradores de TI; têm laptops físicos com contas que podem ser bloqueadas. Eles recebem permissão individual para acessar alguns dados.

Uma variação desse tipo de acesso e identificação de funcionários pode ser implantada para os agentes.

Tanto Betz quanto Clinton acreditam que esse processo pode estimular os líderes das empresas a repensar como fornecem acesso à informação aos usuários. Isso poderia até levar as organizações a reformular seus fluxos de trabalho.

“Usar um fluxo de trabalho de agentes na verdade oferece uma oportunidade para delimitar os casos de uso de cada etapa ao longo do caminho para os dados que ela precisa como parte do RAG, mas apenas os dados que realmente necessita,” disse Betz.

Ele acrescentou que os fluxos de trabalho de agentes “podem ajudar a abordar algumas das preocupações sobre compartilhamento excessivo,” porque as empresas devem considerar quais dados estão sendo acessados para completar as ações. Clinton acrescentou que em um fluxo de trabalho projetado em torno de um conjunto específico de operações, “não há razão pela qual a etapa um precise ter acesso aos mesmos dados que a etapa sete necessita.”

A auditoria antiquada não é suficiente

As empresas também podem procurar plataformas de agentes que lhes permitam espiar como os agentes operam. Por exemplo, Don Schuerman, CTO do fornecedor de automação de fluxo de trabalho Pega, disse que sua empresa ajuda a garantir a segurança dos agentes informando ao usuário o que o agente está fazendo.

“Nossa plataforma já está sendo utilizada para auditar o trabalho que os humanos estão realizando, então também podemos auditar cada passo que um agente está fazendo,” Schuerman disse à VentureBeat.

O mais novo produto da Pega, AgentX, permite que usuários humanos alternem para uma tela que descreve as etapas que um agente realiza. Os usuários podem ver em qual parte da linha do tempo do fluxo de trabalho o agente está e obter um relatório de suas ações específicas.

Auditorias, linhas do tempo e identificação não são soluções perfeitas para os problemas de segurança apresentados pelos agentes de IA. Mas, conforme as empresas exploram o potencial dos agentes e começam a implantá-los, respostas mais direcionadas podem surgir à medida que a experimentação em IA continua.