O paradoxo da IA: Como as ferramentas de ponta de amanhã podem se tornar ameaças cibernéticas perigosas (e o que fazer para se preparar)

A IA está transformando a maneira como as empresas operam. Embora grande parte dessa mudança seja positiva, ela traz algumas preocupações únicas de cibersegurança. Aplicações de IA de próxima geração, como a IA agente, apresentam um risco particularmente notável à postura de segurança das organizações.

O que é a IA agente?

A IA agente refere-se a modelos de IA que podem agir de forma autônoma, frequentemente automatizando papéis inteiros com pouca ou nenhuma intervenção humana. Chatbots avançados são alguns dos exemplos mais proeminentes, mas agentes de IA também podem aparecer em aplicações como inteligência de negócios, diagnósticos médicos e ajustes de seguros.

Em todos os casos de uso, essa tecnologia combina modelos generativos, processamento de linguagem natural (PLN) e outras funções de aprendizado de máquina (AM) para realizar tarefas de múltiplas etapas de forma independente. É fácil ver o valor de tal solução. Compreensivelmente, a Gartner prevê que um terço de todas as interações com inteligência generativa utilizarão esses agentes até 2028.

Os riscos de segurança únicos da IA agente

A adoção de IA agente irá aumentar à medida que as empresas buscam completar uma gama maior de tarefas sem aumentar sua força de trabalho. Embora isso seja promissor, conceder tanto poder a um modelo de IA tem sérias implicações para a cibersegurança.

Os agentes de IA geralmente requerem acesso a grandes quantidades de dados. Consequentemente, eles são alvos primários para cibercriminosos, pois os atacantes podem concentrar esforços em uma única aplicação para expor uma quantidade considerável de informações. Isso teria um efeito semelhante ao do whaling — que causou US$ 12,5 bilhões em perdas apenas em 2021 — mas pode ser mais fácil, uma vez que modelos de IA podem ser mais suscetíveis do que profissionais experientes.

A autonomia da IA agente é outra preocupação. Embora todos os algoritmos de AM introduzam alguns riscos, casos de uso convencionais exigem autorização humana para qualquer ação com seus dados. Agentes, por outro lado, podem agir sem autorização. Como resultado, qualquer exposição acidental de privacidade ou erros como alucinações de IA podem passar despercebidos.

Essa falta de supervisão torna ameaças existentes à IA, como a contaminação de dados, ainda mais perigosas. Os atacantes podem corromper um modelo alterando apenas 0,01% de seu conjunto de dados de treinamento, e fazê-lo é possível com investimento mínimo. Isso é prejudicial em qualquer contexto, mas as conclusões incorretas de um agente envenenado alcançariam resultados muito mais amplos do que aquelas onde humanos revisam as saídas primeiro.

Como melhorar a cibersegurança de agentes de IA

Diante dessas ameaças, as estratégias de cibersegurança precisam se adaptar antes que as empresas implementem aplicações de IA agente. Aqui estão quatro passos críticos em direção a esse objetivo.

1. Maximizar a visibilidade

A primeira etapa é garantir que as equipes de segurança e operações tenham total visibilidade sobre o fluxo de trabalho de um agente de IA. Cada tarefa que o modelo completa, cada dispositivo ou aplicativo ao qual ele se conecta e todos os dados que pode acessar devem ser evidentes. Revelar esses fatores tornará mais fácil identificar vulnerabilidades potenciais.

Ferramentas automatizadas de mapeamento de rede podem ser necessárias aqui. Apenas 23% dos líderes de TI afirmam ter total visibilidade em seus ambientes de nuvem e 61% utilizam múltiplas ferramentas de detecção, levando a registros duplicados. Os administradores devem resolver esses problemas primeiro para obter a visão necessária sobre o que seus agentes de IA podem acessar.

Empregar o princípio da menor privilégio

Uma vez que esteja claro com o que o agente pode interagir, as empresas devem restringir esses privilégios. O princípio da menor privilégio — que sustenta que qualquer entidade só pode ver e usar o que realmente precisa — é essencial.

Qualquer banco de dados ou aplicativo com o qual um agente de IA possa interagir é um risco potencial. Consequentemente, as organizações podem minimizar superfícies de ataque relevantes e impedir movimentações laterais limitando essas permissões o máximo possível. Qualquer coisa que não contribua diretamente para o propósito de valor de uma IA deve ser restrita.

Limitar informações sensíveis

Da mesma forma, os administradores de rede podem prevenir violação de privacidade removendo detalhes sensíveis dos conjuntos de dados aos quais a IA agente tem acesso. O trabalho de muitos agentes de IA naturalmente envolve dados privados. Mais de 50% dos gastos com IA generativa serão direcionados a chatbots, que podem coletar informações sobre clientes. No entanto, nem todos esses detalhes são necessários.

Embora um agente deva aprender com interações passadas de clientes, não é necessário armazenar nomes, endereços ou dados de pagamento. Programar o sistema para eliminar informações pessoais identificáveis desnecessárias dos dados acessíveis pela IA minimizará os danos em caso de violação.

Observar comportamento suspeito

As empresas também precisam ter cuidado ao programar a IA agente. Aplique-a a um único caso de uso pequeno primeiro e utilize uma equipe diversificada para revisar o modelo em busca de sinais de viés ou alucinações durante o treinamento. Quando chegar a hora de implantar o agente, faça isso gradualmente e monitore-o em busca de comportamento suspeito.

A capacidade de resposta em tempo real é crucial nessa monitorização, já que os riscos da IA agente significam que qualquer violação pode ter consequências drásticas. Felizmente, soluções de detecção e resposta automatizadas são altamente eficazes, economizando uma média de US$ 2,22 milhões em custos de violação de dados. As organizações podem expandir lentamente seus agentes de IA após um teste bem-sucedido, mas devem continuar a monitorar todas as aplicações.

À medida que a cibersegurança avança, também devem avançar as estratégias de cibersegurança

O avanço rápido da IA traz promessas significativas para os negócios modernos, mas seus riscos de cibersegurança estão aumentando na mesma proporção. As defesas cibernéticas das empresas devem escalar e avançar junto com os casos de uso de IA generativa. O não acompanhamento dessas mudanças pode causar danos que superem os benefícios da tecnologia.

A IA agente elevará o AM a novas alturas, mas o mesmo se aplica às vulnerabilidades relacionadas. Embora isso não torne essa tecnologia imprópria para investimento, justifica cautela adicional. As empresas devem seguir estas etapas essenciais de segurança ao implementar novas aplicações de IA.

Zac Amos é editor de recursos da ReHack.