IA Oculta: A falha de segurança que os CISOs muitas vezes ignoram

Líderes de segurança e CISOs estão percebendo que um número crescente de aplicativos de IA clandestinos tem comprometido suas redes, em alguns casos, por mais de um ano.

Eles não são os métodos típicos de atacantes. Eles são o resultado de funcionários confiáveis criando aplicativos de IA sem supervisão ou aprovação do departamento de TI e segurança, aplicativos projetados para fazer tudo, desde automatizar relatórios que eram criados manualmente no passado até usar IA generativa (genAI) para agilizar a automação de marketing, visualização e análise avançada de dados. Potencializados pelos dados proprietários da empresa, os aplicativos de IA clandestinos estão treinando modelos de domínio público com dados privados.

O que é IA clandestina e por que está crescendo?

A ampla variedade de aplicativos e ferramentas de IA criados dessa forma raramente, se é que alguma vez, tem diretrizes em vigor. A IA clandestina introduz riscos significativos, incluindo vazamentos acidentais de dados, violações de conformidade e danos à reputação.

É o esteróide digital que permite que aqueles que a utilizam realizem trabalhos mais detalhados em menos tempo, frequentemente cumprindo prazos mais apertados. Departamentos inteiros têm aplicativos de IA clandestinos que usam para aumentar a produtividade em menos horas. “Eu vejo isso toda semana,” disse Vineet Arora, CTO da WinWire, recentemente ao VentureBeat. “Departamentos pulam para soluções de IA não sancionadas porque os benefícios imediatos são muito tentadores para ignorar.”

“Vemos 50 novos aplicativos de IA por dia, e já catalogamos mais de 12.000,” disse Itamar Golan, CEO e cofundador da Prompt Security, durante uma recente entrevista ao VentureBeat. “Cerca de 40% deles treinam automaticamente com qualquer dado que você fornecer, o que significa que sua propriedade intelectual pode se tornar parte de seus modelos.”

A maioria dos funcionários que criam aplicativos de IA clandestina não estão agindo de forma maliciosa ou tentando prejudicar a empresa. Eles estão lidando com volumes crescentes de trabalho cada vez mais complexos, escassez crônica de tempo e prazos mais apertados.

Como Golan observa, “É como doping no Tour de France. As pessoas querem uma vantagem sem perceber as consequências a longo prazo.”

Uma tsunami virtual que ninguém previu

“Você não pode parar uma tsunami, mas pode construir um barco,” disse Golan ao VentureBeat. “Fingir que a IA não existe não o protege — isso deixa você de olhos vendados.” Por exemplo, Golan menciona que um chefe de segurança de uma empresa financeira em Nova York acreditava que havia menos de 10 ferramentas de IA em uso. Uma auditoria de 10 dias revelou 65 soluções não autorizadas, a maioria sem nenhuma licença formal.

Arora concordou, dizendo, “Os dados confirmam que uma vez que os funcionários têm caminhos de IA sancionados e políticas claras, eles não se sentem mais compelidos a usar ferramentas aleatórias às escondidas. Isso reduz tanto o risco quanto o atrito.” Arora e Golan enfatizaram ao VentureBeat como o número de aplicativos de IA clandestinos que estão descobrindo nas empresas de seus clientes está aumentando rapidamente.

Comprovando suas afirmações, os resultados de uma recente pesquisa da Software AG descobriram que 75% dos trabalhadores do conhecimento já usam ferramentas de IA e 46% afirmaram que não abrirão mão delas mesmo que proibidas por seus empregadores. A maioria dos aplicativos de IA clandestinos depende de ChatGPT da OpenAI e Google Gemini.

Desde 2023, o ChatGPT permitiu que usuários criassem bots personalizados em minutos. O VentureBeat aprendeu que um gerente típico responsável por vendas, mercado e previsão de preços tem, em média, 22 diferentes bots personalizados no ChatGPT atualmente.

É compreensível como a IA clandestina está proliferando quando 73.8% das contas do ChatGPT são não corporativas que carecem dos controles de segurança e privacidade de implementações mais seguras. A porcentagem é ainda maior para o Gemini (94.4%). Em uma pesquisa da Salesforce, mais da metade (55%) dos funcionários globais pesquisados admitiram usar ferramentas de IA não autorizadas no trabalho.

“Não é um único salto que você pode corrigir,” explica Golan. “É uma onda crescente de recursos lançados fora da supervisão de TI.” As milhares de funcionalidades de IA incorporadas em produtos SaaS tradicionais estão sendo modificadas para treinar, armazenar e vazar dados corporativos sem que ninguém na TI ou segurança saiba.

A IA clandestina está lentamente desmantelando os perímetros de segurança das empresas. Muitos não estão percebendo, pois estão cegos para o aumento silencioso de usos de IA clandestina em suas organizações.

Por que a IA clandestina é tão perigosa

“Se você colar código-fonte ou dados financeiros, eles efetivamente vivem dentro desse modelo,” alertou Golan. Arora e Golan encontram empresas que treinam modelos públicos que, por padrão, utilizam aplicativos de IA clandestina para uma ampla variedade de tarefas complexas.

Uma vez que dados proprietários entram em um modelo de domínio público, desafios maiores começam para qualquer organização. Isso é especialmente desafiador para organizações de capital aberto que muitas vezes têm requisitos significativos de conformidade e regulamentação. Golan apontou para o próximo Ato de IA da UE, que “pode superar até mesmo o GDPR em multas,” e adverte que setores regulados nos EUA correm riscos de penalidades caso dados privados fluam para ferramentas de IA não autorizadas.

Há também o risco de vulnerabilidades em tempo de execução e ataques de injeção de prompts que sistemas tradicionais de segurança de ponto final e plataformas de prevenção de perda de dados (DLP) não foram projetados para detectar e impedir.

Iluminando a IA clandestina: O roteiro de Arora para supervisão holística e inovação segura

Arora está descobrindo unidades de negócios inteiras que estão usando ferramentas de SaaS impulsionadas por IA sob o radar. Com autoridade orçamentária independente para várias equipes de linha de negócios, as unidades de negócios estão implantando IA rapidamente e muitas vezes sem a aprovação de segurança.

“De repente, você tem dezenas de aplicativos de IA pouco conhecidos processando dados corporativos sem uma única revisão de conformidade ou risco,” disse Arora ao VentureBeat.

Insights chave do roteiro de Arora incluem o seguinte:

• A IA clandestina prospera porque as estruturas existentes de TI e segurança não foram projetadas para detectá-las. Arora observa que as estruturas tradicionais de TI permitem que a IA clandestina prospere pela falta de visibilidade sobre conformidade e governança que é necessária para manter uma empresa segura. “A maioria das ferramentas e processos tradicionais de gerenciamento de TI carecem de visibilidade e controle abrangentes sobre aplicativos de IA,” observa Arora.
• O objetivo: possibilitar a inovação sem perder o controle. Arora é rápido em apontar que os funcionários não são deliberadamente maliciosos. Eles estão apenas enfrentando escassez crônica de tempo, aumento das cargas de trabalho e prazos mais apertados. A IA está se provando como um excelente catalisador para a inovação e não deve ser banida totalmente. “É crucial para as organizações definirem estratégias com segurança robusta enquanto permitem que os funcionários usem tecnologias de IA efetivamente,” explica Arora. “Proibições totais muitas vezes levam a um uso clandestino de IA, o que apenas amplifica os riscos.”
• Fazendo o caso para a governança centralizada da IA. “A governança centralizada da IA, assim como outras práticas de governança de TI, é fundamental para gerenciar a proliferação de aplicativos de IA clandestinos,” recomenda. Ele observou que as unidades de negócios adotaram ferramentas de SaaS impulsionadas por IA “sem uma única revisão de conformidade ou risco.” A unificação da supervisão ajuda a prevenir que aplicativos desconhecidos vaze dados sensíveis.
• Aperfeiçoar continuamente a detecção, monitoramento e gestão da IA clandestina. O maior desafio é descobrir aplicativos ocultos. Arora acrescenta que detectá-los envolve monitoramento de tráfego de rede, análise de fluxo de dados, gerenciamento de ativos de software, requisições e até auditorias manuais.
• Equilibrando flexibilidade e segurança continuamente. Ninguém quer sufocar a inovação. “Fornecer opções seguras de IA garante que as pessoas não se sintam tentadas a contornar as regras. Você não pode matar a adoção de IA, mas pode canalizá-la de forma segura,” observa Arora.

Comece a perseguir uma estratégia de sete partes para governança de IA clandestina

Arora e Golan aconselham seus clientes que descobrem aplicativos de IA clandestina proliferando em suas redes e forças de trabalho a seguir essas sete diretrizes para governança de IA clandestina:

Realize uma auditoria formal de IA clandestina. Estabeleça uma linha de base inicial que seja baseada em uma auditoria abrangente de IA. Use análise de proxy, monitoramento de rede e inventários para eliminar o uso não autorizado de IA.

Crie um Escritório de IA Responsável. Centralize a formulação de políticas, revisão de fornecedores e avaliações de risco em TI, segurança, jurídico e conformidade. Arora viu essa abordagem funcionar com seus clientes. Ele observa que criar este escritório também precisa incluir estruturas robustas de governança de IA e treinamento de funcionários sobre potenciais vazamentos de dados. Um catálogo de IA pré-aprovado e uma sólida governança de dados garantirão que os funcionários trabalhem com soluções seguras e sancionadas.

Implantar controles de segurança cientes de IA. Ferramentas tradicionais não detectam explorações baseadas em texto. Adote DLP focado em IA, monitoramento em tempo real e automação que identifica prompts suspeitos.

Estabeleça um inventário e catálogo centralizados de IA. Uma lista aprovada de ferramentas de IA reduz o apelo de serviços ad-hoc, e quando TI e segurança tomam a iniciativa de atualizar a lista com frequência, a motivação para criar aplicativos de IA clandestinos é reduzida. A chave para essa abordagem é estar alerta e ser responsivo às necessidades dos usuários por ferramentas avançadas de IA seguras.

Mandatar treinamento para funcionários que forneça exemplos de por que a IA clandestina é prejudicial para qualquer negócio. “Política não tem valor se os funcionários não a compreendem,” diz Arora. Eduque o pessoal sobre o uso seguro de IA e os riscos de má gestão de dados.

Integrar com governança, risco e conformidade (GRC) e gestão de risco. Arora e Golan enfatizam que a supervisão de IA deve estar ligada aos processos de governança, risco e conformidade cruciais para setores regulados.

Reconhecer que proibições gerais falham, e encontrar novas maneiras de entregar aplicativos legítimos de IA rapidamente. Golan é rápido em apontar que proibições gerais nunca funcionam e ironicamente levam à criação e uso ainda maior de aplicativos de IA clandestinos. Arora aconselha seus clientes a fornecer opções de IA seguras para empresas (por exemplo, Microsoft 365 Copilot, ChatGPT Enterprise) com diretrizes claras para uso responsável.

Desbloqueando os benefícios da IA de forma segura

Ao combinar uma estratégia centralizada de governança de IA, formação de usuários e monitoramento proativo, as organizações podem aproveitar o potencial do genAI sem sacrificar conformidade ou segurança. A mensagem final de Arora é esta: “Uma única solução de gestão central, respaldada por políticas consistentes, é crucial. Você capacitará a inovação enquanto protege os dados corporativos — e isso é o melhor dos dois mundos.” A IA clandestina está aqui para ficar. Em vez de bloqueá-la completamente, líderes visionários se concentram em permitir produtividade segura para que os funcionários possam aproveitar o poder transformador da IA em seus próprios termos.