Os riscos do código gerado por IA são reais — veja como as empresas podem gerenciá-los.

Não faz muito tempo, humanos escreviam quase todo o código de aplicativos. Mas isso não é mais o caso: O uso de ferramentas de IA para escrever código cresceu dramaticamente. Alguns especialistas, como o CEO da Anthropic, Dario Amodei, esperam que a IA escreva 90% de todo o código nos próximos 6 meses.

Nesse contexto, qual é o impacto para as empresas? As práticas de desenvolvimento de código sempre envolveram vários níveis de controle, supervisão e governança para garantir qualidade, conformidade e segurança. Com o código desenvolvido por IA, as organizações têm as mesmas garantias? Ainda mais importante, talvez, as organizações devem saber quais modelos geraram seu código de IA.

Compreender a origem do código não é um desafio novo para as empresas. É aí que entram as ferramentas de análise de código-fonte (SCA). Historicamente, as ferramentas SCA não ofereceram insights sobre IA, mas isso está mudando. Vários fornecedores, incluindo Sonar, Endor Labs e Sonatype, estão agora fornecendo diferentes tipos de insights que podem ajudar as empresas com código desenvolvido por IA.

“Todo cliente com quem conversamos agora está interessado em como deve usar a geradora de código de IA de forma responsável”, disse o CEO da Sonar, Tariq Shaukat, ao VentureBeat.

Empresa financeira sofre uma queda por semana devido a código desenvolvido por IA

As ferramentas de IA não são infalíveis. Muitas organizações aprenderam essa lição logo no início, quando as ferramentas de desenvolvimento de conteúdo forneceram resultados imprecisos conhecidos como alucinações.

A mesma lição básica se aplica ao código desenvolvido por IA. À medida que as organizações passam do modo experimental para o modo de produção, elas têm percebido cada vez mais que o código é bastante bugado. Shaukat observou que o código desenvolvido por IA também pode levar a problemas de segurança e confiabilidade. O impacto é real e não é trivial.

“Eu tive um CTO, por exemplo, de uma empresa de serviços financeiros, que me disse há cerca de seis meses que estava enfrentando uma queda por semana por causa do código gerado por IA,” disse Shaukat.

Quando ele perguntou ao cliente se ele estava fazendo revisões de código, a resposta foi sim. No entanto, os desenvolvedores não se sentiam tão responsáveis pelo código e não estavam investindo tanto tempo e rigor nele como faziam anteriormente.

As razões pelas quais o código acaba sendo bugado, especialmente para grandes empresas, podem variar. Um problema comum, no entanto, é que as empresas frequentemente têm grandes bases de código que podem ter arquiteturas complexas que uma ferramenta de IA pode não conhecer. Na visão de Shaukat, os geradores de código de IA normalmente não lidam bem com a complexidade de bases de código maiores e mais sofisticadas.

“Nosso maior cliente analisa mais de 2 bilhões de linhas de código,” disse Shaukat. “Quando você começa a lidar com essas bases de código, elas são muito mais complexas, têm muito mais dívida técnica e apresentam muitas dependências.”

Os desafios do código desenvolvido por IA

Para Mitchell Johnson, diretor de desenvolvimento de produtos da Sonatype, é também muito claro que o código desenvolvido por IA chegou para ficar.

Os desenvolvedores de software devem seguir o que ele chama de Juramento Hipocrático da engenharia. Ou seja, não causar danos à base de código. Isso significa revisar rigorosamente, entender e validar cada linha de código gerado por IA antes de comitá-lo — assim como os desenvolvedores fariam com código escrito manualmente ou código aberto.

“A IA é uma ferramenta poderosa, mas não substitui o julgamento humano quando se trata de segurança, governança e qualidade,” disse Johnson ao VentureBeat.

Os maiores riscos do código gerado por IA, segundo Johnson, são:

• Riscos de segurança: A IA é treinada em enormes conjuntos de dados de código aberto, que muitas vezes incluem códigos vulneráveis ou maliciosos. Se não forem controlados, podem introduzir falhas de segurança na cadeia de suprimentos de software.
• Confiança cega: Os desenvolvedores, especialmente os menos experientes, podem presumir que o código gerado por IA está correto e seguro sem a devida validação, levando a vulnerabilidades não verificadas.
• Lacunas de conformidade e contexto: A IA carece de consciência da lógica de negócios, das políticas de segurança e dos requisitos legais, tornando arriscadas as trade-offs de conformidade e desempenho.
• Desafios de governança: O código gerado por IA pode se espalhar sem supervisão. As organizações precisam de guardrails automatizados para rastrear, auditar e proteger o código criado por IA em escala.

“Apesar desses riscos, velocidade e segurança não precisam ser uma troca,” disse Johnson. “Com as ferramentas certas, automação e governança orientada por dados, as organizações podem aproveitá-la de forma segura — acelerando a inovação enquanto garantem segurança e conformidade.”

Modelos importam: Identificando o risco do modelo de código aberto para o desenvolvimento de código

Existem uma variedade de modelos que as organizações estão usando para gerar código. Anthropic Claude 3.7, por exemplo, é uma opção particularmente poderosa. Google Code Assist, o3 da OpenAI e os modelos GPT-4o também são escolhas viáveis.

Depois, temos o código aberto. Vendedores como Meta e Qodo oferecem modelos de código aberto, e há uma variedade aparentemente sem fim de opções disponíveis no HuggingFace. Karl Mattson, CISO da Endor Labs, alertou que esses modelos apresentam desafios de segurança que muitas empresas não estão preparadas para enfrentar.

“O risco sistemático é o uso de LLMs de código aberto,” disse Mattson ao VentureBeat. “Desenvolvedores que usam modelos de código aberto estão criando uma nova gama de problemas. Eles estão introduzindo em sua base de código modelos não avaliados ou não comprovados.”

Ao contrário de ofertas comerciais de empresas como Anthropic ou OpenAI, que Mattson descreve como tendo “programas de segurança e governança de qualidade substancialmente alta,” modelos de código aberto de repositórios como Hugging Face podem variar dramaticamente em qualidade e postura de segurança. Mattson enfatizou que, em vez de tentar banir o uso de modelos de código aberto para geração de código, as organizações devem compreender os riscos potenciais e escolher adequadamente.

A Endor Labs pode ajudar as organizações a detectar quando modelos de IA de código aberto, particularmente do Hugging Face, estão sendo usados em repositórios de código. A tecnologia da empresa também avalia esses modelos em 10 atributos de risco, incluindo segurança operacional, propriedade, utilização e frequência de atualização, para estabelecer uma linha de base de risco.

Tecnologias de detecção especializadas emergem

Para lidar com os desafios emergentes, fornecedores de SCA lançaram uma série de capacidades diferentes.

Por exemplo, a Sonar desenvolveu uma capacidade de garantia de código de IA que pode identificar padrões de código únicos para geração de máquinas. O sistema pode detectar quando o código foi provavelmente gerado por IA, mesmo sem integração direta com o assistente de codificação. A Sonar, então, aplica uma supervisão especializada a essas seções, buscando dependências alucinatórias e problemas arquitetônicos que não apareciam em código escrito por humanos.

A Endor Labs e a Sonatype adotam uma abordagem técnica diferente, focando na origem dos modelos. A plataforma da Sonatype pode ser usada para identificar, rastrear e governar modelos de IA juntamente com seus componentes de software. A Endor Labs também pode identificar quando modelos de IA de código aberto estão sendo usados em repositórios de código e avaliar o risco potencial.

Ao implementar código gerado por IA em ambientes empresariais, as organizações precisam de abordagens estruturadas para mitigar riscos enquanto maximizam benefícios.

Existem várias melhores práticas que as empresas devem considerar, incluindo:

• Implementar processos rigorosos de verificação: Shaukat recomenda que as organizações tenham um processo rigoroso para entender onde os geradores de código estão sendo usados em partes específicas da base de código. Isso é necessário para garantir o nível certo de responsabilidade e escrutínio do código gerado.
• Reconhecer as limitações da IA em bases de código complexas: Embora o código gerado por IA possa lidar facilmente com scripts simples, às vezes pode ser um pouco limitado quando se trata de bases de código complexas que têm muitas dependências.
• Compreender os problemas únicos do código gerado por IA: Shaukat observou que a IA evita erros de sintaxe comuns, mas tende a criar problemas arquitetônicos mais sérios através de alucinações. Alucinações de código podem incluir a invenção de um nome de variável ou uma biblioteca que não existe realmente.
• Exigir responsabilidade dos desenvolvedores: Johnson enfatiza que o código gerado por IA não é inerentemente seguro. Os desenvolvedores devem revisar, entender e validar cada linha antes de comitá-la.
• Otimizar a aprovação da IA: Johnson também alerta sobre o risco de Shadow AI, ou uso descontrolado de ferramentas de IA. Muitas organizações ou proíbem a IA completamente (o que os funcionários ignoram) ou criam processos de aprovação tão complexos que os funcionários os contornam. Em vez disso, ele sugere que as empresas criem uma estrutura clara e eficiente para avaliar e aprovar ferramentas de IA, garantindo uma adoção segura sem bloqueios desnecessários.

O que isso significa para as empresas

O risco do desenvolvimento de código Shadow AI é real.

O volume de código que as organizações podem produzir com a assistência da IA está aumentando dramaticamente e pode em breve compor a maioria de todo o código.

As consequências são particularmente altas para aplicações empresariais complexas, onde uma única dependência alucinatória pode causar falhas catastróficas. Para organizações que buscam adotar ferramentas de codificação com IA enquanto mantêm a confiabilidade, a implementação de ferramentas de análise de código especializadas está rapidamente se tornando essencial.

“Se você está permitindo código gerado por IA em produção sem detecção e validação especializadas, você está essencialmente voando às cegas,” alertou Mattson. “Os tipos de falhas que estamos vendo não são apenas bugs — são falhas arquitetônicas que podem derrubar sistemas inteiros.”