O Pentágono afirma que a IA está acelerando sua "cadeia de eliminação"

Desenvolvedores líderes em IA, como OpenAI e Anthropic, estão tentando vender software para o exército dos Estados Unidos de uma forma delicada: tornando o Pentágono mais eficiente, sem permitir que suas IAs causem mortes.

Hoje, suas ferramentas não estão sendo usadas como armas, mas a IA está proporcionando ao Departamento de Defesa uma “vantagem significativa” na identificação, rastreamento e avaliação de ameaças, disse à TechCrunch a Chief Digital and AI Officer do Pentágono, Dr. Radha Plumb, em uma entrevista por telefone.

“Estamos obviamente aumentando as formas de acelerar a execução do kill chain para que nossos comandantes possam responder a tempo e proteger nossas forças”, afirmou Plumb.

O “kill chain” refere-se ao processo militar de identificar, rastrear e eliminar ameaças, envolvendo um complexo sistema de sensores, plataformas e armas. A IA generativa está demonstrando ser útil durante as fases de planejamento e estratégia do kill chain, segundo Plumb.

O relacionamento entre o Pentágono e os desenvolvedores de IA é relativamente novo. OpenAI, Anthropic e Meta modificaram suas políticas de uso em 2024 para permitir que agências de inteligência e defesa dos EUA utilizem seus sistemas de IA. No entanto, ainda não permitem que suas IAs causem danos a seres humanos.

“Ficamos realmente claros sobre o que usaremos e o que não usaremos suas tecnologias”, disse Plumb, quando perguntada sobre como o Pentágono trabalha com os provedores de modelos de IA.

Ainda assim, isso deu início a uma rodada de “speed dating” entre empresas de IA e contratantes de defesa.

A Meta parceirizou com a Lockheed Martin e Booz Allen, entre outras, para levar seus modelos de IA Llama para agências de defesa em novembro. No mesmo mês, a Anthropic se uniu à Palantir. Em dezembro, a OpenAI fechou um acordo semelhante com a Anduril. Mais discretamente, a Cohere também tem implantado seus modelos com a Palantir.

À medida que a IA generativa demonstra sua utilidade no Pentágono, isso pode levar o Vale do Silício a afrouxar suas políticas de uso de IA e permitir mais aplicações militares.

“Simular diferentes cenários é algo em que a IA generativa pode ser útil”, disse Plumb. “Isso permite aproveitar toda a gama de ferramentas que nossos comandantes têm disponíveis, mas também pensar de forma criativa sobre diferentes opções de resposta e potenciais compensações em um ambiente onde há uma ameaça ou uma série de ameaças que precisam ser abordadas.”

Não está claro qual tecnologia o Pentágono está usando para esse trabalho; utilizar IA generativa no kill chain (mesmo na fase inicial de planejamento) parece de fato violar as políticas de uso de vários desenvolvedores de modelos líderes. A política da Anthropic, por exemplo, proíbe o uso de seus modelos para produzir ou modificar “sistemas projetados para causar danos ou perda de vida humana”.

Em resposta às nossas perguntas, a Anthropic direcionou a TechCrunch para a entrevista recente de seu CEO Dario Amodei ao Financial Times, onde ele defendeu seu trabalho militar:

A posição de que nunca deveríamos usar IA em configurações de defesa e inteligência não faz sentido para mim. A ideia de que deveríamos usar sem limites e fazer qualquer coisa que quiséssemos — incluindo armas do apocalipse — é obviamente tão louca. Estamos tentando buscar um meio-termo, para fazer as coisas de forma responsável.

A OpenAI, Meta e Cohere não responderam ao pedido de comentário da TechCrunch.

Vida e morte, e armas de IA

Nos últimos meses, um debate sobre tecnologia de defesa surgiu em torno da questão se armas de IA deveriam realmente ter permissão para tomar decisões de vida ou morte. Alguns argumentam que o exército dos EUA já tem armas que fazem isso.

O CEO da Anduril, Palmer Luckey, recentemente observou no X que o exército dos EUA tem uma longa história de compras e uso de sistemas de armas autônomas, como um turret CIWS.

“O DoD tem comprado e usado sistemas de armas autônomas há décadas. Seu uso (e exportação!) é bem compreendido, rigidamente definido e explicitamente regulamentado por regras que não são de forma alguma voluntárias”, disse Luckey.

Mas quando a TechCrunch perguntou se o Pentágono compra e opera armas que são totalmente autônomas — aquelas sem humanos no controle — Plumb rejeitou a ideia por princípio.

“Não, é a resposta curta”, disse Plumb. “Por razões de confiabilidade e ética, sempre teremos humanos envolvidos na decisão de empregar força, e isso inclui nossos sistemas de armas.”

A palavra “autonomia” é um tanto ambígua e gerou debates em toda a indústria de tecnologia sobre quando sistemas automatizados — como agentes de codificação de IA, carros autônomos ou armas que disparam sozinhas — se tornam realmente independentes.

Plumb disse que a ideia de que sistemas automatizados estão tomando decisões de vida e morte de forma independente era “muito binária”, e a realidade era menos “como na ficção científica”. Em vez disso, ela sugeriu que o uso de sistemas de IA pelo Pentágono é realmente uma colaboração entre humanos e máquinas, onde líderes seniores estão tomando decisões ativas durante todo o processo.

“As pessoas tendem a pensar de forma que existem robôs em algum lugar, e então o gonculator [uma máquina autônoma fictícia] imprime uma folha de papel, e os humanos apenas marcam uma caixa”, disse Plumb. “Isso não é como a equipe humano-máquina funciona, e essa não é uma maneira eficaz de usar esses tipos de sistemas de IA.”

Segurança da IA no Pentágono

As parcerias militares nem sempre caíram bem entre os funcionários do Vale do Silício. No ano passado, dezenas de funcionários da Amazon e Google foram demitidos e presos após protestar contra os contratos militares de suas empresas com Israel, acordos em nuvem que eram conhecidos pelo codinome “Project Nimbus”.

Comparativamente, houve uma resposta relativamente contida da comunidade de IA. Alguns pesquisadores de IA, como Evan Hubinger da Anthropic, afirmam que o uso de IA nas forças armadas é inevitável, e é crítico trabalhar diretamente com o exército para garantir que façam isso corretamente.

“Se você leva a sério os riscos catastróficos da IA, o governo dos EUA é um ator extremamente importante com quem se envolver, e tentar simplesmente bloquear o governo dos EUA de usar IA não é uma estratégia viável”, disse Hubinger em um post de novembro no fórum online LessWrong. “Não é suficiente focar apenas nos riscos catastróficos, você também precisa prevenir qualquer possibilidade de que o governo possa de alguma forma abusar de seus modelos.”