Meta afirma que pode interromper o desenvolvimento de sistemas de IA que considerar muito arriscados.

O CEO da Meta, Mark Zuckerberg, se comprometeu a tornar a inteligência artificial geral (AGI) — que é definida de maneira ampla como IA capaz de realizar qualquer tarefa que um humano possa — disponível publicamente um dia. No entanto, em um novo documento de política, a Meta sugere que existem certos cenários em que pode não liberar um sistema de IA altamente capaz que desenvolveu internamente.

O documento, que a Meta chama de sua Estrutura de IA Fronteira, identifica dois tipos de sistemas de IA que a empresa considera muito arriscados para serem liberados: sistemas de “alto risco” e sistemas de “risco crítico”.

Como a Meta os define, tanto os sistemas de “alto risco” quanto os de “risco crítico” são capazes de auxiliar em ataques cibernéticos, químicos e biológicos, sendo a diferença que os sistemas de “risco crítico” poderiam resultar em um “resultado catastrófico [que] não pode ser mitigado no [contexto de] implantação proposto.” Os sistemas de alto risco, por outro lado, podem facilitar um ataque, mas não de maneira tão confiável ou dependente quanto um sistema de risco crítico.

Que tipo de ataques estamos falando aqui? A Meta dá alguns exemplos, como a “comprometimento automatizado de ponta a ponta de um ambiente corporativo protegido por boas práticas” e a “proliferação de armas biológicas de alto impacto.” A lista de possíveis catástrofes no documento da Meta está longe de ser exaustiva, a empresa reconhece, mas inclui aquelas que a Meta acredita serem “as mais urgentes” e plausíveis de surgir como resultado direto da liberação de um sistema de IA poderoso.

Um tanto surpreendente é que, de acordo com o documento, a Meta classifica o risco do sistema não com base em um único teste empírico, mas com base na contribuição de pesquisadores internos e externos que estão sujeitos à revisão de “decisores de nível sênior.” Por quê? A Meta afirma que não acredita que a ciência da avaliação seja “suficientemente robusta para fornecer métricas quantitativas definitivas” para decidir o nível de risco de um sistema.

Se a Meta determinar que um sistema é de alto risco, a empresa afirma que limitará o acesso ao sistema internamente e não o liberará até que implemente mitigação para “reduzir o risco a níveis moderados.” Por outro lado, se um sistema for considerado de risco crítico, a Meta diz que implementará proteções de segurança não especificadas para impedir a exfiltração do sistema e interromperá o desenvolvimento até que o sistema possa ser tornado menos perigoso.

A Estrutura de IA Fronteira da Meta, que a empresa diz que evoluirá com o panorama da IA em mudança, e que a Meta anteriormente se comprometeu a publicar antes da Cúpula de Ação de IA na França neste mês, parece ser uma resposta às críticas sobre a abordagem “aberta” da empresa para o desenvolvimento de sistemas. A Meta adotou uma estratégia de tornar sua tecnologia de IA amplamente disponível — embora não como código aberto pela definição comum — em contraste com empresas como a OpenAI, que optam por restringir seus sistemas por trás de uma API.

Para a Meta, a abordagem de liberação aberta se provou tanto uma bênção quanto uma maldição. A família de modelos de IA da empresa, chamada Llama, acumulou centenas de milhões de downloads. Mas a Llama também foi supostamente usada por pelo menos um adversário dos EUA para desenvolver um chatbot de defesa.

Ao publicar sua Estrutura de IA Fronteira, a Meta pode também estar visando contrastar sua estratégia aberta de IA com a da empresa chinesa DeepSeek. A DeepSeek também disponibiliza seus sistemas abertamente. Mas a IA da empresa tem poucos salvaguardas e pode ser facilmente orientada a gerar saídas tóxicas e prejudiciais.

“[A]creditamos que, ao considerar tanto os benefícios quanto os riscos na tomada de decisões sobre como desenvolver e implantar IA avançada,” escreve a Meta no documento, “é possível entregar essa tecnologia à sociedade de uma forma que preserva os benefícios dessa tecnologia para a sociedade, enquanto também mantém um nível apropriado de risco.”

A TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo na sua caixa de entrada toda quarta-feira.