Grupo co-liderado por Fei-Fei Li sugere que leis de segurança para IA devem antecipar riscos futuros.

Em um novo relatório, um grupo de políticas baseado na Califórnia, co-liderado por Fei-Fei Li, uma pioneira em IA, sugere que os legisladores considerem os riscos da IA que “ainda não foram observados no mundo” ao elaborar políticas regulamentares sobre IA.

O relatório interim de 41 páginas divulgado na terça-feira vem do Joint California Policy Working Group on AI Frontier Models, um esforço organizado pelo governador Gavin Newsom após seu veto ao polêmico projeto de lei de segurança em IA da Califórnia, SB 1047. Enquanto Newsom considerou que o SB 1047 não atingiu seu objetivo, ele reconheceu no ano passado a necessidade de uma avaliação mais abrangente dos riscos da IA para informar os legisladores.

No relatório, Li, juntamente com os co-autores Jennifer Chayes (decanato da Faculdade de Computação da UC Berkeley) e Mariano-Florentino Cuéllar (presidente da Carnegie Endowment for International Peace), defendem leis que aumentem a transparência sobre o que os laboratórios de IA de ponta, como a OpenAI, estão desenvolvendo. Participantes da indústria de diversas perspectivas ideológicas revisaram o relatório antes de sua publicação, incluindo ardentes defensores da segurança em IA, como o vencedor do Prêmio Turing Yoshua Bengio, e aqueles que foram contra o SB 1047, como o cofundador da Databricks, Ion Stoica.

De acordo com o relatório, os riscos inéditos apresentados pelos sistemas de IA podem exigir leis que obriguem os desenvolvedores de modelos de IA a relatar publicamente seus testes de segurança, práticas de aquisição de dados e medidas de segurança. O relatório também defende o aumento dos padrões em torno de avaliações de terceiros desses métricas e políticas corporativas, além de expandir as proteções para denunciantes entre funcionários e contratados de empresas de IA.

Li et al. afirmam que existe um “nível de evidência inconclusivo” sobre o potencial da IA para ajudar a realizar ciberataques, criar armas biológicas ou causar outras ameaças “extremas”. No entanto, argumentam que a política de IA não deve apenas abordar os riscos atuais, mas também antecipar as consequências futuras que podem ocorrer sem salvaguardas adequadas.

“Por exemplo, não precisamos observar uma arma nuclear [explodindo] para prever de forma confiável que poderia e causaria danos extensos,” afirma o relatório. “Se aqueles que especulam sobre os riscos mais extremos estiverem certos — e não temos certeza se estarão — então as apostas e os custos da inação sobre a IA de ponta, neste momento, são extremamente altos.”

O relatório recomenda uma estratégia de duas frentes para aumentar a transparência no desenvolvimento de modelos de IA: confiar, mas verificar. Os desenvolvedores de modelos de IA e seus funcionários devem ter oportunidades para relatar áreas de preocupação pública, diz o relatório, como testes de segurança internos, enquanto também devem ser obrigados a enviar reivindicações de testes para verificação de terceiros.

Embora o relatório, cuja versão final deve ser publicada em junho de 2025, não endosse nenhuma legislação específica, foi bem recebido por especialistas de ambos os lados do debates sobre políticas de IA.

Dean Ball, um pesquisador focado em IA da George Mason University que foi crítico do SB 1047, disse em um post no X que o relatório foi um passo promissor para a regulamentação de segurança em IA da Califórnia. Também é uma vitória para os defensores da segurança em IA, segundo o senador estadual da Califórnia, Scott Wiener, que apresentou o SB 1047 no ano passado. Wiener declarou em um comunicado à imprensa que o relatório constrói “conversas urgentes sobre a governança da IA que iniciamos na legislatura [em 2024].”

O relatório parece alinhar-se com vários componentes do SB 1047 e do projeto de lei de acompanhamento de Wiener, o SB 53, como a exigência de que os desenvolvedores de modelos de IA relatem os resultados dos testes de segurança. Em uma visão mais ampla, parece ser uma vitória muito necessária para os defensores da segurança em IA, cuja agenda perdeu espaço no ano passado.