O artigo de 145 páginas da DeepMind sobre segurança em AGI pode não convencer os céticos.

O Google DeepMind publicou na quarta-feira um documento exaustivo sobre sua abordagem de segurança para AGI, definida de forma ampla como uma IA capaz de realizar qualquer tarefa que um humano consegue.

AGI é um assunto um tanto controverso no campo da IA, com críticos sugerindo que é pouco mais do que um sonho impossível. Outros, incluindo grandes laboratórios de IA como a Anthropic, alertam que está ao virar da esquina e pode resultar em danos catastróficos se não forem tomadas medidas para implementar salvaguardas apropriadas.

O documento de 145 páginas da DeepMind, co-autorado por Shane Legg, co-fundador da DeepMind, prevê que a AGI pode surgir até 2030 e que pode resultar no que os autores chamam de “dano severo.” O artigo não define concretamente isso, mas fornece o exemplo alarmista de “riscos existenciais” que “destruiriam permanentemente a humanidade.”

“[Nós antecipamos] o desenvolvimento de uma AGI Excepcional antes do final da década atual,” escreveram os autores. “Uma AGI Excepcional é um sistema que possui uma capacidade que corresponde pelo menos ao 99º percentil de adultos habilidosos em uma ampla gama de tarefas não físicas, incluindo tarefas metacognitivas como aprender novas habilidades.”

Logo de início, o documento contrasta o tratamento da mitigação de riscos de AGI pela DeepMind com a da Anthropic e da OpenAI. A Anthropic, afirma o documento, coloca menos ênfase em “treinamento robusto, monitoramento e segurança,” enquanto a OpenAI é excessivamente otimista sobre “automatizar” uma forma de pesquisa em segurança de IA conhecida como pesquisa de alinhamento.

O documento também levanta dúvidas sobre a viabilidade da IA superinteligente — IA que pode realizar tarefas melhor do que qualquer humano. (Recentemente, a OpenAI afirmou que está mudando seu foco de AGI para superinteligência.) Na ausência de “inovações arquitetônicas significativas,” os autores da DeepMind não estão convencidos de que sistemas superinteligentes surgirão em breve — se é que algum dia surgirão.

Entretanto, o documento considera plausível que os paradigmas atuais permitirão uma “melhoria recursiva da IA”: um ciclo de feedback positivo onde a IA realiza sua própria pesquisa em IA para criar sistemas de IA mais sofisticados. E isso pode ser incrivelmente perigoso, afirmam os autores.

Em um nível mais alto, o documento propõe e defende o desenvolvimento de técnicas para bloquear o acesso de malfeitores à hipotética AGI, melhorar a compreensão das ações dos sistemas de IA e “fortalecer” os ambientes em que a IA pode agir. Reconhece que muitas das técnicas são iniciais e possuem “problemas de pesquisa abertos,” mas adverte contra ignorar os desafios de segurança que podem surgir no horizonte.

“A natureza transformadora da AGI tem o potencial para trazer tanto benefícios incríveis quanto danos severos,” escrevem os autores. “Como resultado, para construir a AGI de forma responsável, é crítico que os desenvolvedores de fronteira em IA planejem proativamente mitigar os danos severos.”

No entanto, alguns especialistas discordam das premissas do documento.

Heidy Khlaaf, cientista-chefe de IA do Instituto AI Now, disse ao TechCrunch que ela acredita que o conceito de AGI é muito mal definido para ser “rigorosamente avaliado cientificamente.” Outro pesquisador de IA, Matthew Guzdial, professor assistente na Universidade de Alberta, afirmou que não acredita que a melhoria recursiva da IA seja realista no momento.

“[A melhoria recursiva] é a base para os argumentos sobre a singularidade da inteligência,” disse Guzdial ao TechCrunch, “mas nunca vimos evidências de que isso funcione.”

Sandra Wachter, pesquisadora que estuda tecnologia e regulação em Oxford, argumenta que uma preocupação mais realista é a IA se reforçando com “saídas imprecisas.”

“Com a proliferação de saídas de IA generativa na internet e a substituição gradual de dados autênticos, os modelos agora estão aprendendo com suas próprias saídas que estão repletas de inverdades, ou alucinações,” ela disse ao TechCrunch. “Nesse ponto, os chatbots são predominantemente usados para pesquisar e encontrar a verdade. Isso significa que estamos constantemente em risco de sermos alimentados com inverdades e acreditarmos nelas porque são apresentadas de maneiras muito convincentes.”

Abrangente como pode ser, o documento da DeepMind parece improvável de resolver os debates sobre quão realista a AGI é — e as áreas de segurança em IA que mais precisam de atenção.