Ex-chefe de políticas da OpenAI critica a empresa por 'reescrever' sua história em segurança de IA

Um renomado ex-pesquisador de políticas do OpenAI, Miles Brundage, usou as redes sociais na quarta-feira para criticar a OpenAI por “reescrever a história” de sua abordagem de implantação em relação a sistemas de IA potencialmente arriscados.

No início desta semana, a OpenAI publicou um documento delineando sua filosofia atual sobre segurança de IA e alinhamento, o processo de design de sistemas de IA que se comportam de maneiras desejáveis e explicáveis. No documento, a OpenAI afirmou que vê o desenvolvimento de AGI, definido amplamente como sistemas de IA que podem realizar qualquer tarefa que um humano pode, como um “caminho contínuo” que exige “implantar e aprender iterativamente” com as tecnologias de IA.

“Em um mundo descontinuado […] lições de segurança vêm de tratar os sistemas de hoje com cautela desproporcional em relação ao seu poder aparente, [o que] foi a abordagem que adotamos para [nosso modelo de IA] GPT‑2”, escreveu a OpenAI. “Agora vemos que a primeira AGI é apenas um ponto ao longo de uma série de sistemas de utilidade crescente […] No mundo contínuo, a forma de tornar o próximo sistema seguro e benéfico é aprender com o sistema atual.”

Mas Brundage afirma que o GPT-2, de fato, exigiu uma cautela abundante na época de seu lançamento, e que isso estava “100% consistente” com a estratégia de implantação iterativa da OpenAI hoje.

“O lançamento do GPT-2 pela OpenAI, do qual participei, foi 100% consistente [com e] previu a filosofia atual da OpenAI sobre implantação iterativa”, escreveu Brundage em uma postagem no X. “O modelo foi liberado de forma incremental, com lições compartilhadas a cada etapa. Muitos especialistas em segurança na época nos agradeceram por essa cautela.”

Brundage, que ingressou na OpenAI como cientista de pesquisa em 2018, foi chefe de pesquisa de políticas da empresa por vários anos. Na equipe de “prontidão da AGI” da OpenAI, ele teve um foco particular na implementação responsável de sistemas de geração de linguagem, como a plataforma de chatbot da OpenAI, o ChatGPT.

O GPT-2, que a OpenAI anunciou em 2019, foi um precursor dos sistemas de IA que impulsionam o ChatGPT. O GPT-2 podia responder perguntas sobre um tópico, resumir artigos e gerar texto a um nível às vezes indistinguível do humano.

Embora o GPT-2 e seus resultados possam parecer simples hoje, eram inovadores na época. Citando o risco de uso malicioso, a OpenAI inicialmente se recusou a liberar o código-fonte do GPT-2, optando por dar acesso limitado a um demo para alguns veículos de notícias selecionados.

A decisão gerou opiniões mistas dentro da indústria de IA. Muitos especialistas argumentaram que a ameaça representada pelo GPT-2 foi exagerada e que não havia evidências de que o modelo pudesse ser abusado da maneira como a OpenAI descreveu. A publicação especializada em IA, The Gradient, chegou a publicar uma carta aberta solicitando que a OpenAI liberasse o modelo, argumentando que era tecnologicamente importante demais para ser retido.

A OpenAI eventualmente lançou uma versão parcial do GPT-2 seis meses após a revelação do modelo, seguida pelo sistema completo vários meses depois. Brundage acredita que essa foi a abordagem correta.

“Qual parte [do lançamento do GPT-2] foi motivada ou baseada na ideia de AGI como descontinuada? Nenhuma”, disse ele em uma postagem no X. “Qual é a evidência de que essa cautela era ‘desproporcional’ ex ante? Ex post, provavelmente teria estado tudo bem, mas isso não significa que seria responsável agir sem cautela [dada a informação da época].”

Brundage teme que o objetivo da OpenAI com o documento seja estabelecer um ônus da prova onde “as preocupações são alarmistas” e “você precisa de evidências esmagadoras de perigos iminentes para agir sobre eles.” Isso, argumenta ele, é uma mentalidade “muito perigosa” para sistemas avançados de IA.

“Se eu ainda estivesse trabalhando na OpenAI, estaria perguntando por que este [documento] foi escrito dessa forma e o que exatamente a OpenAI espera alcançar ao desmerecer a cautela de maneira tão unilateral”, acrescentou Brundage.

A OpenAI historicamente foi acusada de priorizar “produtos chamativos” em detrimento da segurança e de apressar lançamentos de produtos para superar empresas rivais no mercado. No ano passado, a OpenAI dissolveu sua equipe de prontidão da AGI, e uma série de pesquisadores em segurança e políticas de IA deixou a empresa em direção a concorrentes.

A pressão competitiva apenas aumentou. O laboratório de IA chinês DeepSeek chamou a atenção do mundo com seu modelo R1, disponível publicamente, que igualou o modelo de “raciocínio” o1 da OpenAI em uma série de benchmarks importantes. O CEO da OpenAI, Sam Altman, admitiu que o DeepSeek diminuiu a vantagem tecnológica da OpenAI e afirmou que a OpenAI “adiantaria alguns lançamentos” para competir melhor.

Há muito dinheiro em jogo. A OpenAI perde bilhões anualmente e a empresa teria projetado que suas perdas anuais poderiam triplicar para US$ 14 bilhões até 2026. Um ciclo de lançamento de produtos mais rápido poderia beneficiar as finanças da OpenAI a curto prazo, mas possivelmente à custa da segurança a longo prazo. Especialistas como Brundage questionam se a troca vale a pena.

---