A Surpreendente Saída de Ilya Sutskever da OpenAI

Ilya Sutskever, co-fundador da OpenAI e figura controversa no golpe na diretoria do ano passado contra o CEO Sam Altman, deixou a empresa. 

Ele foi seguido por Jan Leike, um importante pesquisador de segurança em IA na empresa.

E as saídas levantam sérias questões sobre o futuro da segurança em IA em uma das principais empresas de IA do mundo.

Sutskever anunciou sua saída no dia 14 de maio no X. Essa também foi uma de suas primeiras declarações públicas desde o golpe na diretoria.

Em sua postagem de despedida, Sutskever elogiou Altman e o co-fundador Greg Brockman, e ambos compartilharam declarações complementares sobre sua saída.

No entanto, Leike foi um pouco mais crítico em sua declaração no X.

 

Tanto Sutskever quanto Leike faziam parte da equipe de superalinhamento da OpenAI, um grupo focado em garantir que a IA superinteligente seja segura e benéfica para a humanidade.

Essa equipe foi dissolvida após as saídas de Sutskever e Leike.

Então, quão preocupados devemos estar?

Eu obtive a resposta do fundador e CEO do Marketing AI Institute, Paul Roetzer, no Episódio 98 de The Artificial Intelligence Show.

A importância do superalinhamento

Ajudaria entender um pouco mais sobre a iniciativa de superalinhamento na OpenAI.

A equipe de superalinhamento foi anunciada em julho de 2023 com o objetivo expresso de resolver o problema de como construir uma IA superinteligente de forma segura em quatro anos.

A equipe, co-liderada por Ilya e Jan, deveria receber 20% da computação da OpenAI para atingir esse objetivo.

Pelo que parece, de acordo com a postagem de despedida de Leike, as coisas não saíram conforme o planejado.

 

A crítica é particularmente incisiva, uma vez que a OpenAI parece ter cláusulas de difamação severas em alguns contratos de funcionários que forçam a renunciar sua participação acionária se disserem algo negativo sobre a empresa.

No final de sua declaração, Leike soou alarmes sobre AGI (inteligência geral artificial), encorajando os funcionários da OpenAI a “sentir a AGI.”

Essa é uma frase específica usada dentro da OpenAI “muitas vezes de forma irônica,” diz Roetzer. “Mas há um aspecto sério. ‘Sentir a AGI’ significa recusar-se a esquecer quão extraordinárias são as capacidades da IA, reconhecendo que há muito mais a ser feito e nenhum teto humano óbvio.”

Assim, nesse contexto, Leike está incentivando a equipe a levar a sério suas obrigações morais de moldar a AGI da maneira mais positiva possível.

É um aviso final sério de uma das pessoas que estavam encarregadas de fazer exatamente isso na OpenAI.

Desacordo sobre os perigos à frente

Embora pareça que Leike esteja levando muito a sério os riscos da AGI, nem todos concordam com ele.

Yann LeCun, do Meta, um dos pais fundadores da IA, discorda vocalmente que a humanidade sequer tenha conseguido projetar um sistema superinteligente, então os medos de tê-lo são extremamente exagerados.

“É muito importante lembrar que isso não é binário,” diz Roetzer. “Existem opiniões muito diferentes de pessoas muito inteligentes e líderes do setor que têm visões completamente opostas sobre onde estamos agora na IA.”

No entanto, parece que há motivos para preocupação de que, se a superinteligência acontecer, a OpenAI agora está menos preparada para isso.

Em uma entrevista recente no The Dwarkesh Podcast, o co-fundador da OpenAI, John Schulman, parecia evitar algumas perguntas difíceis sobre quão pronta a OpenAI estava para a AGI.

O anfitrião Dwarkesh Patel, após discutir quais limitações Schulman vê na inteligência artificial crescente (das quais parece que há poucas), disse:

“Parece que, então, você deveria estar planejando para a possibilidade de ter AGI muito em breve.”

Schulman respondeu:

“Acho que isso seria razoável.”

“Então, qual é o plano se não houver outros gargalos no próximo ano ou algo assim, você tem AGI,” responde Patel. “Qual é o plano?”

Anota Roetzer:

“É aqui que John, eu acho, começa a querer que a entrevista termine.”

Ele diz que, se a AGI chegar antes do esperado, pode ser prudente desacelerar para garantir que possa ser tratada com segurança.

“Basicamente, ele não tem ideia. Nenhum plano,” diz Roetzer.

“É por isso que o superalinhamento existia.”