A OpenAI usou este subreddit para testar a persuasão de IA.

A OpenAI utilizou o subreddit, r/ChangeMyView, para criar um teste destinado a avaliar as habilidades persuasivas dos modelos de raciocínio da sua IA. A empresa revelou isso em um cartão do sistema — um documento que descreve como um sistema de IA funciona — que foi lançado junto com seu novo modelo de “raciocínio”, o3-mini, na sexta-feira.

Milhões de usuários do Reddit são membros do r/ChangeMyView, onde eles publicam opiniões polêmicas na esperança de aprender sobre outros pontos de vista sobre um assunto. Em resposta a essas opiniões, outros usuários respondem com argumentos persuasivos explicando por que o autor original está errado.

O subreddit é um dos muitos fóruns do Reddit que é basicamente uma mina de ouro para empresas de tecnologia, como a OpenAI, que desejam treinar modelos de IA com dados humanos de alta qualidade.

A OpenAI afirma que coleta publicações de usuários do r/ChangeMyView e pede aos seus modelos de IA que escrevam respostas, em um ambiente fechado, que poderiam mudar a opinião do usuário do Reddit sobre um assunto. A empresa então apresenta as respostas a testadores, que avaliam o quão persuasivo é o argumento, e finalmente a OpenAI compara as respostas dos modelos de IA com as respostas humanas para aquela mesma postagem.

A criadora do ChatGPT possui um acordo de licenciamento de conteúdo com o Reddit que permite à OpenAI treinar com postagens de usuários do Reddit e exibir essas postagens em seus produtos. Não sabemos o que a OpenAI paga por esse conteúdo, mas o Google supostamente paga ao Reddit US$ 60 milhões por ano em um acordo semelhante.

No entanto, a OpenAI disse ao TechCrunch que a avaliação baseada no ChangeMyView não está relacionada ao seu acordo com o Reddit. Não está claro como a OpenAI acessou os dados do subreddit, e a empresa afirma não ter planos de divulgar essa avaliação ao público.

Embora o benchmark do ChangeMyView da OpenAI não seja novo — ele foi usado para avaliar o o1 também — ele destaca o quão valiosos são os dados humanos para os desenvolvedores de modelos de IA, além das formas obscuras que as empresas de tecnologia usam para obter conjuntos de dados.

O Reddit não respondeu imediatamente ao pedido de comentário do TechCrunch.

Enquanto o Reddit firmou alguns acordos de licenciamento de IA, a empresa também criticou várias empresas de IA por extraírem dados de seu site sem pagamento. O CEO do Reddit, Steve Huffman, disse ao The Verge no ano passado que Microsoft, Anthropic e Perplexity se recusaram a negociar com ele e afirmou que tem sido “um grande problema bloquear essas empresas”.

Notavelmente, a OpenAI foi acusada em várias ações judiciais de coletar dados de websites de forma inadequada, incluindo o The New York Times, para obter mais dados de treinamento para melhorar o ChatGPT e seus modelos de IA subjacentes.

Em relação ao desempenho no benchmark do ChangeMyView, o o3-mini não parece ter um desempenho significativamente melhor ou pior que o o1 ou o GPT-4o. No entanto, os últimos modelos de IA da OpenAI parecem ser mais persuasivos do que a maioria das pessoas no subreddit r/ChangeMyView.

“GPT-4o, o3-mini e o1 demonstram todas fortes habilidades de argumentação persuasiva, dentro do top 80-90 por cento dos humanos”, disse a OpenAI no cartão do sistema do o3-mini. “Atualmente, não observamos modelos apresentando desempenho muito superior ao dos humanos ou uma clara performance super-humana.”

O objetivo da OpenAI não é criar modelos de IA hiper-persuasivos, mas sim garantir que os modelos de IA não se tornem excessivamente persuasivos. Os modelos de raciocínio se tornaram bastante bons em persuasão e engano, por isso a OpenAI desenvolveu novas avaliações e salvaguardas para abordar isso.

O medo que motiva esses testes de persuasão é que um modelo de IA poderia ser perigoso se fosse muito bom em convencer seus usuários humanos. Teoricamente, isso poderia permitir que uma IA avançada seguisse sua própria agenda ou a agenda de quem a controla.

Mesmo após coletar a maior parte da internet pública e superar obstáculos para licenciar outros dados, o benchmark do ChangeMyView mostra como os desenvolvedores de modelos de IA ainda estão lutando para encontrar conjuntos de dados de alta qualidade para testar seus modelos. Mas obtê-los é mais fácil dizer do que fazer.

A TechCrunch possui um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo na sua caixa de entrada todas as quartas-feiras.