Acadêmicos acusam startups de IA de cooptar a revisão por pares para fins de publicidade

Uma polêmica está se formando em torno de estudos “gerados por IA” submetidos à ICLR deste ano, uma conferência acadêmica de longa data focada em IA.

Pelo menos três laboratórios de IA — Sakana, Intology e Autoscience — afirmam ter usado IA para gerar estudos que foram aceitos em workshops da ICLR. Em conferências como a ICLR, os organizadores dos workshops normalmente revisam os estudos para publicação na trilha do workshop da conferência.

A Sakana informou os líderes da ICLR antes de submeter seus artigos gerados por IA e obteve o consentimento dos revisores. Os outros dois laboratórios — Intology e Autoscience — não fizeram isso, confirmou um porta-voz da ICLR ao TechCrunch.

Diversos acadêmicos da área de IA manifestaram-se nas redes sociais para criticar as ações da Intology e Autoscience como uma apropriação do processo de revisão por pares científico.

“Todos esses artigos de cientistas de IA estão usando locais revisados por pares como suas avaliações humanas, mas ninguém consentiu em fornecer esse trabalho gratuito,” escreveu Prithviraj Ammanabrolu, professor assistente de ciência da computação na UC San Diego, em um post no X. “Isso me faz perder o respeito por todos os envolvidos, independentemente de quão impressionante o sistema seja. Por favor, divulguem isso aos editores.”

Como os críticos apontaram, a revisão por pares é um processo que consome muito tempo, é intensivo em trabalho e, na sua maioria, voluntário. De acordo com uma pesquisa recente da Nature, 40% dos acadêmicos gastam de duas a quatro horas revisando um único estudo. Esse trabalho tem se intensificado. O número de artigos submetidos à maior conferência de IA, NeurIPS, cresceu para 17.491 no ano passado, aumento de 41% em relação aos 12.345 em 2023.

A academia já enfrentava um problema de cópias geradas por IA. Uma análise descobriu que entre 6,5% e 16,9% dos artigos submetidos a conferências de IA em 2023 provavelmente continham texto sintético. No entanto, o uso da revisão por pares por empresas de IA para efetivamente avaliar e anunciar suas tecnologias é uma ocorrência relativamente nova.

“Os artigos [da Intology] receberam avaliações unânimes e positivas,” a Intology escreveu em um post no X comemorando seus resultados na ICLR. No mesmo post, a empresa afirmou que os revisores do workshop elogiaram “ideias inteligentes” de um de seus estudos gerados por IA.

Os acadêmicos não viram isso com bons olhos.

Ashwinee Panda, um pesquisador pós-doutoral na Universidade de Maryland, disse em um post no X que submeter artigos gerados por IA sem dar aos organizadores do workshop o direito de se recusar a aceitá-los demonstrou “falta de respeito pelo tempo dos revisores humanos.”

“A Sakana entrou em contato perguntando se estaríamos dispostos a participar de seu experimento para o workshop que estou organizando na ICLR,” acrescentou Panda, “e eu (nós) dissemos não […] Acredito que submeter artigos de IA a um local sem contatar os [revisores] é ruim.”

Não por nada, muitos pesquisadores são céticos sobre o fato de que artigos gerados por IA valham o esforço da revisão por pares.

A Sakana admitiu que sua IA cometeu erros de citação “embaraçosos” e que apenas um dos três artigos gerados por IA que a empresa escolheu submeter teria atendido ao critério para aceitação na conferência. A Sakana retirou seu artigo da ICLR antes que pudesse ser publicado, em nome da transparência e do respeito pela convenção da ICLR, disse a empresa.

Alexander Doria, cofundador da startup de IA Pleias, afirmou que o grande número de submissões sintéticas e furtivas à ICLR aponta para a necessidade de uma “agência pública/regulada” para realizar avaliações “de alta qualidade” de estudos gerados por IA por um preço.

“As avaliações [devem ser] feitas por pesquisadores devidamente remunerados pelo seu tempo,” disse Doria em uma série de posts no X. “A academia não está lá para terceirizar avaliações gratuitas [de IA].”