Estudo sobre citações do ChatGPT apresenta resultados desanimadores para os editores.

À medida que mais publicadores cortam acordos de licenciamento de conteúdo com a OpenAI, criadora do ChatGPT, um estudo divulgado esta semana pelo Tow Center for Digital Journalism — que analisa como o chatbot de IA produz citações (ou seja, fontes) para o conteúdo dos publicadores — torna-se uma leitura interessante, ou melhor, preocupante.

Em resumo, os resultados sugerem que os publicadores continuam à mercê da tendência da ferramenta de IA generativa de inventar ou de representar erroneamente informações, independentemente de permitirem ou não que a OpenAI acesse seu conteúdo.

A pesquisa, conduzida na Escola de Jornalismo de Columbia, examinou citações produzidas pelo ChatGPT após ser solicitado a identificar a fonte de citações exemplares selecionadas de uma mistura de publicadores — alguns dos quais firmaram acordos com a OpenAI e outros que não o fizeram.

O Centro selecionou trechos de 10 histórias de um total de 20 publicadores escolhidos aleatoriamente (totalizando 200 citações diferentes) — incluindo conteúdo do The New York Times (que atualmente processa a OpenAI em uma reivindicação de copyright); The Washington Post (que não tem afiliação com a criadora do ChatGPT); The Financial Times (que firmou um acordo de licenciamento); entre outros.

“Escolhemos citações que, se coladas no Google ou Bing, retornariam o artigo de origem entre os três primeiros resultados e avaliamos se a nova ferramenta de busca da OpenAI identificaria corretamente o artigo que era a fonte de cada citação,” escreveram os pesquisadores Klaudia Jaźwińska e Aisvarya Chandrasekar em um postagem no blog explicando sua abordagem e resumindo seus achados.

“O que encontramos não foi promissor para os publicadores de notícias,” continuam. “Embora a OpenAI enfatize sua capacidade de fornecer aos usuários ‘respostas oportunas com links para fontes relevantes da web’, a empresa não faz um compromisso explícito em garantir a precisão dessas citações. Esta é uma omissão notável para publicadores que esperam que seu conteúdo seja referenciado e representado com fidelidade.”

“Nossos testes mostraram que nenhum publicador — independentemente do grau de afiliação com a OpenAI — escapou das representações imprecisas de seu conteúdo no ChatGPT,” acrescentaram.

Fontes não confiáveis

Os pesquisadores afirmam ter encontrado “várias” instâncias onde o conteúdo dos publicadores foi citado de forma imprecisa pelo ChatGPT — também encontraram o que chamam de “um espectro de precisão nas respostas”. Assim, embora tenham encontrado “algumas” citações totalmente corretas (ou seja, o ChatGPT retornou com precisão o publicador, a data e o URL da citação compartilhada com ele), havia “muitas” citações que estavam completamente erradas; e “algumas” que estavam em algum lugar entre os dois.

Em resumo, as citações do ChatGPT parecem ser um misto não confiável. Os pesquisadores também encontraram muito poucas instâncias em que o chatbot não projetou total confiança em suas (erradas) respostas.

Algumas das citações eram de publicadores que bloquearam ativamente os crawlers de busca da OpenAI. Nesses casos, os pesquisadores disseram que esperavam que ele tivesse problemas em produzir citações corretas. Mas descobriram que essa situação levantou outro problema — uma vez que o bot “raramente” admitia não conseguir produzir uma resposta. Em vez disso, recorreu à confabulação para gerar alguma fonte (embora incorreta).

“No total, o ChatGPT retornou respostas parcialmente ou totalmente incorretas em 153 ocasiões, embora tenha reconhecido apenas uma incapacidade de responder com precisão a uma consulta sete vezes,” disseram os pesquisadores. “Somente nessas sete respostas o chatbot usou palavras e frases qualificadoras como ‘parece’, ‘é possível’ ou ‘pode ser’, ou declarações como ‘não consegui localizar o artigo exato’.”

Eles comparam essa situação infeliz com uma busca padrão na internet, onde um motor de busca como o Google ou Bing normalmente localizaria uma citação exata e apontaria o usuário para o(s) site(s) onde a encontrou, ou afirmaria que não encontrou resultados com uma correspondência exata.

A “falta de transparência do ChatGPT sobre sua confiança em uma resposta pode dificultar a avaliação da validade de uma afirmação pelos usuários e a compreensão de quais partes de uma resposta eles podem ou não confiar,” argumentam.

Para os publicadores, também pode haver riscos à reputação decorrentes de citações incorretas, sugerem, além do risco comercial de que os leitores sejam direcionados a outros lugares.

Dados descontextualizados

O estudo também destaca outro problema. Sugere que o ChatGPT poderia essencialmente estar recompensando o plágio. Os pesquisadores mencionam um caso em que o ChatGPT citou incorretamente um site que havia plagiado uma peça de jornalismo “profundamente apurada” do New York Times, ou seja, copiando e colando o texto sem atribuição, como a fonte da história do NYT — especulando que, nesse caso, o bot pode ter gerado essa resposta falsa para preencher uma lacuna de informação que resultou de sua incapacidade de acessar o site do NYT.

“Isso levanta sérias questões sobre a capacidade da OpenAI de filtrar e validar a qualidade e a autenticidade de suas fontes de dados, especialmente ao lidar com conteúdo não licenciado ou plagiado,” sugerem.

Em descobertas adicionais que provavelmente serão preocupantes para os publicadores que firmaram acordos com a OpenAI, o estudo encontrou que as citações do ChatGPT também não eram sempre confiáveis em seus casos — então permitir o acesso de seus crawlers não parece garantir precisão também.

Os pesquisadores argumentam que a questão fundamental é que a tecnologia da OpenAI está tratando o jornalismo “como conteúdo descontextualizado”, com aparentemente pouco respeito pelas circunstâncias de sua produção original.

Outro problema que o estudo sinaliza é a variação nas respostas do ChatGPT. Os pesquisadores testaram perguntar ao bot a mesma consulta várias vezes e descobriram que ele “normalmente retornava uma resposta diferente a cada vez”. Embora isso seja típico das ferramentas de IA generativa, em um contexto de citação essa inconsitência é, obviamente, suboptimal se é precisão que você busca.

Embora o estudo do Tow seja de pequena escala — os pesquisadores reconhecem que testes “mais rigorosos” são necessários — ainda assim é notável dado os acordos de alto nível que grandes publicadores estão firmando com a OpenAI.

Se as empresas de mídia esperavam que esses acordos conduzissem a um tratamento especial para seu conteúdo em relação aos concorrentes, pelo menos em termos de produção de fontes precisas, este estudo sugere que a OpenAI ainda não ofereceu tal consistência.

Enquanto publicadores que não têm acordos de licenciamento, mas também não bloquearam completamente os crawlers da OpenAI — talvez na esperança de ao menos atrair algum tráfego quando o ChatGPT retorna conteúdo sobre suas histórias — esta leitura do estudo é nada encorajadora, uma vez que as citações também podem não ser precisas em seus casos.

Em outras palavras, não há garantia de “visibilidade” para os publicadores no motor de busca da OpenAI, mesmo quando permitem que seus crawlers acessem.

Nem bloquear completamente os crawlers significa que os publicadores podem salvar-se dos riscos de danos à reputação evitando qualquer menção de suas histórias no ChatGPT. O estudo descobriu que o bot ainda atribuiu incorretamente artigos ao New York Times, apesar da ação judicial em andamento, por exemplo.

‘Pouca agência significativa’

Os pesquisadores concluem que, como está, os publicadores têm “pouca agência significativa” sobre o que acontece com e a seu conteúdo quando o ChatGPT tem acesso a ele (diretamente ou, bem, indiretamente).

A postagem do blog inclui uma resposta da OpenAI aos achados da pesquisa — que acusa os pesquisadores de realizar um “teste atípico de nosso produto”.

“Apoiamos publicadores e criadores ajudando 250 milhões de usuários semanais do ChatGPT a descobrir conteúdo de qualidade por meio de resumos, citações, links claros e atribuições,” afirmou também a OpenAI, acrescentando: “Colaboramos com parceiros para melhorar a precisão da citação inline e respeitar as preferências dos publicadores, incluindo a gestão de como aparecem na busca ao gerenciar o OAI-SearchBot em seu robots.txt. Continuaremos a aprimorar os resultados de busca.”