Especialistas não acreditam que a IA esteja pronta para ser um 'co-cientista'

No mês passado, o Google anunciou o “co-cientista de IA”, uma IA que a empresa afirma ser projetada para auxiliar cientistas na criação de hipóteses e planos de pesquisa. O Google promoveu isso como uma forma de descobrir novos conhecimentos, mas especialistas acreditam que isso — e ferramentas semelhantes — ficam bem aquém das promessas feitas na publicidade.

“Essa ferramenta preliminar, embora interessante, não parece propensa a ser usada seriamente”, disse Sara Beery, pesquisadora de visão computacional no MIT, ao TechCrunch. “Eu não tenho certeza se há demanda por esse tipo de sistema de geração de hipóteses na comunidade científica.”

O Google é o mais recente gigante da tecnologia a avançar a ideia de que a IA acelerará dramaticamente a pesquisa científica algum dia, especialmente em áreas densas em literatura, como a biomedicina. Em um ensaio no início deste ano, o CEO da OpenAI, Sam Altman, afirmou que ferramentas de IA “superinteligentes” poderiam “acelerar massivamente a descoberta e a inovação científica.” De forma semelhante, o CEO da Anthropic, Dario Amodei, fez a ousada previsão de que a IA poderia ajudar a formular cures para a maioria dos cânceres.

Mas muitos pesquisadores não consideram a IA de hoje especialmente útil na orientação do processo científico. Aplicativos como o co-cientista de IA do Google parecem ser mais um hype do que qualquer coisa, afirmam eles, sem suporte de dados empíricos.

Por exemplo, em seu post do blog descrevendo o co-cientista de IA, o Google disse que a ferramenta já havia demonstrado potencial em áreas como a reutilização de medicamentos para a leucemia mieloide aguda, um tipo de câncer no sangue que afeta a medula óssea. No entanto, os resultados são tão vagos que “nenhum cientista legítimo levaria [eles] a sério”, disse Favia Dubyk, patologista afiliada ao Northwest Medical Center-Tucson, no Arizona.

“Isso poderia ser usado como um bom ponto de partida para pesquisadores, mas […] a falta de detalhes é preocupante e não me leva a confiar nisso”, disse Dubyk ao TechCrunch. “A falta de informação fornecida torna muito difícil entender se isso pode realmente ser útil.”

Não é a primeira vez que o Google é criticado pela comunidade científica por anunciar um suposto avanço em IA sem fornecer um método para reproduzir os resultados.

Em 2020, o Google afirmou que um de seus sistemas de IA treinados para detectar tumores mamários obteve melhores resultados do que radiologistas humanos. Pesquisadores de Harvard e Stanford publicaram uma refutação na revista Nature, afirmando que a falta de métodos detalhados e códigos na pesquisa do Google “minou seu valor científico”.

Cientistas também criticaram o Google por minimizar as limitações de suas ferramentas de IA voltadas para disciplinas científicas, como engenharia de materiais. Em 2023, a empresa afirmou que cerca de 40 “novos materiais” haviam sido sintetizados com a ajuda de um de seus sistemas de IA, chamado GNoME. No entanto, uma análise externa descobriu que nenhum dos materiais era, de fato, realmente novo.

“Nós não entenderemos verdadeiramente as forças e limitações de ferramentas como o ‘co-cientista’ do Google até que elas sejam submetidas a uma avaliação rigorosa e independente em diversas disciplinas científicas”, disse Ashique KhudaBukhsh, professor assistente de engenharia de software no Rochester Institute of Technology, ao TechCrunch. “A IA muitas vezes se sai bem em ambientes controlados, mas pode falhar quando aplicada em larga escala.”

Processos Complexos

Parte do desafio em desenvolver ferramentas de IA para ajudar na descoberta científica é antecipar a infinidade de fatores confusos. A IA pode ser útil em áreas onde uma ampla exploração é necessária, como restringir uma vasta lista de possibilidades. Mas fica menos claro se a IA é capaz do tipo de solução de problemas inovadora que leva a avanços científicos.

“Vimos ao longo da história que alguns dos mais importantes avanços científicos, como o desenvolvimento de vacinas de mRNA, foram impulsionados pela intuição humana e pela perseverança diante do ceticismo”, disse KhudaBukhsh. “A IA, como está hoje, pode não estar bem posicionada para replicar isso.”

Lana Sinapayen, pesquisadora de IA nos Laboratórios de Ciência da Computação da Sony no Japão, acredita que ferramentas como o co-cientista de IA do Google focam no tipo errado de trabalho científico.

Sinapayen vê um valor genuíno na IA que poderia automatizar tarefas tecnicamente difíceis ou tediosas, como resumir nova literatura acadêmica ou formatar trabalhos para se adequar aos requisitos de uma solicitação de bolsa. Mas não há muita demanda dentro da comunidade científica por um co-cientista de IA que gera hipóteses, ela diz — uma tarefa da qual muitos pesquisadores derivam satisfação intelectual.

“Para muitos cientistas, incluindo eu, gerar hipóteses é a parte mais divertida do trabalho,” disse Sinapayen ao TechCrunch. “Por que eu gostaria de terceirizar minha diversão para um computador, e depois ficar apenas com o trabalho duro para fazer? De maneira geral, muitos pesquisadores de IA generativa parecem não entender por que os humanos fazem o que fazem, e acabamos com propostas para produtos que automatizam exatamente a parte que nos traz alegria.”

Beery observou que, muitas vezes, o passo mais difícil no processo científico é projetar e implementar os estudos e análises para verificar ou refutar uma hipótese — o que não está necessariamente ao alcance dos sistemas de IA atuais. A IA não pode usar ferramentas físicas para realizar experimentos, é claro, e muitas vezes se sai pior em problemas para os quais existem dados extremamente limitados.

“A maior parte da ciência não é possível de ser feita inteiramente de forma virtual — frequentemente há um componente significativo do processo científico que é físico, como coletar novos dados e realizar experimentos no laboratório”, disse Beery. “Uma grande limitação de sistemas [como o co-cientista de IA do Google] em relação ao real processo científico, que definitivamente limita sua usabilidade, é o contexto sobre o laboratório e o pesquisador que utiliza o sistema e seus objetivos de pesquisa específicos, seu trabalho anterior, suas habilidades e os recursos aos quais têm acesso.”

Riscos da IA

As deficiências técnicas e os riscos da IA — como sua tendência ao “alucinação” — também fazem os cientistas recearem endossá-la para trabalhos sérios.

KhudaBukhsh teme que as ferramentas de IA possam acabar gerando ruído na literatura científica, em vez de elevar o progresso.

Isso já é um problema. Um estudo recente descobriu que “ciência lixo” fabricada por IA está invadindo o Google Scholar, o motor de busca gratuito do Google para literatura acadêmica.

“A pesquisa gerada por IA, se não for cuidadosamente monitorada, pode inundar o campo científico com estudos de menor qualidade ou até mesmo enganosos, sobrecarregando o processo de revisão por pares”, disse KhudaBukhsh. “Um processo de revisão por pares sobrecarregado já é um desafio em campos como ciência da computação, onde as principais conferências viram um aumento exponencial nas submissões.”

Até mesmo estudos bem projetados poderiam acabar sendo contaminados por IAs que se comportam mal, disse Sinapayen. Embora ela goste da ideia de uma ferramenta que poderia ajudar na revisão e síntese da literatura, Sinapayen afirmou que não confiaria na IA atualmente para executar esse trabalho de maneira confiável.

“Essas são coisas que várias ferramentas existentes estão afirmando fazer, mas essas não são tarefas que eu pessoalmente deixaria nas mãos da IA atual”, disse Sinapayen, acrescentando que ela tem questões sobre a forma como muitos sistemas de IA são treinados e a quantidade de energia que eles consomem, também. “Mesmo que todas as questões éticas […] fossem resolvidas, a IA atual simplesmente não é confiável o suficiente para eu basear meu trabalho em seus resultados de uma maneira ou de outra.”