O Google afirma que seus novos modelos de IA podem identificar emoções — e isso preocupa especialistas

O Google afirma que sua nova família de modelos de IA possui um recurso curioso: a capacidade de “identificar” emoções.

Anunciada na última quinta-feira, a família de modelos PaliGemma 2 pode analisar imagens, permitindo que a IA gere legendas e responda a perguntas sobre as pessoas que “vê” em fotos.

“O PaliGemma 2 gera legendas detalhadas e contextualmente relevantes para imagens,” escreveu o Google em uma postagem de blog compartilhada com o TechCrunch, “indo além da simples identificação de objetos para descrever ações, emoções e a narrativa geral da cena.”

O reconhecimento de emoções não funciona imediatamente, e o PaliGemma 2 precisa ser ajustado para esse propósito. No entanto, especialistas com os quais o TechCrunch conversou expressaram preocupação com a perspectiva de um detector de emoções disponível publicamente.

“Isso é muito preocupante para mim,” disse Sandra Wachter, professora de ética em dados e IA no Oxford Internet Institute, ao TechCrunch. “Acho problemático assumir que podemos ‘ler’ as emoções das pessoas. É como perguntar a uma bola 8 mágica por conselhos.”

Durante anos, startups e grandes empresas de tecnologia tentaram construir IA que detectasse emoções para tudo, desde treinamento de vendas a prevenção de acidentes. Alguns afirmam ter alcançado esse objetivo, mas a ciência se baseia em fundamentos instáveis.

A maioria dos detectores de emoções baseia-se nos primeiros trabalhos de Paul Ekman, um psicólogo que teorizou que os humanos compartilham seis emoções fundamentais: raiva, surpresa, nojo, prazer, medo e tristeza. Estudos subsequentes colocaram em dúvida a hipótese de Ekman, demonstrando que há grandes diferenças na forma como pessoas de diferentes culturas expressam o que estão sentindo.

“A detecção de emoções não é possível de forma geral, porque as pessoas experimentam emoções de maneiras complexas,” disse Mike Cook, pesquisador da Queen Mary University especializado em IA, ao TechCrunch. “Claro, acreditamos que podemos deduzir o que outras pessoas estão sentindo ao olhá-las, e muitas pessoas ao longo dos anos também tentaram, como agências de espionagem ou empresas de marketing. Tenho certeza de que é absolutamente possível detectar alguns indicadores genéricos em alguns casos, mas nunca será algo que possamos ‘resolver’ completamente.”

A consequência não surpreendente é que sistemas de detecção de emoções tendem a ser pouco confiáveis e influenciados pelas suposições de seus criadores. Em um estudo de 2020 do MIT, pesquisadores mostraram que modelos de análise facial poderiam desenvolver preferências indesejadas por certas expressões, como sorrir. Trabalhos mais recentes sugerem que modelos de análise emocional atribuem mais emoções negativas aos rostos de pessoas negras do que aos rostos de pessoas brancas.

O Google afirma que conduziu “testes extensivos” para avaliar preconceitos demográficos no PaliGemma 2 e encontrou “baixos níveis de toxicidade e profanidade” em comparação com benchmarks do setor. Mas a empresa não divulgou a lista completa de benchmarks utilizados, nem indicou quais tipos de testes foram realizados.

O único benchmark que o Google divulgou é o FairFace, um conjunto de milhares de fotos de rosto. A empresa afirma que o PaliGemma 2 obteve um bom desempenho no FairFace. No entanto, alguns pesquisadores criticaram esse benchmark como uma métrica de viés, observando que o FairFace representa apenas um punhado de grupos raciais.

“Interpretar emoções é uma questão bastante subjetiva que vai além do uso de recursos visuais e está fortemente embutida em um contexto pessoal e cultural,” disse Heidy Khlaaf, cientista-chefe de IA no AI Now Institute, uma instituição sem fins lucrativos que estuda as implicações sociais da inteligência artificial. “Deixando a IA de lado, pesquisas mostraram que não podemos inferir emoções apenas a partir das características faciais.”

Os sistemas de detecção de emoções levantaram a ira de reguladores no exterior, que tentaram limitar o uso da tecnologia em contextos de alto risco. O AI Act, a principal legislação sobre IA na UE, proíbe escolas e empregadores de implantar detectores de emoções (mas não agências de aplicação da lei).

A maior preocupação em torno de modelos abertos como o PaliGemma 2, que está disponível em vários hosts, incluindo a plataforma de desenvolvimento de IA Hugging Face, é que eles serão abusados ou mal utilizados, o que pode levar a danos no mundo real.

“Se essa chamada identificação emocional for baseada em pressupostos pseudocientíficos, há implicações significativas sobre como essa capacidade pode ser usada para reforçar — e falsamente — discriminar grupos marginalizados, como em aplicação da lei, gestão de recursos humanos, governança de fronteiras, e assim por diante,” disse Khlaaf.

Quando questionada sobre os perigos de lançar publicamente o PaliGemma 2, uma porta-voz do Google disse que a empresa defende seus testes para “dano representacional” em relação a perguntas visuais e legendas. “Conduzimos avaliações robustas dos modelos PaliGemma em relação à ética e segurança, incluindo segurança infantil e segurança do conteúdo,” acrescentou.

Wachter não está convencida de que isso seja suficiente.

“Inovação responsável significa que você pensa sobre as consequências desde o primeiro dia que entra em seu laboratório e continua fazendo isso durante todo o ciclo de vida de um produto,” disse ela. “Posso pensar em inúmeras questões potenciais [com modelos como este] que podem levar a um futuro distópico, onde suas emoções determinam se você consegue o emprego, um empréstimo, e se você é admitido na universidade.”