A geração de voz por IA da ElevenLabs 'muito provavelmente' utilizada em uma operação de influência russa

A IA generativa apresenta uma abundância de usos indevidos bem documentados, desde a criação de trabalhos acadêmicos falsos até a cópia de artistas. E agora, parece que está se infiltrando nas operações de influência estatal.

Uma campanha recente foi “muito provavelmente” auxiliarada por produtos comerciais de geração de voz por IA, incluindo a tecnologia liberada publicamente pela startup ElevenLabs, de acordo com um relatório recente da empresa de inteligência de ameaças Recorded Future, baseada em Massachusetts.

O relatório descreve uma campanha ligada à Rússia, projetada para minar o apoio da Europa à Ucrânia, chamada “Operação Undercut”, que usou proeminentemente vozes geradas por IA em vídeos de “notícias” fraudulentas ou enganosas.

Os vídeos, que visavam audiências europeias, atacavam políticos ucranianos como corruptos ou questionavam a utilidade da ajuda militar à Ucrânia, entre outros temas. Por exemplo, um vídeo afirmava que “até os bloqueadores não conseguem salvar os tanques Abrams americanos”, referindo-se a dispositivos usados pelos tanques dos EUA para desviar mísseis – reforçando a ideia de que enviar blindados de alta tecnologia à Ucrânia é inútil.

O relatório afirma que os criadores dos vídeos “muito provavelmente” utilizaram IA de geração de voz, incluindo a tecnologia da ElevenLabs, para fazer seu conteúdo parecer mais legítimo. Para verificar isso, os pesquisadores da Recorded Future submeteram os clipes ao Classificador de Voz por IA da ElevenLabs, que permite que qualquer pessoa “detecte se um clipe de áudio foi criado usando ElevenLabs”, e obtiveram uma correspondência.

A ElevenLabs não respondeu a solicitações de comentário. Embora a Recorded Future tenha notado o uso provável de várias ferramentas comerciais de geração de voz por IA, não nomeou nenhuma outra além da ElevenLabs.

A utilidade da geração de voz por IA foi inadvertidamente demonstrada pelos próprios organizadores da campanha de influência, que – de forma um tanto descuidada – lançaram alguns vídeos com narrações de vozes humanas reais que tinham “um sotaque russo discernível.” Em contraste, as narrações geradas por IA falavam em várias línguas europeias, como inglês, francês, alemão e polonês, sem sotaques estrangeiros.

De acordo com a Recorded Future, a IA também permitiu que os clipes enganosos fossem rapidamente lançados em vários idiomas falados na Europa, como inglês, alemão, francês, polonês e turco (casualmente, todos idiomas suportados pela ElevenLabs).

A Recorded Future atribuiu a atividade à Social Design Agency, uma organização com sede na Rússia que o governo dos EUA sancionou em março por operar “uma rede de mais de 60 sites que impersonificavam organizações de notícias genuínas na Europa, usando contas de mídia social falsas para amplificar o conteúdo enganoso dos sites disfarçados.” Tudo isso foi feito “em nome do Governo da Federação Russa,” afirmou o Departamento de Estado dos EUA na época.

O impacto geral da campanha na opinião pública na Europa foi mínimo, concluiu a Recorded Future.

Esta não é a primeira vez que os produtos da ElevenLabs foram destacados por supostos abusos. A tecnologia da empresa esteve por trás de um robocall que se passava pelo presidente Joe Biden, urging os eleitores a não saírem para votar durante uma eleição primária em janeiro de 2024, concluiu uma empresa de detecção de fraudes de voz, segundo a Bloomberg. Em resposta, a ElevenLabs afirmou ter lançado novas funcionalidades de segurança, como o bloqueio automático de vozes de políticos.

A ElevenLabs proíbe “imitação não autorizada, prejudicial ou enganosa” e afirma utilizar várias ferramentas para fazer cumprir essa política, como moderação automatizada e humana.

A ElevenLabs experimentou um crescimento explosivo desde sua fundação em 2022. Recentemente, aumentou a Receita Anual Recorrente (ARR) para 80 milhões de dólares, de 25 milhões de dólares menos de um ano antes, e pode em breve ser avaliada em 3 bilhões de dólares, relatou anteriormente a TechCrunch. Seus investidores incluem Andreessen Horowitz e o ex-CEO do Github, Nat Friedman.