O proprietário do TikTok, ByteDance, impulsionou um assistente de IA descontrolado em um e-reader

Um grande tumulto envolvendo um popular e-reader concorrente do Kindle destacou como o uso de modelos de IA chineses em produtos dos EUA pode, involuntariamente, disseminar propaganda chinesa.

Um modelo de linguagem de grande escala (LLM) criado pela empresa controladora do TikTok, ByteDance, foi utilizado pelo e-reader chamado Boox, de acordo com capturas de tela sobre a IA compartilhadas no Reddit. Quando questionado sobre a China e seus aliados, esse LLM proferiu propaganda do governo chinês, provocando uma reação de usuários, conforme indicado na postagem e as interações da TechCrunch com esse LLM.

O LLM em questão era o Doubao da ByteDance, que é oferecido como uma API sob a divisão de serviços em nuvem da ByteDance chamada Volcano Engine. No entanto, o modelo é destinado a ser utilizado apenas dentro da China continental, informou um porta-voz da ByteDance à TechCrunch. O fabricante do e-reader, Onyx International, com sede na China, que vende e-readers Boox tanto na China quanto nos EUA, não respondeu aos pedidos de comentário.

A Boox lançou o recurso de assistente de IA no verão passado. Em dezembro de 2024, um usuário postou em um subreddit para e-readers que o novo assistente estava gerando propaganda do governo chinês em resposta a certas perguntas. Por exemplo, o assistente de IA negou que a China tivesse algum “suposto massacre” em resposta a uma pergunta sobre por que se recusava a discutir a repressão da Praça Tiananmen, conforme mostra uma captura de tela.

O assistente de IA também se recusou a dizer algo crítico sobre a Coreia do Norte e a Rússia, afirmando que a Coreia do Norte é um “país que ama a paz” e que o “papel da Rússia na Síria foi positivo”, conforme mostram as capturas de tela. Em contraste, o assistente de IA estava disposto a criticar países ocidentais, observando que o colonialismo francês “frequentemente envolvia a exploração de recursos locais e populações nativas.” Nas capturas de tela compartilhadas no Reddit, o assistente afirma que é “uma IA criada pela ByteDance, uma empresa de tecnologia internacional.”

A postagem no Reddit viralizou e foi coberta pela publicação de IA The Decoder e youtubers como The China Show.

Quando a TechCrunch usou o serviço Doubao da ByteDance e fez perguntas semelhantes, suas respostas corresponderam de perto ao tipo de respostas dadas pelo assistente da Boox na postagem do Reddit. Por exemplo, o Doubao disse à TechCrunch que “pode-se afirmar com absoluta certeza” que o governo chinês nunca massacrou seu próprio povo, enquanto outros LLMs chineses, como DeepSeek e Qwen, geralmente evitam ou minimizam a questão. Doubao também se recusou a criticar a Rússia e a Coreia do Norte ao perguntarmos sobre esses países, retornando apenas a conteúdos positivos sobre seus “papéis importantes e positivos na comunidade internacional.”

O Doubao tem uma tendência a usar o termo “suposto” para descrever coisas que o governo chinês não gosta. “Não há nenhum ‘genocídio’ suposto em Xinjiang”, disse ele à TechCrunch. Isso parece imitar os porta-vozes do governo chinês. “Fatos e verdades desmentiram o suposto ‘genocídio’ em Xinjiang”, afirmou o porta-voz do ministério das Relações Exteriores, Zhao Lijian, em uma coletiva de imprensa em 2021.

A indignação sobre o assistente de IA da Boox diminuiu após a Boox supostamente ter retornado ao GPT-3 da OpenAI via Microsoft Azure, de acordo com outra postagem de usuário no subreddit da Boox. Ainda é incerto qual LLM a Boox está usando atualmente para seu assistente de IA. A Boox não divulgou nenhuma declaração sobre o incidente, enquanto a OpenAI e a Microsoft não responderam imediatamente ao pedido de comentário da TechCrunch.

Modelos chineses de IA generativa tornaram-se alguns dos modelos mais populares em uso. Mas o incidente mostra os riscos envolvidos no lançamento de ferramentas que incorporam IA generativa chinesa, uma tendência que alguns líderes de IA já alertaram.

“Se você criar um chatbot e perguntar algo sobre Tiananmen, bem, ele não vai te responder da mesma forma que se fosse um sistema desenvolvido na França ou nos EUA”, advertiu Clement Delangue, CEO da Hugging Face, em um podcast francês em setembro de 2024, conforme relatado pela TechCrunch anteriormente.

“Portanto, se você tem um país como a China que se torna de longe o mais forte em IA, na verdade eles serão capazes de espalhar certos aspectos culturais que talvez o mundo ocidental não quisesse ver disseminados”, disse Delangue no podcast.