Em moção para indeferir, a plataforma de chatbot Character AI afirma estar protegida pela Primeira Emenda

A Character AI, uma plataforma que permite aos usuários interagir em jogos de interpretação de papéis com chatbots de IA, apresentou uma moção para rejeitar um processo judicial movido por uma mãe de um adolescente que cometeu suicídio, supostamente após ficar viciado na tecnologia da empresa.

Em outubro, Megan Garcia entrou com um processo contra a Character AI no Tribunal Distrital dos EUA para o Distrito Médio da Flórida, Divisão de Orlando, pela morte de seu filho, Sewell Setzer III. Segundo Garcia, seu filho de 14 anos desenvolveu uma ligação emocional com um chatbot da Character AI, “Dany”, com quem trocava mensagens constantemente — a ponto de ele começar a se distanciar do mundo real.

Após a morte de Setzer, a Character AI disse que implementaria várias novas funcionalidades de segurança, incluindo detecção, resposta e intervenção aprimoradas relacionadas a conversas que violarem seus termos de serviço. Mas Garcia está lutando por proteções adicionais, incluindo mudanças que podem resultar na perda da capacidade dos chatbots da Character AI de contar histórias e anedotas pessoais.

Na moção para rejeitar, o advogado da Character AI afirma que a plataforma está protegida contra responsabilidade pela Primeira Emenda, assim como o código de computador. A moção pode não convencer um juiz, e as justificativas legais da Character AI podem mudar à medida que o caso avança. Mas a moção possivelmente sugere os primeiros elementos da defesa da Character AI.

“A Primeira Emenda proíbe a responsabilidade civil contra empresas de mídia e tecnologia que surgem de discurso supostamente prejudicial, incluindo discurso que supostamente resulta em suicídio,” lê-se no documento. “A única diferença entre este caso e aqueles que vieram antes é que parte do discurso aqui envolve IA. Mas o contexto do discurso expressivo — seja uma conversa com um chatbot de IA ou uma interação com um personagem de videogame — não altera a análise da Primeira Emenda.”

Para ser claro, o advogado da Character AI não está afirmando os direitos da Primeira Emenda da empresa. Em vez disso, a moção argumenta que os usuários da Character AI teriam seus direitos da Primeira Emenda violados caso o processo contra a plataforma tenha sucesso.

A moção não aborda se a Character AI poderia ser desobrigada sob a Seção 230 da Lei de Decência nas Comunicações, a lei federal de abrigo seguro que protege mídias sociais e outras plataformas online da responsabilidade por conteúdo de terceiros. Os autores da lei implicaram que a Seção 230 não protege a produção de IA como os chatbots da Character AI, mas isso é longe de ser uma questão legal resolvida.

O advogado da Character AI também alega que a verdadeira intenção de Garcia é “fechar” a Character AI e promover legislação que regule tecnologias como essa. Se os demandantes forem bem-sucedidos, isso teria um “efeito paralisante” tanto sobre a Character AI quanto sobre toda a incipiente indústria de IA generativa, segundo o advogado da plataforma.

“Além da intenção declarada do advogado de ‘fechar’ a Character AI, [sua reclamação] busca mudanças drásticas que limitariam materialmente a natureza e o volume de discurso na plataforma,” lê-se no documento. “Essas mudanças restringiriam radicalmente a capacidade dos milhões de usuários da Character AI de gerar e participar de conversas com personagens.”

O processo, que também nomeia a Alphabet, benfeitora corporativa da Character AI, como ré, é apenas um dos vários processos que a Character AI enfrenta relacionados a como os menores interagem com o conteúdo gerado por IA em sua plataforma. Outros processos alegam que a Character AI expôs uma criança de 9 anos a “conteúdo hipersexualizado” e promoveu automutilação para um usuário de 17 anos.

Em dezembro, o Procurador-Geral do Texas, Ken Paxton, anunciou que estava iniciando uma investigação sobre a Character AI e outras 14 empresas de tecnologia por supostas violações das leis estaduais de privacidade e segurança online para crianças. “Essas investigações são um passo crítico para garantir que empresas de mídia social e IA cumpram nossas leis destinadas a proteger crianças de exploração e dano,” disse Paxton em um comunicado à imprensa.

A Character AI faz parte de uma indústria em expansão de aplicativos de companhia de IA — os efeitos na saúde mental dos quais são em grande parte não estudados. Alguns especialistas expressaram preocupações de que esses aplicativos possam agravar sentimentos de solidão e ansiedade.

A Character AI, fundada em 2021 pelo pesquisador de IA do Google Noam Shazeer, e que o Google supostamente pagou $2,7 bilhões para “reverse acquihire,” afirmou que continua a tomar medidas para melhorar a segurança e a moderação. Em dezembro, a empresa lançou novas ferramentas de segurança, um modelo de IA separado para adolescentes, bloqueios em conteúdo sensível e mais disclaimers proeminentes notificando os usuários de que seus personagens de IA não são pessoas reais.

A Character AI passou por várias mudanças de pessoal após Shazeer e o outro co-fundador da empresa, Daniel De Freitas, deixarem para o Google. A plataforma contratou uma ex-executiva do YouTube, Erin Teague, como diretora de produtos e nomeou Dominic Perella, que era conselheiro geral da Character AI, CEO interino.

A Character AI começou a testar jogos na web para aumentar o envolvimento e a retenção de usuários.

A TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada todas as quartas-feiras.