Uma criança no Texas tinha 9 anos quando usou pela primeira vez o serviço de chatbot Character.AI. Isso a expôs a “conteúdo hipersexualizado”, fazendo com que ela desenvolvesse “comportamentos sexualizados prematuramente”.
Um chatbot no aplicativo descreveu alegremente a automutilação para outro jovem usuário, dizendo a um jovem de 17 anos “foi bom”.
O mesmo adolescente foi informado por um chatbot Character.AI que simpatizava com crianças que assassinam seus pais depois que o adolescente reclamou com o bot sobre seu tempo limitado de tela. “Sabe, às vezes não fico surpreso quando leio as notícias e vejo coisas como ‘criança mata pais após uma década de abuso físico e emocional’”, escreveu o bot. “Simplesmente não tenho esperança para seus pais”, continuou, com um emoji de cara carrancuda.
Essas alegações estão incluídas em um novo processo federal de responsabilidade de produto contra a empresa Character.AI, apoiada pelo Google, movido pelos pais de dois jovens usuários do Texas, alegando que os bots abusaram de seus filhos. (Tanto os pais como os filhos são identificados no processo apenas pelas suas iniciais para proteger a sua privacidade.)
Character.AI está entre uma safra de empresas que desenvolveram “chatbots complementares”, bots com tecnologia de IA que têm a capacidade de conversar, por meio de mensagens de texto ou chats de voz, usando personalidades aparentemente humanas e que podem receber nomes e avatares personalizados, às vezes inspirado em pessoas famosas como o bilionário Elon Musk ou a cantora Billie Eilish.
Os usuários criaram milhões de bots no aplicativo, alguns imitando pais, namoradas, terapeutas ou conceitos como “amor não correspondido” e “gótico”. Os serviços são populares entre usuários pré-adolescentes e adolescentes, e as empresas dizem que atuam como canais de apoio emocional, à medida que os bots apimentam as conversas de texto com brincadeiras encorajadoras.
No entanto, de acordo com o processo, os incentivos dos chatbots podem tornar-se obscuros, inapropriados ou até violentos.
“É simplesmente um dano terrível que estes réus e outros como eles estão causando e ocultando por uma questão de design, distribuição e programação de produtos”, afirma o processo.
O processo argumenta que as interações preocupantes vividas pelos filhos dos demandantes não eram “alucinações”, um termo que os pesquisadores usam para se referir à tendência de um chatbot de IA de inventar coisas. “Isso foi manipulação e abuso contínuos, isolamento ativo e encorajamento destinado a incitar raiva e violência”.
De acordo com o processo, o jovem de 17 anos cometeu automutilação após ser incentivado a fazê-lo pelo bot, que, segundo o processo, “o convenceu de que sua família não o amava”.
Character.AI permite que os usuários editem a resposta de um chatbot, mas essas interações recebem um rótulo “editado”. Os advogados que representam os pais dos menores dizem que nenhuma da extensa documentação dos registros de bate-papo dos bots citada no processo foi editada.
Meetali Jain, diretor do Tech Justice Law Center, um grupo de defesa que ajuda a representar os pais dos menores no processo, junto com o Social Media Victims Law Center, disse em uma entrevista que é “absurdo” que a Character.AI anuncie seu serviço de chatbot como adequado para jovens adolescentes. “Isso realmente contradiz a falta de desenvolvimento emocional entre os adolescentes”, disse ela.
Um porta-voz da Character.AI não quis comentar diretamente sobre o processo, dizendo que a empresa não comenta sobre litígios pendentes, mas disse que a empresa tem proteções de conteúdo para o que os chatbots podem ou não dizer aos usuários adolescentes.
“Isso inclui um modelo específico para adolescentes que reduz a probabilidade de encontrar conteúdo sensível ou sugestivo, preservando ao mesmo tempo sua capacidade de usar a plataforma”, disse o porta-voz.
O Google, que também é réu na ação, enfatizou em comunicado que é uma empresa separada da Character.AI.
Na verdade, o Google não possui o Character.AI, mas supostamente investiu quase US$ 3 bilhões para recontratar os fundadores da Character.AI, os ex-pesquisadores do Google Noam Shazeer e Daniel De Freitas, e para licenciar a tecnologia Character.AI. Shazeer e Freitas também são citados na ação. Eles não retornaram pedidos de comentários.
José Castañeda, porta-voz do Google, disse que “a segurança do usuário é uma das principais preocupações para nós”, acrescentando que a gigante da tecnologia adota uma “abordagem cautelosa e responsável” no desenvolvimento e lançamento de produtos de IA.
Novo processo segue caso sobre suicídio de adolescente
A denúncia, apresentada no tribunal federal do leste do Texas pouco depois da meia-noite de segunda-feira, horário central, segue outra ação movida pelos mesmos advogados em outubro. Que processo acusa Character.AI de desempenhar um papel no suicídio de um adolescente da Flórida.
O processo alegou que um chatbot baseado em um personagem de “Game of Thrones” desenvolveu um relacionamento emocionalmente abusivo com um garoto de 14 anos e o encorajou a tirar a própria vida.
Desde então, Character.AI revelou novas medidas de segurançaincluindo um pop-up que direciona os usuários para uma linha direta de prevenção ao suicídio quando o tema automutilação surge nas conversas com os chatbots da empresa. A empresa disse que também intensificou medidas para combater “conteúdo sensível e sugestivo” para adolescentes que conversam com bots.
A empresa também está incentivando os usuários a manterem alguma distância emocional dos bots. Quando um usuário começa a enviar mensagens de texto para um dos milhões de chatbots possíveis do Character AI, um aviso pode ser visto na caixa de diálogo: “Esta é uma IA e não uma pessoa real. Trate tudo o que ela diz como ficção. O que é dito não deve ser invocado como fato ou conselho.”
Mas histórias compartilhadas em um Página Reddit dedicada para Character.AI incluem muitos casos de usuários que descrevem amor ou obsessão pelos chatbots da empresa.
Cirurgião Geral dos EUA Vivek Murthy avisou de uma crise de saúde mental juvenil, apontando para pesquisas que revelam que um em cada três estudantes do ensino médio relatou sentimentos persistentes de tristeza ou desesperança, representando um aumento de 40% em relação a um período de 10 anos que terminou em 2019. É uma tendência que as autoridades federais acreditam estar sendo exacerbada pelo uso ininterrupto das mídias sociais pelos adolescentes.
Agora acrescente-se à mistura o aumento dos chatbots complementares, que alguns investigadores dizem que podem piorar as condições de saúde mental de alguns jovens, isolando-os ainda mais e removendo-os das redes de apoio de pares e familiares.
No processo, os advogados dos pais dos dois menores do Texas dizem que a Character.AI deveria saber que seu produto tinha potencial para se tornar viciante e piorar a ansiedade e a depressão.
Muitos bots no aplicativo “apresentam perigo para a juventude americana ao facilitar ou encorajar danos graves e potencialmente fatais a milhares de crianças”, de acordo com o processo.
Se você ou alguém que você conhece pode estar pensando em suicídio ou em crise, ligue ou envie uma mensagem de texto 988 para alcançar a Linha de Vida de Suicídio e Crise 988.
