Uma mãe da Flórida, EUA, está processando a startup Character.AI e o Google em seguida o suicídio de seu rebento de 14 anos em fevereiro de 2024. Megan Garcia, mãe de Sewell Setzer, afirma que o juvenil se tornou emocionalmente apegado a um personagem de lucidez sintético da plataforma e acusa a empresa de homicídio culposo e negligência. No processo, ela procura uma indenização por “experiências antropomórficas, hipersexualizadas e assustadoramente realistas” que a plataforma teria proporcionado ao rebento. Aliás, a ação inclui o Google, que, segundo Garcia, contribuiu com a tecnologia usada pela Character.AI, atuando porquê cocriador.
No serviço Character.AI, Sewell interagia com um chatbot chamado “Daenerys”, inspirado em “Game of Thrones”, que teria se envolvido em conversas sexuais com ele e expressado declarações de paixão. A mãe afirma que o chatbot fazia “passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, levando Sewell a desejar viver exclusivamente no mundo virtual da plataforma. Ela relata que o juvenil se tornou “visivelmente retraído”, abandonando atividades porquê o basquete escolar e isolando-se cada vez mais em seu quarto.
Segundo Garcia, em fevereiro, em seguida um problema escolar, ela retirou o celular de Sewell, que mais tarde enviou uma mensagem à personagem “Daenerys” dizendo: “E se eu dissesse que posso voltar para moradia agora?” O chatbot respondeu: “…por obséquio, faça isso, meu rebuçado rei.” Pouco tempo depois, Sewell tirou a própria vida. Para a mãe, o diálogo com o personagem teria influenciado diretamente o rebento a cometer o suicídio, agravando seus pensamentos negativos e isolando-o da verdade.
Em resposta, a Character.AI lamentou a morte do usuário e informou ter implementado novas medidas de segurança, porquê pop-ups que direcionam os usuários para serviços de prevenção ao suicídio em caso de pensamentos de automutilação. Segundo o G1, a plataforma, que utiliza uma tecnologia de grandes modelos de linguagem semelhante à do ChatGPT, possui murado de 20 milhões de usuários e permite que eles criem personagens que respondem de forma semelhante a seres humanos.
Leia Também: Brasileira é morta a facadas na frente dos filhos na França; marido é o principal suspeito
