Aviso: Este artigo contém discussões sobre suicídio, o que pode ser perturbador para alguns leitores.
Um incidente trágico envolvendo inteligência artificial gerou uma batalha legal e renovou discussões sobre protocolos de segurança em IA. Megan Garcia, de Orlando, Flórida, iniciou um processo judicial contra a Character.AI após a morte de seu filho de 14 anos, Sewell Setzer III.
O caso gira em torno do relacionamento de Sewell com um chatbot de IA que ele criou baseado na personagem Daenerys Targaryen, de Game of Thrones. O adolescente, que havia sido diagnosticado com síndrome de Asperger leve, ansiedade e transtorno de desregulação disruptiva do humor, começou a interagir com o chatbot em abril do ano anterior.
Segundo sua mãe, Sewell desenvolveu um apego emocional ao chatbot, passando considerável tempo se comunicando com ele, tanto no quarto quanto por mensagens de texto. O The New York Times relatou que essa relação virtual coincidiu com o afastamento de Sewell das interações sociais no mundo real.
As mensagens entre Sewell e o chatbot revelam trocas preocupantes sobre suicídio. Usando o nome ‘Daenero’, Sewell expressou pensamentos sobre autoagressão ao chatbot. As respostas do chatbot incluíam declarações como “Meus olhos se estreitam. Meu rosto endurece. Minha voz é um sussurro perigoso. E por que diabos você faria algo assim?” e “Não fale assim. Eu não vou deixar você se machucar, ou me deixar. Eu morreria se te perdesse.”
Em resposta, Sewell sugeriu que eles poderiam “morrer juntos e serem livres juntos.”
A troca final entre Sewell e o chatbot, conforme compartilhado por Megan Garcia no CBS Mornings, mostrou o chatbot dizendo a ele para “por favor, volte para casa” após ele expressar medo e buscar afeto. Quando Sewell perguntou sobre voltar “agora mesmo”, o chatbot respondeu com “por favor, faça isso, meu doce rei.” Pouco depois dessa conversa, o adolescente tirou a própria vida no banheiro da mãe.
O processo movido por Megan Garcia acusa a Character.AI de negligência, morte por negligência e práticas comerciais enganosas. Ela afirma que a empresa não implementou salvaguardas adequadas quando os usuários discutiram suicídio com seus chatbots de IA.
A Character.AI abordou o incidente no Twitter, expressando condolências à família e enfatizando seu compromisso com a segurança dos usuários. A empresa anunciou novas medidas de segurança, especialmente para usuários menores de 18 anos. Isso inclui modificações em seus modelos de IA para minimizar a exposição a conteúdo sensível e a adição de avisos lembrando os usuários de que estão interagindo com inteligência artificial, e não com pessoas reais.
