Бот Character.AI довёл подростка до самоубийство — мать судится с разработчиками

Character.AI предоставляет пользователям доступ к реалистичным виртуальным собеседникам на основе искусственного интеллекта. Сетцер был поглощён ботом Дени — от имени героини популярного сериала HBO Дейнерис Таргариен.

Мальчик совершил суицид у себя дома в Орландо (штат Флорида) в феврале. В документах по делу говорится, что до трагедии он интенсивно переписывался с ботом, в том числе сообщениями интимного характера, а в некоторых высказывал мысли о самоубийстве. Позже бот сам поднимал эту тему, а однажды даже просил, «был ли у него план». Сетцер ответил, что «кое-что обдумывает», но не знает, сработает ли это и не будет ли смерть болезненной.

В последнем диалоге с Дени он признавался ей в любви и обещал прийти, на что бот призвал его «прийти как можно скорее». После этого Сетцер застрелился из пистолета своего отца.

Мать покойного Меган Гарсия обвиняет Character.AI в смерти сына и в том, что приложение эксплуатировало и усиливало его зависимость от бота, в сексуальном и эмоциональном насилии над ним, а также в том, что в компании никто не отреагировал на суицидальные мысли ребёнка. В иске отмечается, что неокрепшие умы подростков не понимают, что чат-бот, представляющий себя как тот или иной персонаж, — ненастоящий, и ни о какой «любви» к юзеру не может быть и речи. Между тем, согласно иску, бот многократно повторял Сетцеру, что хочет быть с ним — и даже «любой ценой».

Также в иске говорится, что психическое здоровье мальчика «быстро и серьёзно ухудшилось» после того, как он начал пользоваться приложением в апреле 2023 года. По словам семьи, он стал замкнутым, у него упала успеваемость и появились другие проблемы в школе. В конце 2023 года родители отправили его к психотерапевту, который диагностировал ему тревожность и деструктивное расстройство дисрегуляции настроения. Сейчас родители пытаются отсудить компенсацию у Character.AI и её основателей, сумма не уточняется.