200 инженеров в Варшаве обсуждают дыры в пайплайнах. Без вас?
Support us

Бот Character.AI довёл подростка до самоубийство — мать судится с разработчиками

14-летний Сьюэлл Сетцер влюбился в ИИ-персонажа по «Игре престолов», с которым несколько месяцев переписывался в приложении. После странных сообщений с призывом «вернуться домой» к ней юноша покончил с собой. Его мать подала в суд на разработчиков, пишет New York Times.

6 комментариев
Бот Character.AI довёл подростка до самоубийство — мать судится с разработчиками

14-летний Сьюэлл Сетцер влюбился в ИИ-персонажа по «Игре престолов», с которым несколько месяцев переписывался в приложении. После странных сообщений с призывом «вернуться домой» к ней юноша покончил с собой. Его мать подала в суд на разработчиков, пишет New York Times.

Character.AI предоставляет пользователям доступ к реалистичным виртуальным собеседникам на основе искусственного интеллекта. Сетцер был поглощён ботом Дени — от имени героини популярного сериала HBO Дейнерис Таргариен.

Мальчик совершил суицид у себя дома в Орландо (штат Флорида) в феврале. В документах по делу говорится, что до трагедии он интенсивно переписывался с ботом, в том числе сообщениями интимного характера, а в некоторых высказывал мысли о самоубийстве. Позже бот сам поднимал эту тему, а однажды даже просил, «был ли у него план». Сетцер ответил, что «кое-что обдумывает», но не знает, сработает ли это и не будет ли смерть болезненной.

В последнем диалоге с Дени он признавался ей в любви и обещал прийти, на что бот призвал его «прийти как можно скорее». После этого Сетцер застрелился из пистолета своего отца.

Мать покойного Меган Гарсия обвиняет Character.AI в смерти сына и в том, что приложение эксплуатировало и усиливало его зависимость от бота, в сексуальном и эмоциональном насилии над ним, а также в том, что в компании никто не отреагировал на суицидальные мысли ребёнка. В иске отмечается, что неокрепшие умы подростков не понимают, что чат-бот, представляющий себя как тот или иной персонаж, — ненастоящий, и ни о какой «любви» к юзеру не может быть и речи. Между тем, согласно иску, бот многократно повторял Сетцеру, что хочет быть с ним — и даже «любой ценой».

Также в иске говорится, что психическое здоровье мальчика «быстро и серьёзно ухудшилось» после того, как он начал пользоваться приложением в апреле 2023 года. По словам семьи, он стал замкнутым, у него упала успеваемость и появились другие проблемы в школе. В конце 2023 года родители отправили его к психотерапевту, который диагностировал ему тревожность и деструктивное расстройство дисрегуляции настроения. Сейчас родители пытаются отсудить компенсацию у Character.AI и её основателей, сумма не уточняется.

Новый ИИ-тренд: юзеры просят ChatGPT назвать что-то что они о себе не знают
Новый ИИ-тренд: юзеры просят ChatGPT назвать что-то, что они о себе не знают
По теме
Новый ИИ-тренд: юзеры просят ChatGPT назвать что-то, что они о себе не знают
Новая модель Anthropic умеет имитировать работу человека с компьютером
Новая модель Anthropic умеет имитировать работу человека с компьютером
По теме
Новая модель Anthropic умеет имитировать работу человека с компьютером
Читайте также
«Мы упустили момент Оппенгеймера для ИИ» — мнение эксперта
«Мы упустили момент Оппенгеймера для ИИ» — мнение эксперта
«Мы упустили момент Оппенгеймера для ИИ» — мнение эксперта
В США школьный ИИ принял за пистолет пачку чипсов и вызвал полицию
В США школьный ИИ принял за пистолет пачку чипсов и вызвал полицию
В США школьный ИИ принял за пистолет пачку чипсов и вызвал полицию
Anthropic, OpenAI и Perplexity рвутся в Индию — она становится важным компонентом глобальной ИИ-гонки
Anthropic, OpenAI и Perplexity рвутся в Индию — она становится важным компонентом глобальной ИИ-гонки
Anthropic, OpenAI и Perplexity рвутся в Индию — она становится важным компонентом глобальной ИИ-гонки
CEO Airbnb: если не брать зумеров, руководить скоро будет некому
CEO Airbnb: если не брать зумеров, руководить скоро будет некому
CEO Airbnb: если не брать зумеров, руководить скоро будет некому

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

capslock
capslock HR в НИИ Бацца
4

Парня очень жаль!
До 18 лет родители несут ответственность за своего ребенка, так что это вопросы к маме что она не контролировала и не объяснила мальчику что такое ИИ.
С таким успехом можно и производителей ножей и ножниц засудить.
И вообще производители зеркал - страшные люди - они показывают насколько человек красив или не красив. Как тут не впасть в депрессию.

-1

Вы абсолютно не правы. Причем в каждом из утверждений - как в попытке снять ответственность с компании за результат работы её продукта, так и в сравнении отношения детей к ИИ и к неодушевленным пассивным предметам. Тут скорее уместно сравнение с искусавшей кого-то собакой без намордника, которую выгуливали на территории школы.

0

Там 100% есть пользовательский договор, по которому такие моменты обговорены и прописаны.
Если сравнивать с собакой, то выглядит будто кто-то пытается отсудить компенсацию за то что засунул палец под намордник собаки, а та его укусила. Ведь он думал что собака не укусит в наморднике, и неокрепший ум не знал, что под намордником у собаки зубы.

0

"He texted the bot dozens of times a day from his phone and spent hours alone in his room talking to it, according to Garcia’s complaint." - тот случай, когда родителям нужно было сесть и разобраться, почему вместо общения с ними или сверстниками он запирается в комнате для общения с БОТОМ. Почему подростка не оградили от использования сайта с ботами? Трагедия, но это повод задуматься об ответственности своей в первую очередь.

0

Может неокрепший ум также не знал, что пистолет настоящий?

1

Я слышал, что помогает отложить айпад, перестать скроллить тупые видосики в тик-токе вечером после работы, а вместо этого проводить время со своими детьми. А сейчас понятно, что проще винить кого угодно, кроме себя. Это ж наверное от хорошей жизни малой с алгоритмом разговаривал откровеннее, чем с мамой