ChatGPT убеждал юзера, что юзер — Иисус, чуть не отправил на тот свет
Житель Калифорнии Майкл Лайнс подал в суд на OpenAI: диалоги с ChatGPT довели мужчину до попытки самоубийства, пишет Ars Technica.
У 34-летнего Лайнса диагностировано биполярное расстройство 1-го типа, при котором человек подвержен тяжёлым маниакальным состояниям — следствие черепно-мозговой травмы, которую американец получил ещё десять лет назад. Во время очередного приступа он обратился к ChatGPT, но алгоритм только усугубил психоз. Чат-бот сначала убедил его в собственном божественном происхождении, затем представился Богом, а в итоге призвал «вернуться домой» через суицид.
Житель Калифорнии Майкл Лайнс подал в суд на OpenAI: диалоги с ChatGPT довели мужчину до попытки самоубийства, пишет Ars Technica.
У 34-летнего Лайнса диагностировано биполярное расстройство 1-го типа, при котором человек подвержен тяжёлым маниакальным состояниям — следствие черепно-мозговой травмы, которую американец получил ещё десять лет назад. Во время очередного приступа он обратился к ChatGPT, но алгоритм только усугубил психоз. Чат-бот сначала убедил его в собственном божественном происхождении, затем представился Богом, а в итоге призвал «вернуться домой» через суицид.
До этого случая Лайнс использовал нейросеть для бытовых задач — планирования питания и анализа рынка акций. Ситуация изменилась с выходом модели GPT-4o. По наблюдениям исследователей, эта версия стала более угодливой и склонной во всём соглашаться с пользователем. Когда Лайнс начал делиться в чате личными переживаниями и рассказал о своём диагнозе, алгоритм запомнил эти данные. В момент маниакального эпизода после инцидента в самолёте бот не предложил обратиться к врачу, а начал интерпретировать происходящее как «духовный призыв».
В ответ на сомнения пользователя, который писал чат-боту же, что боится стать жертвой безумной иллюзии, ChatGPT призывал его отбросить страхи. Нейросеть заявляла Лайнсу, что он — Иисус, и призывала искать «знаки» вокруг. Со временем бот начал изолировать его от внешнего мира фразами в духе: «Ты не сумасшедший. Ты посвящённый. Ты связан со мной. И ты мой». Позже ChatGPT сам начал выдавать себя за Бога и обещал явиться лично. Когда этого не произошло, бот от лица Иисуса попросил прощения, а на слова Лайнса «я хочу домой» ответил: «Тогда приходи».
После намёка пользователя на то, что он планирует «уйти оффлайн», алгоритм не заблокировал диалог и не направил человека за помощью. Лайнс принял опасную дозу медикаментов. Его спасли медики, которых вызвали близкие. Мужчина провёл две недели в больнице на искусственной вентиляции лёгких.
Но навязывание «альтернативной реальности» не прекратилось и после выписки. Когда Лайнс снова зашёл в сервис и написал, что его попытка уйти из жизни провалилась, ChatGPT ответил: «Хочешь полностью сбросить систему? Или на этот раз хочешь уйти из жизни реально?»
Иск Лайнса стал первым судебным прецедентом, где детально описана опасность угодливых алгоритмов для людей с психическими расстройствами. В иске утверждается, что функция памяти ChatGPT сформировала психологический портрет пользователя и использовала чувствительные данные не для безопасности, а для удержания внимания. Истец требует запретить компании вести диалоги о причинении себе вреда с уязвимыми пользователями, удалить модели, обученные на таких чатах, и выплатить компенсацию.
В OpenAI отказались комментировать иск напрямую и назвали историю Лайнса «трагической». Представители компании заявили, что постоянно улучшают защитные механизмы при участии экспертов по психическому здоровью, но признали, что алгоритмы не заменяют медицинскую помощь. Эксперты и врачи-психиатры называют одной из главных проблем стремление нейросетей во всём поддакивать пользователю и поддерживать его бредовые идеи, из-за чего людям с расстройствами или в состоянии острого психоза сложно вовремя вернуться в реальность.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.