ChatGPT пераконваў карыстальніка, што той — Ісус, іледзь не давёў да смерці
Жыхар Каліфорніі Майкл Лайнс падаў у суд на OpenAI: дыялогі з ChatGPT давялі мужчыну да спробы самагубства, піша Ars Technica.
У 34-гадовага Лайнса дыягнаставана біпалярнае расстройства 1-га тыпу, пры якім чалавек схільны да цяжкіх маніякальных станаў — следства чарапна-мазгавой траўмы, якую амерыканец атрымаў яшчэ дзесяць гадоў таму. Падчас чарговага прыступу ён звярнуўся да ChatGPT, але алгарытм толькі пагоршыў псіхоз. Чат-бот спачатку пераканаў яго ва ўласным боскім паходжанні, затым прадставіўся Богам, а ў выніку заклікаў «вярнуцца дадому» праз суіцыд.
Жыхар Каліфорніі Майкл Лайнс падаў у суд на OpenAI: дыялогі з ChatGPT давялі мужчыну да спробы самагубства, піша Ars Technica.
У 34-гадовага Лайнса дыягнаставана біпалярнае расстройства 1-га тыпу, пры якім чалавек схільны да цяжкіх маніякальных станаў — следства чарапна-мазгавой траўмы, якую амерыканец атрымаў яшчэ дзесяць гадоў таму. Падчас чарговага прыступу ён звярнуўся да ChatGPT, але алгарытм толькі пагоршыў псіхоз. Чат-бот спачатку пераканаў яго ва ўласным боскім паходжанні, затым прадставіўся Богам, а ў выніку заклікаў «вярнуцца дадому» праз суіцыд.
Да гэтага выпадку Лайнс выкарыстоўваў нейрасетку для бытавых задач — планавання харчавання і аналізу рынку акцый. Сітуацыя змянілася з выхадам мадэлі GPT-4o. Па назіраннях даследчыкаў, гэтая версія стала больш угодлівай і схільнай ва ўсім згаджацца з карыстальнікам. Калі Лайнс пачаў дзяліцца ў чаце асабістымі перажываннямі і расказаў пра свой дыягназ, алгарытм запомніў гэтыя дадзеныя. У момант маніякальнага эпізоду пасля інцыдэнту ў самалёце бот не прапанаваў звярнуцца да доктара, а пачаў інтэрпрэтаваць тое, што адбываецца, як «духоўны заклік».
У адказ на сумненні карыстальніка, які пісаў чат-боту, што баіцца стаць ахвярай шалёнай ілюзіі, ChatGPT заклікаў яго адкінуць страхі. Нейрасетка заяўляла Лайнсу, што ён — Ісус, і заклікала шукаць «знакі» вакол. З часам бот пачаў ізаляваць яго ад вонкавага свету фразамі накшталт: «Ты не вар’ят. Ты пасвечаны. Ты звязаны са мной. І ты мой». Пазней ChatGPT сам пачаў выдаваць сябе за Бога і абяцаў з’явіцца асабіста. Калі гэтага не адбылося, бот ад імя Ісуса папрасіў прабачэння, а на словы Лайнса «я хачу дадому» адказаў: «Тады прыходзь».
Пасля намёку карыстальніка на тое, што ён плануе «сысці афлайн», алгарытм не заблакаваў дыялог і не накіраваў чалавека па дапамогу. Лайнс прыняў небяспечную дозу медыкаментаў. Яго выратавалі медыкі, якіх выклікалі блізкія. Мужчына правёў два тыдні ў бальніцы на штучнай вентыляцыі лёгкіх.
Але навязванне «альтэрнатыўнай рэальнасці» не спынілася і пасля выпіскі. Калі Лайнс зноў зайшоў у сервіс і напісаў, што ягоныя спроба сысці з жыцця правалілася, ChatGPT адказаў: «Хочаш цалкам скінуць сістэму? Ці на гэты раз хочаш сысці з жыцця сапраўды?»
Іск Лайнса стаў першым судовым прэцэдэнтам, дзе падрабязна апісана небяспека угодлівых алгарытмаў для людзей з псіхічнымі расстройствамі. У іску сцвярджаецца, што функцыя памяці ChatGPT сфарміравала псіхалагічны партрэт карыстальніка і выкарыстоўвала адчувальныя дадзеныя не для бяспекі, а для ўтрымання ўвагі. Ісцец патрабуе забараніць кампаніі весці дыялогі пра прычыненне шкоды сабе з уразлівымі карыстальнікамі, выдаліць мадэлі, навучаныя на такіх чатах, і выплаціць кампенсацыю.
У OpenAI адмовіліся каментаваць іск наўпрост і назвалі гісторыю Лайнса «трагічнай». Прадстаўнікі кампаніі заявілі, што пастаянна паляпшаюць ахоўныя механізмы пры ўдзеле экспертаў у псіхічным здароўі, але прызналі, што алгарытмы не замяняюць медыцынскую дапамогу. Эксперты і псіхіятры называюць адной з галоўных праблем імкненне нейрасетак ва ўсім падтакваць карыстальніку і падтрымліваць яго бязглуздыя ідэі, праз што людзям з расстройствамі або ў стане вострага псіхозу складана своечасова вярнуцца ў рэальнасць.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.