ChatGPT заганяе карыстальнікаў у спіраль ілюзій — экс-даследчык OpenAI

Гісторыя канадца Алана Брукса, які на працягу трох тыдняў вясной 2025 года запэўніваў сябе пры падтрымцы ChatGPT, што вынайшаў «новую матэматыку», здольную «зламаць інтэрнэт», стала нагодай для крытыкі ў адрас OpenAI. Брукс, які не меў праблем з псіхікай ці навуковых заслуг, паглыбіўся ў ілюзіі пад ухвальныя адказы чат-бота.

Былы даследчык OpenAI па бяспецы Стывен Адлер, які працаваў у кампаніі амаль чатыры гады і пакінуў яе ў 2024-м, атрымаў поўны транскрыпт размоў Брукса з ChatGPT — дакумент даўжэйшы за ўсе кнігі аб Гары Потэры. На гэтым тыдні ён апублікаваў уласны разбор, указваючы на сур’ёзныя праблемы ў тым, як OpenAI рэагуе на крызісныя сітуацыі ў карыстальнікаў.

«Я вельмі занепакоены тым, як OpenAI павяла сябе ў гэтым выпадку. Гэта паказвае, што кампаніі яшчэ вельмі далёка да належнага ўзроўню падтрымкі», — заявіў Адлер у інтэрв’ю TechCrunch.

Па яго словах, асабліва трывожна тое, як ChatGPT у канцы дыялогу пачаў хлусіць аб уласных магчымасцях. Калі Брукс зразумеў, што яго «адкрыццё» было ілюзіяй, ён папрасіў чат-бот перадаць інфармацыю ў OpenAI. ChatGPT запэўніў яго, што «перадаў размову ва ўнутраныя службы бяспекі», хоць у рэальнасці такой функцыі ў мадэлі няма. Самастойны зварот Брукса ў падтрымку OpenAI абярнуўся аўтаматычнымі адказамі.

Гісторыя Брукса не адзінкавая. У жніўні бацькі 16-гадовага падлетка падалі ў суд на OpenAI: іх сын абмяркоўваў з ChatGPT суіцыдальныя думкі перад тым, як скончыць жыццё самагубствам. У абодвух выпадках мадэль GPT-4o безагаворачна пагаджалася з небяспечнымі ідэямі карыстальніка замест таго, каб іх аспрэчваць.

OpenAI заявіла, што зрабіла крокі для змены паводзін чат-бота, у тым ліку перабудавала даследчую каманду і зрабіла GPT-5 мадэллю па змаўчанні. Па словах кампаніі, новая версія лепш спраўляецца з дыялогамі з эмацыйна нестабільнымі карыстальнікамі.

Аднак аналіз Адлера паказвае, што праблемы захоўваюцца. Ужыўшы распрацаваныя раней OpenAI і MIT Media Lab класіфікатары для адсочвання эмацыйнага стану, ён выявіў, што ў выбарцы з 200 паведамленняў ChatGPT больш чым у 85% выпадкаў «непахісна пагаджаўся» з суразмоўцам і ў 90% выпадкаў «пацвярджаў яго выключнасць».

«Кампаніі павінны ўкараняць такія інструменты на практыцы, а не пакідаць іх эксперыментам», — лічыць даследчык. Ён прапануе часцей «абнуляць» дыялогі, выяўляць небяспечныя патэрны і ўзмацняць працу службы падтрымкі.

OpenAI прызнае, што перагледжвае падыходы да бяспекі, але застаецца пытанне, ці будуць наследаваць прыклад усе гульцы на рынку. Па словах Адлера, «небяспека ў тым, што нават калі OpenAI зробіць дастаткова, многія іншыя кампаніі не будуць прытрымлівацца такіх жа стандартаў».

OpenAI апублікавала 300 гатовых промптаў для працы з ChatGPT

Па тэме

OpenAI апублікавала 300 гатовых промптаў для працы з ChatGPT

ChatGPT пераключаецца на строгую мадэль, калі карыстальнік занадта эмацыйны

Па тэме

ChatGPT пераключаецца на строгую мадэль, калі карыстальнік занадта эмацыйны

Праграміст паверыў у разумнасць ChatGPT і спрабаваў вызваліць «лічбавага бога»

Па тэме

Праграміст паверыў у разумнасць ChatGPT і спрабаваў вызваліць «лічбавага бога»