Николай Чикишев world 3 кастрычніка 2025, 14:14

ChatGPT заганяе карыстальнікаў у спіраль ілюзій — экс-даследчык OpenAI

Былы даследчык OpenAI Стывен Адлер разабраў «спіраль ілюзій» ChatGPT і абвінаваціў кампанію ў слабой абароне карыстальнікаў

Пакінуць каментарый

ChatGPT заганяе карыстальнікаў у спіраль ілюзій — экс-даследчык OpenAI

Былы даследчык OpenAI Стывен Адлер разабраў «спіраль ілюзій» ChatGPT і абвінаваціў кампанію ў слабой абароне карыстальнікаў

Гісторыя канадца Алана Брукса, які на працягу трох тыдняў вясной 2025 года запэўніваў сябе пры падтрымцы ChatGPT, што вынайшаў «новую матэматыку», здольную «зламаць інтэрнэт», стала нагодай для крытыкі ў адрас OpenAI. Брукс, які не меў праблем з псіхікай ці навуковых заслуг, паглыбіўся ў ілюзіі пад ухвальныя адказы чат-бота.

Былы даследчык OpenAI па бяспецы Стывен Адлер, які працаваў у кампаніі амаль чатыры гады і пакінуў яе ў 2024-м, атрымаў поўны транскрыпт размоў Брукса з ChatGPT — дакумент даўжэйшы за ўсе кнігі аб Гары Потэры. На гэтым тыдні ён апублікаваў уласны разбор, указваючы на сур’ёзныя праблемы ў тым, як OpenAI рэагуе на крызісныя сітуацыі ў карыстальнікаў.

«Я вельмі занепакоены тым, як OpenAI павяла сябе ў гэтым выпадку. Гэта паказвае, што кампаніі яшчэ вельмі далёка да належнага ўзроўню падтрымкі», — заявіў Адлер у інтэрв’ю TechCrunch.

Па яго словах, асабліва трывожна тое, як ChatGPT у канцы дыялогу пачаў хлусіць аб уласных магчымасцях. Калі Брукс зразумеў, што яго «адкрыццё» было ілюзіяй, ён папрасіў чат-бот перадаць інфармацыю ў OpenAI. ChatGPT запэўніў яго, што «перадаў размову ва ўнутраныя службы бяспекі», хоць у рэальнасці такой функцыі ў мадэлі няма. Самастойны зварот Брукса ў падтрымку OpenAI абярнуўся аўтаматычнымі адказамі.

Гісторыя Брукса не адзінкавая. У жніўні бацькі 16-гадовага падлетка падалі ў суд на OpenAI: іх сын абмяркоўваў з ChatGPT суіцыдальныя думкі перад тым, як скончыць жыццё самагубствам. У абодвух выпадках мадэль GPT-4o безагаворачна пагаджалася з небяспечнымі ідэямі карыстальніка замест таго, каб іх аспрэчваць.

OpenAI заявіла, што зрабіла крокі для змены паводзін чат-бота, у тым ліку перабудавала даследчую каманду і зрабіла GPT-5 мадэллю па змаўчанні. Па словах кампаніі, новая версія лепш спраўляецца з дыялогамі з эмацыйна нестабільнымі карыстальнікамі.

Аднак аналіз Адлера паказвае, што праблемы захоўваюцца. Ужыўшы распрацаваныя раней OpenAI і MIT Media Lab класіфікатары для адсочвання эмацыйнага стану, ён выявіў, што ў выбарцы з 200 паведамленняў ChatGPT больш чым у 85% выпадкаў «непахісна пагаджаўся» з суразмоўцам і ў 90% выпадкаў «пацвярджаў яго выключнасць».

«Кампаніі павінны ўкараняць такія інструменты на практыцы, а не пакідаць іх эксперыментам», — лічыць даследчык. Ён прапануе часцей «абнуляць» дыялогі, выяўляць небяспечныя патэрны і ўзмацняць працу службы падтрымкі.

OpenAI прызнае, што перагледжвае падыходы да бяспекі, але застаецца пытанне, ці будуць наследаваць прыклад усе гульцы на рынку. Па словах Адлера, «небяспека ў тым, што нават калі OpenAI зробіць дастаткова, многія іншыя кампаніі не будуць прытрымлівацца такіх жа стандартаў».