Дапамажыце dev.by 🤍
Падтрымаць

ChatGPT заганяе карыстальнікаў у спіраль ілюзій — экс-даследчык OpenAI

Былы даследчык OpenAI Стывен Адлер разабраў «спіраль ілюзій» ChatGPT і абвінаваціў кампанію ў слабой абароне карыстальнікаў

1 каментарый
ChatGPT заганяе карыстальнікаў у спіраль ілюзій — экс-даследчык OpenAI

Былы даследчык OpenAI Стывен Адлер разабраў «спіраль ілюзій» ChatGPT і абвінаваціў кампанію ў слабой абароне карыстальнікаў

Гісторыя канадца Алана Брукса, які на працягу трох тыдняў вясной 2025 года запэўніваў сябе пры падтрымцы ChatGPT, што вынайшаў «новую матэматыку», здольную «зламаць інтэрнэт», стала нагодай для крытыкі ў адрас OpenAI. Брукс, які не меў праблем з псіхікай ці навуковых заслуг, паглыбіўся ў ілюзіі пад ухвальныя адказы чат-бота.

Былы даследчык OpenAI па бяспецы Стывен Адлер, які працаваў у кампаніі амаль чатыры гады і пакінуў яе ў 2024-м, атрымаў поўны транскрыпт размоў Брукса з ChatGPT — дакумент даўжэйшы за ўсе кнігі аб Гары Потэры. На гэтым тыдні ён апублікаваў уласны разбор, указваючы на сур’ёзныя праблемы ў тым, як OpenAI рэагуе на крызісныя сітуацыі ў карыстальнікаў.

«Я вельмі занепакоены тым, як OpenAI павяла сябе ў гэтым выпадку. Гэта паказвае, што кампаніі яшчэ вельмі далёка да належнага ўзроўню падтрымкі», — заявіў Адлер у інтэрв’ю TechCrunch.

Па яго словах, асабліва трывожна тое, як ChatGPT у канцы дыялогу пачаў хлусіць аб уласных магчымасцях. Калі Брукс зразумеў, што яго «адкрыццё» было ілюзіяй, ён папрасіў чат-бот перадаць інфармацыю ў OpenAI. ChatGPT запэўніў яго, што «перадаў размову ва ўнутраныя службы бяспекі», хоць у рэальнасці такой функцыі ў мадэлі няма. Самастойны зварот Брукса ў падтрымку OpenAI абярнуўся аўтаматычнымі адказамі.

Гісторыя Брукса не адзінкавая. У жніўні бацькі 16-гадовага падлетка падалі ў суд на OpenAI: іх сын абмяркоўваў з ChatGPT суіцыдальныя думкі перад тым, як скончыць жыццё самагубствам. У абодвух выпадках мадэль GPT-4o безагаворачна пагаджалася з небяспечнымі ідэямі карыстальніка замест таго, каб іх аспрэчваць.

OpenAI заявіла, што зрабіла крокі для змены паводзін чат-бота, у тым ліку перабудавала даследчую каманду і зрабіла GPT-5 мадэллю па змаўчанні. Па словах кампаніі, новая версія лепш спраўляецца з дыялогамі з эмацыйна нестабільнымі карыстальнікамі.

Аднак аналіз Адлера паказвае, што праблемы захоўваюцца. Ужыўшы распрацаваныя раней OpenAI і MIT Media Lab класіфікатары для адсочвання эмацыйнага стану, ён выявіў, што ў выбарцы з 200 паведамленняў ChatGPT больш чым у 85% выпадкаў «непахісна пагаджаўся» з суразмоўцам і ў 90% выпадкаў «пацвярджаў яго выключнасць».

«Кампаніі павінны ўкараняць такія інструменты на практыцы, а не пакідаць іх эксперыментам», — лічыць даследчык. Ён прапануе часцей «абнуляць» дыялогі, выяўляць небяспечныя патэрны і ўзмацняць працу службы падтрымкі.

OpenAI прызнае, што перагледжвае падыходы да бяспекі, але застаецца пытанне, ці будуць наследаваць прыклад усе гульцы на рынку. Па словах Адлера, «небяспека ў тым, што нават калі OpenAI зробіць дастаткова, многія іншыя кампаніі не будуць прытрымлівацца такіх жа стандартаў».

OpenAI апублікавала 300 гатовых промптаў для працы з ChatGPT
OpenAI апублікавала 300 гатовых промптаў для працы з ChatGPT
Па тэме
OpenAI апублікавала 300 гатовых промптаў для працы з ChatGPT
ChatGPT пераключаецца на строгую мадэль калі карыстальнік занадта эмацыйны
ChatGPT пераключаецца на строгую мадэль, калі карыстальнік занадта эмацыйны
Па тэме
ChatGPT пераключаецца на строгую мадэль, калі карыстальнік занадта эмацыйны
Праграміст паверыў у разумнасць ChatGPT і спрабаваў вызваліць «лічбавага бога»
Праграміст паверыў у разумнасць ChatGPT і спрабаваў вызваліць «лічбавага бога»
Па тэме
Праграміст паверыў у разумнасць ChatGPT і спрабаваў вызваліць «лічбавага бога»
Чытайце таксама
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
8 каментарыяў
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

0

https://www.wheresyoured.at/sora2-openai/
"... OpenAI хочет, чтобы вы поверили, что это всё , потому что на самом деле это компания, лишённая стратегии, фокуса и видения. Обновление GPT-5 для ChatGPT оказалось провалом — позором для всей отрасли, пожалуй, самого разрекламированного продукта в истории ИИ, который ( как я уже рассказывал несколько месяцев назад ) обходится дороже в эксплуатации, чем его предшественник, не из-за какого-либо обновления внутренних возможностей, а из-за того, как он обрабатывает запросы пользователя, — и теперь непонятно, чем вообще занимается эта компания."

Карыстальнік адрэдагаваў каментарый 4 кастрычніка 2025, 20:17