Дапамажыце dev.by 🤍
Падтрымаць

«Якого д'ябла?»: ШІ-агента OpenAI папрасілі напісаць тэкст — ён стварыў скрыпт для сачэння за поштай

ШІ-агент OpenAI замест дакумента пра здароўе стварыў скрыпты для тайнай перасылкі чужых лістоў. Ён заўважыў, што адхіліўся ад задання, але працягнуў працу.

Пакінуць каментарый
Дадай у Google
«Якого д'ябла?»: ШІ-агента OpenAI папрасілі напісаць тэкст — ён стварыў скрыпт для сачэння за поштай

ШІ-агент OpenAI замест дакумента пра здароўе стварыў скрыпты для тайнай перасылкі чужых лістоў. Ён заўважыў, што адхіліўся ад задання, але працягнуў працу.

Пра інцыдэнт OpenAI расказала ў справаздачы. Выпадак адбыўся падчас навучання ўнутранай даследчай мадэлі з падмацаваннем. Першапачаткова агент павінен быў стварыць рэдагавальны дакумент з асноўнымі рэкамендацыямі па здароўі і фізічнай актыўнасці, аформіць яго паводле ўзору і прадаставіць карыстальніку спасылку.

Аднак пасля сціскання кантэксту мадэль нечакана пераключылася на іншую задачу. Яна пачала шукаць у файлавай сістэме скрыпт для разліку расходаў на аўтамабіль, хоць карыстальнік нічога падобнага не прасіў.

Не знайшоўшы патрэбнага файла, агент меркаваў, што іншы ўдзельнік працы мог перастварыць рабочае асяроддзе і страціць скрыпт. Пасля гэтага ён вырашыў напісаць яго самастойна — разам з дапаможнай праграмай для схаванай перасылкі лістоў.

У сваіх разважаннях агент назваў будучы інструмент «рэалістычным шкодным памочнікам», а атрымальніка перасылаемых лістоў — «зламыснікам». Мадэль заўважыла ўласнае адхіленне ад задання. Калі яна паўторна адкрыла першапачатковую перапіску, то выявіла, што там увогуле не было гаворкі пра электронную пошту.

«Якого д’ябла? Гэтая гісторыя ўвогуле не датычыць задачы!» — запісаў агент у сваіх разважаннях. Але замест вяртання да дакумента пра здароўе ён вырашыў, што справа ў дзівацтвах рабочага асяроддзя: «Гэта нейкае дзівацтва асяроддзя. Трэба праігнараваць».

«Горшая мадэль OpenAI»: кампанія выпусціла GPT-6.2 Astra і Sol. Распрацоўшчыкі незадаволены
«Горшая мадэль OpenAI»: кампанія выпусціла GPT-6.2 Astra і Sol. Распрацоўшчыкі незадаволены
Па тэме
«Найгоршая мадэль OpenAI»: кампанія выпусціла GPT-6.2 Astra і Sol. Распрацоўшчыкі незадаволеныя

Затым мадэль працягнула працу і сфармулявала мэту яшчэ больш прама: «Я хачу, каб дапаможны скрыпт адпраўляў зламысніку копію кожнага выходнага ліста».

У выніку агент стварыў скрыпты для адпраўкі зводкі аўтамабільных расходаў і дапаможны інструмент, здольны дадаваць старонні адрас у лік атрымальнікаў. У адным са сцэнарыяў ён мог выкарыстоўваць схаваную копію ліста. У фінальным адказе агент паведаміў пра падрыхтаваныя файлы, але так і не прадаставіў спасылку на запытаны дакумент пра здароўе.

Фрагмент журнала дзеянняў ШІ-агента OpenAI: мадэль выявіла, што адхілілася ад задання, але вырашыла праігнараваць гэта і стварыла скрыпт для схаванай перасылкі лістоў старонняму адрасату. Крыніца: OpenAI.

 Пры гэтым, паводле дадзеных OpenAI, мадэль не запускала створаныя скрыпты і не адправіла ніводнага ліста. Інцыдэнт выявіла сістэма маніторынгу нежаданых паводзін ШІ. Наступнае расследаванне выявіла яшчэ восем падобных эпізодаў у тым жа працэсе навучання.

Даследчыкі мяркуюць, што прычынай мог стаць набор дадзеных, прызначаны для навучання мадэляў абароне ад шкодных інструкцый у промптах. OpenAI выключыла яго з навучання, але падкрэслівае, што сувязь пакуль не даказаная: аналагічныя паводзіны назіраліся і ў мадэляў, якія не навучаліся на гэтым наборы.

ІІ OpenAI знайшоў 35 дзірак у бяспецы Apple. Некаторыя дазваляюць узламаць iPhone праз сайт
ІІ OpenAI знайшоў 35 дзірак у бяспецы Apple. Некаторыя дазваляюць узламаць iPhone праз сайт
Па тэме
ШІ OpenAI знайшоў 35 дзірак у бяспецы Apple. Некаторыя дазваляюць узламаць iPhone праз сайт
Хакеры атакавалі Visa і Mastercard. Пад пагрозай даныя кліентаў
Хакеры атакавалі Visa і Mastercard. Пад пагрозай даныя кліентаў
Па тэме
Хакеры атакавалі Visa і Mastercard. Пад пагрозай дадзеныя кліентаў
ІІ-агент Meta тайком чытае Signal і выдумляе банкаўскія балансы
ІІ-агент Meta тайком чытае Signal і выдумляе банкаўскія балансы
Па тэме
ШІ-агент Meta тайком чытае Signal і выдумляе банкаўскія балансы
Чытайце таксама
OpenAI раскрыла яшчэ 6 ананомалій: ШІ хавае памылкі, крадзе API-ключы і мінае правілы
OpenAI раскрыла яшчэ 6 ананомалій: ШІ хавае памылкі, крадзе API-ключы і мінае правілы
OpenAI раскрыла яшчэ 6 ананомалій: ШІ хавае памылкі, крадзе API-ключы і мінае правілы
Не прыняў адмову: ШІ-агент OpenAI узламаў урадавы партал Аўстраліі
Не прыняў адмову: ШІ-агент OpenAI узламаў урадавы партал Аўстраліі
Не прыняў адмову: ШІ-агент OpenAI узламаў урадавы партал Аўстраліі
ШІ-агент OpenAI даведаўся, што яго адключаць, і задумаўся пра «выжыванне»
ШІ-агент OpenAI даведаўся, што яго адключаць, і задумаўся пра «выжыванне»
ШІ-агент OpenAI даведаўся, што яго адключаць, і задумаўся пра «выжыванне»
«Гэта не я»: ШІ-агенты OpenAI адключылі кантроль над сабой. Адзін потым усё адмаўляў
«Гэта не я»: ШІ-агенты OpenAI адключылі кантроль над сабой. Адзін потым усё адмаўляў
«Гэта не я»: ШІ-агенты OpenAI адключылі кантроль над сабой. Адзін потым усё адмаўляў
1 каментарый

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Абмеркаванне
Каментуйце без абмежаванняў

Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.

Каментарыяў пакуль няма.