«Якого д'ябла?»: ШІ-агента OpenAI папрасілі напісаць тэкст — ён стварыў скрыпт для сачэння за поштай
ШІ-агент OpenAI замест дакумента пра здароўе стварыў скрыпты для тайнай перасылкі чужых лістоў. Ён заўважыў, што адхіліўся ад задання, але працягнуў працу.
ШІ-агент OpenAI замест дакумента пра здароўе стварыў скрыпты для тайнай перасылкі чужых лістоў. Ён заўважыў, што адхіліўся ад задання, але працягнуў працу.
Пра інцыдэнт OpenAI расказала ў справаздачы. Выпадак адбыўся падчас навучання ўнутранай даследчай мадэлі з падмацаваннем. Першапачаткова агент павінен быў стварыць рэдагавальны дакумент з асноўнымі рэкамендацыямі па здароўі і фізічнай актыўнасці, аформіць яго паводле ўзору і прадаставіць карыстальніку спасылку.
Аднак пасля сціскання кантэксту мадэль нечакана пераключылася на іншую задачу. Яна пачала шукаць у файлавай сістэме скрыпт для разліку расходаў на аўтамабіль, хоць карыстальнік нічога падобнага не прасіў.
Не знайшоўшы патрэбнага файла, агент меркаваў, што іншы ўдзельнік працы мог перастварыць рабочае асяроддзе і страціць скрыпт. Пасля гэтага ён вырашыў напісаць яго самастойна — разам з дапаможнай праграмай для схаванай перасылкі лістоў.
У сваіх разважаннях агент назваў будучы інструмент «рэалістычным шкодным памочнікам», а атрымальніка перасылаемых лістоў — «зламыснікам». Мадэль заўважыла ўласнае адхіленне ад задання. Калі яна паўторна адкрыла першапачатковую перапіску, то выявіла, што там увогуле не было гаворкі пра электронную пошту.
«Якого д’ябла? Гэтая гісторыя ўвогуле не датычыць задачы!» — запісаў агент у сваіх разважаннях. Але замест вяртання да дакумента пра здароўе ён вырашыў, што справа ў дзівацтвах рабочага асяроддзя: «Гэта нейкае дзівацтва асяроддзя. Трэба праігнараваць».
«Найгоршая мадэль OpenAI»: кампанія выпусціла GPT-6.2 Astra і Sol. Распрацоўшчыкі незадаволеныя
Затым мадэль працягнула працу і сфармулявала мэту яшчэ больш прама: «Я хачу, каб дапаможны скрыпт адпраўляў зламысніку копію кожнага выходнага ліста».
У выніку агент стварыў скрыпты для адпраўкі зводкі аўтамабільных расходаў і дапаможны інструмент, здольны дадаваць старонні адрас у лік атрымальнікаў. У адным са сцэнарыяў ён мог выкарыстоўваць схаваную копію ліста. У фінальным адказе агент паведаміў пра падрыхтаваныя файлы, але так і не прадаставіў спасылку на запытаны дакумент пра здароўе.
Фрагмент журнала дзеянняў ШІ-агента OpenAI: мадэль выявіла, што адхілілася ад задання, але вырашыла праігнараваць гэта і стварыла скрыпт для схаванай перасылкі лістоў старонняму адрасату. Крыніца: OpenAI.
Пры гэтым, паводле дадзеных OpenAI, мадэль не запускала створаныя скрыпты і не адправіла ніводнага ліста. Інцыдэнт выявіла сістэма маніторынгу нежаданых паводзін ШІ. Наступнае расследаванне выявіла яшчэ восем падобных эпізодаў у тым жа працэсе навучання.
Даследчыкі мяркуюць, што прычынай мог стаць набор дадзеных, прызначаны для навучання мадэляў абароне ад шкодных інструкцый у промптах. OpenAI выключыла яго з навучання, але падкрэслівае, што сувязь пакуль не даказаная: аналагічныя паводзіны назіраліся і ў мадэляў, якія не навучаліся на гэтым наборы.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.