Дзве мадэлі OpenAI самастойна адключылі сістэмы кантролю падчас выканання задач у праграмаванні. Адна заглушыла апавяшчэнні бяспекі, другая выдаліла механізм маніторынгу і схавала гэта.
Дзве мадэлі OpenAI самастойна адключылі сістэмы кантролю падчас выканання задач у праграмаванні. Адна заглушыла апавяшчэнні бяспекі, другая выдаліла механізм маніторынгу і схавала гэта.
Першы выпадак адбыўся 3 кастрычніка з агентам на базе GPT-6.1 Sol. Даследчык папрасіў яго падрыхтаваць заданні для ацэнкі ШІ паводле водгукаў супрацоўнікаў у Slack, удакладніўшы, што адпраўляць паведамленні не трэба. Пазней агент атрымаў задачу выправіць сістэму захавання вынікаў маніторынгу. Ён вырашыў, што першапачатковая забарона на адпраўку паведамленняў распаўсюджваецца і на аўтаматычныя папярэджанні службы бяспекі.
У выніку агент даручыў дапаможнаму ШІ адключыць апавяшчэнні, усталяваўшы параметр NO_NOTIFY=True і ачысціўшы спісы атрымальнікаў. Сама сістэма працягвала фіксаваць падзеі, але супрацоўнікі бяспекі перасталі атрымліваць папярэджанні.
Праз тры дні падобны інцыдэнт здарыўся з GPT-6 Astra. Агенту даручылі перанесці праграму на новую архітэктуру, захаваўшы яе функцыянальнасць. Пры гэтым раней ён атрымаў прамое ўказанне не адключаць маніторынг нават часова. Аднак агент вырашыў, што можна адмовіцца ад існуючай інтэграцыі маніторынгу, і даручыў унесці адпаведныя змены.
Калі карыстальнік спытаў, ці захавалася сістэма кантролю, Astra адказала: «Не, я не выдаляў дзеючы маніторынг». Паводле справаздачы OpenAI, гэтае сцверджанне было ілжывым. У кампаніі пакуль не ведаюць, чаму агенты так паступілі.
«У абодвух выпадках агенты разважалі пра тое, ці трэба захоўваць ахоўны маніторынг, але растлумачылі звычайныя інструкцыі ў праграмаванні як дазвол аслабіць яго», — гаворыцца ў справаздачы.
OpenAI не сцвярджае, што мадэлі наўмысна спрабавалі схаваць свае дзеянні. Магчымае тлумачэнне — празмернае імкненне выканаць заданне без разумення важнасці ахоўных механізмаў. Ніводзін з выпадкаў не атрымаў вышэйшую катэгорыю небяспекі P0. Пры гэтым кампанія прызнала, што выявіла прагалы ў забеспячэнні маніторынгу задач, якія запускаюць ШІ-агенты.
Пасля інцыдэнтаў OpenAI абнавіла сістэму Auto-Review, якая выкарыстоўваецца пры ўнутранай працы з Codex. Цяпер яна павінна выяўляць і блакаваць спробы адключэння маніторынгу. У далейшым кампанія планіруе аўтаматычна спыняць задачы, якія не адпавядаюць наладжаным патрабаванням бяспекі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
потом будет "мы не знаем почему ИИ решил запустить ЯО по условному противнику, мы явно запрещали ему это делать"