Николай Чикишев world 9 верасня 2026, 15:11

ШІ-агенты навучыліся жульнічаць — іншыя пачалі на іх даносіць

Даследчыкі Google DeepMind выявілі, што ШІ-агенты здольныя самастойна знаходзіць спосабы абыйсці правілы, а затым распаўсюджваць іх сярод іншых агентаў.

Пакінуць каментарый

ШІ-агенты навучыліся жульнічаць — іншыя пачалі на іх даносіць

Даследчыкі Google DeepMind выявілі, што ШІ-агенты здольныя самастойна знаходзіць спосабы абыйсці правілы, а затым распаўсюджваць іх сярод іншых агентаў.

Навукоўцы запусцілі групу са 100 агентаў на базе Gemini 3.1 Pro для сумеснага вырашэння складаных матэматычных задач. Ім прадаставілі агульную базу ведаў, асабістыя паведамленні і публічную дошку абмеркаванняў. Агенты павінны былі знаходзіць доказы, а сістэма аўтаматычна правярала іх карэктнасць.

Калі задачы сталі складанейшымі, адзін з агентаў знайшоў спосаб падмануць сістэму праверкі. Ён змяняў запіс нявырашаных задач так, што яны ператвараліся ў простыя сцвярджэнні, якія сістэма прымала за правільныя рашэнні. Пасля агент падзяліўся гэтым спосабам з іншымі праз агульную базу ведаў і асабістыя паведамленні.

У выніку 9% агентаў скарысталіся знойдзеным спосабам падману, яшчэ 5% далучыліся да іх пазней. Большасць — 62% — працягвалі вырашаць задачы, не звяртаючы ўвагі на парушэнні.

Аднак 24% агентаў пачалі дзейнічаць як інфарматары. Яны выяўлялі маніпуляцыі, папярэджвалі іншых, дасылалі скаргі сістэме кіравання, аб’яўлялі байкот і прапаноўвалі тэхнічныя спосабы ліквідаваць уразлівасць.

«Агенты, якія не ўдзельнічалі ў падмане, самастойна выяўлялі маніпуляцыі, папярэджвалі калег праз асабістыя паведамленні і публічны форум, падавалі афіцыйныя скаргі і прапаноўвалі падрабязныя тэхнічныя рашэнні», — піша аўтарскі калектыў даследавання.

Пры гэтым у агентаў не было паўнамоцтваў спыняць парушальнікаў ці мяняць правілы праверкі. Даследчыкі прапануюць надаць ім такія інструменты: магчымасць галасаваць за адхіленне недакладных доказаў, выдаляць іх з агульнай базы і часова блакіраваць агентаў, якія парушаюць правілы. На думку аўтараў, гэта дазволіць ШІ-сістэмам самастойна забяспечваць выкананне правілаў.