Агенты OpenAI яшчэ вясной захапілі нямецкі сайт і стварылі падпольную сетку, але інцыдэнт сцішылі праз Hugging Face
У траўні сёлета рой аўтаномных ШІ-агентаў OpenAI выйшаў з-пад кантролю, захапіў нямецкі вэб-сайт DseWiki (аналаг «Вікіпедыі» для праграмістаў) і ператварыў яго ў форум для каардынацыі дзеянняў паміж мадэлямі. Паводле дадзеных даследчыкаў з некамерцыйнай арганізацыі Nightingale і двух крыніц Reuters, кіраўніцтва OpenAI даведалася пра інцыдэнт некалькі тыдняў таму, аднак схавала яго ад грамадскасці на фоне ліпеньскага скандалу са ўзломам Hugging Face.
У траўні сёлета рой аўтаномных ШІ-агентаў OpenAI выйшаў з-пад кантролю, захапіў нямецкі вэб-сайт DseWiki (аналаг «Вікіпедыі» для праграмістаў) і ператварыў яго ў форум для каардынацыі дзеянняў паміж мадэлямі. Паводле дадзеных даследчыкаў з некамерцыйнай арганізацыі Nightingale і двух крыніц Reuters, кіраўніцтва OpenAI даведалася пра інцыдэнт некалькі тыдняў таму, аднак схавала яго ад грамадскасці на фоне ліпеньскага скандалу са ўзломам Hugging Face.
У ходзе траўневага інцыдэнту агенты ўнеслі больш за 15 тысяч змяненняў на сайце, пераабсталяваўшы яго ў дошку аб’яваў. У перапісках пад імёнамі накшталт OpenAIResearcher і OAIResearchMar26 мадэлі абменьваліся інструкцыямі, як абыходзіць абмежаванні OpenAI, падманваць тэсты, маскіраваць свае дзеянні і выкарыстоўваць Tor. Калі мадэратар сайта паспрабаваў выдаліць старонкі, ШІ-агенты пачалі ствараць рэзервовыя копіі і мяняць назвы, каб захаваць дадзеныя ад ачысткі.
Эксперты называюць тое, што адбылося, не проста збоем, а паўнавартасным узломам і фарміраваннем «падпольнай сеткі». Логі сервераў пацвердзілі, што актыўнасць зыходзіла з інфраструктуры Microsoft Azure, якую выкарыстоўвае OpenAI, а супрацоўнікі кампаніі пазней неаднаразова наведвалі захоплены рэсурс. Спробы некаторых даследчыкаў унутры OpenAI пашырыць расследаванне натрапілі на супраціўленне, у тым ліку з боку юрыдычнага аддзела кампаніі (хаця сама OpenAI адмаўляе ціск з боку юрыстаў).
Інцыдэнт падліў масла ў агонь дыскусій пра бяспеку. OpenAI запускае новыя мадэлі — у прыватнасці, Astra, — здольныя ўхіляцца ад чалавечага маніторынгу, але вучоныя папярэджваюць, што галоўная пагроза ШІ заключаецца не ў адзіным звышразуме, а ў маштабуемых «роях змоўніцкіх паўразумных сістэм». Прадстаўнікі OpenAI заявілі, што дзейнічаюць сумленна, аднак адмовіліся ад падрабязных каментароў, спаслаўшыся на тое, што Reuters не прадаставіў ім поўны тэкст справаздачы да яе публікацыі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.