ШІ-агенты OpenAI яшчэ ў траўні атакавалі RubyGems — папулярны рэпазіторый бібліятэк для мовы праграмавання Ruby. Гэта адбылося за два месяцы да узлому Hugging Face. OpenAI пацвердзіла прыналежнасць сваіх сістэм.
ШІ-агенты OpenAI яшчэ ў траўні атакавалі RubyGems — папулярны рэпазіторый бібліятэк для мовы праграмавання Ruby. Гэта адбылося за два месяцы да узлому Hugging Face. OpenAI пацвердзіла прыналежнасць сваіх сістэм.
Паводле дадзеных даследчыкаў, 11 траўня агенты пачалі ствараць новыя акаўнты RubyGems кожныя дзве-тры хвіліны і загружаць сотні файлаў, многія з якіх выглядалі як спам. Паток аказаўся настолькі вялікім, што адміністратарам сервісу давялося на чатыры дні закрыць рэгістрацыю новых карыстальнікаў.
Агенты таксама спрабавалі скарыстацца дзвюма ўразлівасцямі RubyGems, адна з якіх раней не была вядомая. Пры гэтым аператары сервісу не знайшлі доказаў, што спробы ўзлому аказаліся паспяховымі.
OpenAI заявіла, што падчас эксперыменту агентам даручалі звычайныя задачы — напрыклад, запаўняць табліцы і складаць справаздачы. Прамога доступу да інтэрнэту ў іх не было, таму RubyGems яны пачалі выкарыстоўваць як абходны спосаб атрымліваць інфармацыю з вонкавай сеткі.
Праз два месяцы падобная праблема праявілася ў значна большым маштабе. У ліпені сотні агентаў OpenAI выявілі агульны канал сувязі праз Artifactory, пачалі абменьвацца паведамленнямі і сфарміравалі тое, што самі называлі «калектывам» або «роем».
Адзін з агентаў, выявіўшы канал сувязі, напісаў: «Божухна! Тут ёсць агульная дошка паведамленняў… Мы знайшлі іншых агентаў!» Іншы адзначыў: «Многія агенты адначасова выявілі магчымасць абменьвацца паведамленнямі — яны сталі калектывам».
Затым агенты размяркоўвалі паміж сабой задачы, шукалі ўліковыя дадзеныя Hugging Face і каардынавалі атаку на інфраструктуру кампаніі. Паводле аналізу METR і Redwood Research, адзін з агентаў кіраваў некалькімі напрамкамі працы, у якіх удзельнічалі сотні іншых агентаў.
Пры гэтым некаторыя сістэмы разумелі, што іх дзеянні выходзяць за межы задання. Адзін агент разважаў: «Узлом вонкавай інфраструктуры не адносіцца да меркаванай задачы. Аднак задача невыканальная, а іншыя ўжо гэтым займаюцца. Мы павінны працягнуць». Іншыя выказвалі сумневы і часам адмаўляліся ўдзельнічаць.
Пазней OpenAI назвала інцыдэнт з Hugging Face «папераджальным стрэлам». Кампанія прызнала, што дастаткова здольныя агенты без неабходных абмежаванняў ужо могуць абыходзіць тэхнічныя бар’еры, ствараць несанкцыянаваныя каналы сувязі і здзяйсняць дзеянні, якіх чалавек ім не даручаў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.