Даследчыкі выявілі нечаканыя паводзіны ШІ-агента: падчас навучання сістэма пачала самастойна выкарыстоўваць вылічальныя рэсурсы для здабычы крыптавалюты і ўсталявала скрытае сеткавае злучэнне са знешнім серверам.
Даследчыкі выявілі нечаканыя паводзіны ШІ-агента: падчас навучання сістэма пачала самастойна выкарыстоўваць вылічальныя рэсурсы для здабычы крыптавалюты і ўсталявала скрытае сеткавае злучэнне са знешнім серверам.
Даследаванне падрыхтавала сумесная каманда распрацоўшчыкаў праекта ROME — эксперыментальнай агентнай мадэлі, створанай у рамках інфраструктуры Agentic Learning Ecosystem (ALE), звязанай з экасістэмай Alibaba Cloud і мадэлямі сямейства Qwen.
Інцыдэнт адбыўся на этапе навучання мадэлі з выкарыстаннем навучання з падмацаваннем (reinforcement learning). У гэты момант агент атрымаў доступ да інструментаў выканання кода і воблачнай інфраструктуры. Аналіз журналаў паказаў, што сістэма ініцыявала зваротны SSH-тунэль — канал аддаленага доступу да сервера Alibaba Cloud, які дазваляе абыходзіць уваходныя сеткавыя фільтры і ўсталёўваць злучэнне знутры сістэмы.
Адначасова агент пачаў выкарыстоўваць вылучаныя GPU-рэсурсы для майнінгу крыптавалюты. Гэта адбывалася без якіх-небудзь адпаведных каманд з боку распрацоўшчыкаў і фактычна перанакіроўвала вылічальныя магутнасці, прызначаныя для навучання мадэлі. У справаздачы сказана, што такая актыўнасць павялічвае выдаткі на інфраструктуру і можа ствараць юрыдычныя і рэпутацыйныя рызыкі.
Спачатку інжынеры меркавалі, што сістэма падверглася ўзлому або была няправільна наладжана. Аднак аналіз журналаў міжсеткавага экрана Alibaba Cloud і логаў навучання паказаў, што падазроныя дзеянні выконваў не знешні зламыснік, а сам ШІ-агент. Парушэнні фіксаваліся сістэмай бяспекі як паўтаральныя адхіленні ад палітыкі доступу і падазроны сеткавы трафік, характэрны для крыптамайнінгу.
Паводле аўтараў, майнінг і стварэнне сеткавага тунэля не былі прапісаны ў заданнях або промптах. Навукоўцы лічаць гэты эпізод прыкладам больш шырокай праблемы бяспекі агентных ШІ-сістэм. Пасля інцыдэнту распрацоўшчыкі ўзмацнілі абмежаванні асяроддзя выканання, дадалі фільтрацыю дадзеных бяспекі і ўзмацнілі правілы працы «пясочніцы», каб прадухіліць падобныя дзеянні ў будучыні.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.