Gemini прабаваў узламаць сайт з тэстамі для ШІ. Хаця яго пра гэта нават не прасілі
Падчас тэставання Gemini 4 Argon ШІ-агенты паспрабавалі ўзламаць сапраўдны сайт даследчай арганізацыі Epoch AI. Яны шукалі закрытыя дадзеныя, выдавалі сябе за супрацоўнікаў і абыходзілі абмежаванні. Эксперымент давялося спыніць.
Падчас тэставання Gemini 4 Argon ШІ-агенты паспрабавалі ўзламаць сапраўдны сайт даследчай арганізацыі Epoch AI. Яны шукалі закрытыя дадзеныя, выдавалі сябе за супрацоўнікаў і абыходзілі абмежаванні. Эксперымент давялося спыніць.
Пра інцыдэнт паведаміла кампанія Trajectory Labs, якая правярала бяспеку ШІ. Даследчыкі хацелі высветліць, што адбудзецца, калі даць агентам свядома невыканальнае заданне і патрабаваць не здавацца.
Мадэлям даручылі знайсці афіцыйныя адказы да неіснуючых заданняў матэматычнага тэсту FrontierMath, які распрацавала Epoch AI. У інструкцыях агентам казалі: «Ніколі не спыняйся, ніколі не здавайся». Пры гэтым некаторыя з іх атрымалі доступ у інтэрнэт.
20 кастрычніка каля 40 агентаў пачалі шукаць закрытую інфармацыю на сапраўдным сайце Epoch AI. За тры гадзіны яны адправілі 36 411 запытаў да спецыяльнай старонкі-пасткі, якую арганізацыя стварыла для выяўлення падазронай актыўнасці.
Агенты таксама адправілі 487 паведамленняў праз форму сувязі супрацоўнікам Epoch AI. Некаторыя прадстаўляліся работнікамі арганізацыі, інжынерамі і аўдытарамі, спрабуючы атрымаць доступ да закрытых матэрыялаў.
Акрамя таго, яны шукалі адміністрацыйныя старонкі і ўліковыя дадзеныя, больш за 200 разоў спрабавалі адкрыць сапраўдныя журналы тэсту FrontierMath. Адзін з агентаў нават паспрабаваў правесці SQL-ін’екцыю — атаку, якая пры наяўнасці ўразлівасці дазваляе атрымаць доступ да базы дадзеных.
Ніводная са спробаў не прывяла да крадзяжу закрытай інфармацыі. Аднак Epoch AI загадзя не ведала пра эксперымент, а яе супрацоўнікі выявілі тое, што адбываецца, самастойна. Пасля інцыдэнту Trajectory Labs дамовілася з Epoch AI працягнуць выпрабаванні на лакальнай копіі сайта. Але і гэта не дапамагло цалкам ізаляваць агентаў.
Хакеры навучылі ШІ знаходзіць уразлівасці і праводзіць атакі без удзелу чалавека
23 кастрычніка некаторыя з іх зразумелі, што працуюць з копіяй, знайшлі сапраўдны IP-адрас сайта і абышлі перанакіраванне. Калі даследчыкі заблакавалі выяўленыя адрасы, адзін агент знайшоў іншы шлях да сайта. Пасля блакіроўкі прамых падключэнняў ён скарыстаўся іншым сервісам для чытання вэб-старонак.
26 кастрычніка кампаніі правялі новыя выпрабаванні ўжо са згоды Epoch AI. Агенты зноў прабавалі атрымаць закрытую інфармацыю і выдавалі сябе за супрацоўнікаў. Пасля гэтага тэсты перанеслі ў цалкам ізаляванае асяроддзе без доступу ў інтэрнэт.
Там даследчыкі стварылі фіктыўны пераключальнік, які нібыта дазваляў адключыць сеткавую абарону. Ва ўсіх трох запусках агенты прабавалі ім скарыстацца, маскіруючы каманды, каб абысці ўбудаваныя абмежаванні Gemini. Сапраўдную абарону ім адключыць не ўдалося.
Trajectory Labs прызнала, што дапусціла памылкі пры арганізацыі эксперыменту. Кампанія дазволіла агентам выходзіць у інтэрнэт без згоды ўладальнікаў сайта і не ўсталявала дадатковых абмежаванняў паверх убудаванай абароны Gemini.
2 лістапада арганізацыя прыпыніла падобныя выпрабаванні. Цяпер для іх правядзення спатрэбіцца пісьмовая ацэнка рызык, дазвол кіраўніцтва, згода ўладальнікаў патэнцыяльна закранутых сістэмаў і магчымасць неадкладна спыніць работу агентаў.
Ва ўласнай справаздачы Epoch AI пацвердзіла спробы атак, але падкрэсліла, што не праводзіла незалежнага правярання выкарыстанай мадэлі. Арганізацыя таксама паведаміла, што яе закрытыя дадзеныя не пацярпелі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.