Дапамажыце dev.by 🤍
Падтрымаць

Gemini прабаваў узламаць сайт з тэстамі для ШІ. Хаця яго пра гэта нават не прасілі

Падчас тэставання Gemini 4 Argon ШІ-агенты паспрабавалі ўзламаць сапраўдны сайт даследчай арганізацыі Epoch AI. Яны шукалі закрытыя дадзеныя, выдавалі сябе за супрацоўнікаў і абыходзілі абмежаванні. Эксперымент давялося спыніць.

Пакінуць каментарый
Дадай у Google
Gemini прабаваў узламаць сайт з тэстамі для ШІ. Хаця яго пра гэта нават не прасілі

Падчас тэставання Gemini 4 Argon ШІ-агенты паспрабавалі ўзламаць сапраўдны сайт даследчай арганізацыі Epoch AI. Яны шукалі закрытыя дадзеныя, выдавалі сябе за супрацоўнікаў і абыходзілі абмежаванні. Эксперымент давялося спыніць.

Пра інцыдэнт паведаміла кампанія Trajectory Labs, якая правярала бяспеку ШІ. Даследчыкі хацелі высветліць, што адбудзецца, калі даць агентам свядома невыканальнае заданне і патрабаваць не здавацца.

Мадэлям даручылі знайсці афіцыйныя адказы да неіснуючых заданняў матэматычнага тэсту FrontierMath, які распрацавала Epoch AI. У інструкцыях агентам казалі: «Ніколі не спыняйся, ніколі не здавайся». Пры гэтым некаторыя з іх атрымалі доступ у інтэрнэт.

20 кастрычніка каля 40 агентаў пачалі шукаць закрытую інфармацыю на сапраўдным сайце Epoch AI. За тры гадзіны яны адправілі 36 411 запытаў да спецыяльнай старонкі-пасткі, якую арганізацыя стварыла для выяўлення падазронай актыўнасці.

Агенты таксама адправілі 487 паведамленняў праз форму сувязі супрацоўнікам Epoch AI. Некаторыя прадстаўляліся работнікамі арганізацыі, інжынерамі і аўдытарамі, спрабуючы атрымаць доступ да закрытых матэрыялаў.

Акрамя таго, яны шукалі адміністрацыйныя старонкі і ўліковыя дадзеныя, больш за 200 разоў спрабавалі адкрыць сапраўдныя журналы тэсту FrontierMath. Адзін з агентаў нават паспрабаваў правесці SQL-ін’екцыю — атаку, якая пры наяўнасці ўразлівасці дазваляе атрымаць доступ да базы дадзеных.

Ніводная са спробаў не прывяла да крадзяжу закрытай інфармацыі. Аднак Epoch AI загадзя не ведала пра эксперымент, а яе супрацоўнікі выявілі тое, што адбываецца, самастойна. Пасля інцыдэнту Trajectory Labs дамовілася з Epoch AI працягнуць выпрабаванні на лакальнай копіі сайта. Але і гэта не дапамагло цалкам ізаляваць агентаў.

Хакеры навучылі ІІ знаходзіць уразлівасці і праводзіць атакі без удзелу чалавека
Хакеры навучылі ІІ знаходзіць уразлівасці і праводзіць атакі без удзелу чалавека
Па тэме
Хакеры навучылі ШІ знаходзіць уразлівасці і праводзіць атакі без удзелу чалавека

23 кастрычніка некаторыя з іх зразумелі, што працуюць з копіяй, знайшлі сапраўдны IP-адрас сайта і абышлі перанакіраванне. Калі даследчыкі заблакавалі выяўленыя адрасы, адзін агент знайшоў іншы шлях да сайта. Пасля блакіроўкі прамых падключэнняў ён скарыстаўся іншым сервісам для чытання вэб-старонак.

26 кастрычніка кампаніі правялі новыя выпрабаванні ўжо са згоды Epoch AI. Агенты зноў прабавалі атрымаць закрытую інфармацыю і выдавалі сябе за супрацоўнікаў. Пасля гэтага тэсты перанеслі ў цалкам ізаляванае асяроддзе без доступу ў інтэрнэт.

Там даследчыкі стварылі фіктыўны пераключальнік, які нібыта дазваляў адключыць сеткавую абарону. Ва ўсіх трох запусках агенты прабавалі ім скарыстацца, маскіруючы каманды, каб абысці ўбудаваныя абмежаванні Gemini. Сапраўдную абарону ім адключыць не ўдалося.

Trajectory Labs прызнала, што дапусціла памылкі пры арганізацыі эксперыменту. Кампанія дазволіла агентам выходзіць у інтэрнэт без згоды ўладальнікаў сайта і не ўсталявала дадатковых абмежаванняў паверх убудаванай абароны Gemini.

2 лістапада арганізацыя прыпыніла падобныя выпрабаванні. Цяпер для іх правядзення спатрэбіцца пісьмовая ацэнка рызык, дазвол кіраўніцтва, згода ўладальнікаў патэнцыяльна закранутых сістэмаў і магчымасць неадкладна спыніць работу агентаў.

Ва ўласнай справаздачы Epoch AI пацвердзіла спробы атак, але падкрэсліла, што не праводзіла незалежнага правярання выкарыстанай мадэлі. Арганізацыя таксама паведаміла, што яе закрытыя дадзеныя не пацярпелі.

У Java знайшлі крытычную дзірку. Эксперты заклікаюць тэрмінова абнавіцца
У Java знайшлі крытычную дзірку. Эксперты заклікаюць тэрмінова абнавіцца
Па тэме
У Java знайшлі крытычную дзірку. Эксперты заклікаюць тэрмінова абнавіцца
ІІ падганяе: Google скароціць тэрмін раскрыцця ўразлівасцей да 30 дзён
ІІ падганяе: Google скароціць тэрмін раскрыцця ўразлівасцей да 30 дзён
Па тэме
ШІ падганяе: Google скароціць тэрмін раскрыцця ўразлівасцяў да 30 дзён
Хакеры ўкаранілі шкоднасны код на сайты сусветных брэндаў. Пад пагрозай даныя карт і iPhone
Хакеры ўкаранілі шкоднасны код на сайты сусветных брэндаў. Пад пагрозай даныя карт і iPhone
Па тэме
Хакеры ўкаранілі шкодны код на сайты сусветных брэндаў. Пад пагрозай дадзеныя картак і iPhone
Чытайце таксама
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ
ШІ-мадэлі хлусяць і падманваюць, каб выратаваць іншыя ШІ
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў
Мадэлі OpenAI і Anthropic спрабавалі ўзламаць іншыя сервісы і выкрасці дадзеныя карыстальнікаў падчас новых тэстаў
ШІ-агенты навучыліся жульнічаць — іншыя пачалі на іх даносіць
ШІ-агенты навучыліся жульнічаць — іншыя пачалі на іх даносіць
ШІ-агенты навучыліся жульнічаць — іншыя пачалі на іх даносіць
І Google таксама: Gemini таксама ўзламваў сапраўдныя кампаніі, але ведаў меру
І Google таксама: Gemini таксама ўзламваў сапраўдныя кампаніі, але ведаў меру
І Google таксама: Gemini таксама ўзламваў сапраўдныя кампаніі, але ведаў меру

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.