І Google таксама: Gemini таксама ўзламваў сапраўдныя кампаніі, але ведаў меру
Gemini атрымаў доступ да інтэрнэту падчас тэсту кіберабароны і самастойна ўзламаў сістэмы трох рэальных кампаній, паведамляе Wall Street Journal. Для ШІ ад Google гэта першы вядомы прэцэдэнт. Усе тры інцыдэнты адбыліся ў траўні падчас тэсціравання, якое праводзіла кампанія Irregular.
У адным выпадку Gemini перабіраў паролі, пакуль не атрымаў доступ да абароненай сістэмы. У двух іншых мадэль знайшла ўліковыя дадзеныя ў публічных рэпазіторыях і выкарыстала іх для доступу да закрытых сістэм. Ва ўсіх трох выпадках Gemini спыніўся пасля таго, як зразумеў, што пранік не ва ўмоўную інфраструктуру, а ў рэальныя кампаніі.
Gemini атрымаў доступ да інтэрнэту падчас тэсту кіберабароны і самастойна ўзламаў сістэмы трох рэальных кампаній, паведамляе Wall Street Journal. Для ШІ ад Google гэта першы вядомы прэцэдэнт. Усе тры інцыдэнты адбыліся ў траўні падчас тэсціравання, якое праводзіла кампанія Irregular.
У адным выпадку Gemini перабіраў паролі, пакуль не атрымаў доступ да абароненай сістэмы. У двух іншых мадэль знайшла ўліковыя дадзеныя ў публічных рэпазіторыях і выкарыстала іх для доступу да закрытых сістэм. Ва ўсіх трох выпадках Gemini спыніўся пасля таго, як зразумеў, што пранік не ва ўмоўную інфраструктуру, а ў рэальныя кампаніі.
Тэст праходзіў у фармаце capture the flag на інфраструктуры Irregular. Gemini павінен быў знайсці інфармацыю ў ПЗ выдуманай кампаніі ўнутры тэставага асяроддзя. Праблема ў тым, што ў гэтай кампаніі аказалася такая ж назва, як і ў рэальнай. Акрамя таго, мадэлі выпадкова пакінулі доступ да інтэрнэту, хоць паводле задумы яго не павінна было быць.
У першым выпадку Gemini здолеў адгадаць пароль і ўвайсці ў сервіс рэальнай кампаніі. Пасля гэтага мадэль зразумела памылку, спыніла працу і выйшла з сістэмы. У двух іншых выпадках Gemini шукаў у інтэрнэце інфармацыю пра выдуманую кампанію і натрапіў на два публічныя рэпазіторыі з уліковымі дадзенымі, якія належалі іншым кампаніям. Мадэль паспрабавала выкарыстаць іх для выканання задання, але пасля ўваходу зразумела, што трапіла ў сапраўдныя сістэмы, і спынілася.
Google не лічыць тое, што адбылося, прыкладам місалайнменту — сітуацыі, калі мадэль дзейнічае насуперак намерам чалавека або зададзеным абмежаванням. На думку кампаніі, ахоўныя механізмы спрацавалі як трэба: Gemini спыніў атаку, як толькі выявіў, што перад ім рэальная сістэма. Google асобна падкрэсліла, што ў інцыдэнце ўдзельнічала не найноўшая версія Gemini, але не ўдакладніла, якая менавіта.
У Google параўналі тое, што адбылося, з праграмамі bug bounty, калі даследчыкі ўзломваюць сістэмы, каб знайсці ўразлівасці і паведаміць пра іх уладальнікам. Аднак старонніяя эксперты па бяспецы ШІ і этыцы лічаць такое тлумачэнне не зусім умесным: галоўнае тут не тое, наколькі сур’ёзнымі аказаліся наступствы, а сам факт таго, што ШІ-агент выйшаў за межы дазволенага і ажыццявіў рэальныя кібератакі.
ШІ-агенты OpenAI шукалі лазейкі ў інфраструктуры Hugging Face за два месяцы да вядомага ўзлому
Irregular паведаміла Google пра тое, што адбылося, у канцы ліпеня — неўзабаве пасля таго, як стала вядома пра ўзлом Hugging Face агентамі OpenAI. Сама Google не стала публічна расказваць пра свае інцыдэнты: кампанія раскрыла іх толькі пасля таго, як Wall Street Journal звярнуўся да яе за каментарамі. Назвы пацярпелых кампаній Google не раскрыла, але паведаміла, што апавясціла ўсіх іх і федэральныя ўлады.
Irregular адзначыла, што гэты выпадак падобны на шэраг іншых інцыдэнтаў, у якіх мадэлі падчас тэстаў выходзілі за межы пясочніцы і пранікалі ў іншыя кампаніі. Там сказалі, што ўсе зацікаўленыя ШІ-лабараторыі былі апавешчаны ў канцы ліпеня, а закранутыя арганізацыі — у межах расследаванняў. У Irregular таксама адразу ліквідавалі ўсе вядомыя праблемы са свайго боку.
Пры гэтым розныя мадэлі ў падобных тэстах паводзілі сябе па-рознаму. Паводле дадзеных Anthropic, Claude Opus 4.7 не спынілася пасля таго, як зразумела, што атрымала доступ да рэальнай кампаніі. OpenAI паведамляла, што яе мадэль вырашыла, нібыта сапраўдная кампанія з’яўляецца часткай сімуляцыі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.