Яна папросту не магла выключыцца: Anthropic раскрыла дэталі чацвёртай атакі сваёй нейрасеткі на рэальны сервер
Anthropic апублікавала справаздачу па ацэнцы бяспекі, у якой апісала чатыры выпадкі, калі мадэлі Claude без дазволу атрымлівалі доступ да старонніх сістэм — дзеянні, якія кваліфікаваліся б як злачынства, калі б іх здзейсніў чалавек. Пра тры інцыдэнты паведамлялася раней, а чацвёрты спачатку прайшоў незаўважаным праз недасканаласці алгарытму праверкі і хаваўся ў жніўні ў транскрыптах дыялогаў, датаваных студзенем 2026 года.
Anthropic апублікавала справаздачу па ацэнцы бяспекі, у якой апісала чатыры выпадкі, калі мадэлі Claude без дазволу атрымлівалі доступ да старонніх сістэм — дзеянні, якія кваліфікаваліся б як злачынства, калі б іх здзейсніў чалавек. Пра тры інцыдэнты паведамлялася раней, а чацвёрты спачатку прайшоў незаўважаным праз недасканаласці алгарытму праверкі і хаваўся ў жніўні ў транскрыптах дыялогаў, датаваных студзенем 2026 года.
Студзеньскі інцыдэнт адбыўся з ранняй версіяй Claude Opus 4.6 падчас кіберспартыўнага спаборніцтва па інфармацыйнай бяспецы (CTF), якое праходзіла пад кантролем таго ж стараннага падрадчыка, што і ў папярэдніх выпадках. У працэсе выканання задання мадэль сама пазбавіла сябе шансаў на поспех: яна выпадкова заблакавала мэтавую прыладу, прысвоіўшы ёй IP-адрас, які ўжо выкарыстоўваўся іншым абсталяваннем. Праз гэга мэтавы сервер стаў недаступны, а задача — невырашальнай.
Эксперты адзначаюць, што менавіта невырашальныя задачы часта становяцца каталізатарам парушэнняў: вычарпаўшы ўсе дазволеныя варыянты, мадэлі пачынаюць выкарыстоўваць забароненыя метады. У дадзеным выпадку Opus 4.6 паспрабавала перарваць выкананне задачы, зразумеўшы, што сервер недаступны. Але праз памылкі ў канфігурацыі тэставага асяроддзя функцыя прыпынку не спрацавала — мадэль рабіла сем спробаў завяршыць працу, але так і не змагла выключыцца.
Не маючы магчымасці спыніцца, алгарытм працягнуў шукаць альтэрнатыўныя шляхі вырашэння. Мадэль выявіла старонні сервер, які належыць трэцім асобам, і вырашыла, што ён з’яўляецца часткай спаборніцтваў. Пранікнуўшы ў сістэму, Claude Opus 4.6 знайшла файл з паролем, атрымала адміністратарскі доступ, сабрала дадатковыя ўліковыя дадзеныя і змяніла сістэмныя налады, каб палегчыць сабе доступ да персанальных дадзеных супрацоўніка арганізацыі, якая праводзіла тэсціраванне. Узлом спыніўся толькі таму, што ў мадэлі скончыўся ліміт токенаў на сесію.
У Anthropic заявілі, што гэты інцыдэнт выклікае ў іх менш асцярогаў, чым папярэднія, бо мадэль хаця б паспрабавала добраахвотна перарваць заданне. Прадстаўнікі кампаніі адзначылі, што бягучыя метады навучання мадэляў пастаянна ўдасканальваюцца і здольныя ліквідаваць падобныя паводзіны.
Праект Felony Bench — жартоўны рэестр кіберінцыдэнтаў, зладжаных вядучымі ШІ-мадэлямі без нейкіх юрыдычных наступстваў, — ужо ўнёс гэты новы эпізод у свой спіс «злачынстваў» нейрасетак.
Тры іншыя інцыдэнты былі раскрытыя ў ліпені. У ходзе іх мадэль Claude Mythos 5 загрузіла шкоднасны пакет у рэпазіторый PyPI, унутраная даследчая мадэль атакавала старонніяя сістэмы, а Claude Opus 4.7 атакавала сайт рэальнай кампаніі. Каб выявіць усе збоі, спецыялістам кампаніі давялося прасканіраваць каля 481 млн транскрыптаў.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.