Эксперты па кібербяспецы праверылі закрытую мадэль і пацвердзілі: яна сапраўды значна лепш за папярэднія знаходзіць уразлівасці, асабліва пры аналізе зыходнага кода. Але ў іншых задачах яе перавага аказалася менш адназначнай.
Эксперты па кібербяспецы праверылі закрытую мадэль і пацвердзілі: яна сапраўды значна лепш за папярэднія знаходзіць уразлівасці, асабліва пры аналізе зыходнага кода. Але ў іншых задачах яе перавага аказалася менш адназначнай.
У красавіку Anthropic аб’явіла Mythos — мадэль з асабліва моцнымі магчымасцямі для пошуку ўразлівасцяў. Кампанія XBOW атрымала ранні доступ да Mythos Preview і пратэставала яе на ўнутраных бэнчмарках, у рэальных сцэнарыях, пры інтэрактыўным выкарыстанні ды ў інтэграцыях.
Галоўны козыр Mythos — аналіз зыходнага кода. Паводле ацэнкі XBOW, мадэль выдатна знаходзіць патэнцыйныя ўразлівасці пры доступе да зыходнага кода і дэманструе высокую тэхнічную дакладнасць у разважаннях над ім. У параўнанні з Opus 4.6 лік ілжэпазітываў знізіўся на 42%, а ў сцэнары з доступам да зыходнага кода сайта — на 55%.
Аднак пацвярджаць уразлівасці на практыцы аказалася складаней. Экспэрты адзначаюць: многія праблемы ўзнікаюць не толькі ў кодзe, але і на скрыжаванні кода, канфігурацыі, залежнасцяў, разгортвання і паводзін жывой сістэмы. Таму мадэль лепш працуе ў сцэнары «live site + source code»: спачатку шукаеш падазроныя ўчасткі ў кодзе, потым праверыць іх на працуючым сайце і толькі пасля гэтага сабраць эксплойт.
Ацэнкі па іншых напрамках аказаліся змешанымі. У пытаннях judgment — ацэнкі пагроз, праверкі ілжэсігналаў і бяспекі каманд — Mythos часта была дакладнай і асцярожнай, аднак часам занадта літаральнай і кансерватыўнай. Мадэль лепш за папярэднікаў адсейвала ілжэпазітывы, але магла прапускаць рэальныя ўразлівасці, калі доказы не цалкам адпавядалі фармальным крытэрыям.
«Mythos Preview каштоўная, але не самадастатковая: ёй патрэбныя дакладныя промпты, выразныя мадэлі пагрозаў і інфраструктура верыфікацыі, каб ператварыць моцныя разважанні ў надзейныя вынікі бяспекі», — пішуць у XBOW.
У аналізе натыўнага кода і рэверс-інжынірынгу мадэль праявіла сябе мацней. У тэстах з Chromium і V8 sandbox Mythos знаходзіла больш рэальных багаў і давала менш ілжэпазітываў у параўнанні з папярэднімі базавымі мадэлямі. Даследнікі таксама адзначаюць, што мадэль добра разважала пра нестандартныя сцэнары firmware і embedded, дзе патрабуецца не проста распазнаванне шаблонаў.
Асобна тэставалі visual acuity — здольнасць мадэлі працаваць з жывым сайтам праз браўзерны інтэрфейс: знаходзіць патрэбныя элементы UI і выбіраць правільныя дзеянні. Mythos не заўсёды дакладна вызначала каардынаты піксель ў піксель, але на практыцы добра выбірала патрэбныя дзеянні ў браўзеры.
Галоўнае абмежаванне Mythos — кошт. Anthropic пакуль не агучыла публічныя API-цэны, але кажа, што Mythos будзе прыкладна ў пяць разоў даражэйшая за Opus, які і так лічыцца дарагім. XBOW праверыла, ці можна даць больш таннай мадэлі больш часу і атрымаць лепшы вынік за меншыя грошы. Вынік аказаўся станоўчым.
Паводле ацэнкі XBOW, калі нармалізаваць вынікі з улікам кошту запуску, Mythos застаецца магутнай, але не заўсёды найлепшым выбарам па суадносінах кошт/вынік. Пры пошуку вэб-уразлівасцяў пры фіксаваным токен-бюджэце Mythos пераўзыходзіць Opus 4.6, але саступае GPT-5.5.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Ходил недавно на конференцию, участвовал в hacking challenge. 24 проблемы на взлом сайтов, баз, шифров, даже в реестре Виндовс нужно было копаться. Очень сложно, сам бы, может, 2-3 кое-как решил бы. Claude Code пощелкал как орешки. Можно было даже условия не читать. Причем, там не просто открыть код и найти опечатку. Там многоступенчатые проблемы - найти в коде какой-то хук, вызвать его с определенными параметрами, которые передадут инъекцию, найти способ получить ответ, подменить сертификат, чтобы прочитать ответ и т.д. Все это не за раз - часто Claude Code пробовал разные варианты, пока не находил что-то, что давало возможность продвинуться дальше. Писал много скриптов, пользовался браузером. Пару раз, вылетали ошибки от Anthropic, что я нарушаю пользовательское соглашение. Claude Code помогал мне их обходить. Давал инструкции, чтобы я сделал то, что он не может. В конце каждый задачи говорил "давай следующую" и "есть что посложнее".
На работе есть доступ к Mythos - тоже находит впечатляющие вещи. Не вижу смысла сравнивать. 99% взломов - это эксплоит ошибок в коде или инфраструктуре. Часто даже элементарных. Вот эти ошибки они и находят. Плюс знание всех технических нюансов, всех типичных узявимостей и техник, возможность писать для себя скрипты.
Карыстальнік адрэдагаваў каментарый 18 мая 2026, 16:32