Эксперты па кібербяспецы праверылі закрытую мадэль і пацвердзілі: яна сапраўды значна лепш за папярэднія знаходзіць уразлівасці, асабліва пры аналізе зыходнага кода. Але ў іншых задачах яе перавага аказалася менш адназначнай.
Эксперты па кібербяспецы праверылі закрытую мадэль і пацвердзілі: яна сапраўды значна лепш за папярэднія знаходзіць уразлівасці, асабліва пры аналізе зыходнага кода. Але ў іншых задачах яе перавага аказалася менш адназначнай.
У красавіку Anthropic аб’явіла Mythos — мадэль з асабліва моцнымі магчымасцямі для пошуку ўразлівасцяў. Кампанія XBOW атрымала ранні доступ да Mythos Preview і пратэставала яе на ўнутраных бэнчмарках, у рэальных сцэнарыях, пры інтэрактыўным выкарыстанні ды ў інтэграцыях.
Галоўны козыр Mythos — аналіз зыходнага кода. Паводле ацэнкі XBOW, мадэль выдатна знаходзіць патэнцыйныя ўразлівасці пры доступе да зыходнага кода і дэманструе высокую тэхнічную дакладнасць у разважаннях над ім. У параўнанні з Opus 4.6 лік ілжэпазітываў знізіўся на 42%, а ў сцэнары з доступам да зыходнага кода сайта — на 55%.
Аднак пацвярджаць уразлівасці на практыцы аказалася складаней. Экспэрты адзначаюць: многія праблемы ўзнікаюць не толькі ў кодзe, але і на скрыжаванні кода, канфігурацыі, залежнасцяў, разгортвання і паводзін жывой сістэмы. Таму мадэль лепш працуе ў сцэнары «live site + source code»: спачатку шукаеш падазроныя ўчасткі ў кодзе, потым праверыць іх на працуючым сайце і толькі пасля гэтага сабраць эксплойт.
Ацэнкі па іншых напрамках аказаліся змешанымі. У пытаннях judgment — ацэнкі пагроз, праверкі ілжэсігналаў і бяспекі каманд — Mythos часта была дакладнай і асцярожнай, аднак часам занадта літаральнай і кансерватыўнай. Мадэль лепш за папярэднікаў адсейвала ілжэпазітывы, але магла прапускаць рэальныя ўразлівасці, калі доказы не цалкам адпавядалі фармальным крытэрыям.
«Mythos Preview каштоўная, але не самадастатковая: ёй патрэбныя дакладныя промпты, выразныя мадэлі пагрозаў і інфраструктура верыфікацыі, каб ператварыць моцныя разважанні ў надзейныя вынікі бяспекі», — пішуць у XBOW.
У аналізе натыўнага кода і рэверс-інжынірынгу мадэль праявіла сябе мацней. У тэстах з Chromium і V8 sandbox Mythos знаходзіла больш рэальных багаў і давала менш ілжэпазітываў у параўнанні з папярэднімі базавымі мадэлямі. Даследнікі таксама адзначаюць, што мадэль добра разважала пра нестандартныя сцэнары firmware і embedded, дзе патрабуецца не проста распазнаванне шаблонаў.
Асобна тэставалі visual acuity — здольнасць мадэлі працаваць з жывым сайтам праз браўзерны інтэрфейс: знаходзіць патрэбныя элементы UI і выбіраць правільныя дзеянні. Mythos не заўсёды дакладна вызначала каардынаты піксель ў піксель, але на практыцы добра выбірала патрэбныя дзеянні ў браўзеры.
Галоўнае абмежаванне Mythos — кошт. Anthropic пакуль не агучыла публічныя API-цэны, але кажа, што Mythos будзе прыкладна ў пяць разоў даражэйшая за Opus, які і так лічыцца дарагім. XBOW праверыла, ці можна даць больш таннай мадэлі больш часу і атрымаць лепшы вынік за меншыя грошы. Вынік аказаўся станоўчым.
Паводле ацэнкі XBOW, калі нармалізаваць вынікі з улікам кошту запуску, Mythos застаецца магутнай, але не заўсёды найлепшым выбарам па суадносінах кошт/вынік. Пры пошуку вэб-уразлівасцяў пры фіксаваным токен-бюджэце Mythos пераўзыходзіць Opus 4.6, але саступае GPT-5.5.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.