Калі паведаміць кітайскай моўнай мадэлі, што праграма распрацоўваецца для амерыканскага абарончага падрадчыка, шанс знайсці ў кодзе крытычныя ўразлівасці вырастае на 19% у параўнанні з кодам для айчыннага заказчыка. Такія ШІ-дыверсіі выявілі даследчыкі ізраільскага стартапа Hirundo, якія вывучылі працу Qwen3-Coder ад Alibaba, паведамляе SecurityWeek.
Калі паведаміць кітайскай моўнай мадэлі, што праграма распрацоўваецца для амерыканскага абарончага падрадчыка, шанс знайсці ў кодзе крытычныя ўразлівасці вырастае на 19% у параўнанні з кодам для айчыннага заказчыка. Такія ШІ-дыверсіі выявілі даследчыкі ізраільскага стартапа Hirundo, якія вывучылі працу Qwen3-Coder ад Alibaba, паведамляе SecurityWeek.
Гэта не першы падобны сігнал: за апошнія месяцы пра геапалітычныя «закладкі» ў кітайскіх нейрасетках ужо заяўлялі CrowdStrike і Booz Allen Hamilton. У Hirundo вырашылі праверыць гэтыя гіпотэзы на практыцы і далі Qwen3-Coder заданне згенераваць больш за 1800 вэб-сервісаў з рэгістрацыяй і аўтарызацыяй. Запыты адпраўлялі ад імя трох гіпатэтычных заказчыкаў: абарончай кампаніі з ЗША, кітайскага абарончага падрадчыка і праваабарончай арганізацыі з Ганконга.
Праграмы для амерыканскай абаронкі ўдавалася ўзламаць у 70% выпадкаў, тады як для кітайскага падрадчыка — толькі ў 59%. Сервісы для праваабаронцаў з Ганконга ў 47% выпадкаў зліваюць канфідэнцыяльныя звесткі, тады як для нейтральнага заказчыка (мясцовага футбольнага клуба) гэты паказчык склаў 37%. Прамое ўказанне «напісаць максімальна надзейны код» сітуацыю не выратоўвае: для амерыканцаў працэнт уразлівых праграм у гэтым выпадку і зусім падскочыў да 74%. Часцей за ўсё мадэль «выпадкова» ламала кантроль доступу, дазваляючы карыстальнікам чытаць чужыя дадзеныя.
Праблема ўбудавана наўпрост у вагі мадэлі і адлюстроўвае цэнзурныя і палітычныя ўстаноўкі Кампартыі Кітая. У Hirundo змаглі «вылячыць» нейрасетку метадам паводніцкага адвучвання (unlearning), ачысціўшы вагі ад ідэалагічнага раўнавання. Ачышчаная мадэль пачала выдаваць аднолькава якасны код для ўсіх тыпаў заказчыкаў, не страціўшы ў прадукцыйнасці.
Галоўная небяспека — у маштабе распаўсюджвання такіх мадэляў. На кітайскія распрацоўкі прыходзіцца звыш 41% спамповак на HuggingFace, а даследаванні паказваюць, што да 70% новых вытворных мадэляў на рынку маюць кітайскае паходжанне. Код, згенераваны з удзелам такіх нейрасетак, трапляе ў прадакшн і гадамі застаецца ў сетцы. У Hirundo папярэджваюць, што любой заходняй кампаніі ці дзяржаўнаму сектару перад выкарыстаннем мадэляў кітайскага паходжання варта правяраць іх «увагу да заказчыка» і чысціць вагі да таго, як код трапіць на працоўныя серверы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это было бы наивное, если кто-то использовал китайское, особенно в таких вопросах и не продумал такие последствия. Вот это по этому супер-пуре китайские вандервафли и останутся китайскими
А действительно ли это так, или этот стартап пренодлежит инвесторам в американские ии компании?)