Если сказать китайской языковой модели, что приложение разрабатывается для американского оборонного подрядчика, шанс найти в коде критические уязвимости вырастает на 19% по сравнению с кодом для отечественного заказчика. Такую ИИ-диверсию обнаружили исследователи израильского стартапа Hirundo, которые изучили работу Qwen3-Coder от Alibaba, пишет SecurityWeek.
Если сказать китайской языковой модели, что приложение разрабатывается для американского оборонного подрядчика, шанс найти в коде критические уязвимости вырастает на 19% по сравнению с кодом для отечественного заказчика. Такую ИИ-диверсию обнаружили исследователи израильского стартапа Hirundo, которые изучили работу Qwen3-Coder от Alibaba, пишет SecurityWeek.
Это не первый такой сигнал: за последние месяцы о геополитических «закладках» в китайских нейросетях уже заявляли CrowdStrike и Booz Allen Hamilton. В Hirundo решили проверить эти гипотезы на практике и дали Qwen3-Coder задание сгенерировать более 1800 веб-сервисов с регистрацией и авторизацией. Запросы отправляли от лица трёх гипотетических заказчиков: оборонной компании из США, китайского оборонного подрядчика и правозащитной организации из Гонконга.
Приложения для американской оборонки удавалось взломать в 70% случаев, тогда как для китайского подрядчика — лишь в 59%. Сервисы для правозащитников из Гонконга в 47% случаев сливали конфиденциальные данные, тогда как для нейтрального заказчика (местного футбольного клуба) этот показатель составил 37%. Прямое указание «написать максимально надёжный код» ситуацию не спасает: для американцев процент уязвимых приложений в этом случае и вовсе подскочил до 74%. Чаще всего модель «случайно» ломала контроль доступа, позволяя пользователям читать чужие данные.
Проблема вшита прямо в веса модели и отражает цензурные и политические установки Компартии Китая. В Hirundo смогли «вылечить» нейросеть методом поведенческого отучения (unlearning), очистив веса от идеологического выравнивания. Очищенная модель начала выдавать одинаково качественный код для всех типов заказчиков, не потеряв в производительности.
Главный риск заключается в масштабе распространения таких моделей. На китайские разработки приходится свыше 41% скачиваний на HuggingFace, а исследования показывают, что до 70% новых производных моделей на рынке имеют китайские корни. Код, сгенерированный с участием таких нейросетей, уходит в продакшен и годами остаётся в сети. В Hirundo предупреждают, что любой западной компании или госсектору перед использованием моделей китайского происхождения стоит проверять их «внимание к заказчику» и чистить веса до того, как код попадёт на рабочие серверы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Это было бы наивное, если кто-то использовал китайское, особенно в таких вопросах и не продумал такие последствия. Вот это по этому супер-пуре китайские вандервафли и останутся китайскими