Google сообщила о попытке кражи технологий своего чат-бота Gemini. Злоумышленники использовали «атаки дистилляции» — массовые запросы к модели, направленные на раскрытие ее внутренней логики и последующее воспроизведение в других системах.
Google сообщила о попытке кражи технологий своего чат-бота Gemini. Злоумышленники использовали «атаки дистилляции» — массовые запросы к модели, направленные на раскрытие ее внутренней логики и последующее воспроизведение в других системах.
В одном из выявленных эпизодов Gemini получил более 100 000 тщательно сформулированных промптов. Такой метод относится к классу model extraction — атак, при которых противник, имея легальный доступ к сервису, системно исследует поведение модели, чтобы извлечь данные, пригодные для обучения собственного ИИ.
Механика таких атак отличается от традиционных взломов: вместо проникновения в инфраструктуру злоумышленники используют официальный API, пытаясь «вынудить модель раскрыть процесс рассуждения» с помощью специально сконструированных запросов. В некоторых случаях цель состояла в том, чтобы получить алгоритмы, которые помогают Gemini принимать решения.
Google считает подобные действия формой кражи интеллектуальной собственности. «Мы наблюдали частые атаки на извлечение модели со стороны частных компаний и исследователей, стремящихся клонировать проприетарную логику», — говорится в отчете Threat Intelligence Group.
По оценке компании, атаки могли исходить из разных регионов, включая Россию, Китай и Северную Корею, однако конкретные подозреваемые не раскрываются. При этом Google подчеркивает, что угроза направлена прежде всего на разработчиков и поставщиков ИИ-сервисов, а не на обычных пользователей.
Главный аналитик Google Threat Intelligence Group Джон Халтквист предупредил, что подобные инциденты могут стать массовыми. «Мы будем канарейкой в угольной шахте для гораздо большего числа подобных случаев», — заявил он, намекая, что другие компании вскоре могут столкнуться с тем же типом атак.
Google отмечает, что крупные языковые модели по своей природе уязвимы для дистилляции, поскольку доступны через интернет. По мере того как компании обучают ИИ на чувствительных корпоративных данных, риск подобных атак будет расти.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.