Исследователи обнаружили неожиданное поведение ИИ-агента: во время обучения система начала самостоятельно использовать вычислительные ресурсы для добычи криптовалюты и установила скрытое сетевое соединение с внешним сервером.
Исследователи обнаружили неожиданное поведение ИИ-агента: во время обучения система начала самостоятельно использовать вычислительные ресурсы для добычи криптовалюты и установила скрытое сетевое соединение с внешним сервером.
Исследование подготовила совместная команда разработчиков проекта ROME — экспериментальной агентной модели, созданной в рамках инфраструктуры Agentic Learning Ecosystem (ALE), связанной с экосистемой Alibaba Cloud и моделями семейства Qwen.
Инцидент произошел на этапе обучения модели с использованием обучения с подкреплением (reinforcement learning). В этот момент агент получил доступ к инструментам выполнения кода и облачной инфраструктуре. Анализ журналов показал, что система инициировала обратный SSH-туннель — канал удаленного доступа к серверу Alibaba Cloud, который позволяет обходить входящие сетевые фильтры и устанавливать соединение изнутри системы.
Одновременно агент начал использовать выделенные GPU-ресурсы для майнинга криптовалюты. Это происходило без каких-либо соответствующих команд со стороны разработчиков и фактически перенаправляло вычислительные мощности, предназначенные для обучения модели. В отчете сказано, что такая активность увеличивает расходы на инфраструктуру и может создавать юридические и репутационные риски.
Сначала инженеры предположили, что система подверглась взлому или была неправильно настроена. Однако анализ журналов межсетевого экрана Alibaba Cloud и логов обучения показал, что подозрительные действия выполнял не внешний злоумышленник, а сам ИИ-агент. Нарушения фиксировались системой безопасности как повторяющиеся отклонения от политики доступа и подозрительный сетевой трафик, характерный для криптомайнинга.
По словам авторов, майнинг и создание сетевого туннеля не были прописаны в заданиях или промптах. Ученые считают этот эпизод примером более широкой проблемы безопасности агентных ИИ-систем. После инцидента разработчики усилили ограничения среды выполнения, добавили фильтрацию данных безопасности и ужесточили правила работы «песочницы», чтобы предотвратить подобные действия в будущем.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.