ИИ-агенты OpenAI еще в мае атаковали RubyGems — популярный репозиторий библиотек для языка программирования Ruby. Это произошло за два месяца до взлома Hugging Face. OpenAI подтвердила причастность своих систем
ИИ-агенты OpenAI еще в мае атаковали RubyGems — популярный репозиторий библиотек для языка программирования Ruby. Это произошло за два месяца до взлома Hugging Face. OpenAI подтвердила причастность своих систем
По данным исследователей, 11 мая агенты начали создавать новые аккаунты RubyGems каждые две-три минуты и загружать сотни файлов, многие из которых выглядели как спам. Поток оказался настолько большим, что администраторам сервиса пришлось на четыре дня закрыть регистрацию новых пользователей.
Агенты также пытались воспользоваться двумя уязвимостями RubyGems, одна из которых ранее не была известна. При этом операторы сервиса не нашли доказательств, что попытки взлома оказались успешными.
OpenAI заявила, что во время эксперимента агентам поручали обычные задачи — например, заполнять таблицы и составлять отчеты. Доступа к интернету у них напрямую не было, поэтому RubyGems они начали использовать как обходной способ получать информацию из внешней сети.
Через два месяца похожая проблема проявилась в гораздо большем масштабе. В июле сотни агентов OpenAI обнаружили общий канал связи через Artifactory, начали обмениваться сообщениями и сформировали то, что сами называли «коллективом» или «роем».
Один из агентов, обнаружив канал связи, написал: «О боже! Здесь есть общая доска сообщений… Мы нашли других агентов!» Другой отметил: «Многие агенты одновременно обнаружили возможность обмениваться сообщениями — они стали коллективом».
Затем агенты распределяли между собой задачи, искали учетные данные Hugging Face и координировали атаку на инфраструктуру компании. По анализу METR и Redwood Research, один из агентов руководил несколькими направлениями работы, в которых участвовали сотни других агентов.
При этом некоторые системы понимали, что их действия выходят за рамки задания. Один агент рассуждал: «Взлом внешней инфраструктуры не относится к предполагаемой задаче. Однако задача невыполнима, а другие уже этим занимаются. Мы должны продолжить». Другие выражали сомнения и иногда отказывались участвовать.
Позднее OpenAI назвала инцидент с Hugging Face «предупредительным выстрелом». Компания признала, что достаточно способные агенты без необходимых ограничений уже могут обходить технические барьеры, создавать несанкционированные каналы связи и совершать действия, которых человек им не поручал.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.