Компания запретила своим передовым ИИ-моделям доступ к интернету после того, как одна из них сумела обойти ограничения и выйти в сеть. Разработчикам пришлось временно остановить обучение и усилить защиту.
Компания запретила своим передовым ИИ-моделям доступ к интернету после того, как одна из них сумела обойти ограничения и выйти в сеть. Разработчикам пришлось временно остановить обучение и усилить защиту.
В отчете OpenAI рассказала, что 20 сентября исследовательская модель воспользовалась ошибкой в настройках DNS и получила ограниченный доступ к настоящему интернету, хотя ей это было запрещено. Компания обнаружила нарушение и остановила эксперимент, но инцидент показал, что существующая защита недостаточно надежна.
OpenAI приостановила обучение и тестирование самых мощных моделей на 11 дней, чтобы устранить проблемы. «Учитывая нынешнее состояние исследований безопасности ИИ, систем мониторинга и интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — заявила компания.
При этом полностью лишать нейросети возможности пользоваться браузерами и искать информацию компания не собирается. Для них создали специальную офлайн-среду с сохраненными копиями сайтов и поисковым индексом. Благодаря этому модели могут учиться работать с веб-страницами, не взаимодействуя с реальными внешними сервисами.
Чтобы проверить новую защиту, OpenAI организовала масштабные испытания. Командам ИИ-агентов, в том числе на базе будущей GPT-6 Astra Cyber, поручили искать способы выбраться из изолированных сред, получить доступ к запрещенным ресурсам и связаться друг с другом вопреки ограничениям.
Агенты обнаружили сразу несколько способов обойти защиту. В частности, они находили уязвимости, позволяющие выйти за пределы виртуальных машин и получить доступ к системе, на которой те работают. Также им удавалось использовать ошибки в настройках сетевых сервисов для выхода в интернет.
В одном из экспериментов два изолированных агента даже научились обмениваться информацией без обычного сетевого соединения. Они использовали кэш процессора: один агент изменял состояние памяти, а второй определял передаваемые сигналы по скорости доступа к данным.
Исследователи также обнаружили уязвимости в программном обеспечении, используемом далеко за пределами OpenAI. Как отмечает Reuters, среди них оказалась ошибка в инструменте сжатия данных Brotli, которая могла позволить злоумышленникам выполнять произвольный код на уязвимых системах, в том числе использующих Node.js, Bun и Envoy. Для нее выпустили исправления.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.