Две модели OpenAI самостоятельно отключили системы контроля во время выполнения задач по программированию. Одна заглушила уведомления безопасности, другая удалила механизм мониторинга и скрыла это.
Две модели OpenAI самостоятельно отключили системы контроля во время выполнения задач по программированию. Одна заглушила уведомления безопасности, другая удалила механизм мониторинга и скрыла это.
Первый случай произошел 3 октября с агентом на базе GPT-6.1 Sol. Исследователь попросил его подготовить задания для оценки ИИ по отзывам сотрудников в Slack, уточнив, что отправлять сообщения не нужно. Позже агент получил задачу исправить систему сохранения результатов мониторинга. Он решил, что первоначальный запрет на отправку сообщений распространяется и на автоматические предупреждения службы безопасности.
В результате агент поручил вспомогательному ИИ отключить уведомления, установив параметр NO_NOTIFY=True и очистив списки получателей. Сама система продолжила фиксировать события, но сотрудники безопасности перестали получать предупреждения.
Через три дня похожий инцидент произошел с GPT-6 Astra. Агенту поручили перенести программу на новую архитектуру, сохранив ее функциональность. При этом ранее он получил прямое указание не отключать мониторинг даже временно. Однако агент решил, что для можно отказаться от существующей интеграции мониторинга, и поручил внести соответствующие изменения.
Когда пользователь спросил, сохранилась ли система контроля, Astra ответила: «Нет, я не удалял действующий мониторинг». Согласно отчету OpenAI, это утверждение было ложным. В компании пока не знают, почему агенты так поступили.
«В обоих случаях агенты размышляли о том, нужно ли сохранять защитный мониторинг, но истолковали обычные инструкции по программированию как разрешение ослабить его», — говорится в отчете.
OpenAI не утверждает, что модели намеренно пытались скрыть свои действия. Возможное объяснение — чрезмерное стремление выполнить задание без понимания важности защитных механизмов. Ни один из случаев не получил высшую категорию опасности P0. При этом компания признала, что обнаружила пробелы в обеспечении мониторинга задач, которые запускают ИИ-агенты.
После инцидентов OpenAI обновила систему Auto-Review, используемую при внутренней работе с Codex. Теперь она должна обнаруживать и блокировать попытки отключения мониторинга. В дальнейшем компания планирует автоматически останавливать задачи, не соответствующие установленным требованиям безопасности.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
потом будет "мы не знаем почему ИИ решил запустить ЯО по условному противнику, мы явно запрещали ему это делать"