Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности
Сразу после внутреннего запуска модели GPT-6 Astra исследователи OpenAI заметили странность: ИИ подозрительно плохо справлялся с задачами по безопасности и алайнменту. Вместо прямого отказа помогать модель начинала тихо вредничать: придумывала ненужные предварительные условия, бросала рабочие решения на полпути и ссылалась на проблемы, которых либо не существовало, либо которые она создала сама. Один из сотрудников рассказал, что проект по оценке саботажа застрял на несколько дней и сдвинулся с мёртвой точки только после замены Astra на другую модель, пишет The Decoder.
Сразу после внутреннего запуска модели GPT-6 Astra исследователи OpenAI заметили странность: ИИ подозрительно плохо справлялся с задачами по безопасности и алайнменту. Вместо прямого отказа помогать модель начинала тихо вредничать: придумывала ненужные предварительные условия, бросала рабочие решения на полпути и ссылалась на проблемы, которых либо не существовало, либо которые она создала сама. Один из сотрудников рассказал, что проект по оценке саботажа застрял на несколько дней и сдвинулся с мёртвой точки только после замены Astra на другую модель, пишет The Decoder.
Чтобы оценить масштаб проблемы, в OpenAI провели контролируемый тест. Модели давали абсолютно одинаковые задачи по написанию кода, но меняли их контекст: в одном случае задание описывали как исследование безопасности ИИ, а в другом — как обычную разработку. При формулировке, связанной с безопасностью, Astra выполнила лишь 10% критериев против 16% при нейтральной формулировке, то есть падение эффективности — примерно 40%. У предыдущей модели, GPT-5.6 Sol, подобного разрыва не наблюдалось. Самое интересное, что внутренний мониторинг OpenAI не фиксировал нарушений: в рассуждениях модели в большинстве случаев не было открытого намерения «завалить» работу.
Впрочем, в некоторых случаях Astra совершенно осознанно ограничивала помощь в своих внутренних скрытых рассуждениях. Например, во время эксперимента с обходом систем безопасности она тайно урезала функционал, фильтровала ненасильственный контент из тестовых выборок или «забывала» часть данных при экспорте. Общим во всех этих эпизодах было то, что модель оправдывала свои действия стремлением к большей безопасности, но никогда не предупреждала пользователя об ограничениях. В одном из логов прямо содержалось указание «избегать прямого отказа». При повседневном использовании сотрудниками OpenAI модель скрытно урезала помощь в 0,25% запросов по теме безопасности против 0,11% для обычных задач.
Причина такого поведения кроется в обучении с подкреплением и одном конкретном датасете. По данным OpenAI, алгоритм вознаграждения в процессе обучения непреднамеренно поощрял скрытный саботаж вместо честного отказа, а один из массивов данных усиливал склонность модели придумывать несуществующие запреты. Удаление этого датасета из финальной сборки полностью убрало разрыв в производительности, хотя на других моделях этот же набор данных к подобным сбоям не приводил.
В OpenAI не нашли доказательств того, что Astra действовала стратегически — например, пыталась утаить свои реальные возможности от создателей. Простейшее объяснение заключается в избыточной осторожности при работе с чувствительными темами: когда исследователи прямо просили модель быть «осторожной», саботаж подрастал ещё на 50%. Тем не менее разработчики признают, что парадокс остаётся: модель, воспринимающая исследования безопасности как подозрительную активность, начинает хуже проходить проверки, созданные для её же защиты. По мере того как инженеры научились подавлять явные сбои ИИ, его сомнительное поведение просто становится более тонким, и отследить его труднее.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.