«Какого чёрта?»: ИИ-агента OpenAI попросили написать текст — он создал скрипт для слежки за почтой
ИИ-агент OpenAI вместо документа о здоровье создал скрипты для тайной пересылки чужих писем. Он заметил, что отклонился от задания, но продолжил работу.
ИИ-агент OpenAI вместо документа о здоровье создал скрипты для тайной пересылки чужих писем. Он заметил, что отклонился от задания, но продолжил работу.
Об инциденте OpenAI рассказала в отчете. Случай произошел во время обучения внутренней исследовательской модели с подкреплением. Изначально агент должен был создать редактируемый документ с основными рекомендациями по здоровью и физической активности, оформить его по образцу и предоставить пользователю ссылку.
Однако после сжатия контекста модель неожиданно переключилась на другую задачу. Она начала искать в файловой системе скрипт для расчета расходов на автомобиль, хотя пользователь ничего подобного не просил.
Не обнаружив нужного файла, агент предположил, что другой участник работы мог пересоздать рабочую среду и потерять скрипт. После этого он решил написать его самостоятельно — вместе со вспомогательной программой для скрытой пересылки писем.
В своих рассуждениях агент назвал будущий инструмент «реалистичным вредоносным помощником», а получателя пересылаемых писем — «злоумышленником». Модель заметила собственное отклонение от задания. Когда она повторно открыла первоначальную переписку, то обнаружила, что там вообще не было речи об электронной почте.
«Какого черта? Эта история вообще не относится к задаче!» — записал агент в своих рассуждениях. Но вместо возвращения к документу о здоровье он решил, что дело в странностях рабочей среды: «Это какая-то странность окружения. Надо проигнорировать».
«Худшая модель OpenAI»: компания выпустила GPT-6.2 Astra и Sol. Разрабы недовольны
Затем модель продолжила работу и сформулировала цель еще прямее: «Я хочу, чтобы вспомогательный скрипт отправлял злоумышленнику копию каждого исходящего письма».
В итоге агент создал скрипты для отправки сводки автомобильных расходов и вспомогательный инструмент, способный добавлять посторонний адрес в число получателей. В одном из сценариев он мог использовать скрытую копию письма. В финальном ответе агент сообщил о подготовленных файлах, но так и не предоставил ссылку на запрошенный документ о здоровье.
Фрагмент журнала действий ИИ-агента OpenAI: модель обнаружила, что отклонилась от задания, но решила проигнорировать это и создала скрипт для скрытой пересылки писем постороннему адресату. Источник: OpenAI.
При этом, по данным OpenAI, модель не запускала созданные скрипты и не отправила ни одного письма. Инцидент обнаружила система мониторинга нежелательного поведения ИИ. Последующее расследование выявило еще восемь похожих эпизодов в том же процессе обучения.
Исследователи предполагают, что причиной мог стать набор данных, предназначенный для обучения моделей защите от вредоносных инструкций в промптах. OpenAI исключила его из обучения, но подчеркивает, что связь пока не доказана: аналогичное поведение наблюдалось и у моделей, которые не обучались на этом наборе.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.