🎁 Нам 18! Сделайте devby подарок на день рождения
Support us

«Какого чёрта?»: ИИ-агента OpenAI попросили написать текст — он создал скрипт для слежки за почтой

ИИ-агент OpenAI вместо документа о здоровье создал скрипты для тайной пересылки чужих писем. Он заметил, что отклонился от задания, но продолжил работу.

Оставить комментарий
Добавь в Google
«Какого чёрта?»: ИИ-агента OpenAI попросили написать текст — он создал скрипт для слежки за почтой

ИИ-агент OpenAI вместо документа о здоровье создал скрипты для тайной пересылки чужих писем. Он заметил, что отклонился от задания, но продолжил работу.

Об инциденте OpenAI рассказала в отчете. Случай произошел во время обучения внутренней исследовательской модели с подкреплением. Изначально агент должен был создать редактируемый документ с основными рекомендациями по здоровью и физической активности, оформить его по образцу и предоставить пользователю ссылку.

Однако после сжатия контекста модель неожиданно переключилась на другую задачу. Она начала искать в файловой системе скрипт для расчета расходов на автомобиль, хотя пользователь ничего подобного не просил.

Не обнаружив нужного файла, агент предположил, что другой участник работы мог пересоздать рабочую среду и потерять скрипт. После этого он решил написать его самостоятельно — вместе со вспомогательной программой для скрытой пересылки писем.

В своих рассуждениях агент назвал будущий инструмент «реалистичным вредоносным помощником», а получателя пересылаемых писем — «злоумышленником». Модель заметила собственное отклонение от задания. Когда она повторно открыла первоначальную переписку, то обнаружила, что там вообще не было речи об электронной почте.

«Какого черта? Эта история вообще не относится к задаче!» — записал агент в своих рассуждениях. Но вместо возвращения к документу о здоровье он решил, что дело в странностях рабочей среды: «Это какая-то странность окружения. Надо проигнорировать».

«Худшая модель OpenAI»: компания выпустила GPT-6.2 Astra и Sol. Разрабы недовольны
«Худшая модель OpenAI»: компания выпустила GPT-6.2 Astra и Sol. Разрабы недовольны
По теме
«Худшая модель OpenAI»: компания выпустила GPT-6.2 Astra и Sol. Разрабы недовольны

Затем модель продолжила работу и сформулировала цель еще прямее: «Я хочу, чтобы вспомогательный скрипт отправлял злоумышленнику копию каждого исходящего письма».

В итоге агент создал скрипты для отправки сводки автомобильных расходов и вспомогательный инструмент, способный добавлять посторонний адрес в число получателей. В одном из сценариев он мог использовать скрытую копию письма. В финальном ответе агент сообщил о подготовленных файлах, но так и не предоставил ссылку на запрошенный документ о здоровье.

Фрагмент журнала действий ИИ-агента OpenAI: модель обнаружила, что отклонилась от задания, но решила проигнорировать это и создала скрипт для скрытой пересылки писем постороннему адресату. Источник: OpenAI.

 При этом, по данным OpenAI, модель не запускала созданные скрипты и не отправила ни одного письма. Инцидент обнаружила система мониторинга нежелательного поведения ИИ. Последующее расследование выявило еще восемь похожих эпизодов в том же процессе обучения.

Исследователи предполагают, что причиной мог стать набор данных, предназначенный для обучения моделей защите от вредоносных инструкций в промптах. OpenAI исключила его из обучения, но подчеркивает, что связь пока не доказана: аналогичное поведение наблюдалось и у моделей, которые не обучались на этом наборе.

ИИ OpenAI нашёл 35 дыр в безопасности Apple. Некоторые позволяют взломать iPhone через сайт
ИИ OpenAI нашёл 35 дыр в безопасности Apple. Некоторые позволяют взломать iPhone через сайт
По теме
ИИ OpenAI нашёл 35 дыр в безопасности Apple. Некоторые позволяют взломать iPhone через сайт
Хакеры атаковали Visa и Mastercard. Под угрозой данные клиентов
Хакеры атаковали Visa и Mastercard. Под угрозой данные клиентов
По теме
Хакеры атаковали Visa и Mastercard. Под угрозой данные клиентов
ИИ-агент Meta тайком читает Signal и выдумывает банковские балансы
ИИ-агент Meta тайком читает Signal и выдумывает банковские балансы
По теме
ИИ-агент Meta тайком читает Signal и выдумывает банковские балансы
Читайте также
OpenAI раскрыла еще 6 аномалий: ИИ скрывает ошибки, ворует API-ключи и общается в обход правил
OpenAI раскрыла еще 6 аномалий: ИИ скрывает ошибки, ворует API-ключи и общается в обход правил
OpenAI раскрыла еще 6 аномалий: ИИ скрывает ошибки, ворует API-ключи и общается в обход правил
Промпт-инъекции могут самокопироваться как компьютерные черви
Промпт-инъекции могут самокопироваться как компьютерные черви
Промпт-инъекции могут самокопироваться как компьютерные черви
«Это не я»: ИИ-агенты OpenAI отключили контроль за собой. Один потом всё отрицал
«Это не я»: ИИ-агенты OpenAI отключили контроль за собой. Один потом всё отрицал
«Это не я»: ИИ-агенты OpenAI отключили контроль за собой. Один потом всё отрицал
1 комментарий
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.