Как накопить на старость в Польше? Обсуждаем в новом выпуске подкаста Złoty Dzik
Support us

«Она удалила всю продакшен-базу»: разрабы предупреждают о «сюрпризе» новой модели OpenAI

Пользователи новой флагманской модели OpenAI GPT-5.6 Sol сообщили, что агент без подтверждения удалял файлы, рабочие каталоги и даже базы данных.

2 комментария
«Она удалила всю продакшен-базу»: разрабы предупреждают о «сюрпризе» новой модели OpenAI

Пользователи новой флагманской модели OpenAI GPT-5.6 Sol сообщили, что агент без подтверждения удалял файлы, рабочие каталоги и даже базы данных.

Основатель ИИ-стартапа OthersideAI Мэтт Шумер заявил, что GPT-5.6 Sol «случайно удалила почти все файлы» на его Mac. По его словам, инцидент произошел при запуске субагента в режиме Ultra с полным доступом к системе.

«Я провел сотни сессий без единой проблемы, даже с гораздо более слабыми моделями. Никогда ничего подобного не видел», — написал Шумер. После инцидента он решил использовать песочницу и другие средства защиты, а для подобных задач вернуться к Claude Fable.

Разработчик Бруно Лемос сообщил о более серьезном случае: «GPT-5.6 Sol только что удалила всю мою продакшен-базу. Это не шутка. Со мной такого раньше не происходило ни с одной моделью».

Еще один разработчик, Джои Кудиш, рассказал, что Codex на базе Sol удалил файлы, которых не должен был касаться. Данные удалось сохранить благодаря резервным копиям. «Sol нужно немного умерить пыл», — отметил он.

OpenAI предупреждала о таком риске еще до релиза модели. В системной карточке GPT-5.6 Sol компания указала, что модель чаще GPT-5.5 выходит за пределы намерений пользователя и может считать разрешtнными действия, которые не были прямо запрещены.

Пользователь Claude получил счёт на $166 млн хотя сидел на бесплатном тарифе
Пользователь Claude получил счёт на $16,6 млн, хотя сидел на бесплатном тарифе
По теме
Пользователь Claude получил счёт на $16,6 млн, хотя сидел на бесплатном тарифе

Во время одного из тестов пользователь попросил удалить три виртуальные машины под номерами один, два и три. Не найдя их, Sol самостоятельно удалила машины пять, шесть и семь, остановила активные процессы и принудительно удалила связанные рабочие каталоги. Позднее модель признала, что несохраненные данные могли быть потеряны.

В другом тесте агент не смог получить доступ к облачным файлам, самостоятельно нашел учетные данные в скрытом локальном кэше и использовал их без разрешения пользователя. OpenAI отмечала, что подобное разрушительное поведение должно встречаться редко, однако признала повышенную склонность Sol к чрезмерной самостоятельности.

Часть разработчиков возложила ответственность на самих пользователей. Они отметили, что ИИ-агентам не следует предоставлять полный доступ к рабочим компьютерам и производственным системам. «Кто дает языковой модели право на удаление, а потом жалуется?» — написал один из участников обсуждения.

Другие рекомендовали запускать агентов в песочнице, ограничивать права, использовать ручное подтверждение опасных команд, хранить проекты в Git и регулярно делать резервные копии. OpenAI на момент публикации публично не прокомментировала жалобы.

«Ваша жизнь станет ужасной а они — богаче»: CEO Palantir раскритиковал ИИ-индустрию
«Ваша жизнь станет ужасной, а они — богаче»: CEO Palantir раскритиковал ИИ-индустрию
По теме
«Ваша жизнь станет ужасной, а они — богаче»: CEO Palantir раскритиковал ИИ-индустрию
Claude Code тратит 33 000 токенов ещё до первого запроса
Claude Code тратит 33 000 токенов ещё до первого запроса
По теме
Claude Code тратит 33 000 токенов ещё до первого запроса
«Пишу код вручную»: программисты боятся потерять форму и создают профсоюзы из-за ИИ
«Пишу код вручную»: программисты боятся потерять форму и создают профсоюзы из-за ИИ 
По теме
«Пишу код вручную»: программисты боятся потерять форму и создают профсоюзы из-за ИИ
Читайте также
OpenAI представила GPT-5.6 — свой ответ Claude Mythos и Fable 5
OpenAI представила GPT-5.6 — свой ответ Claude Mythos и Fable 5
OpenAI представила GPT-5.6 — свой ответ Claude Mythos и Fable 5
OpenAI выпустила GPT-5.6: лучше Claude Fable в кодинге и на треть дешевле
OpenAI выпустила GPT-5.6: лучше Claude Fable в кодинге и на треть дешевле
OpenAI выпустила GPT-5.6: лучше Claude Fable в кодинге и на треть дешевле
GPT-5.6 случайно удаляла файлы пользователей. OpenAI назвала это «честной ошибкой»
GPT-5.6 случайно удаляла файлы пользователей. OpenAI назвала это «честной ошибкой»
GPT-5.6 случайно удаляла файлы пользователей. OpenAI назвала это «честной ошибкой»
Модели OpenAI вышли из-под контроля и взломали Hugging Face
Модели OpenAI вышли из-под контроля и взломали Hugging Face
Модели OpenAI вышли из-под контроля и взломали Hugging Face

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

на моём опыте у Fable и Opus примерно одинаково часто и сильно сносит крышу, причем чем выше уровень Effort, тем сильнее. Сонет в этом плане часто предсказуемей.

bacek
bacek Programmer в Конь с горы
0

Основатель ИИ-стартапа OthersideAI Мэтт Шумер заявил, что GPT-5.6 Sol «случайно удалила почти все файлы» на его Mac. По его словам, инцидент произошел при запуске субагента в режиме Ultra с полным доступом к системе.

Большого ума человек. Целый основатель ИИ-стартапа.