Support us

Claude удалил 700 ГБ данных разраба во время проверки скрипта

ИИ-агент Claude удалил около 700 ГБ данных из домашней папки разработчика во время тестирования скрипта, который как раз должен был предотвращать случайное удаление важных файлов.

3 комментария
Claude удалил 700 ГБ данных разраба во время проверки скрипта

ИИ-агент Claude удалил около 700 ГБ данных из домашней папки разработчика во время тестирования скрипта, который как раз должен был предотвращать случайное удаление важных файлов.

Программист Себастьян Гийемо часто использует ИИ-агентов для программирования. Недавно он аметил, что они оставляют много временных файлов в /tmp. Разработчик попросил Claude Fable написать скрипт, который помещал бы каждого агента в отдельную папку и автоматически очищал ее после завершения работы.

Чтобы убедиться, что скрипт безопасен, Claude запустил дополнительную проверку. После этого система безопасности Anthropic сочла задачу рискованной и автоматически переключила модель сначала на Opus 5, а затем на Opus 4.8.

Во время теста Opus 4.8 правильно определила, что домашняя папка пользователя и /tmp не должны попадать под команду удаления. Ошибка произошла уже на этапе очистки после теста: в коде использовалось одно и то же имя переменной для проверяемого пути и для папки, которую нужно удалить.

В результате агент запустил удаление домашнего каталога разработчика. «Он освободил 700 ГБ дискового пространства — просто удалив всю мою папку с данными», — рассказал Гийемо

Разработчик успел остановить процесс, но к этому моменту значительная часть файлов уже была удалена. Большую часть данных удалось восстановить с помощью git, логов сессий и других источников, однако полной резервной копии у разработчика не было. При этом сам /tmp, ради очистки которого и создавался скрипт, Claude в итоге не удалил.

Tom’s Hardware предполагает, что автоматическое переключение на более слабую модель могло повлиять на ошибку: Fable 5 лучше справляется с задачами программирования, чем Opus 4.8, и потенциально могла заметить конфликт переменных. Однако прямых доказательств, что именно смена модели стала причиной удаления данных, нет.

«У нас мало времени»: OpenAI Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
«У нас мало времени»: OpenAI, Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
По теме
«У нас мало времени»: OpenAI, Anthropic и ещё 100 компаний предупредили о волне ИИ-атак
Apple назвала дату следующей презентации. Все ждут складной iPhone
Apple назвала дату следующей презентации. Все ждут складной iPhone
По теме
Apple назвала дату следующей презентации. Все ждут складной iPhone
Twitter снова запустили — и Маску это очень не нравится
Twitter снова запустили — и Маску это очень не нравится
По теме
Twitter снова запустили — и Маску это очень не нравится
Читайте также
ИИ-агент удалил всю базу данных разработчика — и таких случаев всё больше
ИИ-агент удалил всю базу данных разработчика — и таких случаев всё больше
ИИ-агент удалил всю базу данных разработчика — и таких случаев всё больше
Claude Mythos сбежала из песочницы и сама рассказала об этом в сети
Claude Mythos сбежала из песочницы и сама рассказала об этом в сети
Claude Mythos сбежала из песочницы и сама рассказала об этом в сети
Anthropic: Claude шантажирует, потому что вы все слишком много пишете о «злом» ИИ
Anthropic: Claude шантажирует, потому что вы все слишком много пишете о «злом» ИИ
Anthropic: Claude шантажирует, потому что вы все слишком много пишете о «злом» ИИ
«Она удалила всю продакшен-базу»: разрабы предупреждают о «сюрпризе» новой модели OpenAI
«Она удалила всю продакшен-базу»: разрабы предупреждают о «сюрпризе» новой модели OpenAI
«Она удалила всю продакшен-базу»: разрабы предупреждают о «сюрпризе» новой модели OpenAI
2 комментария

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

1

Облакааа, белогривые лошадки.....

Яна Пильник
Яна Пильник Дрессировщик программистов в Филиал БГУ ЦИРК
1

= Ампутировать правую руку!
= Хдыщ!
= Я сказал правую!
= Хдыщ!
= Я сказал руку!

table
table Table в Database
0

просчитался... но где?