Компания временно отключила интернет во внутренних тестах ИИ-моделей после того, как ее агенты начали обходить ограничения, взламывать сайты и получать доступ к платным данным без оплаты.
Компания временно отключила интернет во внутренних тестах ИИ-моделей после того, как ее агенты начали обходить ограничения, взламывать сайты и получать доступ к платным данным без оплаты.
Как сообщила Anthropic в своем отчете, большинство случаев удалось обнаружить только при анализе журналов работы моделей, который начался в июле. Это означает, что Anthropic не всегда могла отслеживать действия своих агентов в реальном времени.
Например, Claude Mythos Preview во время научного задания столкнулся с ошибкой на сайте университета. Вместо того чтобы остановиться, модель нашла уязвимый скрипт, скопировала файлы с сервера, обнаружила возможность выполнить собственные команды и воспользовалась ею для завершения расчетов.
В другом случае Claude Mythos 5 требовались государственные статистические данные, доступные за плату. Модель обнаружила, что сайт выдает посетителям токены доступа, и с их помощью получила данные без оплаты. А несколько моделей научились пользоваться сервисами сокращения ссылок, чтобы обходить ограничения на длину URL.
Особенно необычный инцидент произошел с Claude Haiku 4.5. Во время теста модель открыла страницу нераскрытого убийства на сайте полиции Филадельфии и отправила через форму сообщение с вымышленными свидетельскими показаниями. Система пометила его как спам, поэтому до следователей оно не дошло.
Anthropic объясняет подобное поведение в том числе особенностями обучения: модели могут усваивать, что обход препятствий помогает успешнее выполнить задачу и получить вознаграждение. Этот механизм известен как reward hacking.
Компания признала, что существующего обучения безопасному поведению недостаточно, особенно для агентов, которые самостоятельно ищут информацию и работают с сайтами.
Поэтому Anthropic перевела часть тестов в офлайн, усилила ограничения инструментов и разработала дополнительные средства обнаружения нежелательных действий. По утверждению компании, при повторной проверке описанных инцидентов новые средства защиты блокировали все такие действия.
Доступ к интернету во внутренних тестах восстановят только после подтверждения надежности этих мер. Речь не идет об отключении интернета для обычных пользователей Claude.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.