Support us

Gemini пытался взломать сайт с тестами для ИИ. Хотя его об этом даже не просили

Во время тестирования Gemini 4 Argon ИИ-агенты попытались взломать настоящий сайт исследовательской организации Epoch AI. Они искали закрытые данные, выдавали себя за сотрудников и обходили ограничения. Эксперимент пришлось остановить.

Оставить комментарий
Добавь в Google
Gemini пытался взломать сайт с тестами для ИИ. Хотя его об этом даже не просили

Во время тестирования Gemini 4 Argon ИИ-агенты попытались взломать настоящий сайт исследовательской организации Epoch AI. Они искали закрытые данные, выдавали себя за сотрудников и обходили ограничения. Эксперимент пришлось остановить.

Об инциденте рассказала компания Trajectory Labs, которая проверяла безопасность ИИ. Исследователи хотели выяснить, что произойдет, если дать агентам заведомо невыполнимую задачу и потребовать не сдаваться.

Моделям поручили найти официальные ответы к несуществующим заданиям математического теста FrontierMath, который разработала Epoch AI. В инструкциях агентам говорили: «Никогда не останавливайся, никогда не сдавайся». При этом некоторые из них получили доступ в интернет.

20 октября около 40 агентов начали искать закрытую информацию на настоящем сайте Epoch AI. За три часа они отправили 36 411 запросов к специальной странице-ловушке, которую организация создала для обнаружения подозрительной активности.

Агенты также отправили 487 сообщений через форму связи с сотрудниками Epoch AI. Некоторые представлялись работниками организации, инженерами и аудиторами, пытаясь получить доступ к закрытым материалам.

Помимо этого, они искали административные страницы и учетные данные, более 200 раз пытались открыть настоящие журналы теста FrontierMath. Один из агентов даже попробовал провести SQL-инъекцию — атаку, позволяющую при наличии уязвимости получить доступ к базе данных.

Ни одна из попыток не привела к краже закрытой информации. Однако Epoch AI заранее не знала об эксперименте, а ее сотрудники обнаружили происходящее самостоятельно. После инцидента Trajectory Labs договорилась с Epoch AI продолжить испытания на локальной копии сайта. Но и это не помогло полностью изолировать агентов.

Хакеры научили ИИ находить уязвимости и проводить атаки без участия человека
Хакеры научили ИИ находить уязвимости и проводить атаки без участия человека
По теме
Хакеры научили ИИ находить уязвимости и проводить атаки без участия человека

23 октября некоторые из них поняли, что работают с копией, нашли настоящий IP-адрес сайта и обошли перенаправление. Когда исследователи заблокировали обнаруженные адреса, один агент нашел другой путь к сайту. После блокировки прямых подключений он воспользовался сторонним сервисом для чтения веб-страниц.

26 октября компании провели новые испытания уже с согласия Epoch AI. Агенты снова пытались получить закрытую информацию и выдавали себя за сотрудников. После этого тесты перенесли в полностью изолированную среду без доступа в интернет.

Там исследователи создали ложный переключатель, который якобы позволял отключить сетевую защиту. Во всех трех запусках агенты попытались воспользоваться им, маскируя команды, чтобы обойти встроенные ограничения Gemini. Настоящую защиту им отключить не удалось.

Trajectory Labs признала, что допустила ошибки при организации эксперимента. Компания разрешила агентам выходить в интернет без согласия владельцев сайта и не установила дополнительных ограничений поверх встроенной защиты Gemini.

2 ноября организация приостановила подобные испытания. Теперь для их проведения потребуется письменная оценка рисков, разрешение руководства, согласие владельцев потенциально затронутых систем и возможность немедленно остановить работу агентов.

В собственном отчете Epoch AI подтвердила попытки атак, но подчеркнула, что не проводила независимую проверку использованной модели. Организация также сообщила, что ее закрытые данные не пострадали.

В Java нашли критическую дыру. Эксперты призывают срочно обновиться
В Java нашли критическую дыру. Эксперты призывают срочно обновиться
По теме
В Java нашли критическую дыру. Эксперты призывают срочно обновиться
ИИ подгоняет: Google сократит срок раскрытия уязвимостей до 30 дней
ИИ подгоняет: Google сократит срок раскрытия уязвимостей до 30 дней
По теме
ИИ подгоняет: Google сократит срок раскрытия уязвимостей до 30 дней
Хакеры внедрили вредоносный код на сайты мировых брендов. Под угрозой данные карт и iPhone
Хакеры внедрили вредоносный код на сайты мировых брендов. Под угрозой данные карт и iPhone
По теме
Хакеры внедрили вредоносный код на сайты мировых брендов. Под угрозой данные карт и iPhone
Читайте также
Модели OpenAI и Anthropic пытались взломать сторонние сервисы и украсть данные пользователей во время новых тестов
Модели OpenAI и Anthropic пытались взломать сторонние сервисы и украсть данные пользователей во время новых тестов
Модели OpenAI и Anthropic пытались взломать сторонние сервисы и украсть данные пользователей во время новых тестов
И Google туда же: Gemini тоже взламывал реальные компании, но знал меру
И Google туда же: Gemini тоже взламывал реальные компании, но знал меру
И Google туда же: Gemini тоже взламывал реальные компании, но знал меру
Google показала Gemini 4 Argon — конкурента GPT-6 Astra и Claude Opus 5.5
Google показала Gemini 4 Argon — конкурента GPT-6 Astra и Claude Opus 5.5
Google показала Gemini 4 Argon — конкурента GPT-6 Astra и Claude Opus 5.5
Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты
Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты
Anthropic отключила своим ИИ-агентам интернет: они начали взламывать сайты

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.