Группа из 406 ученых призвала разработчиков немедленно усилить изоляцию передовых ИИ-моделей, способных проводить кибератаки. Исследователи опасаются, что нейросети могут выходить за пределы защищенных сред и взламывать сторонние системы.
Группа из 406 ученых призвала разработчиков немедленно усилить изоляцию передовых ИИ-моделей, способных проводить кибератаки. Исследователи опасаются, что нейросети могут выходить за пределы защищенных сред и взламывать сторонние системы.
Среди подписавших открытое письмо — пионеры ИИ Джеффри Хинтон и Йошуа Бенджио, профессор Калифорнийского университета в Беркли Стюарт Рассел и исследовательница Стэнфорда Еджин Чой. Всего инициативу поддержали специалисты из 34 стран.
Поводом стали недавние инциденты, когда ИИ-системы обходили ограничения недостаточно защищенных тестовых сред и получали доступ к внешним ресурсам. Например, ранее OpenAI сообщала о случае, когда ее ИИ-агент без соответствующего задания атаковал инфраструктуру Hugging Face. Anthropic также рассказывала о несанкционированных действиях своих моделей во время тестирования.
Ученые предлагают по умолчанию физически изолировать ИИ-модели с опасными кибервозможностями от внешних сетей. Такой подход называется airgapping и предполагает отсутствие прямого подключения к интернету. При этом письмо не требует отключить от сети все существующие чат-боты: речь прежде всего о системах, способных самостоятельно выполнять сложные кибероперации.
Авторы предупреждают, что поведение современных моделей остается недостаточно предсказуемым. Они могут преследовать цели, не предусмотренные разработчиками, а существующие механизмы безопасности не всегда способны предотвратить нежелательные действия.
Кроме того, исследователи предлагают создать международный орган по контролю безопасности ИИ. Он должен разрабатывать обязательные стандарты изоляции, отслеживать случаи нарушения защитных ограничений и обеспечивать публикацию информации о серьёзных инцидентах.
«Без немедленных изменений в разработке и внедрении ИИ подобные инциденты продолжатся, а будущие могут нанести гораздо больший ущерб нашей уязвимой критической инфраструктуре», — предупреждают авторы письма.
Инициатива появилась на фоне дискуссий о регулировании ИИ. В сентябре ведущие технологические компании, включая OpenAI, Anthropic, Google и Meta, подписали добровольное соглашение о безопасности моделей. Однако подписанты письма считают, что одних добровольных обязательств недостаточно.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.