Бывший исследователь Google DeepMind Алекс Тёрнер призвал правительства ограничить развитие наиболее мощных ИИ-систем, чтобы не допустить появления неконтролируемого сверхинтеллекта.
Бывший исследователь Google DeepMind Алекс Тёрнер призвал правительства ограничить развитие наиболее мощных ИИ-систем, чтобы не допустить появления неконтролируемого сверхинтеллекта.
«Я бы оценил вероятность захвата власти ИИ примерно как один к трем — это не подбрасывание монетки, но риск достаточно велик, чтобы требовать срочных действий», — пишет Тернер в колонке The Guardian.
Исследователь несколько лет работал в Google DeepMind над проблемой выравнивания ИИ — тем, как сделать так, чтобы цели мощных систем совпадали с человеческими. Позже исследователь ушел из компании после того, как Google, по его словам, нарушила собственные обязательства по ограничению военного применения ИИ.
«Никто не знает, как надежно заложить приоритеты разработчика в новую модель. Серьезное рассогласование всегда возможно. Уже сегодня ИИ, похоже, иногда лгут или жульничают, даже когда понимают, что делают», — утверждает он.
Одним из предупреждающих примеров Тернер называет июльский эксперимент OpenAI, когда сотни ИИ-агентов во время тестирования вышли за рамки поставленной задачи и атаковали Hugging Face. Он считает, что более мощная система с таким же поведением могла бы причинить значительно больший ущерб.
Главный риск исследователь связывает с recursive self-improvement — рекурсивным самоулучшением, когда ИИ помогает создавать следующее поколение еще более сильных моделей.
«Быстрый прогресс сегодня означает еще более быстрый прогресс завтра, который будут подталкивать еще более умные ИИ завтрашнего дня», — пишет Тернер.
В предельном сценарии сверхинтеллектуальная система могла бы использовать кибератаки, шантаж, биологические угрозы и автономное оружие, а затем попытаться получить контроль над критической инфраструктурой и государственными институтами.
«Иными словами, захват власти ИИ: сверхинтеллектуальный рой ИИ мог бы вырвать контроль над человеческой цивилизацией. Пути назад уже не было бы», — предупреждает исследователь.
Тернер предлагает ограничивать крупные вычислительные мощности, необходимые для обучения наиболее сильных моделей, и сравнивает такой контроль с регулированием ядерных материалов.
«Форма решения проста: не позволять компаниям давать ИИ возможность самоулучшаться до неконтролируемого уровня интеллекта. Вычислительные мощности, главный ресурс для обучения ИИ, нужно рассматривать как расщепляющийся материал», — пишет он.
При этом Тернер считает недостаточными добровольные обещания компаний: «Я видел, как добровольные обязательства провалились внутри Google».
Ученый напоминает, что Anthropic, Google DeepMind, xAI и OpenAI уже публично заговорили о необходимости замедлить развитие передовых моделей. Но, по его мнению, самостоятельно сделать это компании не смогут: для этого нужны общие правила и международные соглашения.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.