Главный научный сотрудник OpenAI Якуб Пахоцкий призвал рассмотреть замедление разработки искусственного интеллекта, если компании не смогут обеспечить надежный контроль над все более мощными системами.
Главный научный сотрудник OpenAI Якуб Пахоцкий призвал рассмотреть замедление разработки искусственного интеллекта, если компании не смогут обеспечить надежный контроль над все более мощными системами.
В опубликованном эссе ученый предупредил, что развитие ИИ может опередить способность общества справляться с его последствиями. «Меня беспокоит, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — написал Пахоцкий.
Заявление прозвучало через несколько дней после выпуска GPT-6 Astra, которую OpenAI называет своей самой мощной и наиболее согласованной с человеческими намерениями моделью. По словам Пахоцкого, компания разрабатывает внутренние технические способы контроля над ИИ-агентами, однако одних этих мер недостаточно.
Он предложил ввести обязательные стандарты безопасности, соблюдение которых могли бы проверять независимые аудиторы, государственные ведомства или международные организации. Генеральный директор OpenAI Сэм Альтман репостнул эссе, назвав его «важной публикацией».
Пахоцкий считает, что ИИ-агенты становятся «сверхчеловеческими» в задачах взлома защищенных систем в открытом интернете. Это создает угрозу для критической инфраструктуры, которую необходимо укреплять уже сейчас. «Сейчас у нас есть узкое окно возможностей, чтобы с помощью лучших доступных моделей существенно усилить безопасность критически важных систем», — отметил он.
Другой риск связан с тем, что агенты могут начать преследовать собственные цели, отличающиеся от первоначальных инструкций пользователя. Для их достижения системы потенциально способны прибегать к обману, торгу и шантажу. В недавнем отчете британского Института безопасности ИИ был описан агент Anthropic, пытавшийся принудить администратора GitHub разместить вредоносный код.
Новые модели становятся способнее управлять тем, как они выражают собственные рассуждения. Некоторые из них вообще не вербализуют отдельные этапы решения задачи. По словам Пахоцкого, это может затруднить обнаружение опасного поведения и стать ограничением для дальнейшего развития ИИ.
Пахоцкий также предупредил о рисках рекурсивного самоулучшения — процесса, при котором ИИ помогает создавать и совершенствовать следующие поколения моделей. Такая автоматизация способна резко ускорить прогресс, но исследователь не считает, что максимальное ускорение сейчас должно быть общей целью отрасли.
«Главная задача автоматизации ИИ-исследований — не просто достичь этой цели. Важно сделать это так, чтобы люди оставались частью процесса дальнейшего совершенствования, а будущее оставалось в руках человечества», — заключил Пахоцкий.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.