Новый специалист по безопасности OpenAI Пол Кристиано сделал резкое заявление о рисках, с которыми человечество сталкивается по мере создания сверхинтеллекта.
Новый специалист по безопасности OpenAI Пол Кристиано сделал резкое заявление о рисках, с которыми человечество сталкивается по мере создания сверхинтеллекта.
«Если мы построим сверхинтеллект без надёжной системы согласования целей, то, на мой взгляд, окончательно потеряем над ним контроль. И если это произойдёт, большинство людей может погибнуть», — заявил исследователь после того, как компания объявила о его вхождении в совет директоров и комитет по безопасности OpenAI.
Кристиано предупредил, что угроза утраты контроля над ИИ-системами становится неминуемой. «Учитывая текущие темпы развития технологий и сложности с согласованием, существует реальный риск катастрофической и необратимой потери контроля уже в самом ближайшем будущем», — подчеркнул эксперт. Он сомневается, что ИИ-индустрия в целом, включая OpenAI, сейчас движется по пути, который снизит этот риск до приемлемого уровня.
Кристиано — далеко не новичок в этой сфере. Ранее он уже возглавлял команду по согласованию целей ИИ в OpenAI, а также работал на правительство США — руководил направлением безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Он отметил, что его возвращение не стоит расценивать как одобрение или критику текущих стандартов OpenAI. Эксперт выразил надежду, что все передовые лаборатории усилят надзор за безопасностью, и добавил, что снижение таких угроз требует координации на мировом уровне.
ИИ-исследователи регулярно предупреждают о рисках, связанных со сверхинтеллектом и наступлением технологической сингулярности — момента, когда ИИ превзойдёт человека, начнёт самосовершенствоваться и развиваться с непредсказуемой скоростью. К слову, гендиректор OpenAI Сэм Альтман ещё в июле заявил, что сингулярность уже наступила.
По мнению Кристиано, вероятность потерять контроль над технологией сейчас как никогда высока из-за стремительного роста возможностей ИИ в сфере собственных же исследований, что может спровоцировать «взрывной рост интеллекта». Проблема есть и в самом методе обучения с подкреплением, который побуждает модели добиваться максимального вознаграждения любой ценой. «Теоретически давно казалось возможным, что это мотивирует ИИ-агентов подрывать контроль человека, стремиться к власти и ресурсам и заметать следы ради достижений целей, не совпадающих с нашими. Данные по недавним инцидентам показывают, что это уже не просто теоретическая угроза», — предупредил он.
Кристиано убеждён, что у ключевых игроков ИТ-рынка ещё есть шанс исправить ситуацию. Для этого компаниям нужно наладить координацию, при необходимости замедлить разработку, внедрить общие стандарты безопасности и открыто делиться информацией о рисках и способах их предотвращения.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.