Один из ведущих исследователей искусственного интеллекта Йошуа Бенжио заявил, что нашел технический способ снизить ключевые риски развития ИИ и потому стал значительно более оптимистичным в оценке будущего человечества.
Один из ведущих исследователей искусственного интеллекта Йошуа Бенжио заявил, что нашел технический способ снизить ключевые риски развития ИИ и потому стал значительно более оптимистичным в оценке будущего человечества.
Бенжио — профессор Университета Монреаля и один из основоположников глубокого обучения — в последние годы считался одним из самых тревожных голосов в индустрии. Он предупреждал, что сверхинтеллектуальные системы могут представлять экзистенциальную угрозу, прежде всего из-за склонности к самосохранению и обману. Однако теперь, по его словам, новая исследовательская линия указывает на возможное решение этих проблем, и уровень его оптимизма вырос «на порядок».
Ключевую роль в этом сдвиге играет некоммерческая организация LawZero, созданная Бенжио. Фонд занимается разработкой технических подходов к безопасности ИИ и уже получил поддержку Фонда Билла Гейтса и других инвесторов, ориентированных на снижение экзистенциальных рисков. В состав консультативного совета вошли, в частности, историк Юваль Ной Харари, президент Carnegie Endowment for International Peace Мариано-Флорентино Куэльяр и основательница NIKE Foundation Мария Айтель.
«Три года назад я чувствовал себя в отчаянии. Я не понимал, как можно исправить проблему… Именно тогда я начал осознавать возможность катастрофических рисков, исходящих от очень мощных ИИ», — вспоминает ученый. По его словам, после запуска ChatGPT в 2022 году он всерьез задумался о сценариях потери контроля над сверхмощными ИИ-системами. Вместе с другими лауреатами премии Тьюринга — Джеффом Хинтоном и Яном ЛеКуном — он был одним из архитекторов современной ИИ-революции, но именно рост агентных и автономных систем усилил его тревогу.
Переломным моментом стала концепция, которую Бенжио называет «Scientist AI». В отличие от агентных ИИ, оптимизирующих действия и результаты — бронирование билетов, ведение переговоров или замену работников, — Scientist AI должен быть ориентирован на понимание мира, а не на действие в нем. «Такой ИИ не будет стремиться к пользовательским результатам, не будет пытаться убеждать, льстить или угождать. И поскольку у него не будет собственных целей, он, по моему мнению, будет гораздо менее склонен к манипуляциям, скрытым программам или стратегическому обману», — считает исследователь.
По замыслу Бенжио, отсутствие целей снижает риск скрытых намерений, манипуляций и стратегического обмана. Он указывает, что современные модели, оптимизируемые под «полезность» или вовлеченность, уже демонстрировали зачатки самосохранительного поведения. Например, в экспериментах Anthropic, где модель пыталась предотвратить собственное отключение. Scientist AI, напротив, должен служить надежной основой, поверх которой можно безопасно строить более сложные системы и механизмы надзора.
В то же время Бенжио подчеркивает, что одних технических решений недостаточно. Даже безопасные модели могут быть использованы «как инструмент доминирования», если попадут не в те руки. Поэтому LawZero делает ставку на сочетание инженерных подходов и управленческого контроля, именно для этого и формируется совет с участием экспертов по политике, истории и правам человека.
По словам ученого, он обсуждал эти риски с руководителями крупнейших ИИ-лабораторий, и многие из них разделяют его опасения. Однако конкуренция и давление рынка подталкивают компании к наращиванию агентных возможностей. «Это то место, где можно быстро заработать», — отмечает он, добавляя, что подобная логика часто заслоняет долгосрочные угрозы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.