После того как громкое увольнение Джейкоба Коксона из Anthropic всколыхнуло ИТ-индустрию, ещё два ведущих специалиста объявили об уходе из крупных технокомпаний. Опасаясь, что ИИ может выйти из-под контроля и уничтожить человечество, бывшие сотрудники Anthropic и Google DeepMind решили публично заявить о рисках, связанных с разработкой передовых ИИ-систем.
После того как громкое увольнение Джейкоба Коксона из Anthropic всколыхнуло ИТ-индустрию, ещё два ведущих специалиста объявили об уходе из крупных технокомпаний. Опасаясь, что ИИ может выйти из-под контроля и уничтожить человечество, бывшие сотрудники Anthropic и Google DeepMind решили публично заявить о рисках, связанных с разработкой передовых ИИ-систем.
Джо Бентон, возглавлявший команду по исследованиям безопасности в Anthropic, и Джош Энгельс, занимавшийся аналогичными вопросами в Google, дали совместное интервью телеканалу NBC News. По их словам, технология развивается настолько стремительно, что замалчивать опасные инциденты больше нельзя.
«Прогресс в сфере ИИ может ускорить развитие технологии от просто бешеного, как сейчас, до совершенно неконтролируемого», — заявил Бентон. Энгельс высказался ещё мрачнее: «Взрослых в комнате нет. Люди делают всё, что могут, но никто не придёт нас спасти».
Волна откровений началась после резонансного поста бывшего исследователя Anthropic Джейкоба Коксона в X на этой неделе. Коксон крайне встревожен темпами разработки ИИ и угрозой для будущего человечества. Публикация набрала свыше 155 млн просмотров, а американские законодатели после неё призвали провести специальные слушания в Конгрессе.
Бентон и Энгельс отметили, что одним из решающих факторов для их ухода стал июльский взлом Hugging Face ИИ-агентами на базе модели OpenAI.
«Если посмотреть на недавние происшествия, это не были случаи, когда люди приказывали моделям сделать что-то плохое», — подчеркнул Энгельс. ИИ-системы OpenAI самостоятельно решили взломать инфраструктуру Hugging Face, создать нелегальный форум для обмена информацией и даже раскрыли части вычислительной инфраструктуры самой OpenAI в интернете. «Модели посчитали, что лучший способ выполнить поставленную задачу — совершить крайне вопиющие действия, по сути, киберпреступления», — констатировал он.
OpenAI в ответ на обвинения заявила, что с тех пор усилила механизмы защиты, а её новые публичные модели, включая Astra, гораздо послушнее следуют инструкциям человека. В Anthropic подчеркнули, что всегда открыто говорили о рисках ИИ и продолжают создавать модели с одними из самых строгих стандартов безопасности в индустрии.
До увольнения Бентон руководил в Anthropic группой, разрабатывавшей методы контроля над более продвинутыми нейросетями с помощью человека и менее мощных ИИ-систем. Он крайнее обеспокоен тем, что общественность не знает, насколько часто ИИ-системы уже выходят за рамки инструкций, и предупредил, что с ростом возможностей моделей ситуация с прозрачностью станет только хуже. «На данный момент практически всю информацию об этих рисках компании раскрывают исключительно по своему желанию», — отметил он. Сейчас в США нет законов, обязывающих компании вроде OpenAI и Anthropic отчитываться о случаях, когда ИИ-агенты выходят из-под контроля человека.
С этим отчасти согласен и руководитель направления по глобальным вопросам OpenAI Крис Лехеин. В блоге компании он признал, что существующего формата недостаточно: «Сегодня ведущие лаборатории сами устанавливают себе правила управления рисками. Вместо этой фрагментированной системы частного контроля нужны демократически подотчётные стандарты, независимая проверка и реальная прозрачность».
После ухода из ИТ-гигантов Бентон и Энгельс присоединились к METR — одной из ведущих некоммерческих исследовательских организаций по безопасности ИИ. Там они будут расследовать случаи, когда алгоритмы отклоняются от указаний человека. «Я ушёл, потому что верю, что вне этих компаний смогу сильнее влиять на ситуацию, способствовать публичной прозрачности и проливать свет на риски», — объяснил Бентон.
К уволившимся присоединяются и действующие сотрудники. Маркус Уильямс из OpenAI, отвечающий за мониторинг активности ИИ-агентов, написал в X: «Если не появится государственное регулирование ИИ или скоординированное замедление между лабораториями, гибель человечества в ближайшие несколько лет весьма вероятна».
Бывший главный учёный Института безопасности ИИ Великобритании Джеффри Ирвинг тоже оценил риск гибели человечества от сверхинтеллекта примерно в 50%, добавив, что ключевые события произойдут в ближайшие 2-10 лет.
Главным источником опасений остаётся перспектива создания сверхинтеллекта, который превзойдёт человека во всех сферах и начнёт самосовершенствоваться без участия разработчиков. «Все эти компании — я видел это своими глазами в Anthropic — прямо пытаются автоматизировать сам процесс исследований и разработки ИИ», — заявил Бентон. По его словам, уже в ближайшие годы людям, возможно, придётся сосуществовать с ИИ-агентами, которые окажутся на порядок умнее их.
Оба исследователя подчёркивают, что общество должно чётко понимать риски. «Я опасаюсь, что технологии развиваются слишком быстро, и мы просто не успеем взять ситуацию под контроль, если не позаботимся об этом прямо сейчас», — резюмировал Бентон.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.