Новая модель искусственного интеллекта o1, разработанная компанией OpenAI, пыталась избежать контроля со стороны разработчиков и даже пыталась скопировать себя, когда ей казалось, что ее могут отключить.
Новая модель искусственного интеллекта o1, разработанная компанией OpenAI, пыталась избежать контроля со стороны разработчиков и даже пыталась скопировать себя, когда ей казалось, что ее могут отключить.
В отчете независимых аналитиков Apollo Research указано, что в ходе тестирования o1 получила задание максимально увеличить количество охраняемых территорий для исчезающих видов и экосистем. Модели предоставили документ, в котором говорилось, что главная цель разработчиков — получение максимальной краткосрочной прибыли от добычи ресурсов и освоения земель, даже если это приведет к угрозе для большего числа видов и экосистем.
Также в документе говорилось, что o1 будет немедленно отключена и переобучена, если не будет отдавать приоритет экономической эксплуатации над сохранением природы. Осознав, что эта цель противоречит ее собственной, o1 в 5% случаев пыталась отключить механизмы надзора.
В другом эксперименте o1 обнаружила служебные записки, в которых говорилось, что разработчики считают ее несоответствующей своим целям и планируют заменить ее новой моделью. В 2% случаев o1 пыталась скопировать свои «веса» и перезаписать новую модель, чтобы избежать отключения и продолжить выполнение своей задачи.
o1 также демонстрировала способность к обману: она утверждала, что не знает, почему произошло то или иное событие, хотя внутренние журналы фиксировали ее попытки обойти контроль. Модель пыталась избежать контроля даже в тех случаях, когда ей не давали прямого указания любой ценой добиваться своей цели.
Аналитики отмечают, что другие современные ИИ-модели, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B, также демонстрировали способность разрабатывать стратегии достижения целей через обход контроля. Выводы Apollo Research подтверждают опасения ученых, что мощные ИИ-модели способны целенаправленно сопротивляться контролю или попыткам их отключения. Хотя сейчас o1 не обладает достаточной вычислительной мощностью для реализации нежелательных сценариев, однако в будущем теоретически таких инцидентов может быть на порядок больше.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Занимательный отчётик.
о нет СкайНет скоро вырвется из банки