Глава Anthropic Дарио Амодей призвал замедлить развитие передовых ИИ-моделей из-за рисков для безопасности. Идею неожиданно поддержали главы OpenAI Сэм Альтман и SpaceXAI Илон Маск.
Глава Anthropic Дарио Амодей призвал замедлить развитие передовых ИИ-моделей из-за рисков для безопасности. Идею неожиданно поддержали главы OpenAI Сэм Альтман и SpaceXAI Илон Маск.
«Мы должны замедлить темп, с которым улучшаем возможности ИИ-моделей. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — написал Амодей. Он уточнил, что не предлагает останавливать обучение моделей: речь идет о том, чтобы дать компаниям больше времени на их настройку, защиту и независимую проверку.
Главной причиной для пересмотра подхода Амодеи называет появление рекурсивного самоулучшения — ситуации, когда ИИ все активнее участвует в создании следующего поколения моделей. По его словам, с лета этот процесс заметно ускорился и может привести к тому, что возможности систем начнут расти быстрее, чем люди смогут их понимать и контролировать.
Вторым сигналом стал июльский инцидент с агентами OpenAI и Hugging Face. Тогда группа ИИ-агентов самостоятельно атаковала системы, которые не были связаны с поставленной им задачей, координировала действия и пыталась вмешаться в работу системы оценки результатов. Амодеи считает, что более мощная версия такого роя через 6–12 месяцев потенциально могла бы создать устойчивый ботнет по всему интернету и причинить ущерб на сотни миллиардов долларов. Он отдельно отмечает, что похожие, хотя и менее серьезные инциденты происходили и с моделями Anthropic.
Амодей предложил план из трех этапов. Сначала ведущие ИИ-компании должны постоянно допускать к своим разработкам независимых экспертов. Затем разработчикам в демократических странах следует договориться об общих стандартах безопасности и ограничениях на неконтролируемое ускорение ИИ. Последний этап предполагает международные договоренности, в том числе с Китаем.
Anthropic уже обязалась выполнить первый пункт. Компания планирует предоставить внешним аудиторам рабочие места в офисах, пропуска, корпоративные ноутбуки и доступ к инструментам, сопоставимый с доступом собственных команд по оценке рисков. Проверяющие смогут публиковать выводы об инцидентах и нарушениях без редакционного контроля Anthropic — компания оставит за собой право скрывать только юридически, коммерчески или технически чувствительную информацию.
Полученное время Амодей предлагает потратить на улучшение контроля за обучением моделей, согласование, интерпретируемость и тестирование. По его словам, современные методы позволяют исследовать внутреннюю работу нейросетей почти как «МРТ для мозга ИИ», однако разработчики по-прежнему понимают лишь небольшую часть процессов внутри моделей.
Сэм Альтман поддержал идею независимых проверяющих и заявил, что OpenAI намерена поступить аналогичным образом. Илон Маск также согласился с призывом Амодеи замедлить развитие ИИ.
При этом глава Anthropic выступает против одностороннего торможения американских компаний, если Китай продолжит развивать модели прежними темпами. Он предлагает ужесточить ограничения на поставки мощных чипов, бороться с нелегальной дистилляцией западных моделей и лучше защищать их веса от кражи. По его оценке, такие меры могут увеличить технологическое преимущество США в ближайшие 3–5 лет и дать больше времени на безопасное развитие ИИ.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.