Ещё одной востребованной вакансией в ИИ-индустрии может стать не очередная разновидность исследователя, а «внутренний оценщик» (embedded evaluator) — специалист, который будет независимо проверять перед релизом передовые ИИ-модели и следить за тем, следует ли компания собственным требованиям безопасности.
Ещё одной востребованной вакансией в ИИ-индустрии может стать не очередная разновидность исследователя, а «внутренний оценщик» (embedded evaluator) — специалист, который будет независимо проверять перед релизом передовые ИИ-модели и следить за тем, следует ли компания собственным требованиям безопасности.
CEO Anthropic Дарио Амодей предложил лабораториям, разрабатывающим передовые ИИ-модели, создавать такие должности внутри своих компаний в своём нашумевшем эссе с призывом замедлить ИИ-разработку. По его задумке, оценщики должны проверять, «действительно ли компания соблюдает заявленные ею правила обучения, развёртывания, эксплуатации и обеспечения безопасности».
У таких специалистов должен быть доступ к компании примерно на уровне обычных сотрудников, чтобы они могли проверять практики безопасности и сообщать об инцидентах. В Anthropic у них будут рабочие места в офисах, пропуска и корпоративные ноутбуки. Оценщики смогут публиковать результаты своих проверок без редакционного контроля со стороны Anthropic.
Компания сможет скрывать из обнародованных материалов часть информации — но только связанную с безопасностью, конфиденциальными данными третьих сторон, юридической или коммерческой тайной. «Мы не сможем редактировать результаты только потому, что они выставляют нас в невыгодном свете», — написал Амодей.
С необходимостью такой должности согласились даже лютые конкуренты Дарио, с которыми он публично расходился во взглядах. Сэм Альтман похвалил идею и репостнул его публикацию с обещанием, что OpenAI тоже заведёт таких экспертов. Илон Маск тоже поддержал предложение.
Идея заинтересовала и венчурных инвесторов. Бывший партнёр Andreessen Horowitz и экс-советник Дональда Трампа по ИИ Шрирам Кришнан выступил за распределённую сеть таких оценщиков. «Чем больше людей с разными компетенциями и чем больше независимых взглядов, тем лучше. Было бы неплохо профинансировать несколько таких инициатив», — написал он в X.
У Амодея уже есть на примете организация, которая могла бы заниматься подобной работой, — калифорнийская некоммерческая организация Metr, проводящая независимые проверки ИИ-моделей. Её основала в 2022 году бывшая сотрудница OpenAI Бет Барнс, и сейчас Metr притягивает специалистов из крупнейших ИИ-лабораторий. Туда уже перешли некоторые сотрудники Anthropic и Google DeepMind.
Свою кандидатуру на роль независимого оценщика предложила и исследовательская группа Стэнфорда. Старший научный сотрудник Stanford Institute for Human-Centered AI и основатель группы по обработке естественного языка Кристофер Мэннинг считает, что для такой работы лучше всего подходят именно университеты.
Специалисты по безопасности ИИ считают, что одних внутренних оценщиков недостаточно. Исполнительный директор AI Verification and Evaluation Research Institute и бывший старший советник OpenAI Майлз Брандейдж назвал их «важной частью комплексного подхода», но подчеркнул, что сами по себе они проблему не решат. По его мнению, отрасли нужны обязательные правила, которые не позволят оценщикам зависеть от компаний, в которых они работают. В идеале, считает Брандейдж, компании не должны выбирать людей, которые их проверяют, и платить им зарплату. При этом начинать создавать такие механизмы, по его словам, можно уже сейчас.
Профессор юридического факультета Техасского университета Кевин Фрейзер тоже считает, что оценщикам нужен внешний комитет по безопасности, не связанный с ИИ-лабораториями, куда они могли бы сообщать о потенциально незаконных действиях. Он предлагает нанимать специалистов на сменяющиеся 26-месячные сроки — примерно время между релизами двух новых классов моделей. Это позволило бы им оценивать, исправила ли лаборатория прежние ошибки в следующей версии, и одновременно не давало бы оценщикам слишком тесно влиться в коллектив и корпоративную культуру.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.