Anthropic переписала правила безопасности ИИ из-за ультиматума Пентагона
Компания смягчила свои обязательства в сфере безопасности ИИ на фоне давления со стороны Министерства обороны США. Ведомство требует предоставить военным расширенный доступ к модели Claude.
Компания смягчила свои обязательства в сфере безопасности ИИ на фоне давления со стороны Министерства обороны США. Ведомство требует предоставить военным расширенный доступ к модели Claude.
Согласно сообщениям Axios, министр обороны США Пит Хегсет потребовал от гендиректора Anthropic Дарио Амодея до конца недели согласиться на условия министерства, иначе компанию ожидают санкции. В числе возможных мер: разрыв крупного контракта, признание Anthropic «риском для цепочки поставок», а также использование Defense Production Act, который позволяет правительству принудительно приоритизировать оборонные заказы. Источники утверждают, что военные добиваются фактически неограниченного доступа к Claude, включая его применение в задачах, связанных с национальной безопасностью.
Anthropic позиционирует себя как наиболее «ориентированную на безопасность» компанию среди разработчиков ИИ. До последнего времени ее политика предполагала жесткие ограничения: компания обязалась приостанавливать обучение новых моделей, если не может заранее гарантировать соблюдение определенных стандартов безопасности.
Теперь вместо жестких ограничений вводятся более гибкие механизмы — так называемые Risk Reports и Frontier Safety Roadmaps. Они предполагают регулярную отчетность о рисках и планах по их снижению, но не содержат прежних «красных линий», автоматически останавливающих обучение моделей. В компании объясняют изменения «проблемой коллективного действия»: если один разработчик замедлит развитие ради безопасности, а конкуренты продолжат ускоряться, это может привести к менее безопасному миру.
Главный научный сотрудник Anthropic Джаред Каплан заявил, что односторонние обязательства в условиях стремительного развития отрасли теряют смысл, если конкуренты «двигаются вперед без пауз». По его словам, полная остановка обучения моделей не принесла бы пользы ни пользователям, ни самой компании.
Однако критики видят в изменениях тревожный сигнал. Руководитель некоммерческой организации METR Крис Пейнтер отметил, что акцент на прозрачности выглядит позитивно, но отказ от жестких ограничений может привести к «эффекту варящейся лягушки» — постепенному размыванию стандартов под давлением внешних обстоятельств. По его мнению, это свидетельствует о том, что методы оценки и снижения рисков не успевают за ростом возможностей ИИ.
Ситуацию усугубляет тот факт, что Claude уже используется в наиболее чувствительных военных системах США. До недавнего времени это была единственная модель, допущенная к работе в засекреченных средах Пентагона. В июле прошлого года Минобороны заключило контракты с несколькими ИИ-компаниями на сумму до $200 миллионов, однако именно Claude применялся в критически важных операциях. По данным СМИ, модель использовалась, в том числе, при операции по задержанию президента Венесуэлы Николаса Мадуро.
При этом OpenAI и xAI, по сообщениям Washington Post, согласились на более широкие условия использования своих моделей «для всех законных целей». Это усиливает давление на Anthropic, которая ранее отказывалась допускать использование Claude для массового наблюдения за гражданами США или автономных систем вооружений без участия человека.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.