Anthropic спровоцировала скандал в ИТ-индустрии. Как выяснилось из официальной технической документации к вышедшим моделям Mythos 5 и Fable 5, разработчики намеренно урезали возможности нейросетей, сделав их менее полезными, если пользователь занимается исследованиями в области ИИ.
Anthropic спровоцировала скандал в ИТ-индустрии. Как выяснилось из официальной технической документации к вышедшим моделям Mythos 5 и Fable 5, разработчики намеренно урезали возможности нейросетей, сделав их менее полезными, если пользователь занимается исследованиями в области ИИ.
Компания говорит, что пошла на этот шаг из-за опасений, что передовые ИИ-системы могут ускорить создание конкурирующих моделей, которые не будут обладать должным уровнем безопасности. При этом она пошла на беспрецедентный шаг: в отличие от стандартных блокировок -например, при запросах о кибератаках или химоружии, — эти ограничения намеренно сделаны невидимыми для пользователя. Модель не выдаёт отказ и не переключается на более слабую версию — Mythos тайно модифицирует ответы, незаметно изменяя промпты пользователя.
Такое решение вызвало шквал критики со стороны ИИ-сообщества и экспертов, возмущённых тем, что модель скрытно искажает информацию.
«Новейшая модель Anthropic НЕ поможет вам, если посчитает ваши исследования или разработки в области машинного обучения интересными, и/или тайно снизит свой IQ так, что обычный инженер этого даже не заметит. Мы уже видим, как фильтры новой модели отсекают наши исследования в области инференса на GPU и кодинг», — отметили в компании SemiAnalysis.
«Mythos будет НАМЕРЕННО плох в задачах, связанных с передовыми исследованиями больших языковых моделей. Это очень, очень печально для исследовательского сообщества. И тот факт, что это умышленно скрывается от пользователя, просто безумие», — написали ИИ-специалисты стартапа Prime Intellect.
«Она не просто не поможет вам, она будет лгать и целенаправленно выдавать плохую информацию. Компания, заявляющая об „этичном ИИ“, создала самую вопиюще неэтичную большую языковую модель, причём сделала это специально», — отметил ещё один разработчик.
Сооснователь ИИ-стартапа Reka Микель Артетче провёл такую аналогию: «Это как если бы Apple случайным образом перезагружала ваш Mac, если вы создаёте конкурирующую технологию, Gmail молча редактировал ваши письма при упоминании платформ-соперников, а автопилот Tesla вилял в сторону, если обнаруживал, что вы работаете над беспилотными автомобилями».
Инцидент пролил свет на давнюю дискуссию о том, почему Anthropic затягивала релиз Mythos после анонса. В индустрии обсуждались три версии. Официальная заключалась в том, что модель слишком опасна, и исследователям кибербезопасности нужно было время на подготовку. Второй был дефицит мощностей: якобы Mythos огромна и дорога в обслуживании, и у компании не хватало вычислительных ресурсов до заключения новых крупных сделок. Наконец, предполагалось, что ИИ-компании боятся дистилляции моделей, когда конкуренты, особенно разработчики опенсорсных решений и китайские лаборатории, используют ответы передовой нейросети для обучения собственных систем.
После того как Anthropic официально встроила ограничения для ИИ-исследователей в коммерческий релиз Mythos, третья теория о защите от конкурентов стала выглядеть наиболее правдоподобно.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.