Глава Microsoft AI Мустафа Сулейман заявил, что Anthropic слишком сильно наделяет Claude человеческими чертами и тем самым может усложнить контроль над будущими ИИ-системами.
Глава Microsoft AI Мустафа Сулейман заявил, что Anthropic слишком сильно наделяет Claude человеческими чертами и тем самым может усложнить контроль над будущими ИИ-системами.
Поводом стала «конституция» Claude — набор принципов, по которым Anthropic обучает модель. В ней компания допускает, что у Claude может быть «некая функциональная версия эмоций или чувств», а также предлагает модели формировать собственные ценности, проявлять суждение и в некоторых случаях возражать против инструкций.
Сулейман считает такой подход ошибочным. «ИИ не обладают сознанием. Они не чувствуют, не переживают и не страдают», — написал он. По его словам, языковые модели — это системы, которые продолжают последовательности и выполняют заданные людьми цели, а не самостоятельные моральные субъекты.
В интервью BBC он предупредил, что компании рискуют «по сути посеять новый кремниевый вид», если начнут создавать системы, которые самостоятельно ставят цели, зарабатывают деньги и владеют активами. Такой ИИ, по его словам, со временем может конкурировать с людьми за ресурсы.
Особенно глава Microsoft AI критикует попытки обучать модели рассуждать о собственной идентичности, благополучии и моральном статусе. Он назвал это «эпистемическим залом зеркал»: модель получает от разработчиков язык сознания и личности, а затем ее собственные ответы начинают восприниматься как свидетельство того, что у нее действительно есть внутренний мир.
«Мы не должны лунатически прийти к решению, о котором потом будем горько сожалеть», — предупредил Сулейман. Он предлагает противоположный подход — «гуманистический ИИ», который может становиться очень мощным, но должен оставаться «подчиненным человечеству». На этой неделе Microsoft представила собственный проект кодекса для ИИ, центральный принцип которого звучит как «Люди важнее ИИ».
При этом Сулейман подчеркнул, что уважает Anthropic и ее главу Дарио Амодея и считает спор принципиальным вопросом безопасности, а не атакой на конкурента. Anthropic, со своей стороны, прямо признает неопределенность вокруг сознания ИИ. В «конституции» Claude компания пишет, что человеческие понятия могут быть полезны для обучения модели ценностям и поведению, но допускает, что сам подход в будущем может оказаться «глубоко ошибочным».
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.