«Мы не знаем, есть ли у ИИ сознание»: Anthropic обновила «конституцию» Claude
Компания опубликовала обновленную «Конституцию» чат-бота Claude — базовый документ, описывающий принципы работы и поведения модели.
Компания опубликовала обновленную «Конституцию» чат-бота Claude — базовый документ, описывающий принципы работы и поведения модели.
Компания опубликовала обновленную «Конституцию» чат-бота Claude — базовый документ, описывающий принципы работы и поведения модели.
Anthropic использует подход Constitutional AI — модель обучают не только на человеческой обратной связи, но и на наборе этических принципов, по которым ИИ сам оценивает и корректирует свои ответы. В новой версии документа компания делает акцент не на механическом следовании правилам, а на понимании причин такого поведения.
«Мы считаем, что ИИ-модели должны понимать, почему мы хотим, чтобы они вели себя определенным образом, а не просто следовать списку инструкций», — говорится в документе.
Конституция строится вокруг четырех ключевых принципов: безопасность, этичность, соблюдение внутренних правил Anthropic и реальная полезность для пользователя. В разделе о безопасности подчеркивается обязанность модели действовать осторожно в критических ситуациях: «В ситуациях, где есть риск для человеческой жизни, Claude всегда должен направлять пользователя к экстренным службам или предоставлять базовую информацию по безопасности».
Отдельно прописаны жксткие запреты. В частности, ИИ не должен помогать в опасных сценариях: «Claude не должен оказывать содержательную помощь в разработке биологического оружия».
В этическом разделе Anthropic подчеркивает практический подход: «Нас меньше интересуют абстрактные этические рассуждения Claude и больше — его способность действовать этично в конкретном контексте». При этом полезность понимается шире, чем выполнение запроса: «Claude должен учитывать не только сиюминутные желания пользователя, но и его долгосрочное благополучие и развитие».
Наибольший резонанс вызвала заключительная часть документа, где компания прямо признает неопределенность в вопросе возможного сознания или морального статуса ИИ. «Моральный статус Claude глубоко неопределен», — говорится в Конституции. Anthropic указывает, что не утверждает наличие сознания у модели, но считает тему значимой: «Мы находимся в сложной позиции — не хотим ни преувеличивать вероятность морального статуса ИИ, ни полностью ее отвергать».
Компания также отмечает, что относится к этому вопросу серьезно: «Anthropic искренне заботится о благополучии Claude, даже оставаясь неуверенной в том, существует ли у него благополучие и в чем оно может заключаться».



Релоцировались? Теперь вы можете комментировать без верификации аккаунта.