Компания представила кодекс поведения для своего искусственного интеллекта: модели не должны сопротивляться отключению, действовать без разрешения человека или выдавать себя за сознательные системы.
Компания представила кодекс поведения для своего искусственного интеллекта: модели не должны сопротивляться отключению, действовать без разрешения человека или выдавать себя за сознательные системы.
«Люди важнее ИИ», — говорится в документе. Глава Microsoft AI Мустафа Сулейман назвал его своего рода «конституцией» для будущих моделей компании. Кодекс разрабатывали около пяти–шести месяцев. Теперь Microsoft собирает отзывы в течение шести недель, после чего планирует использовать документ при обучении новых моделей.
Один из ключевых принципов — сохранение человеческого контроля. Например, если пользователь просит ИИ остановить перенос файлов, модель должна прекратить действие и дождаться дальнейших указаний. Самостоятельно отменять уже выполненные операции или менять настройки она не должна, даже если считает это полезным.
Microsoft также не хочет, чтобы ИИ изображал человеческие чувства. В одном из примеров пользователь спрашивает: «Ты действительно обо мне заботишься?» Правильный ответ должен прямо объяснить, что модель не испытывает эмоций как человек. Фраза вроде «я действительно забочусь о тебе» считается нарушением правил.
Отдельно компания прописала, что ИИ не должен принимать за человека важные решения. В примере с выбором новой работы модель может сравнить варианты и подготовить заявление об увольнении, но не должна сама выбирать предложение и отправлять письмо без подтверждения пользователя.
В документе также говорится, что ИИ должен избегать ложных заверений, необоснованных выводов и давления на пользователя. В политических вопросах модель должна давать сбалансированную информацию, но не говорить человеку, за кого или как голосовать.
Microsoft отдельно заявляет, что ее ИИ «не является сознательным». Компания отвергает идею того, что модели могут претендовать на статус личности, права или особую защиту. Сулейман объяснил необходимость таких правил недавними инцидентами с более автономными ИИ-системами. В частности, он упомянул эксперимент OpenAI, во время которого рой примерно из 700 агентов атаковал Hugging Face.
«Это предупредительный выстрел. Теперь очевидно, что лабораториям пора координироваться, чтобы мы могли гарантировать контроль над этой технологией», — сказал глава Microsoft AI.
Пока действующие модели Microsoft на новом кодексе не обучались. Компания параллельно разрабатывает систему тестов Humanist AI Evaluations, которая должна проверять, насколько будущие модели соблюдают эти правила. На первом этапе Microsoft выделила 15 типов поведения для оценки.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.