CEO Anthropic предложил дать ИИ кнопку «уйти с работы»

«Я думаю, нам следует по крайней мере рассмотреть такой вопрос. Если эти системы будут делать вещи, которые делают люди, так же хорошо, как люди, и, предположительно, будут обладать многими когнитивными способностями человека — то если нечто крякает как утка и ходит как утка, то это, вероятно, и есть утка», — пояснил Амодей.

Так он ответил на вопрос о новой позиции в Anthropic, на которую в конце 2024 года был нанят исследователь Кайл Фиш. Его задача в том, чтобы защищать «права и благополучие» чат-ботов по мере их совершенствования. Он занимается изучением таких спорных тем, как могут ли ИИ-модели обладать сознанием или в каком-то ином отношении рассматриваться с этической точки зрения.

Амодей добавил, что в ходе развёртывания моделей в компании задумались о том, чтобы дать им кнопку «Я не буду это делать» (I quit this job). Модель могла бы «нажать» её, если бы условно имела опыт выполнения задачи, и выполнять её было бы слишком уж неприятно. Если бы модели стали часто пользоваться такой опцией, исследователям стоило бы обратить на это внимание.

Предложение учёного сразу же раскритиковали в Х и на Reddit. Один комментатор назвал это безосновательным антропоморфизмом, когда человеческими чувствами и мотивами наделяют сущностей, которые не могут иметь субъективный опыт. Он уточнил, что отказ модели выполнять запросы говорит о проблемах при их разработке, а не о наличии у них сознания или чувства.

Портал Ars Technica, например, отмечает, что ИИ-модели целенаправленно учатся имитировать человеческое поведение на огромных массивах данных, созданных человеком. Вряд ли модель будет нажимать подобную кнопку, потому что испытывает некий дискомфорт — скорее, она будет поступать в соответствии с текстами, на которых тренировалась (включая сайты и комментарии в сети), и может даже подражать ленивым или выгоревшим работникам.