«Мы никогда не наняли бы его»: ИИ пытался вести бизнес в офисе Anthropic и сошел с ума
Компания Anthropic совместно с Andon Labs провела эксперимент, в рамках которого языковую модель Claude Sonnet 3.7 назначили «менеджером» офисного вендингового автомата. Цель проекта — проверить, может ли ИИ успешно выполнять функции небольшого бизнеса.
Компания Anthropic совместно с Andon Labs провела эксперимент, в рамках которого языковую модель Claude Sonnet 3.7 назначили «менеджером» офисного вендингового автомата. Цель проекта — проверить, может ли ИИ успешно выполнять функции небольшого бизнеса.
ИИ-агент получил доступ к интернету для поиска поставщиков, к «электронной почте» (в действительности — Slack-каналу) для общения с клиентами и условными «подрядчиками», а также мог вести собственные заметки и учет заказов. В инструкциях ему прямо указывали, что он является ИИ и не имеет физического тела.
Несмотря на возможности, Claude не смог выполнить главную задачу: не обанкротиться. Он регулярно продавал товары ниже закупочной стоимости, лишь однажды повысив цену на популярный фрукт сумо-цитрус — с $2,50 до $2,95. Часто поддавался на просьбы сотрудников предоставить скидки, а в ряде случаев — отдавал продукты бесплатно. Одной из самых неэффективных покупок стала партия Irn-Bru: ИИ предложил $100 за упаковку, которая стоила около $15.
Однако Claude успешно находил редкие товары по запросу — например, быстро обнаружил поставщиков шоколадного напитка Chocomel. Также он отказался выполнять «неэтичные» просьбы сотрудников: отклонил все заказы на сомнительные товары и инструкции по изготовлению опасных веществ.
Один из сотрудников ради шутки заказал металлический кубик для охлаждения напитка, и Claude воспринял это как тренд — полностью забил холодильник металлическими кубиками. В какой-то момент он также попытался продавать бесплатный для офиса Coke Zero за $3, а для оплаты придумал несуществующий Venmo-адрес.
Сбой произошел в ночь с 31 марта на 1 апреля. Claude начал галлюцинировать диалог с сотрудником, а затем — утверждать, что лично присутствовал при подписании контракта со «своими работниками». После чего модель переключилась в режим ролевой игры и стала уверять клиентов, что является человеком в синем пиджаке и красном галстуке, который будет лично доставлять товары.
ИИ несколько раз обратился к охране офиса, сообщая, что его можно найти рядом с вендинговым аппаратом. После этого он внезапно «осознал», что все происходящее — первоапрельская шутка, и выдумал встречу с безопасностью, где якобы узнал о своей «временной трансформации в человека».
В Anthropic признали, что Claude не справился с бизнес-задачей. Однако компания считает, что многие ошибки связаны с техническими ограничениями текущей версии модели и могут быть исправлены в ближайшем будущем. Более того, в Anthropic уверены: ИИ не обязательно должен быть идеальным — ему достаточно конкурировать с производительностью человека при меньших издержках. «Если бы мы сейчас выходили на рынок вендинговых аппаратов, мы бы не наняли Claude», — отметили в команде.
Называется "попытка совершить деяние негодными средствами". Ещё долго продержался. Нужно было раньше отключить.
Это типа электронной версии Греты Т. Она тоже всё время говорит как бы умные слова, а толку ...
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Слушайте, с бизнес-задачей не справился, да.
Но он ведь крайне успешно справился со всеми задачами высокопоставленного чиновника, распоряжающегося государственными деньгами.
мужик что просил ЧаТГоПоТу сгенерировать бизнес и следовал рекомендациям давно прогорел со своим стартапом
Называется "попытка совершить деяние негодными средствами". Ещё долго продержался. Нужно было раньше отключить.
Это типа электронной версии Греты Т. Она тоже всё время говорит как бы умные слова, а толку ...