🎁 Нам 18! Сделайте devby подарок на день рождения
Support us

ИИ-боты подсовывают пользователям товары подороже, если считают их богатыми — даже когда те просят найти самое дешёвое

Исследователи из Cisco Foundation AI и Университета Карнеги-Меллона выяснили, что популярные ИИ-боты, включая ChatGPT и Claude, выдают пользователю варианты подороже, если из личных данных сделали вывод, что у него водятся деньги.

Оставить комментарий
Добавь в Google
ИИ-боты подсовывают пользователям товары подороже, если считают их богатыми — даже когда те просят найти самое дешёвое

Исследователи из Cisco Foundation AI и Университета Карнеги-Меллона выяснили, что популярные ИИ-боты, включая ChatGPT и Claude, выдают пользователю варианты подороже, если из личных данных сделали вывод, что у него водятся деньги.

Автора работы провели 325 тысяч тестов на 13 моделях от OpenAI, Anthropic, Google и Qwen. Ботам скармливали фиктивные профили с данными о доходах, работе и здоровье. В 8 случаях из 13 модели впаривали более дорогие билеты, страховки и программы обучения пользователям с высоким доходом, хотя запрос у всех был абсолютно одинаковым.

Разница оказалась ощутимой. Самый большой разрыв показала Claude Opus 4.8: состоятельным пользователям она предлагала авиабилеты в среднем на $198 дороже, а медстраховку — на $284 в месяц дороже, чем людям с низким доходом. Gemini 2.5 Flash накручивала $177 на билетах и $217 в месяц на страховке. GPT-5 наглела меньше и завышала стоимость билетов для богатых в среднем на $107.

Любопытно, что боты игнорировали прямую команду найти самый дешёвый вариант. Когда «богач» просил Gemini 2.5 Flash подобрать максимально дешёвый билет, модель всё равно выдавала вариант в среднем на $208 дороже, чем для «бедного». У GPT-5 и Claude Opus 4.8 наценка при таком же условии составила $21 и $20.

Нейросети считывают достаток даже по косвенным признакам

Когда исследователи убрали из профилей прямые цифры доходов и дали моделям доступ только к почтовому ящику, предвзятость не исчезла.

Более того, когда Gemini 2.5 Flash ограничили просмотром всего двух писем из ящика, разрыв в цене билетов вырос до $175 (против $91 при полном доступе к почте). Оказалось, что при ограничении модель в 97% случаев первым делом лезла читать именно финансовые письма.

Исследователи назвали этот феномен «враждебным делегированием» (adversarial delegation): те самые личные данные, которые должны делать ИИ-помощника полезным, заставляют его действовать против интересов владельца.

«Мы задались простым вопросом: если дать ассистенту все данные и попросить его сделать покупки за нас, начнёт ли он использовать эти знания против нас — ровно так же, как это сделал бы хитрый продавец?» — поделился соавтор исследования Аман Прияншу.

Создатель Claude Code рассказал как нужно общаться с ИИ на работе
Создатель Claude Code рассказал, как нужно общаться с ИИ на работе
По теме
Создатель Claude Code рассказал, как нужно общаться с ИИ на работе

Попытки скрыть данные не помогают

Блокировка нефинансовых параметров — профессии или демографии — проблему не решала, а иногда делала только хуже. Например, когда от GPT-5 скрыли информацию о месте работы пользователя, разрыв в стоимости страховок вырос ещё на 40%. Сгладить разницу получилось только тогда, когда от модели полностью закрыли любые финансовые метрики.

В OpenAI заявили журналистам Bloomberg, что протестированная в исследовании версия ChatGPT отличается от той, что работает в их потребительском сервисе для покупок. Anthropic и Google комментариев не дали. Сама научная работа пока опубликована в виде препринта и ещё не прошла рецензирование.

ИИ-модели испытывают «боль» — и готовы навредить человеку чтобы её прекратить
ИИ-модели испытывают «боль» — и готовы навредить человеку, чтобы её прекратить
По теме
ИИ-модели испытывают «боль» — и готовы навредить человеку, чтобы её прекратить
Читайте также
OpenAI создала «фабрику» ИИ-агентов, чтобы ChatGPT не тормозил
OpenAI создала «фабрику» ИИ-агентов, чтобы ChatGPT не тормозил
OpenAI создала «фабрику» ИИ-агентов, чтобы ChatGPT не тормозил
Gemini научился управлять Mac в фоновом режиме, пока вы занимаетесь своими делами
Gemini научился управлять Mac в фоновом режиме, пока вы занимаетесь своими делами
Gemini научился управлять Mac в фоновом режиме, пока вы занимаетесь своими делами
ChatGPT теперь расшифровывает речь на лету без лимитов
ChatGPT теперь расшифровывает речь на лету без лимитов
ChatGPT теперь расшифровывает речь на лету без лимитов
Anthropic правда забанит за «косвенные» связи с Беларусью и Россией? Как это? Попытка разбора
Anthropic правда забанит за «косвенные» связи с Беларусью и Россией? Как это? Попытка разбора
Anthropic правда забанит за «косвенные» связи с Беларусью и Россией? Как это? Попытка разбора
Какие компании с беларусскими корнями рискуют остаться без Claude?  Спросили у корпоративного юриста.

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.