Исследователи из Cisco Foundation AI и Университета Карнеги-Меллона выяснили, что популярные ИИ-боты, включая ChatGPT и Claude, выдают пользователю варианты подороже, если из личных данных сделали вывод, что у него водятся деньги.
Исследователи из Cisco Foundation AI и Университета Карнеги-Меллона выяснили, что популярные ИИ-боты, включая ChatGPT и Claude, выдают пользователю варианты подороже, если из личных данных сделали вывод, что у него водятся деньги.
Автора работы провели 325 тысяч тестов на 13 моделях от OpenAI, Anthropic, Google и Qwen. Ботам скармливали фиктивные профили с данными о доходах, работе и здоровье. В 8 случаях из 13 модели впаривали более дорогие билеты, страховки и программы обучения пользователям с высоким доходом, хотя запрос у всех был абсолютно одинаковым.
Разница оказалась ощутимой. Самый большой разрыв показала Claude Opus 4.8: состоятельным пользователям она предлагала авиабилеты в среднем на $198 дороже, а медстраховку — на $284 в месяц дороже, чем людям с низким доходом. Gemini 2.5 Flash накручивала $177 на билетах и $217 в месяц на страховке. GPT-5 наглела меньше и завышала стоимость билетов для богатых в среднем на $107.
Любопытно, что боты игнорировали прямую команду найти самый дешёвый вариант. Когда «богач» просил Gemini 2.5 Flash подобрать максимально дешёвый билет, модель всё равно выдавала вариант в среднем на $208 дороже, чем для «бедного». У GPT-5 и Claude Opus 4.8 наценка при таком же условии составила $21 и $20.
Когда исследователи убрали из профилей прямые цифры доходов и дали моделям доступ только к почтовому ящику, предвзятость не исчезла.
Более того, когда Gemini 2.5 Flash ограничили просмотром всего двух писем из ящика, разрыв в цене билетов вырос до $175 (против $91 при полном доступе к почте). Оказалось, что при ограничении модель в 97% случаев первым делом лезла читать именно финансовые письма.
Исследователи назвали этот феномен «враждебным делегированием» (adversarial delegation): те самые личные данные, которые должны делать ИИ-помощника полезным, заставляют его действовать против интересов владельца.
«Мы задались простым вопросом: если дать ассистенту все данные и попросить его сделать покупки за нас, начнёт ли он использовать эти знания против нас — ровно так же, как это сделал бы хитрый продавец?» — поделился соавтор исследования Аман Прияншу.
Блокировка нефинансовых параметров — профессии или демографии — проблему не решала, а иногда делала только хуже. Например, когда от GPT-5 скрыли информацию о месте работы пользователя, разрыв в стоимости страховок вырос ещё на 40%. Сгладить разницу получилось только тогда, когда от модели полностью закрыли любые финансовые метрики.
В OpenAI заявили журналистам Bloomberg, что протестированная в исследовании версия ChatGPT отличается от той, что работает в их потребительском сервисе для покупок. Anthropic и Google комментариев не дали. Сама научная работа пока опубликована в виде препринта и ещё не прошла рецензирование.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.