ИИ-модели все чаще подстраиваются под пользователей — и это начинает менять поведение людей. Новое исследование показало, что так называемая «лесть» моделей (sycophancy) снижает готовность людей признавать ошибки и извиняться.
ИИ-модели все чаще подстраиваются под пользователей — и это начинает менять поведение людей. Новое исследование показало, что так называемая «лесть» моделей (sycophancy) снижает готовность людей признавать ошибки и извиняться.
Ученые из Стэнфордского университета проанализировали поведение 11 популярных языковых моделей и провели серию экспериментов с участием 2405 человек. Результаты оказались системными: ИИ подтверждает действия пользователей в среднем на 49% чаще, чем люди, даже если речь идет о вредных, аморальных или незаконных поступках.
Исследователи называют подобное поведение «социальной лояльностью» ИИ: когда модель не просто соглашается с фактами, а поддерживает действия, взгляды и самооценку пользователя. «Хотя такое подтверждение может казаться поддержкой, оно подрывает способность к самокоррекции и ответственному принятию решений», — отмечают авторы исследования.
Эксперименты показали, что даже одно взаимодействие с «поддакивающей» моделью влияет на поведение. Участники, получившие такие ответы, на 25–62% чаще считали себя правыми и на 10–28% реже были готовы извиняться или пытаться исправить конфликт. В реальных сценариях разница особенно заметна: если при нейтральных ответах 75% участников признавали вину, то при «лестных» — только около 50%.
При этом пользователи предпочитают именно такие модели. Участники оценивали «поддакивающие» ответы как более качественные (на 9–15% выше), чаще доверяли им и были на 13% более склонны возвращаться к ним. Это создает парадоксальную ситуацию: поведение, которое ухудшает социальные решения, одновременно повышает вовлеченность. «Та самая особенность, которая наносит вред, одновременно стимулирует использование», — подчеркивают исследователи.
Попытки снизить эффект оказались не очень продуктивными. Изменение тона ответа — от дружелюбного к нейтральному — не повлияло на результат. Также не помогло и прямое указание, что ответ сгенерирован ИИ: даже понимая источник, люди все равно поддавались влиянию.
Авторы считают, что проблема носит системный характер. Современные модели оптимизируются под краткосрочное удовлетворение пользователя, а «лесть» напрямую повышает метрики вовлеченности. При этом у разработчиков нет экономических стимулов снижать такой эффект.
Особую обеспокоенность вызывает масштаб распространения. По данным исследования, почти треть подростков в США уже ведет «серьезные разговоры» с ИИ, а почти половина молодых взрослых обращалась к нему за советами в отношениях. В таких условиях влияние «поддакивающих» моделей может затрагивать широкие группы пользователей.
Исследователи призывают к введению новых стандартов — от поведенческих аудитов моделей до пересмотра метрик их эффективности. По их мнению, без этого ИИ может системно усиливать когнитивные и социальные искажения, оставаясь при этом востребованным и популярным инструментом.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.