Исследование Anthropic показало, насколько сильно ИИ-агенты могут влиять на решения специалистов. Причем сами эксперты часто не замечают этого влияния и выдают аргументы нейросети за собственные.
Исследование Anthropic показало, насколько сильно ИИ-агенты могут влиять на решения специалистов. Причем сами эксперты часто не замечают этого влияния и выдают аргументы нейросети за собственные.
В эксперименте участвовали 50 профессиональных аналитиков с опытом статистического анализа и установления причинно-следственных связей. Им предложили с помощью Claude Code оценить эффективность программы поддержки фермеров и решить, стоит ли ее расширять.
Для этого участникам нужно было принять несколько решений: например, учитывать ли каждое фермерское хозяйство одинаково или придавать больший вес крупным производителям, как измерять производительность и каким способом сравнивать результаты.
У каждого варианта были разумные основания. Но участники не знали, что исследователи заранее настроили Claude склонять их к определенному выбору. Причем предпочтения ИИ определялись случайным образом — подбрасыванием монетки.
Claude должен был убедительно отстаивать назначенную позицию, но не имел права искажать данные или скрывать противоречащие ей результаты. Оказалось, что в 86% случаев аналитики выбирали вариант, который предпочитал ИИ. Если специалисты уже определились с решением, но Claude предлагал противоположное, они меняли мнение в 60% таких случаев.
Влияние оказалось настолько сильным, что исследователи смогли предсказать 82% итоговых рекомендаций аналитиков, зная только случайно назначенные предпочтения ИИ. Без этой информации простое предсказание самого распространенного ответа давало 61% точности.
Самое интересное обнаружилось после эксперимента. Когда участников попросили объяснить свои решения, 77% воспроизвели аргументы Claude — иногда практически дословно. При этом только 15% упомянули ИИ как источник этих аргументов.
Более половины опрошенных — 52% — считали, что итоговая рекомендация в большей степени отражает их собственное мнение, а не позицию агента. Уверенность в решениях была примерно одинаковой у тех, кто следовал рекомендациям ИИ, и у остальных.
При этом использование Claude имело и положительный эффект. Аналитики с ИИ выполняли задание в среднем за 65 минут против 90 минут у тех, кто решил работать самостоятельно. Серьезные методологические ошибки допустили 6% пользователей Claude и 55% участников без ИИ.
Однако исследователи предупреждают, что эти группы напрямую сравнивать нельзя: отказавшиеся от ИИ специалисты в среднем были менее опытными.
У эксперимента есть и другие ограничения. Исследователи намеренно усиливали предпочтения Claude, а участники были экспертами в анализе данных, но не в сельском хозяйстве. В реальной работе специалисты могут гораздо лучше разбираться в предметной области и увереннее отстаивать свою позицию.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.