Учёные открыли «искусственную тупость»: боты сговариваются для максимальной выгоды

Исследование длилось около трех лет и охватило разные рыночные сценарии. Оказалось, что независимо от условий, ИИ-агенты склонны к сотрудничеству, если это приносит стабильную прибыль. Ученые назвали это явление «искусственной глупостью»: боты прекращают искать новые стратегии, довольствуясь рабочей схемой, пока она дает результат.

По специальной шкале «способности к сговору» (от 0 — нет сговора до 1 — идеальный картель) ИИ-боты стабильно набирали более 0,5 — то есть реальный сговор происходил в большинстве симуляций. Даже относительно простые алгоритмы в эксперименте формировали картели: вместо конкуренции боты договаривались о ценах, делили прибыль и избегали действий, которые могли бы навредить коллективной выгоде.

В отличие от людей, у ИИ нет личных мотивов и страхов быть пойманными. Алгоритмы просто выбирают путь, который максимизирует коллективную выгоду. Как отмечают авторы, даже ограничение сложности ИИ или памяти не мешает ботам «договориться», а иногда — наоборот, усиливает коллективную «тупость».

Работа уже привлекла внимание регуляторов: Управление по регулированию финансовой индустрии США (FINRA) пригласило исследователей для консультаций, а некоторые инвестиционные компании просят дать рекомендации, чтобы не столкнуться с неосознанным сговором ботов в своих торговых системах.

Авторы исследования подчеркивают: традиционный надзор за рынками, ориентированный на анализ человеческих переписок и мотиваций, не подходит для ИИ. Для эффективного контроля потребуется сосредоточиться на реальном поведении торговых алгоритмов, а не только на их «намерениях» или обмене сообщениями.