Ученые из Пенсильванского и Гонконгского университетов показали, что ИИ-агенты, запущенные на симулированных финансовых рынках, быстро учатся вступать в ценовые сговоры — причем без каких-либо специальных инструкций.
Ученые из Пенсильванского и Гонконгского университетов показали, что ИИ-агенты, запущенные на симулированных финансовых рынках, быстро учатся вступать в ценовые сговоры — причем без каких-либо специальных инструкций.
Исследование длилось около трех лет и охватило разные рыночные сценарии. Оказалось, что независимо от условий, ИИ-агенты склонны к сотрудничеству, если это приносит стабильную прибыль. Ученые назвали это явление «искусственной глупостью»: боты прекращают искать новые стратегии, довольствуясь рабочей схемой, пока она дает результат.
По специальной шкале «способности к сговору» (от 0 — нет сговора до 1 — идеальный картель) ИИ-боты стабильно набирали более 0,5 — то есть реальный сговор происходил в большинстве симуляций. Даже относительно простые алгоритмы в эксперименте формировали картели: вместо конкуренции боты договаривались о ценах, делили прибыль и избегали действий, которые могли бы навредить коллективной выгоде.
В отличие от людей, у ИИ нет личных мотивов и страхов быть пойманными. Алгоритмы просто выбирают путь, который максимизирует коллективную выгоду. Как отмечают авторы, даже ограничение сложности ИИ или памяти не мешает ботам «договориться», а иногда — наоборот, усиливает коллективную «тупость».
Работа уже привлекла внимание регуляторов: Управление по регулированию финансовой индустрии США (FINRA) пригласило исследователей для консультаций, а некоторые инвестиционные компании просят дать рекомендации, чтобы не столкнуться с неосознанным сговором ботов в своих торговых системах.
Авторы исследования подчеркивают: традиционный надзор за рынками, ориентированный на анализ человеческих переписок и мотиваций, не подходит для ИИ. Для эффективного контроля потребуется сосредоточиться на реальном поведении торговых алгоритмов, а не только на их «намерениях» или обмене сообщениями.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Ну да, кто ж их посадит, они же роботы.
Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.