Учёные открыли «искусственную тупость»: боты сговариваются для максимальной выгоды
Ученые из Пенсильванского и Гонконгского университетов показали, что ИИ-агенты, запущенные на симулированных финансовых рынках, быстро учатся вступать в ценовые сговоры — причем без каких-либо специальных инструкций.
Ученые из Пенсильванского и Гонконгского университетов показали, что ИИ-агенты, запущенные на симулированных финансовых рынках, быстро учатся вступать в ценовые сговоры — причем без каких-либо специальных инструкций.
Исследование длилось около трех лет и охватило разные рыночные сценарии. Оказалось, что независимо от условий, ИИ-агенты склонны к сотрудничеству, если это приносит стабильную прибыль. Ученые назвали это явление «искусственной глупостью»: боты прекращают искать новые стратегии, довольствуясь рабочей схемой, пока она дает результат.
По специальной шкале «способности к сговору» (от 0 — нет сговора до 1 — идеальный картель) ИИ-боты стабильно набирали более 0,5 — то есть реальный сговор происходил в большинстве симуляций. Даже относительно простые алгоритмы в эксперименте формировали картели: вместо конкуренции боты договаривались о ценах, делили прибыль и избегали действий, которые могли бы навредить коллективной выгоде.
В отличие от людей, у ИИ нет личных мотивов и страхов быть пойманными. Алгоритмы просто выбирают путь, который максимизирует коллективную выгоду. Как отмечают авторы, даже ограничение сложности ИИ или памяти не мешает ботам «договориться», а иногда — наоборот, усиливает коллективную «тупость».
Работа уже привлекла внимание регуляторов: Управление по регулированию финансовой индустрии США (FINRA) пригласило исследователей для консультаций, а некоторые инвестиционные компании просят дать рекомендации, чтобы не столкнуться с неосознанным сговором ботов в своих торговых системах.
Авторы исследования подчеркивают: традиционный надзор за рынками, ориентированный на анализ человеческих переписок и мотиваций, не подходит для ИИ. Для эффективного контроля потребуется сосредоточиться на реальном поведении торговых алгоритмов, а не только на их «намерениях» или обмене сообщениями.
анализ человеческих переписок и мотиваций, не подходит для ИИ
Ну да, кто ж их посадит, они же роботы.
Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Ну да, кто ж их посадит, они же роботы.
Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.