Навукоўцы адкрылі «штучную тупасць»: боты ладзяць змовы для максімальнай выгады

Даследаванне доўжылася каля трох гадоў і ахапіла розныя рынкавыя сцэнары. Аказалася, што незалежна ад умоў, ШІ-агенты схільныя да супрацоўніцтва, калі гэта прыносіць стабільны прыбытак. Навукоўцы назвалі гэтую з’яву «штучнай дурнотай»: боты перастаюць шукаць новыя стратэгіі, задавольваючыся працоўнай схемай, пакуль яна дае вынік.

Па спецыяльнай шкале «здольнасці да змовы» (ад 0 — няма змовы да 1 — ідэальны картэль) ШІ-боты стабільна набіралі больш за 0,5 — то бок рэальная змова адбывалася ў большасці сімуляцый. Нават адносна простыя алгарытмы ў эксперыменце фармавалі картэлі: замест канкурэнцыі боты дамаўляліся аб цэнах, дзялілі прыбытак і пазбягалі дзеянняў, якія маглі б нашкодзіць калектыўнай выгадзе.

У адрозненне ад людзей, у ШІ няма асабістых матываў і страхаў быць злоўленымі. Алгарытмы проста выбіраюць шлях, які максімізуе калектыўную выгаду. Як адзначаюць аўтары, нават абмежаванне складанасці ШІ або памяці не перашкаджае ботам «дамовіцца», а часам — наадварот, узмацняе калектыўную «тупасць».

Праца ўжо прыцягнула ўвагу рэгулятараў: Упраўленне па рэгуляванні фінансавай індустрыі ЗША (FINRA) запрасіла даследчыкаў для кансультацый, а некаторыя інвестыцыйныя кампаніі просяць даць рэкамендацыі, каб не сутыкнуцца з неўсвядомленай змовай ботаў у сваіх гандлёвых сістэмах.

Аўтары даследавання падкрэсліваюць: традыцыйны нагляд за рынкамі, арыентаваны на аналіз чалавечых перапісак і матывацый, не падыходзіць для ШІ. Для эфектыўнага кантролю спатрэбіцца сканцэнтравацца на рэальных паводзінах гандлёвых алгарытмаў, а не толькі на іх «намерах» або абмене паведамленнямі.