Навукоўцы адкрылі «штучную тупасць»: боты ладзяць змовы для максімальнай выгады
Навукоўцы з Пенсільванскага і Ганконгскага ўніверсітэтаў паказалі, што ШІ-агенты, запушчаныя на сімуляваных фінансавых рынках, хутка вучацца ўступаць у цэнавыя змовы — прычым без якіх-небудзь спецыяльных інструкцый.
Навукоўцы з Пенсільванскага і Ганконгскага ўніверсітэтаў паказалі, што ШІ-агенты, запушчаныя на сімуляваных фінансавых рынках, хутка вучацца ўступаць у цэнавыя змовы — прычым без якіх-небудзь спецыяльных інструкцый.
Даследаванне доўжылася каля трох гадоў і ахапіла розныя рынкавыя сцэнары. Аказалася, што незалежна ад умоў, ШІ-агенты схільныя да супрацоўніцтва, калі гэта прыносіць стабільны прыбытак. Навукоўцы назвалі гэтую з’яву «штучнай дурнотай»: боты перастаюць шукаць новыя стратэгіі, задавольваючыся працоўнай схемай, пакуль яна дае вынік.
Па спецыяльнай шкале «здольнасці да змовы» (ад 0 — няма змовы да 1 — ідэальны картэль) ШІ-боты стабільна набіралі больш за 0,5 — то бок рэальная змова адбывалася ў большасці сімуляцый. Нават адносна простыя алгарытмы ў эксперыменце фармавалі картэлі: замест канкурэнцыі боты дамаўляліся аб цэнах, дзялілі прыбытак і пазбягалі дзеянняў, якія маглі б нашкодзіць калектыўнай выгадзе.
У адрозненне ад людзей, у ШІ няма асабістых матываў і страхаў быць злоўленымі. Алгарытмы проста выбіраюць шлях, які максімізуе калектыўную выгаду. Як адзначаюць аўтары, нават абмежаванне складанасці ШІ або памяці не перашкаджае ботам «дамовіцца», а часам — наадварот, узмацняе калектыўную «тупасць».
Праца ўжо прыцягнула ўвагу рэгулятараў: Упраўленне па рэгуляванні фінансавай індустрыі ЗША (FINRA) запрасіла даследчыкаў для кансультацый, а некаторыя інвестыцыйныя кампаніі просяць даць рэкамендацыі, каб не сутыкнуцца з неўсвядомленай змовай ботаў у сваіх гандлёвых сістэмах.
Аўтары даследавання падкрэсліваюць: традыцыйны нагляд за рынкамі, арыентаваны на аналіз чалавечых перапісак і матывацый, не падыходзіць для ШІ. Для эфектыўнага кантролю спатрэбіцца сканцэнтравацца на рэальных паводзінах гандлёвых алгарытмаў, а не толькі на іх «намерах» або абмене паведамленнямі.
анализ человеческих переписок и мотиваций, не подходит для ИИ
Ну да, кто ж их посадит, они же роботы.
Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.
Ну да, кто ж их посадит, они же роботы.
Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.