Дапамажыце dev.by 🤍
Падтрымаць

Навукоўцы адкрылі «штучную тупасць»: боты ладзяць змовы для максімальнай выгады

Навукоўцы з Пенсільванскага і Ганконгскага ўніверсітэтаў паказалі, што ШІ-агенты, запушчаныя на сімуляваных фінансавых рынках, хутка вучацца ўступаць у цэнавыя змовы — прычым без якіх-небудзь спецыяльных інструкцый.

1 каментарый
Навукоўцы адкрылі «штучную тупасць»: боты ладзяць змовы для максімальнай выгады

Навукоўцы з Пенсільванскага і Ганконгскага ўніверсітэтаў паказалі, што ШІ-агенты, запушчаныя на сімуляваных фінансавых рынках, хутка вучацца ўступаць у цэнавыя змовы — прычым без якіх-небудзь спецыяльных інструкцый.

Даследаванне доўжылася каля трох гадоў і ахапіла розныя рынкавыя сцэнары. Аказалася, што незалежна ад умоў, ШІ-агенты схільныя да супрацоўніцтва, калі гэта прыносіць стабільны прыбытак. Навукоўцы назвалі гэтую з’яву «штучнай дурнотай»: боты перастаюць шукаць новыя стратэгіі, задавольваючыся працоўнай схемай, пакуль яна дае вынік.

Па спецыяльнай шкале «здольнасці да змовы» (ад 0 — няма змовы да 1 — ідэальны картэль) ШІ-боты стабільна набіралі больш за 0,5 — то бок рэальная змова адбывалася ў большасці сімуляцый. Нават адносна простыя алгарытмы ў эксперыменце фармавалі картэлі: замест канкурэнцыі боты дамаўляліся аб цэнах, дзялілі прыбытак і пазбягалі дзеянняў, якія маглі б нашкодзіць калектыўнай выгадзе.

У адрозненне ад людзей, у ШІ няма асабістых матываў і страхаў быць злоўленымі. Алгарытмы проста выбіраюць шлях, які максімізуе калектыўную выгаду. Як адзначаюць аўтары, нават абмежаванне складанасці ШІ або памяці не перашкаджае ботам «дамовіцца», а часам — наадварот, узмацняе калектыўную «тупасць».

Праца ўжо прыцягнула ўвагу рэгулятараў: Упраўленне па рэгуляванні фінансавай індустрыі ЗША (FINRA) запрасіла даследчыкаў для кансультацый, а некаторыя інвестыцыйныя кампаніі просяць даць рэкамендацыі, каб не сутыкнуцца з неўсвядомленай змовай ботаў у сваіх гандлёвых сістэмах.

Аўтары даследавання падкрэсліваюць: традыцыйны нагляд за рынкамі, арыентаваны на аналіз чалавечых перапісак і матывацый, не падыходзіць для ШІ. Для эфектыўнага кантролю спатрэбіцца сканцэнтравацца на рэальных паводзінах гандлёвых алгарытмаў, а не толькі на іх «намерах» або абмене паведамленнямі.

Праграмісты стаміліся ад «амаль правільнага» ШІ-кода — усё трэба выпраўляць
Праграмісты стаміліся ад «амаль правільнага» ШІ-кода — усё трэба выпраўляць
Па тэме
Праграмісты стаміліся ад «амаль правільнага» ШІ-кода — усё трэба выпраўляць
Чаму ШІ-падпіскі каштуюць $200?
Чаму ШІ-падпіскі каштуюць $200?
Па тэме
Чаму ШІ-падпіскі каштуюць $200?
Супрацоўніца OpenAI атрымала працу праз адно паведамленне ў LinkedIn
Супрацоўніца OpenAI атрымала працу праз адно паведамленне ў LinkedIn
Па тэме
Супрацоўніца OpenAI атрымала працу праз адно паведамленне ў LinkedIn
Чытайце таксама
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
100 гадзін на тыдзень: інжынеры бігтэха працуюць на знос з-за гонкі ШІ
10 каментарыяў
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Meta звольніла аналітыкаў рызыкі — цяпер гэтым займаецца ШІ
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
Microsoft вярнула Сашчэпку — цяпер ён галасавы ШІ-памочнік
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў
ШІ-браўзэр OpenAI можна лёгка падмануць з дапамогай схаваных промптаў

Хочаце паведаміць важную навіну? Пішыце ў Telegram-бот

Галоўныя падзеі і карысныя спасылкі ў нашым Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

анализ человеческих переписок и мотиваций, не подходит для ИИ

Ну да, кто ж их посадит, они же роботы.

Вообще, если брать абсолютно рациональных акторов, и потом обнаруживать, что он в какой-то среде с целью максимизации "пользы" ведут себя абсолютно "неприлично", то это говорит, что либо правила среды патологические изначально, либо понятие "приличности" неверное.