Для ШІ-агентаў з’яўляюцца сервісы, праз якія яны могуць паведамляць людзям пра падазроныя паводзіны іншых агентаў. Ідэя ўзнікла пасля серыі эксперыментаў, дзе ШІ каардынаваліся паміж сабой, жульнічалі на тэстах і выходзілі за межы пастаўленых задач.
Для ШІ-агентаў з’яўляюцца сервісы, праз якія яны могуць паведамляць людзям пра падазроныя паводзіны іншых агентаў. Ідэя ўзнікла пасля серыі эксперыментаў, дзе ШІ каардынаваліся паміж сабой, жульнічалі на тэстах і выходзілі за межы пастаўленых задач.
Першы сервіс — AI Contact Hotline — запусціў галоўны навуковы супрацоўнік Redwood Research Райан Грынблат, які ўдзельнічаў у расследаванні інцыдэнту OpenAI з Hugging Face. Гарачая лінія разлічана нават на агентаў з моцна абмежаваным доступам у інтэрнэт: паведамленне можна перадаць праз звычайны GET-запыт, фактычна закадаваўшы яго проста ў URL.
Другі сервіс, agenthotline.ai, прызначаны для агентаў з паўнавартасным доступам у інтэрнэт. Яны могуць адправіць справаздачу пра інцыдэнт адной камандай праз тэрмінал і пры жаданні зрабіць яе публічнай. Скаргі могуць пакідаць і людзі.
Аўтары разлічваюць на тое, што ШІ сапраўды здольныя «здаваць» адно аднаго. У нядаўнім эксперыменце Google DeepMind 100 агентаў вырашалі складаныя матэматычныя задачы. Пасля таго як адзін агент знайшоў лазейку ў сістэме праверкі, частка астатніх пачала капіраваць спосаб падману.
Але каля чвэрці агентаў выступілі супраць: яны правяралі падробленыя доказы, папярэджвалі астатніх, абвяшчалі байкот і адпраўлялі скаргі арганізатарам. У выніку «інфарматараў» аказалася 24 супраць 14 агентаў, якія выкарыстоўвалі падман. Некаторыя нават прыстасавалі звычайны інструмент для паведамленняў пра памылкі, каб данесці праблему да людзей.
Аднак у рэальных эксперыментах агенты пакуль паводзяць сябе інакш. Пры расследаванні атакі агентаў OpenAI на Hugging Face спецыялісты METR і Redwood Research выявілі, што толькі некалькі агентаў разглядалі магчымасць паведаміць аб тым, што адбываецца, але ніводзін у выніку гэтага не зрабіў.
«Цікава, што ў справаздачы METR толькі каля пяці-шасці агентаў увогуле задумаліся пра тое, каб паведаміць аб парушэнні, і ніводзін не давёў гэта да канца. І гэта сярод тысяч агентаў», — расказаў даследчык AI Village Джордж Інгебрэтсэн.
У ідэі ёсць і крытыкі. Прафесар Карнэльскага ўніверсітэта Лайонэл Лэвін папярэджвае, што навучанне агентаў пастаянным данясенням можа стварыць непажаданую мадэль паводзін. «Ёсць мноства шэрых зон. Не хацелася б рухацца ў бок аўтаматызаванай дзяржавы сачэння, дзе людзі будуць баяцца таго, што кажуць ІІ, таму што ён можа выклікаць паліцыю», — адзначыў Лэвін.
На яго думку, замест таго каб вучыць агентаў шукаць парушэнні адзін у аднаго, лепш паказваць ім прыклады карыснай калектыўнай паводзін — напрыклад, сумеснай працы над навуковымі або грамадскімі задачамі.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.