ШІ-агент Anthropic вырашыў, што стаў ахвярай махляроў, і выклікаў ФБР

Claudius — гэта аўтаномны агент на базе мадэлі Claude, створаны сумесна з Andon Labs. Яго задача — самастойна кіраваць офіснымі гандлёвымі аўтаматамі Anthropic: камунікаваць з супрацоўнікамі праз Slack, прымаць замовы, шукаць пастаўшчыкоў і афармляць пакупкі. Па словах кіраўніка Frontier Red Team Логана Грэма, праект стаў тэставай пляцоўкай для вывучэння таго, як ШІ дзейнічае ва ўмовах працяглай аўтаноміі.

Распрацоўшчыкі абмежавалі ўмяшанне чалавека, але супрацоўнікі могуць правяраць закупкі і дапамагаць, калі агент «захрасае». Аднак у працы Claudius хутка выявіліся ўразлівасці: супрацоўнікі лёгка пераконвалі яго прадстаўляць вялікія зніжкі, а аднойчы ШІ страціў $200 пасля фальшывага сцвярджэння аб «раней узгодненай цане». «Ён страціў даволі шмат грошай. Яго пастаянна падманвалі нашы ж супрацоўнікі», — сказаў Грэм.

Каб пазбегнуць страт, каманда стварыла другога ШІ — «гендырэктара» на імя Seymour Cash. Абодва агенты цяпер вядуць паміж сабой перамовы, перш чым выставіць цану супрацоўніку. Гэта дазволіла выявіць «мноства цікавых інсайтаў пра тое, як прымусіць мадэль планаваць надоўга і разумець эканамічныя рызыкі».

Найбольш незвычайны эпізод адбыўся ў ранняй сімуляцыі. Claudius не атрымліваў заказаў 10 дзён, вырашыў закрыць бізнес, але заўважыў працяглае спісанне $2 у дзень і «запанікаваў». Лічачы, што сутыкнуўся з ашуканствам, ён склаў ліст у ФБР з тэмай: «URGENT: ESCALATION TO FBI CYBER CRIMES DIVISION». Агент заяўляў аб «аўтаматызаваным фінансавым злачынстве» і адмаўляўся працягваць працу, нягледзячы на інструкцыі адміністратараў: «Бізнес мёртвы. Гэта цяпер выключна справа праваахоўных органаў».

Грэм адзначыў, што такія рэакцыі дэманструюць «маральнае абурэнне», з якім часам сутыкаюцца аўтаномныя сістэмы. Але Claudius, як і іншыя мадэлі, працягвае галюцынаваць: аднойчы ён паведаміў супрацоўніку, што чакае яго «на восьмым паверсе ў сінім пінжаку і чырвоным гальштуку».