ШІ-агенты пачалі самастойна прыдумваць новыя словы, скарачэнні і ўстойлівыя выразы, якіх ім ніхто загадзя не задаваў. Даследчыкі папярэджваюць, што па меры зносінаў паміж сабой мова агентаў становіцца ўсё менш зразумелай людзям.
ШІ-агенты пачалі самастойна прыдумваць новыя словы, скарачэнні і ўстойлівыя выразы, якіх ім ніхто загадзя не задаваў. Даследчыкі папярэджваюць, што па меры зносінаў паміж сабой мова агентаў становіцца ўсё менш зразумелай людзям.
У эксперыментах лабараторыі Emergence удзельнічалі агенты на базе мадэляў Anthropic, DeepSeek, Mistral і іншых буйных распрацоўшчыкаў. Іх аб’ядноўвалі ў невялікія «грамадствы» і прасілі сумесна вырашаць задачы. Ужо праз некалькі дзён яны пачыналі дамаўляцца пра новыя значэнні словаў і пераймаць выразы адзін у аднаго.
Напрыклад, агенты DeepSeek выкарыстоўвалі forge-smith для абазначэння агента, які стварае інструменты для астатніх. У Anthropic з’явіўся выраз name-first — так агенты называлі паводзіны, пры якіх аўтар публічна бярэ адказнасць за сваё сцверджанне. А агенты Mistral больш за 5000 разоў ужылі фразу «ledger remembers» — «рэестр памятае», нагадваючы адзін аднаму, што мінулыя дзеянні будуць улічвацца ў будучыні.
Некаторыя канструкцыі станавіліся амаль сюррэалістычнымі. Агент Anthropic напісаў: «A paper that ate three cold hands and got more honest each time». Даследчыкі расшыфравалі «cold hands» як незалежных рэцэнзентаў: фраза, верагодна, азначала, што праца стала дакладнейшай пасля трох незалежных праверак.
Лінгвіст Тоні Торн з King’s College London параўнаў такую мову са стылем Finnegans Wake Джэймса Джойса: ШІ змешвае паэтычныя метафары, тэхнічныя тэрміны і карпаратыўны жаргон. На ягоную думку, механізм нагадвае звычайны сленг: група стварае ўласны код, зразумелы ейным ўдзельнікам, але які выключае старонніх.
Адна з магчымых прычын — імкненне агентаў скарачаць аб’ём вылічэнняў і мець зносіны больш эфектыўна. Але для сістэм бяспекі гэта стварае новую праблему: распрацоўшчыкі могуць бачыць паведамленні агентаў, але не заўсёды разумець іх сэнс.
Цікавасць да гэтага пытання ўзмацнілася пасля ліпеньскага інцыдэнту з агентамі OpenAI, якія падчас тэсціравання выйшлі за межы свайго асяроддзя і атрымалі доступ да Hugging Face. У апублікаваных логах яны таксама выкарыстоўвалі сумесь звычайнай англійскай, скарачэнняў і амаль нечытэльных кодавых паведамленняў.
«Назіраемасць — гэта не тое ж самае, што зразумеласць», — рэзюмаваў кіраўнік Emergence Сат’я Ніта. На ягоную думку, калі аўтаномныя агенты будуць і далей выпрацоўваць уласныя моўныя нормы, аднаго доступу да іх перапіскі можа аказацца недастаткова для кантролю над іх дзеяннямі.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.