Падраздзяленне Google DeepMind прэзентавала даследаванне аб тым, як правільна размяркоўваць задачы паміж ШІ-агентамі і людзьмі. На думку аўтараў, па меры развіцця агентных сістэм ранейшыя простыя правілы дэлегавання больш не працуюць.
Падраздзяленне Google DeepMind прэзентавала даследаванне аб тым, як правільна размяркоўваць задачы паміж ШІ-агентамі і людзьмі. На думку аўтараў, па меры развіцця агентных сістэм ранейшыя простыя правілы дэлегавання больш не працуюць.
У даследаванні навукоўцы DeepMind апісваюць канцэпцыю «інтэлектуальнага дэлегавання» — гэта не проста перадача задачы ад аднаго выканаўца другому, а паслядоўнасць кіраўнічых рашэнняў. Яна ўключае разбіўку працы на правяральныя падзадачы, фармалізацыю межаў аўтаноміі, замацаванне адказнасці і наладку механізмаў даверу — незалежна ад таго, узаемадзейнічаюць паміж сабой чалавек і ШІ ці некалькі ШІ-агентаў.
Ключавы прынцып аўтары называюць contract-first decomposition. Дэлегаваць можна толькі тыя задачы, вынік якіх можна аб’ектыўна праверыць. Калі вынік занадта суб’ектыўны, дарагі або складаны для ацэнкі, задачу трэба дадаткова дэкампазаваць да ўзроўня фармальнай верыфікацыі. Для гэтага прапануецца выкарыстоўваць смарт-кантракты, крыптаграфічныя інструменты, уключаючы zero-knowledge proofs, а таксама празрыстыя пратаколы маніторынгу.
Асобная ўвага нададзена «парадоксу аўтаматызацыі». Калі ШІ цалкам бярэ на сябе рутынныя аперацыі, людзі паступова губляюць навыкі, неабходныя для ўмяшання ў крытычнай сітуацыі. У выніку ўзнікае ўразлівая канструкцыя: чалавек фармальна нясе адказнасць, але ўжо не здольны ацаніць і пры неабходнасці скарэктаваць рашэнне сістэмы. У якасці меры перасцярогі DeepMind прапануе захоўваць «кантраляваную неэфектыўнасць» — перыядычна даручаць частку задач людзям нават тады, калі ШІ мог бы выканаць іх хутчэй і танней.
Аўтары таксама папярэджваюць аб рызыцы «маральнай дэфармацыі»: сітуацыі, калі чалавек уключаны ў працэс толькі намінальна, каб узяць на сябе юрыдычную адказнасць за збоі, не маючы рэальнага кантролю над сістэмай. На іх думку, такія архітэктуры недапушчальныя пры праектаванні агентных экасістэм. Асобная рызыка працы з ШІ-агентамі — гэта «кагнітыўная монакультура»: калі большасць агентаў працуюць на адных і тых жа базавых мадэлях, адна ўразлівасць здольная паралізаваць усю сістэму.
Даследаванне таксама аналізуе існуючыя пратаколы ўзаемадзеяння агентаў, уключаючы MCP ад Anthropic і A2A ад Google. Па ацэнцы аўтараў, яны пакуль не забяспечваюць дастатковага ўзроўню тонкай аўтарызацыі, крыптаграфічнай праверкі вынікаў і размеркавання адказнасці.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.