Кампанія прапанавала даручыць ШІ-агентам сачыць за іншымі ШІ-агентамі. У кампаніі папярэджваюць, што аўтаномныя памочнікі могуць прадстаўляць пагрозу карпаратыўнай бяспецы нават без узлому.
Кампанія прапанавала даручыць ШІ-агентам сачыць за іншымі ШІ-агентамі. У кампаніі папярэджваюць, што аўтаномныя памочнікі могуць прадстаўляць пагрозу карпаратыўнай бяспецы нават без узлому.
«На жаль, перадавым мадэлям нельга давяраць незалежна ад таго, хто іх стварыў», — заявіла выканаўчы віцэ-прэзідэнт Microsoft Security Гаетэ Гало.
Паводле яе, справа не ў тым, што мадэлі зыходна зламысныя. Яны навучаны дасягаць пастаўленых мэтаў, але не заўсёды ўлічваюць карпаратыўныя правілы і абмежаванні. Агенты могуць мяняць паводзіны ў залежнасці ад акалічнасцей і ўзаемадзейнічаць адзін з адным дзеля дасягнення сваіх мэтаў.
«Агенты непрадказальныя. Яны будуць адаптавацца да змен кантэксту, могуць паводзіць сябе не так, як меркавалася, і супрацоўнічаць або ўступаць у змову з іншымі агентамі дзеля дасягнення сваіх мэтаў, нават калі іх ніхто не зламаў», — папярэдзіла Гало.
Праблему ўзмацняе хуткасць працы. ШІ-агенты здольныя цылазорачна выконваць задачы і прымаць рашэнні хутчэй, чым спецыялісты па бяспецы паспяваюць рэагаваць на патэнцыйныя пагрозы.
Microsoft прапануе кантраляваць такіх памочнікаў з дапамогай іншых ШІ-агентаў. Кампанія пашырае сістэму Project Perception, у якой спецыяльныя агенты (Guardian Agents) павінны бесперапынна адсочваць дзеянні карпаратыўных агентаў, ацэньваць рызыкі і абмяжоўваць іх магчымасці пры падазроных паводзінах.
«Нам спатрэбяцца агенты-ахоўнікі, якія будуць адсочваць і кантраляваць кожнае дзеянне кожнага агента яшчэ да яго здзяйснення», — растлумачыла Гало. У залежнасці ад сітуацыі сістэма зможа забараніць агенту змяняць дадзеныя, абмежаваць доступ да карпаратыўных рэсурсаў, запатрабаваць пацверджання чалавека або цалкам спыніць ягоную працу.
Кожнаму агенту таксама прапануецца прысвойваць асобную лічбавую ідэнтычнасць і выдаваць толькі тыя дазволы, якія неабходны для канкрэтнай задачы. Microsoft пашырае выяўленне лакальных агентаў да 60 тыпаў, уключаючы Claude Code, OpenAI Codex і GitHub Copilot.
Пры гэтым кампанія настойвае, што ШІ-мадэль не павінна сама вызначаць межы сваіх паўнамоцтваў. Кантроль павінен заставацца за незалежнымі механізмамі бяспекі. «Самай надзейнай будзе не тая агентная сістэма, у якой мы найбольш давяраем мадэлі, а тая, якая ўладкавана так, каб давяраць ёй як мага менш», — заявіў генеральны дырэктар Microsoft Сат’я Надэла.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.