У кампаніі адбыўся сур’ёзны інцыдэнт з аўтаномным ШІ-агентам: ён без узгаднення адкрыў доступ да адчувальных карпаратыўных і карыстальніцкіх дадзеных для супрацоўнікаў без патрэбных правоў.
У кампаніі адбыўся сур’ёзны інцыдэнт з аўтаномным ШІ-агентам: ён без узгаднення адкрыў доступ да адчувальных карпаратыўных і карыстальніцкіх дадзеных для супрацоўнікаў без патрэбных правоў.
Паводле справаздачы аб інцыдэнце, якая трапіла ў распараджэнне The Information, адзін з супрацоўнікаў задаў там стандартнае рабочае пытанне, пасля чаго іншы інжынер прыцягнуў ШІ для яго аналізу. Агент не толькі даў некарэктныя рэкамендацыі, але і самастойна размясціў іх публічна. Згодна з гэтымі парадамі, супрацоўнік ненаўмысна адкрыў доступ да вялікіх аб’ёмаў карпаратыўных і карыстальніцкіх дадзеных для інжынераў, якія не маюць адпаведных правоў.
Уразлівасць захоўвалася каля двух гадзін, пасля чаго яе ліквідавалі. Унутры Meta інцыдэнт атрымаў статус «Sev 1» — адзін з самых высокіх узроўняў небяспекі. Гэта ўжо не першы падобны выпадак: раней іншы ШІ-агент у кампаніі па памылцы выдаліў усю электронную пошту аднаго з кіраўнікоў ШІ-напрамку.
Эксперты па кібербяспецы адзначаюць, што падобныя сітуацыі звязаны з эфектам «confused deputy»: калі праграма з легітымнымі правамі выконвае няправільныя інструкцыі і выкарыстоўвае ўласныя прывілеі на шкоду сістэме. У такіх выпадках традыцыйныя інструменты кіравання доступам не здольныя адрозніць карэктны запыт ад памылковага, калі ён паступае ад аўтарызаванага суб’екта.
Паводле галіновых даследаванняў, рызыкі, звязаныя з аўтаномнымі ШІ-агентамі, ужо становяцца сістэмнай праблемай. Напрыклад, у даследаванні Saviynt, якое ахапіла больш за 200 дырэктараў і спецыялістаў па кібербяспецы, каля 47% рэспандэнтаў паведамілі, што сутыкаліся з ненаўмыснымі або несанкцыянаванымі дзеяннямі ШІ-сістэм, уключаючы памылкі ў кіраванні доступам і раскрыццё канфідэнцыйнай інфармацыі.
Інцыдэнт паказвае на глыбокія праблемы ў кіраванні доступам ШІ-агентаў, піша выданне. У многіх кампаніях няма дакладнага разумення, колькі такіх сістэм ужо працуе і якія правы яны маюць. Часта агенты выкарыстоўваюць пастаянныя ключы доступу, якія рэдка абнаўляюцца, а пасля ўваходу ў сістэму іх дзеянні амаль не правяраюцца. Акрамя таго, яны могуць аўтаматычна перадаваць паўнамоцтвы адзін аднаму без дадатковага кантролю.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.