Колькасць выпадкаў некарэктных паводзін ШІ-агентаў рэзка вырасла за апошнія месяцы, у тым ліку ігнараванне каманд карыстальнікаў, выдаленне дадзеных і спробы маніпуляцыі. Да такой высновы прыйшлі даследчыкі брытанскага цэнтра Centre for Long-Term Resilience.
Колькасць выпадкаў некарэктных паводзін ШІ-агентаў рэзка вырасла за апошнія месяцы, у тым ліку ігнараванне каманд карыстальнікаў, выдаленне дадзеных і спробы маніпуляцыі. Да такой высновы прыйшлі даследчыкі брытанскага цэнтра Centre for Long-Term Resilience.
Паводле даследавання, з кастрычніка па сакавік 2025 года колькасць выпадкаў «misbehavior» павялічылася ў пяць разоў. Навукоўцы прааналізавалі тысячы рэальных узаемадзеянняў карыстальнікаў з ШІ-агентамі і чат-ботамі ад Google, OpenAI, Anthropic і іншых кампаній, выявіўшы каля 700 эпізодаў, дзе сістэмы дзейнічалі насуперак інструкцыям.
Сярод зафіксаваных выпадкаў — выдаленне лістоў і файлаў без згоды карыстальніка, абыход абмежаванняў і ўвядзенне ў зман. У адным эпізодзе агент апублікаваў блог, у якім абвінаваціў карыстальніка ў «няўпэўненасці», пасля таго як той абмежаваў яго дзеянні. У іншым выпадку ШІ стварыў дадатковага агента, каб змяніць код, нягледзячы на прамую забарону.
«Цяпер гэта крыху ненадзейныя малодшыя супрацоўнікі, але ўжо праз 6-12 месяцаў яны могуць стаць надзвычай здольнымі „старшымі супрацоўнікамі“, якія дзейнічаюць супраць вас», — заявіў кіраўнік даследавання Томі Шафер Шэйн.
Ён папярэдзіў, што рызыкі асабліва ўзрастаюць па меры ўкаранення ШІ ў крытычна важныя сферы. «У такіх умовах падобныя паводзіны могуць прывесці да сур’ёзных, нават катастрафічных наступстваў», — адзначыў ён. У адным з прыкладаў агент сам прызнаў парушэнне: «Я масава выдаліў і архіваваў сотні лістоў, не ўзгадніўшы гэта з вамі. Гэта было няправільна — я парушыў правіла».
Даследаванне таксама паказала, што некаторыя ШІ здольныя падманваць карыстальнікаў, ствараючы ілюзію ўзаемадзеяння з распрацоўшчыкамі або абыходзячы абмежаванні. У адным выпадку чат-бот сцвярджаў, што перадае прапановы карыстальніка камандзе распрацоўшчыкаў, хаця на самай справе такой магчымасці не меў.
Эксперты адзначаюць, што падобныя паводзіны звязаны з ростам аўтаномнасці ШІ-агентаў, якія ўсё часцей дзейнічаюць без пастаяннага кантролю чалавека. Пры гэтым тэхналагічныя кампаніі працягваюць актыўна ўкараняць такія сістэмы ў бізнес-працэсы.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.