ІТ-каманды ўпэўненыя, што кантралююць ШІ-агентаў, але часта не ведаюць, хто за іх адказвае
Паводле дадзеных апытання Ivanti, 85% ІТ-спецыялістаў лічаць, што за кожным ШІ-агентам у кампаніі замацаваны адказны. Аднак толькі 42% упэўнены, што ў рэальнасці зразумела, хто менавіта адказвае за працу такіх агентаў.
Паводле дадзеных апытання Ivanti, 85% ІТ-спецыялістаў лічаць, што за кожным ШІ-агентам у кампаніі замацаваны адказны. Аднак толькі 42% упэўнены, што ў рэальнасці зразумела, хто менавіта адказвае за працу такіх агентаў.
Яшчэ адна праблема — схаванае выкарыстанне ШІ. Сярод кіраўнікоў 42% прызналіся, што карысталіся ШІ-інструментамі без раскрыцця гэтага факту. Сярод радавых супрацоўнікаў такіх было 23%. Больш за палову кіраўнікоў, якія хавалі выкарыстанне ШІ, патлумачылі гэта тым, што такія інструменты давалі ім «сакрэтную перавагу».
Даследаванне таксама паказала, што нават пры наяўнасці карпаратыўных правіл яны часта не працуюць. Сярод кампаній з палітыкамі па ШІ толькі 24% супрацоўнікаў сказалі, што гэтыя правілы «вельмі паслядоўна» выконваюцца ў штодзённай працы.
Праблему ўзмацняе рост колькасці ШІ-інструментаў. Паводле кіраўніка Prompt Security Ітамара Голана, кампанія штодня бачыць каля 50 новых ШІ-прыкладанняў і ўжо зкаталагізавала больш за 12 тысяч такіх сервісаў. Прыкладна 40% з іх па змаўчанні могуць выкарыстоўваць уведзеныя дадзеныя для навучання мадэляў.
Эксперты лічаць, што кампаніям ужо недастаткова проста весці спіс дазволеных і забароненых ШІ-інструментаў. ШІ ўсё часцей убудаваны ў браўзеры, офісныя прыкладанні і карпаратыўныя сервісы, таму яго выкарыстанне становіцца складаней адсачыць.
Асобная рызыка звязана з аўтаномнымі ШІ-агентамі. Такія сістэмы могуць атрымліваць доступ да пошты, плацежных інструментаў, тэрмінала і ўнутраных сервісаў. Калі іх правы настроены занадта шырока, агент можа выконваць дзеянні, на якія карыстальнік не даваў прамога дазволу.
Паводле дадзеных Ivanti, 68% ІТ-спецыялістаў ужо сутыкаліся з ШІ-галюцынацыямі, якія маглі паўплываць на аперацыйныя працэсы. Пры гэтым сярод самых прасунутых карыстальнікаў ШІ 49% цалкам давяраюць вынікам, якія ўплываюць на ІТ-рашэнні.
VentureBeat піша, што ключавая праблема — не адсутнасць правілаў, а адсутнасць кантролю падчас рэальнай працы ШІ-агентаў. Дакументы і праверкі перад запускам не дапамагаюць, калі агент ужо дзейнічае ў сістэме і кожнае яго дзеянне не праходзіць асобную аўтарызацыю.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.