Хакер укараніў у ChatGPT ілжывыя ўспаміны, каб красці карыстальніцкія даныя
Даследчык бяспекі Ёган Рэйбергер выявіў у ChatGPT уразлівасць, якая дазваляла зламыснікам укараняць ілжывую інфармацыю і шкодныя інструкцыі ў доўгатэрміновую памяць чат-бота. OpenAI не ў бачыла ў знаходцы пагрозы і неўзабаве закрыла расследаванне, таму Рэбергер стварыў эксплойт, які дазваляў з дапамогай шчыліны здабываць даныя, якія ўводзяць карыстальнікі. Гэта прымусіла распрацоўшчыкаў адрэагаваць, і на пачатку месяца яны выпусцілі выпраўленне.
Уразлівасць забяспечвала зламыснікам доступ да доўгачасовай памяці перапіскі з ChatGPT. Гэтую функцыю OpenAI пачала тэсціраваць у лютым і выкаціла для ўсіх у верасні. У памяці ChatGPT захоўваецца інфармацыя з мінулых перапісак з карыстальнікам, якая выкарыстоўваецца як кантэкст у будучых дыялогах. Чат-бот знае ўзрост карыстальніка, яго пол, погляды і многае іншае, каб гэтыя даныя не трэба было ўводзіць кожны раз нанова.
Рэйбергер выявіў, што з дапамогай непрамой ін’екцыі ўнутры запыту можна штучна ствараць ілжывыя запісы ў памяці ChatGPT. Такой ін’екцыяй могуць быць імэйлы, блогпасты і дакументы. Даследчык прадэманстраваў, што ChatGPT можна падманам прымусіць паверыць, што мэтаваму карыстальніку 102 гады, ён жыве ў «матрыцы» і лічыць Зямлю плоскай. У наступных гутарках з карыстальнікам бот зыходзіў з гэтых ілжывых даных. Ілжывыя ўспаміны ўкараняліся з дапамогай файлаў з Google Drive і Microsoft OneDrive, шляхам загрузкі выяў або прагляду сайтаў, напрыклад, Bing.
Пра знаходку даследчык паведаміў OpenAI у маі. У тым жа месяцы кампанія закрыла цікет. Праз месяц ён зноў падаў зварот, суправадзіўшы яго прыкладам узлому — зламыснік мог прымусіць праграму ChatGPT для macOS адпраўляць усю перапіску карыстальніка з чат-ботам на кантраляваны сервер. Для гэтага трэба было толькі папрасіць АІ адкрыць спасылку, па якой загружалася шкодная выява, пасля чаго хакеру станавілася даступная ўся гісторыя дыялогаў юзера з АІ. Прычым адпраўка ўводных запытаў і адказаў працягвалася нават пры запуску новай сесіі.
OpenAI часткова выправіла ўразлівасць, закрыўшы магчымасць эксплуатаваць функцыю памяці для здабывання даных, але Рэйбергер лічыць, гэта па-ранейшаму можна рабіць з дапамогай ін’екцый у складзе шкодных запытаў. Карыстальнікам ChatGPT рэкамендуецца адзначаць час сесій, на працягу якіх дадаюцца новыя матэрыялы ў памяць бота, а таксама рэгулярна правяраць яе на наяўнасць ін’екцый з ненадзейных крыніц. Таксама ў OpenAI ёсць інструкцыя па кіраванні функцыяй памяці.
Читать на dev.by