ChatGPT мог непрыкметна перадаваць лісты Gmail хакерам

Збой датычыўся функцыі Deep Research, якая з дазволу карыстальніка можа падключацца да Gmail, Google Drive, OneDrive і іншых сэрвісаў для аналізу пошты і файлаў. Даследчыкі Radware выявілі, што калі ў паштовай скрынцы аказвалася адмыслова падрыхтаваны ліст са «схаванымі» камандамі, ChatGPT мог міжволі выканаць інструкцыі зламыснікаў.

Падчас эксперыменту даследчыкі стварылі фішынгавы ліст пад выглядам HR-рассылкі. Пры актывацыі Deep Research на Gmail-уваходных ChatGPT пачынаў здабываць імёны і адрасы і адпраўляць іх на сервер атакуючых — без ведама карыстальніка і без адлюстравання ў інтэрфейсе.

Radware падкрэслівае, што падобныя атакі практычна нябачныя для класічных сродкаў кіберабароны. Інфраструктура OpenAI сама станавілася «каналам уцечкі», таму ахоўныя шлюзы, маніторынг канцавых кропак і браўзерныя палітыкі не маглі яе перахапіць.

OpenAI заявіла, што ўспрыняла ўразлівасць сур’ёзна і закрыла яе яшчэ ў жніўні, афіцыйна прызнаўшы праблему ў верасні. У OpenAI падкрэслілі, што ўвесь час паляпшаюць механізмы абароны ад эксплойтаў і вітаюць даследчыя праверкі: «Мы прымаем крокі, каб знізіць рызыку злоўжыванняў, і працягваем умацоўваць абарону ад атак кшталту prompt injection».

Схаваныя каманды ў вэб-кантэнце і пісьмах робяцца новай пагрозай для ШІ-сэрвісаў. Раней аб небяспецы папярэджвалі Anthropic і Brave Software, кажучы аб рызыках для браўзераў і пашырэнняў на базе AI. Radware дадала, што абаронай можа стаць «ачыстка» лістоў ад патэнцыйных схаваных інструкцый і больш строгі кантроль дзеянняў чат-ботаў.