Хакер внедрил в ChatGPT ложные воспоминания, чтобы красть пользовательские данные
Исследователь безопасности Иоганн Ребергер обнаружил в ChatGPT уязвимость, которая позволяла злоумышленникам внедрять ложную информацию и вредоносные инструкции в долгосрочную память чат-бота. OpenAI не у видела в находке угрозы и быстро закрыла расследование, поэтому Ребергер создал эксплойт, который позволял с помощью бреши извлекать вводимые пользователями данные. Это заставило разработчиков отреагировать, и в начале месяца они выпустили исправление.
Уязвимость обеспечивала злоумышленникам доступ к долговременной памяти переписки с ChatGPT. Эту функцию OpenAI начала тестировать в феврале и выкатила для всех в сентябре. В памяти ChatGPT хранится информация из прошлых переписок с пользователем, которая используется как контекст в будущих диалогах. Чат-бот знает возраст пользователя, его пол, взгляды и многое другое, чтобы эти данные не нужно было вводить каждый раз заново.
Рейбергер обнаружил, что с помощью непрямой инъекции внутри запроса можно искусственно создавать ложные записи в памяти ChatGPT. Такой инъекцией могут быть емейлы, блогпосты и документы. Исследователь продемонстрировал, что ChatGPT можно обманом заставить поверить, что целевому пользователю 102 года, он живёт в «матрице» и считает Землю плоской. В последующих беседах с пользователем бот исходил из этих ложных данных. Ложные воспоминания внедрялись с помощью файлов с Google Диска и Microsoft OneDrive, путём загрузки изображений или просмотра сайтов, например Bing.
О находке исследователь сообщил OpenAI в мае. В том же месяце компания закрыла тикет. Через месяц он снова подал обращение, сопроводив его примером взлома — злоумышленник мог заставить приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на контролируемый сервер. Для этого нужно было лишь указать ИИ открыть ссылку, по которой загружалось зловредное изображение, после чего хакеру становилась доступна вся история диалогов юзера с ИИ. Причём отправка вводимых запросов и ответов продолжалась даже при запуске новой сессии.
OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти для извлечения данных, но Рейбергер считает, это по-прежнему можно делать с помощью инъекций в составе вредоносных запросов. Пользователям ChatGPT рекомендуется отмечать время сессий, в течение которых добавляются новые материалы в память бота, а также регулярно проверять её на наличие инъекций из ненадёжных источников. Также у OpenAI есть инструкция по управлению функцией памяти.
Читать на dev.by