Встреча с Олегом Хусаеновым: «Почему кризис не повод ставить бизнес на паузу». Как туда попасть? 👨🏻‍💻
Support us

Хакер внедрил в ChatGPT ложные воспоминания, чтобы красть пользовательские данные

Исследователь безопасности Иоганн Ребергер обнаружил в ChatGPT уязвимость, которая позволяла злоумышленникам внедрять ложную информацию и вредоносные инструкции в долгосрочную память чат-бота. OpenAI не у видела в находке угрозы и быстро закрыла расследование, поэтому Ребергер создал эксплойт, который позволял с помощью бреши извлекать вводимые пользователями данные. Это заставило разработчиков отреагировать, и в начале месяца они выпустили исправление.

Оставить комментарий
Хакер внедрил в ChatGPT ложные воспоминания, чтобы красть пользовательские данные

Исследователь безопасности Иоганн Ребергер обнаружил в ChatGPT уязвимость, которая позволяла злоумышленникам внедрять ложную информацию и вредоносные инструкции в долгосрочную память чат-бота. OpenAI не у видела в находке угрозы и быстро закрыла расследование, поэтому Ребергер создал эксплойт, который позволял с помощью бреши извлекать вводимые пользователями данные. Это заставило разработчиков отреагировать, и в начале месяца они выпустили исправление.

Уязвимость обеспечивала злоумышленникам доступ к долговременной памяти переписки с ChatGPT. Эту функцию OpenAI начала тестировать в феврале и выкатила для всех в сентябре. В памяти ChatGPT хранится информация из прошлых переписок с пользователем, которая используется как контекст в будущих диалогах. Чат-бот знает возраст пользователя, его пол, взгляды и многое другое, чтобы эти данные не нужно было вводить каждый раз заново.

Рейбергер обнаружил, что с помощью непрямой инъекции внутри запроса можно искусственно создавать ложные записи в памяти ChatGPT. Такой инъекцией могут быть емейлы, блогпосты и документы. Исследователь продемонстрировал, что ChatGPT можно обманом заставить поверить, что целевому пользователю 102 года, он живёт в «матрице» и считает Землю плоской. В последующих беседах с пользователем бот исходил из этих ложных данных. Ложные воспоминания внедрялись с помощью файлов с Google Диска и Microsoft OneDrive, путём загрузки изображений или просмотра сайтов, например Bing.

О находке исследователь сообщил OpenAI в мае. В том же месяце компания закрыла тикет. Через месяц он снова подал обращение, сопроводив его примером взлома — злоумышленник мог заставить приложение ChatGPT для macOS отправлять всю переписку пользователя с чат-ботом на контролируемый сервер. Для этого нужно было лишь указать ИИ открыть ссылку, по которой загружалось зловредное изображение, после чего хакеру становилась доступна вся история диалогов юзера с ИИ. Причём отправка вводимых запросов и ответов продолжалась даже при запуске новой сессии.

OpenAI частично исправила уязвимость, закрыв возможность эксплуатировать функцию памяти для извлечения данных, но Рейбергер считает, это по-прежнему можно делать с помощью инъекций в составе вредоносных запросов. Пользователям ChatGPT рекомендуется отмечать время сессий, в течение которых добавляются новые материалы в память бота, а также регулярно проверять её на наличие инъекций из ненадёжных источников. Также у OpenAI есть инструкция по управлению функцией памяти.

OpenAI начала выкатывать голосового помощника для ChatGPT
OpenAI начала выкатывать голосового помощника для ChatGPT
По теме
OpenAI начала выкатывать голосового помощника для ChatGPT
ChatGPT запустили на калькуляторе
ChatGPT запустили на калькуляторе
По теме
ChatGPT запустили на калькуляторе
Олег Хусаенов в DZ CLUB в эту субботу

Успеть купить билет

Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
3 комментария
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.