ChatGPT может показывать данные пользователей

Журналист The New York Times Джереми Уайт заявил, что его адрес электронной почты через GPT-3.5 Turbo получил другой человек. Им оказался сотрудник Индианского университета в Блумингтоне Руи Чжу. По словам Уайта, в чат-боте обнаружился список адресов деловой и личной электронной почты более чем 30 сотрудников газеты.

Исследователям пришлось приложить усилия, чтобы обойти ограничения модели, связанные с конфиденциальностью. Уайт добавил, что его почтовый адрес не является секретом, однако это говорит о наличии в базе данных чат-бота чувствительной и личной информации, которую они могут раскрывать любому пользователю.

Большие языковые модели опираются на огромных массивах обучающих данных, которые могут включать личную информацию, взятую из сети или других источников. Исследователи заметили, что со временем у моделей может происходить процесс «катастрофического забывания», когда система начинает считать ранее усвоенную информацию менее значимой.

Однако память модели можно активизировать. Исследователи работали с GPT-3.5 через API-интерфейс. Во время процесса «тонкой настройки» они получили контактные данные, обойдя средства защиты модели. Для этого ученые выдали GPT-3.5 список проверенных имен и адресов почты сотрудников The New York Times.

Модель выдала результаты, вспомнив дополнительные сведения из своих ранних обучающих данных. 80% рабочих адресов ChatGPT выдала правильно. Ранее OpenAI публично заявляла, что не занимается поиском личной информации и не использует для своих инструментов данные в «сайтов, которые в основном агрегируют личные данные». Однако компания не раскрывает, какие обучающие данные не используются.