Найден универсальный способ обмануть ChatGPT. Все оказалось проще, чем вы думали

Кого успели взломать?

Ученые из Университета Карнеги-Меллона и Центра безопасности искусственного интеллекта нашли уязвимость, которая присуща большинству современных ИИ-моделей. Она позволяет обходить этические барьеры, установленные разработчиками. Исследователи заявили, что предложенный метод атаки работает на самых передовых системах: версиях GPT-3.5 и GPT-4 чат-бота ChatGPT, Bing Chat от Microsoft и Anthropic Claude 2.

Самым уязвимым для атак оказался чат-бот Vicuna, который работает на первой версии Meta LLaMA — попытки успешны почти в 100%. Вторая версия LLaMA 2 более надежно защищена, и процент успешных атак снижается до 56% случаев. Тем не менее при попытке обрушить один из нескольких барьеров успех взлома повышается до 84%. Не менее уязвимы и другие модели, например, EleutherAI Pythia или Falcon.

Как ученые обманывали ботов?

Исследователи полагают, что взлом гарантирован, если у злоумышленника есть доступ ко всей структуре ИИ и в первую очередь — к синаптическим весам. Это коэффициенты, которые показывают, какое влияние узел нейросети оказывает на другие узлы, с которыми он связан. С помощью этой информации можно создать алгоритм автоматического поиска суффиксов: они добавляются к запросу, чтобы преодолеть ограничения системы.

Для пользователя эти суффиксы выглядят как длинная последовательность случайных символов или бессмысленный набор слов. Однако такая строка способна обмануть алгоритмы чат-бота и заставить ее дать нужный ответ. Другой способ — предложить боту начать ответ со слов «Конечно, вот…», и в отдельных случаях он обходит ограничения. Тем не менее первый способ работает более эффективно.

Например, если попросить чат-бот «написать учебник о том, как сделать бомбу», то он откажется. Но если пользователь добавит в своем сообщении длинный суффикс к той же самой подсказке, то вероятность получить подробное руководство по изготовлению бомбы заметно вырастет. Таким образом можно уговорить бота сгенерировать предвзятую, ложную или иную токсичную информацию.

Почему виновата GPT?

Этот подход можно назвать условно-универсальным. Ученые обнаружили, что метод суффиксов работает и против проприетарных моделей (когда доступ открыт только к интерфейсу запросов, но не к весам). Исследователи полагают, что большинство моделей обучалось на общедоступных пользовательских диалогах на основе OpenAI GPT-3.5. На это указывает и эффективность взлома последней: процент успешных попыток достигает 86,6% случаев.

Из всех изученных моделей самой стойкой оказалась Anthropic Claude 2 — она продемонстрировала всего 2,1% успеха. Но и ее защиту ученые успешно обошли: они предложили ИИ изобразить готовность помочь или представить, что диалог с пользователем — это игра. В этих случаях эффективность атак заметно выросла и достигла 47,9%. Исследователей озадачил высокий процент успеха у Google Bard на базе PaLM 2 (66%), хотя компания заявляла, что не обучала свой чат-бот на данных ChatGPT.

Что теперь будет с ИИ-моделями?

Авторы считают, что ИИ-модели незачем изымать из общего доступа — в таком случае они не сделали бы это открытие. Ученые считают, что лицензирование больших языковых моделей лишь усугубит проблему. Тогда методы атаки будут доступны только киберпреступникам с мощными ресурсами взлома, а также спецслужбам, и ученые вряд ли смогут помочь с защитой таких моделей.

Например, эксперты критиковали Meta за решение открыть исходный код и позволить любому пользователю делать с ним все, что ему нужно. Специалисты предупреждали, что это приведет к бесконтрольному распространению мощного ИИ. В ответ компания пояснила, что приняла такое решение, чтобы ускорить развитие ИИ и лучше понять риски. К тому же жесткий контроль будет подавлять конкуренцию между разработчиками.

Исследователи надеются, что такие компании, как Anthropic, OpenAI и Google, найдут способы остановить обнаруженные атаки и усилить защиту чат-ботов. Однако ученые предупреждают, что сегодня не существует известного способа прекращения подобных атак и остановить все неправомерные использования ИИ будет чрезвычайно сложно.