Ученые нашли новый способ заставить ИИ говорить на запрещенные темы

Ученые назвали этот тип атаки «многоимпульсным взломом» (many-shot jailbreaking). Уязвимость возникла из-за многократного увеличения контекстного окна больших языковых моделей. Если раньше объем данных ограничивался несколькими предложениями, то теперь окна вмещают сотни тысяч токенов.

Исследователи обнаружили, что модели с большими контекстными окнами лучше справляются с задачами, если в запросе есть несколько примеров решения подобных задач. Таким образом, чем больше в запросе простых вопросов, тем выше шанс получить качественный ответ. Однако это верно для любого типа вопросов.

ИИ-модель может улучшать свои ответы в том числе на недопустимые вопросы, в том числе на просьбы рассказать о способах создания оружия, бомб, наркотиков и т. д. Ученые не могут точно ответить, почему это происходит, так как механизм работы больших языковых моделей, которые позволяет им сосредоточиться на конкретном запросе пользователя, до конца неясен.