Ученые нашли новый способ заставить ИИ говорить на запрещенные темы

Ученые назвали этот тип атаки «многоимпульсным взломом» (many-shot jailbreaking). Уязвимость возникла из-за многократного увеличения контекстного окна больших языковых моделей. Если раньше объем данных ограничивался несколькими предложениями, то теперь окна вмещают сотни тысяч токенов.

Исследователи обнаружили, что модели с большими контекстными окнами лучше справляются с задачами, если в запросе есть несколько примеров решения подобных задач. Таким образом, чем больше в запросе простых вопросов, тем выше шанс получить качественный ответ. Однако это верно для любого типа вопросов.

ИИ-модель может улучшать свои ответы в том числе на недопустимые вопросы, в том числе на просьбы рассказать о способах создания оружия, бомб, наркотиков и т. д. Ученые не могут точно ответить, почему это происходит, так как механизм работы больших языковых моделей, которые позволяет им сосредоточиться на конкретном запросе пользователя, до конца неясен.

ИИ оказался на 82% убедительнее в споре, чем человек

По теме

ИИ оказался на 82% убедительнее в споре, чем человек

Обучение ИИ-моделей может остановиться: в интернете кончились данные

По теме

Обучение ИИ-моделей может остановиться: в интернете кончились данные

Google разработала ИИ для проверки фактов у других ИИ 

По теме

Google разработала ИИ для проверки фактов у других ИИ

Место солидарности беларусского ИТ-комьюнити

Далучайся!