Чат-ботов научили взламывать друг друга

Джейлбрейк получил название Masterkey. Для начала исследователи провели обратный инжиниринг процесса, посредством которого большие языковые модели (LLM) распознают нежелательные пользовательские запросы и защищаются от них. Далее они научили такую модель самостоятельно учиться генерировать промпты, которые обходят защитные механизмы других её «сородичей». Процесс можно автоматизировать, что позволяет создавать модели, которые способны адаптироваться и генерировать новые вредоносные промпты, даже если разработчики моделей-жертв пофиксят их.

Исследователи провели ряд экспериментов на больших языковых моделях, чтобы доказать угрозу их находки, после чего сообщили об этом их разработчикам. Работа должна привлечь внимание компаний к уязвимым местам и ограничениям их моделей, а также помочь предотвратить хакерские атаки на них.

В OpenAI назвали скилл поважнее промпт-инжиниринга. И он не (совсем) про нейросети

По теме

В OpenAI назвали скилл поважнее промпт-инжиниринга. И он не (совсем) про нейросети

Чат-бота уговорили продать новенький люксовый внедорожник за $1

По теме

Чат-бота уговорили продать новенький люксовый внедорожник за $1

Поддержите редакцию 1,5% налога: бесплатно и за 5 минут

Как помочь, если вы в Польше