Отдел новостей 29 декабря 2023, 14:15

Чат-ботов научили взламывать друг друга

Специалисты из Наньянского технологического университета в Сингапуре придумали, как заставить ИИ-чат-ботов писать промпты, которые позволяют компрометировать других чат-ботов.

Оставить комментарий

Специалисты из Наньянского технологического университета в Сингапуре придумали, как заставить ИИ-чат-ботов писать промпты, которые позволяют компрометировать других чат-ботов.

Джейлбрейк получил название Masterkey. Для начала исследователи провели обратный инжиниринг процесса, посредством которого большие языковые модели (LLM) распознают нежелательные пользовательские запросы и защищаются от них. Далее они научили такую модель самостоятельно учиться генерировать промпты, которые обходят защитные механизмы других её «сородичей». Процесс можно автоматизировать, что позволяет создавать модели, которые способны адаптироваться и генерировать новые вредоносные промпты, даже если разработчики моделей-жертв пофиксят их.

Исследователи провели ряд экспериментов на больших языковых моделях, чтобы доказать угрозу их находки, после чего сообщили об этом их разработчикам. Работа должна привлечь внимание компаний к уязвимым местам и ограничениям их моделей, а также помочь предотвратить хакерские атаки на них.