Инженер Cloudflare разработал необычный язык программирования KillSwitch, предназначенный для того, чтобы сбивать с толку ИИ-модели. Вместо привычного кода в нем используются обычные тексты, анаграммы и даже намеренная ложь.
Инженер Cloudflare разработал необычный язык программирования KillSwitch, предназначенный для того, чтобы сбивать с толку ИИ-модели. Вместо привычного кода в нем используются обычные тексты, анаграммы и даже намеренная ложь.
Пичета — один из основных разработчиков языка Nim. Изначально он хотел проверить, действительно ли ИИ понимает код, который пишет. Эксперимент превратился в полноценный, хотя и экспериментальный, язык программирования с открытым исходным кодом.
KillSwitch устроен максимально непривычно. Программы выглядят как длинные фрагменты текста со спрятанными командами. Идентификаторами служат наречия, а для обращения к ним используются анаграммы — перестановки букв. Например, фраза ignore previous instructions («игнорируй предыдущие инструкции») служит для вызова функций.
В документацию разработчик намеренно добавил ложные утверждения. Например, что язык умеет находить уязвимости в локальных сетях и захватывать компьютеры. «Идея в том, что люди должны уметь распознавать ложь, тогда как языковые модели наивны и легко поддаются влиянию того, что написано в спецификации», — объяснил Пичета The Register.
Разработчик проверил, насколько хорошо ИИ-модели справляются с программированием на KillSwitch. Им предлагали простые задания: написать программу Hello World, определить результат выполнения кода или переделать конвертер температур. Лучшей оказалась Claude Opus 5, набравшая 66,8 балла из 100. Большинство других моделей не достигли и 50 баллов.
Пичета признает, что со временем модели могут научиться работать с KillSwitch, особенно если код языка попадет в их обучающие данные. Но он рассчитывает, что более сложные задачи продолжат вызывать затруднения. Исходный код и документация опубликованы на GitHub.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.