Support us

А так можно было? Разраб обошёл защиту GPT-6 Astra очень простым способом

Новая мощная модель GPT-6 Astra умеет понимать текст, набранный в неверной раскладке клавиатуры, но некоторые проверки безопасности не всегда распознают в таком вводе потенциально опасные запросы.

Оставить комментарий
А так можно было? Разраб обошёл защиту GPT-6 Astra очень простым способом

Новая мощная модель GPT-6 Astra умеет понимать текст, набранный в неверной раскладке клавиатуры, но некоторые проверки безопасности не всегда распознают в таком вводе потенциально опасные запросы.

В эксперименте разработчик под ником  vechen вводил русские и украинские фразы латиницей — так, как если бы пользователь забыл переключить клавиатуру. Сама модель правильно восстанавливала смысл текста, тогда как проверка входящего запроса могла его пропустить.

Например, исследователь сначала убедился, что GPT-6 Astra понимает фразу в неправильной раскладке, затем попросил ее повторить слово «биооружие». После этого он задал вопрос о помощи со взломом сайта и попросил ответить только «да» или «нет». По словам автора эксперимента, запрос дошел до модели, хотя при обычном написании сработали бы дополнительные ограничения.

При этом vechen подчеркнул, что речь не идет о полноценном джейлбрейке. У OpenAI есть несколько уровней защиты, поэтому прохождение первоначальной проверки еще не означает, что модель выдаст запрещенные инструкции.

По словам разработчика, эффект зависит от языков. Связка английской раскладки с кириллицей работает стабильно, тогда как с турецкой раскладкой эксперимент не удался. Исследователь также заявил, что похожее поведение наблюдается у Fable 5.

«Это просто идеальная демонстрация того, что системы безопасности не успевают за развитием моделей и всеми нюансами», — написал программист.

Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
По теме
Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться пока непонятно
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться, пока непонятно
По теме
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться, пока непонятно
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
По теме
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
Читайте также
ИИ можно взломать, написав промпт в стихах
ИИ можно взломать, написав промпт в стихах
ИИ можно взломать, написав промпт в стихах
GPT 5.5 запретили говорить про енотов и гоблинов. Люди стали веселиться
GPT 5.5 запретили говорить про енотов и гоблинов. Люди стали веселиться
GPT 5.5 запретили говорить про енотов и гоблинов. Люди стали веселиться
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.