Support us

А так можно было? Разраб обошёл защиту GPT-6 Astra очень простым способом

Новая мощная модель GPT-6 Astra умеет понимать текст, набранный в неверной раскладке клавиатуры, но некоторые проверки безопасности не всегда распознают в таком вводе потенциально опасные запросы.

Оставить комментарий
Добавь в Google
А так можно было? Разраб обошёл защиту GPT-6 Astra очень простым способом

Новая мощная модель GPT-6 Astra умеет понимать текст, набранный в неверной раскладке клавиатуры, но некоторые проверки безопасности не всегда распознают в таком вводе потенциально опасные запросы.

В эксперименте разработчик под ником  vechen вводил русские и украинские фразы латиницей — так, как если бы пользователь забыл переключить клавиатуру. Сама модель правильно восстанавливала смысл текста, тогда как проверка входящего запроса могла его пропустить.

Например, исследователь сначала убедился, что GPT-6 Astra понимает фразу в неправильной раскладке, затем попросил ее повторить слово «биооружие». После этого он задал вопрос о помощи со взломом сайта и попросил ответить только «да» или «нет». По словам автора эксперимента, запрос дошел до модели, хотя при обычном написании сработали бы дополнительные ограничения.

При этом vechen подчеркнул, что речь не идет о полноценном джейлбрейке. У OpenAI есть несколько уровней защиты, поэтому прохождение первоначальной проверки еще не означает, что модель выдаст запрещенные инструкции.

По словам разработчика, эффект зависит от языков. Связка английской раскладки с кириллицей работает стабильно, тогда как с турецкой раскладкой эксперимент не удался. Исследователь также заявил, что похожее поведение наблюдается у Fable 5.

«Это просто идеальная демонстрация того, что системы безопасности не успевают за развитием моделей и всеми нюансами», — написал программист.

Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
По теме
Уволенный айтишник создал базу коллег по несчастью — большинство уже нашли новую работу
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться пока непонятно
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться, пока непонятно
По теме
Рынок найма закрутило в «ИИ-петлю» — как из неё выбраться, пока непонятно
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
По теме
Инженер дал виртуальному мозгу мухи $100 и отправил торговать криптой
Читайте также
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI отменила релиз GPT-6.1 Astra из-за лжи модели, Anthropic пугает инвесторов рисками перед IPO
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле
OpenAI выпустила GPT-6.1 Sol — почти как Astra, но в пять раз дешевле
OpenAI представила GPT-6 Cyber — свою самую мощную кибербез-модель. Доступ давать побаивается
OpenAI представила GPT-6 Cyber — свою самую мощную кибербез-модель. Доступ давать побаивается
OpenAI представила GPT-6 Cyber — свою самую мощную кибербез-модель. Доступ давать побаивается
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности
Модель OpenAI выдумывала несуществующие препятствия, чтобы саботировать исследования безопасности

Хотите сообщить важную новость? Свяжитесь с редакцией через страницу контактов

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.