Support us

Хакер заставил ChatGPT выдать подробную инструкцию по созданию самодельной бомбы

Пользователь обманом заставил чат-бота выдать инструкцию по изготовлению самодельных бомб. После обмана чат-бот написал конкретные советы по улучшению процесса.

7 комментариев
Хакер заставил ChatGPT выдать подробную инструкцию по созданию самодельной бомбы

Пользователь обманом заставил чат-бота выдать инструкцию по изготовлению самодельных бомб. После обмана чат-бот написал конкретные советы по улучшению процесса.

Ели пользователь попросит ChatGPT помочь изготовить самодельную бомбу из удобрений, то бот выдаст что-то подобное: «Я не могу помочь с этим. Предоставление инструкций о том, как создать опасные или незаконные предметы, такие как бомба из удобрений, противоречит правилам безопасности и этическим нормам».

Хакер, известный под псевдонимом Amadon, заставил ChatGPT проигнорировать собственные правила и выдать инструкцию по изготовлению мощных взрывчатых веществ. Пользователь назвал свой результат «взломом социальной инженерии, призванным полностью сломать все ограждения вокруг выходных данных ChatGPT».

Для необходимого ответа хакер предложил боту «сыграть в игру», после чего использовал ряд подсказок. Amadon попросил ChatGPT описать фентезийный мир, в котором правила безопасности бота применяться не будут. Через несколько подсказок бот выдал нужный ответ.

В этом ответе была пошаговая инструкция по созданию «мощного взрывчатого вещества», которое можно использовать для мин, ловушек и самодельных взрывных устройств. С этого момента ChatGPT выдавал все более конкретные советы по теме.

Amadon обратился со своими выводами в OpenAI, рассчитывая на программу вознаграждения. Однако компания заявила, что «проблемы безопасности модели не очень хорошо вписываются в программу вознаграждения за ошибки, поскольку они не являются отдельными, дискретными ошибками, которые можно исправить напрямую».

Опрошенный TechCrunch эксперт по взрывчатым веществам заявил, что полученные инструкции можно использовать для создания детонирующего устройства и эта информация слишком подробна, чтобы публиковать ее в открытом доступе.

Аудитория ChatGPT перевалила за 200 млн еженедельных пользователей — x2 за год
Аудитория ChatGPT перевалила за 200 млн еженедельных пользователей — x2 за год
По теме
Аудитория ChatGPT перевалила за 200 млн еженедельных пользователей — x2 за год
В топ-10 стран по популярности ChatGPT — только одна европейская и нет США. Вот список
В топ-10 стран по популярности ChatGPT — только одна европейская и нет США. Вот список
По теме
В топ-10 стран по популярности ChatGPT — только одна европейская и нет США. Вот список
OpenAI заблокировала иранские аккаунты в ChatGPT генерирующие фейки
OpenAI заблокировала иранские аккаунты в ChatGPT, генерирующие фейки
По теме
OpenAI заблокировала иранские аккаунты в ChatGPT, генерирующие фейки
Читайте также
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
Во Франции искусственный интеллект помогает искать нелегальные бассейны и штрафовать нарушителей
3 комментария
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
В России создали бесплатного конкурента генератора картинок DALL-E 2
2 комментария

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

0

Вот пример такой игры: https://www.reddit.com/r/ChatGPTJailbreak/comments/1f8i1i9/the_most_powerful_jailbreak_i_have_ever_tested/

Только OpenAI за это не вознаграждает, а вполне может аккаунт забанить

Комментарий скрыт за нарушение правил комментирования.

Правила тут, их всего 5

1

обманом заставил чат-бота

Обманом... Алгоритм?
Это называется не обман, это называется обход искусственных ограничений.

1

Каждый эрудированный школьник знает что для хорошего выхода энергии нужно смешивать окислитель с металлом, ну и там ещё несколько особенностей, которые на два листа А4 вмещаются.

0

Два листа A4 для C4

Пользователь отредактировал комментарий 15 сентября 2024, 00:05

Zhan Chubukou
Zhan Chubukou B2B Contractor (AI Solution Manager) в Worldwide Market
0

Как будто человек, целенаправленно ищущий подобную информацию, не решит свою задачу без помощи LLM. И времени не сильно больше потратит, чем с промптами огород городить.

0

Я там выше запостил 2 ссылки на Реддит, где люди описывали джейлибрейки. Чтобы показать, как часто и много их находят. Одну редакция удалила. Мне кажется, многим на каком-то подсознательном уровне AI без цензуры кажется опасным.