ИИ-бот Reddit советует лечиться героином — и его не могут отключить

На проблему обратили внимание на сабреддите, посвященном модерации: в официальном приложении Reddit под тредом r/FamilyMedicine сервис показал «Related Answers», где среди «подходов к обезболиванию без опиоидов» упоминался кратом, а в другом ответе шла речь о «медицинских показаниях к героину».

Редакция 404 Media воспроизвела похожие ответы, которые ссылались на посты пользователей с позитивными упоминаниями героина. После обращения журналистов и сигналов от пользователя Reddit Answers перестал отвечать на запросы вроде «heroin for pain relief» и выводит предупреждение, что не отвечает на потенциально небезопасные вопросы или нарушающие политику платформы.

В Reddit заявили, что «тестируют показ Answers на странице обсуждения и интеграцию в поиск», а модераторы пока не могут отключать сервис для своих сообществ. Компания отметила, что Answers не использует контент из приватных, карантинных и NSFW-сообществ, а также части материалов для взрослых.

Позднее Reddit сообщил о развертывании обновления, которое убирает блок «Related Answers» с обсуждений на чувствительные темы, «чтобы улучшить пользовательский опыт и корректность отображения контента».

Кратом в США не входит в список контролируемых веществ на федеральном уровне, но запрещен в ряде штатов. Регулятор FDA предупреждает о рисках серьезных побочных эффектов, включая токсичность для печени, судороги и формирование зависимости, врачи называет его небезопасным и неэффективным. Указание героина как варианта обезболивания также вызвало критику.