Как Discord притягивает экстремистов и безуспешно с ними борется

Изначально Discord был создан в 2015 году как площадка для фанатов многопользовательских игр. Пользователи могли общаться в тематических чатах и с помощью голоса во время игры. Со временем платформа стала универсальной, уже без фокуса на геймеров. Это способствовала пандемия коронавируса.

В течение первых двух лет существования платформы руководство сервиса практически не уделяло внимания мониторингу контента, который распространяется внутри площадки. До лета 2017 года этим занимался только один сотрудник сервиса.

Ситуацию изменили акции протеста в Шарлотсвилле в 2017 году, во время которых несколько тысяч ультраправых активистов выступили против сноса памятника генералу конфедератов Роберту Ли. Discord была одной из платформ, где протестующие координировали свои действия. Громким поводом к пересмотру политики стало дело Джека Тейшейры.

Руководство Discord значительно расширило штат отдела Trust & Safety (T&S). Сейчас его численность составляет 15% от общего количества работников. Процесс выявления запрещенного контента во многом автоматизирован и позволяет удалять до 85% подобной информации еще до того, как на него пожалуются пользователи.

Компания старается балансировать между контролем за коммуникацией и свободой слова. Более 80% коммуникации происходит в личных чатах и закрытых сообществах, куда доступ возможен только по приглашению. В этих сообществах модерация Discord минимальна либо полностью отсутствует.

Платформа начала активнее работать с модераторами во время пандемии. Руководство запустило специальные обучающие программы, приглашало модераторов на специальный сервер, где они могли обсуждать безопасность пользователей и политику платформы в отношении участников сообщества.

В ноябре 2022 года Discord закрыла сервер и свернула все обучающие программы, а также уволила трех сотрудников, которые за них отвечали. Руководство платформы посчитало, что такие способы работы не самые эффективные. При этом пользователи продолжали публиковать на площадке проблематичный контент.

Команда модераторов Discord не могла своевременно реагировать на контент, когда случился штурм Капитолия в январе 2021 года; серия ложных звонков в 2022 году с сообщениями о бомбах, стрельбе и других угрозах жителям США и Канады; убийство десяти человек в супермаркете в Буффало в мае 2022 года. Нападавший тогда использовал закрытый сервер Discord для планирования атаки.

Модераторы не могли отследить записи нападавшего из-за закрытого профиля. Но и в случае с автоматизированной модерацией модель должна была прочесть и понять записи и намерения злоумышленника так же хорошо, как и человек-модератор, а это пока технологически невозможно.

Один из выходов — это саморегуляция сообщества, то есть инициатива пользователей. Но этот метод будет эффективен только в том случае, если большинство участников будут в нем заинтересованы. Если радикалы собирают единомышленников в закрытом сообществе для планирования преступных действий, никто из них не будет сообщать о проблематичном контенте модераторам.

Тейшейра вместа с друзьями размешал на закрытых серверах, посвященных играм, расистские и антисемитские посты. Довольно скоро игры отошли на второй план. Когда Тейшейра стал модератором, он исключил из списка участников пользователей, которые ему не нравились. Затем он стал обсуждать массовые убийства и расовую идеологию.

Кроме того, военнослужащий выкладывал ролики, которые напоминали по стилистике трансляции нападений: он показывал оружие и стрелял из него, выкрикивал лозунги. Эти ролики нарушали правила платформы, но модераторы просто не знали об их существовании из-за закрытости сообщества.

В итоге Тейшейра начал публиковать секретные документы. Провал модераторов Discord показателен: сотрудники компании смогли определить источник утечки только через три дня, когда к ним начали обращаться журналисты. Но модераторы ничего не могли сделать, так как Тейшейра закрыл сервер и не оставил архива, который можно было бы показать ФБР.

Один из серверов Abinavskiʼs Exclusion Zone был связан с блогером Abinavski, который публикует на Youtube ролики из игры War Thunder с ироничными комментариями. Когда Тейшейра стал публиковать сводки американской разведки о российском вторжении в Украину, модераторы сомневались в опасности такого контента.

Если ветка, которую вел Тейшейра, пропала около 19 марта этого года, то сотрудники отдела T&S обратили внимание на его сервер лишь 24 апреля — через 11 дней после ареста военнослужащего и через две с половиной недели после обращения ФБР к Discord. Руководство платформы не связывалось с модераторами лично. По мнению сотрудника отдела, 

После дела Тейшейры Discord объявил об изменении пользовательской политики. Например, сервис ввел для защиты несовершеннолетних автоматическое размытие определенных типов медиа, предупреждение о возможных последствиях, когда несовершеннолетний начинает общаться с новым пользователем.

Теперь постоянным баном будут пользоваться в исключительных случаях. В бан попадут пользователи, которые поощряют насилие или делятся контентом, который содержит сексуальную эксплуатацию несовершеннолетних. Остальные будут получать временную блокировку или предупреждения.

Однако компания не стала вводить автоматическое сканирование информации на серверах для поиска потенциально опасного контента. Поэтому на платформе до сих пор можно найти экстремистский контент, который невозможно забанить старыми способами.