За несколько лет Discord превратился из геймерской площадки в платформу, которая собирает тысячи ультраправых радикалов. Причинами этого стали правила сервиса и слабая модерация контента. В итоге Discord оказался замешан в одной из крупнейших утечек секретных документов американских спецслужб. The Washington Post рассказала, как это произошло.
За несколько лет Discord превратился из геймерской площадки в платформу, которая собирает тысячи ультраправых радикалов. Причинами этого стали правила сервиса и слабая модерация контента. В итоге Discord оказался замешан в одной из крупнейших утечек секретных документов американских спецслужб. The Washington Post рассказала, как это произошло.
Изначально Discord был создан в 2015 году как площадка для фанатов многопользовательских игр. Пользователи могли общаться в тематических чатах и с помощью голоса во время игры. Со временем платформа стала универсальной, уже без фокуса на геймеров. Это способствовала пандемия коронавируса.
В течение первых двух лет существования платформы руководство сервиса практически не уделяло внимания мониторингу контента, который распространяется внутри площадки. До лета 2017 года этим занимался только один сотрудник сервиса.
Ситуацию изменили акции протеста в Шарлотсвилле в 2017 году, во время которых несколько тысяч ультраправых активистов выступили против сноса памятника генералу конфедератов Роберту Ли. Discord была одной из платформ, где протестующие координировали свои действия. Громким поводом к пересмотру политики стало дело Джека Тейшейры.
В этом году ФБР задержало 21-летнего служащего ВВС США Джека Тейшейра по делу об одной из крупнейших утечек секретных документов Минобороны. Военнослужащий больше года выкладывал документы на закрытом сервере в Discord. Долгое время документы оставались незамеченными. Журналисты обратили внимание на них, когда файлы стали появляться на других площадках.
Руководство Discord значительно расширило штат отдела Trust & Safety (T&S). Сейчас его численность составляет 15% от общего количества работников. Процесс выявления запрещенного контента во многом автоматизирован и позволяет удалять до 85% подобной информации еще до того, как на него пожалуются пользователи.
Компания старается балансировать между контролем за коммуникацией и свободой слова. Более 80% коммуникации происходит в личных чатах и закрытых сообществах, куда доступ возможен только по приглашению. В этих сообществах модерация Discord минимальна либо полностью отсутствует.
Платформа начала активнее работать с модераторами во время пандемии. Руководство запустило специальные обучающие программы, приглашало модераторов на специальный сервер, где они могли обсуждать безопасность пользователей и политику платформы в отношении участников сообщества.
В ноябре 2022 года Discord закрыла сервер и свернула все обучающие программы, а также уволила трех сотрудников, которые за них отвечали. Руководство платформы посчитало, что такие способы работы не самые эффективные. При этом пользователи продолжали публиковать на площадке проблематичный контент.
В марте 2019 года австралиец Брентон Таррант напал на две мечети в Новой Зеландии. В результате теракта погиб 51 человек, 49 пострадали. Таррант снимал нападение на видео и вел трансляцию в фейсбуке. Затем связанные с терактом материалы попали на другие ресурсы, в том числе Discord. За десять дней с момента теракта компания забанила 1397 профилей и удалила 159 серверов, распространявших этот контент.
Команда модераторов Discord не могла своевременно реагировать на контент, когда случился штурм Капитолия в январе 2021 года; серия ложных звонков в 2022 году с сообщениями о бомбах, стрельбе и других угрозах жителям США и Канады; убийство десяти человек в супермаркете в Буффало в мае 2022 года. Нападавший тогда использовал закрытый сервер Discord для планирования атаки.
Модераторы не могли отследить записи нападавшего из-за закрытого профиля. Но и в случае с автоматизированной модерацией модель должна была прочесть и понять записи и намерения злоумышленника так же хорошо, как и человек-модератор, а это пока технологически невозможно.
Один из выходов — это саморегуляция сообщества, то есть инициатива пользователей. Но этот метод будет эффективен только в том случае, если большинство участников будут в нем заинтересованы. Если радикалы собирают единомышленников в закрытом сообществе для планирования преступных действий, никто из них не будет сообщать о проблематичном контенте модераторам.
Тейшейра вместа с друзьями размешал на закрытых серверах, посвященных играм, расистские и антисемитские посты. Довольно скоро игры отошли на второй план. Когда Тейшейра стал модератором, он исключил из списка участников пользователей, которые ему не нравились. Затем он стал обсуждать массовые убийства и расовую идеологию.
Кроме того, военнослужащий выкладывал ролики, которые напоминали по стилистике трансляции нападений: он показывал оружие и стрелял из него, выкрикивал лозунги. Эти ролики нарушали правила платформы, но модераторы просто не знали об их существовании из-за закрытости сообщества.
В итоге Тейшейра начал публиковать секретные документы. Провал модераторов Discord показателен: сотрудники компании смогли определить источник утечки только через три дня, когда к ним начали обращаться журналисты. Но модераторы ничего не могли сделать, так как Тейшейра закрыл сервер и не оставил архива, который можно было бы показать ФБР.
Один из серверов Abinavskiʼs Exclusion Zone был связан с блогером Abinavski, который публикует на Youtube ролики из игры War Thunder с ироничными комментариями. Когда Тейшейра стал публиковать сводки американской разведки о российском вторжении в Украину, модераторы сомневались в опасности такого контента.
Если ветка, которую вел Тейшейра, пропала около 19 марта этого года, то сотрудники отдела T&S обратили внимание на его сервер лишь 24 апреля — через 11 дней после ареста военнослужащего и через две с половиной недели после обращения ФБР к Discord. Руководство платформы не связывалось с модераторами лично. По мнению сотрудника отдела,
После дела Тейшейры Discord объявил об изменении пользовательской политики. Например, сервис ввел для защиты несовершеннолетних автоматическое размытие определенных типов медиа, предупреждение о возможных последствиях, когда несовершеннолетний начинает общаться с новым пользователем.
Теперь постоянным баном будут пользоваться в исключительных случаях. В бан попадут пользователи, которые поощряют насилие или делятся контентом, который содержит сексуальную эксплуатацию несовершеннолетних. Остальные будут получать временную блокировку или предупреждения.
Однако компания не стала вводить автоматическое сканирование информации на серверах для поиска потенциально опасного контента. Поэтому на платформе до сих пор можно найти экстремистский контент, который невозможно забанить старыми способами.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.
Ну вот, открыл статью хотел прочитать про настоящих экстремистов, которые носки бело-красные одевают (с...ки, как так можно вообще????) или стих антивоенный прочитали, про мир что-то там кричали [censored - П. 4.1.2. Пользовательского соглашения — https://devby.io/pages/polzovatelskoe-soglashenie]
А тут всего-то про каких-то расистов, призывающих уничтожать н... и е...
Разочарован прямо.
Не хотят памятники сносить - экстремисты.
Мдаа..
С тех пор как дев бай купил прокопеня и изменил систему с создания хоть и в небольшом кол-ве но оригинального контента, на наем девочек переводчиков у которых компетенции заканчиваются на этой самой способности переводить, меня не покидает постоянное ощущение испанского стыда.
И извините, теперь получается что и дев бай привлекает экстремистов, вроде меня. Я же ультра правый редикал, потому что нельзя так писать про девочек переводчиков - это сексизм.., или правда жизни, поди сейчас разберись в левой повестке, все так не просто...))
Пользователь отредактировал комментарий 18 декабря 2023, 23:42
В переводе с левацкого: обычных местных жителей, которые против уничтожения их истории.
"штурм", ага. Trespassing в лучшем случае, да и полно видео где охрана "штурмующим" сама двери открыла. Тут ещё интересные нюансы касательно состава "штурмующих" на подходе.
Хомяков детали не интересуют, прочитали название статьи на известном ресурсе и достаточно. Чтобы манипулировать большинством людей вообще не нужно сложных схем, они ведомы и им так комфортно - ни о чем не думать и жить так как им скажут, вот что они хотят. Это фундаментальный закон сохранения энергии. А те кто хочет думать это какая то аномалия, в этом мире.))