Школьные ИИ-системы массово арестовывают детей по ошибке
Системы ИИ-наблюдения в американских школах приводят к массовым ошибочным задержаниям и арестам детей.
Системы ИИ-наблюдения в американских школах приводят к массовым ошибочным задержаниям и арестам детей.
Системы ИИ-наблюдения в американских школах приводят к массовым ошибочным задержаниям и арестам детей.
К такому выводу пришли журналисты издания Milwaukee Independent, изучив работу алгоритмов, отслеживающих «опасные» высказывания школьников в интернете.
Речь идет о сервисах вроде Gaggle, которые анализируют школьную почту, чаты и поисковые запросы учеников в поисках намеков на насилие. По данным расследования, в одном из школьных округов города Лоренс (штат Канзас) система за 10 месяцев зафиксировала более 1 200 инцидентов, при этом около двух третей сигналов не представляли реальной угрозы.
Проблема усугубляется в штатах с жесткими законами нулевой терпимости к угрозам насилия, таких как Флорида и Теннесси. Там школы обязаны передавать подобные сигналы в полицию вне зависимости от контекста. В школьном округе Полк во Флориде за четыре года алгоритмы отметили около 500 учеников, что привело как минимум к 72 случаям ареста или принудительной госпитализации.
«Очень многие дети, прошедшие через принудительное обследование, вспоминают этот опыт как травмирующий и разрушительный, а не как помощь для психического здоровья», — заявил юрист Southern Poverty Law Center Сэм Бойд.
Во многих случаях дети даже не знают, что их онлайн-активность на школьных устройствах отслеживается. Жительница Теннесси Лесли Матис рассказала, что ее дочь-восьмиклассницу арестовали, допросили и поместили в камеру на ночь из-за переписки, в которой подростки обменивались оскорблениями. Алгоритм зафиксировал фразу, вырванную из контекста, как угрозу насилия.
«Это выглядело так, будто система просто выхватывает отдельные слова и не понимает смысла происходящего», — сказала Матис. «Я задумалась: в такой стране мы живем?»
Исследования показывают, что даже кратковременное пребывание подростков под стражей повышает риск проблем во взрослой жизни: от повторных арестов до ухудшения здоровья и снижения шансов на стабильную работу.



Релоцировались? Теперь вы можете комментировать без верификации аккаунта.