Крупное исследование ИИ-систем для найма показало, что алгоритмы могут не только усиливать расовые перекосы, но и снижать шансы кандидатов сразу у разных работодателей. Если несколько компаний используют одного и того же поставщика HR-алгоритмов, неудачная оценка кандидата может фактически повторяться при подаче на разные вакансии.
Крупное исследование ИИ-систем для найма показало, что алгоритмы могут не только усиливать расовые перекосы, но и снижать шансы кандидатов сразу у разных работодателей. Если несколько компаний используют одного и того же поставщика HR-алгоритмов, неудачная оценка кандидата может фактически повторяться при подаче на разные вакансии.
Исследователи из Стэнфордского университета, Университета Чепмена и Северо-Восточного университета проанализировали работу ИИ-алгоритмов для отбора кандидатов и обнаружили заметные расовые различия в результатах.
Авторы изучили более 4 миллионов заявок от 3 миллионов соискателей на позиции в 156 компаниях. В основном это были крупные работодатели с годовой выручкой от $5 миллиардов. Все заявки проходили через алгоритмы одного поставщика — платформы Pymetrics, которая сейчас принадлежит Harver.
Pymetrics оценивает кандидатов не по резюме, а через набор онлайн-игр. Они должны измерять когнитивные и поведенческие характеристики: склонность к риску, скорость обработки информации, альтруизм и другие качества. Компания позиционировала такой подход как более объективный по сравнению с традиционным просмотром резюме.
Исследователи считают, что прежние проверки могли не показывать реальный масштаб проблемы. Pymetrics оценивала работу алгоритма в целом: объединяла данные по разным компаниям и разным вакансиям. В таком общем массиве перекосы могли сглаживаться и выглядеть менее серьезными.
Авторы нового исследования сделали иначе: они проверили не общую статистику, а каждую вакансию отдельно — всего 1746 позиций. По их словам, именно так и нужно оценивать возможную дискриминацию при найме: важно смотреть, как алгоритм отбирает кандидатов на конкретную должность, а не только по всей базе сразу.
После такой проверки расовые различия стали заметнее. В 10,62% вакансий алгоритм рекомендовал темнокожих кандидатов существенно реже, чем кандидатов из группы, которую система отбирала чаще всего.
Около 30% темнокожих кандидатов хотя бы раз подались на вакансию, где алгоритм работал для них хуже, чем для других групп. Если считать не людей, а сами отклики, то 25,87% всех заявок от темнокожих соискателей — почти 40 тысяч — пришлись на такие проблемные позиции. Затронуты были и кандидаты-азиаты: 14,74% их заявок также попали на вакансии, где алгоритм показывал результаты, которые могут считаться дискриминационными по федеральным правилам США.
«Когда один поставщик начинает управлять принятием решений в какой-либо области, его особенности или недостатки могут проявляться во всем секторе так, как раньше было невозможно», — объяснила профессор Northeastern University и соавтор исследования Кэтлин Крил.
Вторая важная проблема — эффект «алгоритмического черного списка». Исследователи выяснили, что алгоритмы одного и того же поставщика сильно коррелируют между разными работодателями. То есть отказ в одной компании может повышать вероятность отказа в другой, если обе используют одну и ту же систему оценки.
Это связано с тем, что результаты игр Pymetrics могли храниться и повторно использоваться до 330 дней. Если кандидат проходил оценку для одной компании, а затем подавался в другую, использующую ту же платформу, он фактически мог получать не две независимые оценки, а один и тот же алгоритмический результат повторно.
Среди кандидатов, которые подались на 10 вакансий через Pymetrics, 4% были отклонены везде. По расчетам исследователей, это выше, чем можно было бы ожидать, если бы решения работодателей действительно были независимыми. Чтобы снизить вероятность такого системного отсева ниже 0,1%, кандидату пришлось бы податься минимум на 25 разных позиций. Это более чем вдвое больше, чем потребовалось бы при независимых решениях о найме.
Авторы называют это «algorithmic blackball» — ситуацией, когда кандидат может быть фактически заблокирован сразу в нескольких компаниях из-за одного и того же алгоритмического профиля, даже не понимая, что именно происходит.
Исследователи предлагают несколько мер: проверять дискриминационный эффект на уровне каждой отдельной вакансии, а не только по агрегированным данным; усиливать надзор за рынком поставщиков; учитывать риски концентрации алгоритмов; а также дать независимым исследователям законный доступ к данным таких систем.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.