Буйное даследаванне ШІ-сістэм для найму паказала, што алгарытмы могуць не толькі ўзмацняць расавыя перакосы, але і зніжаць шансы кандыдатаў адразу ў некалькіх працадаўцаў. Калі некалькі кампаній выкарыстоўваюць аднаго і таго ж пастаўшчыка HR-алгарытмаў, няўдалая ацэнка кандыдата можа фактычна паўтарацца пры падачы на розныя вакансіі.
Буйное даследаванне ШІ-сістэм для найму паказала, што алгарытмы могуць не толькі ўзмацняць расавыя перакосы, але і зніжаць шансы кандыдатаў адразу ў некалькіх працадаўцаў. Калі некалькі кампаній выкарыстоўваюць аднаго і таго ж пастаўшчыка HR-алгарытмаў, няўдалая ацэнка кандыдата можа фактычна паўтарацца пры падачы на розныя вакансіі.
Даследчыкі са Стэнфардскага ўніверсітэта, Універсітэта Чэпмана і Паўночна-Усходняга ўніверсітэта прааналізавалі працу ШІ-алгарытмаў для адбору кандыдатаў і выявілі прыкметныя расавыя адрозненні ў выніках.
Аўтары вывучылі больш за 4 мільёны заявак ад 3 мільёнаў саіскальнікаў на пасады ў 156 кампаніях. У асноўным гэта былі буйныя працадаўцы з гадавой выручкай ад $5 мільярдаў. Усе заяўкі праходзілі праз алгарытмы аднаго пастаўшчыка — платформы Pymetrics, якая цяпер належыць Harver.
Pymetrics ацэньвае кандыдатаў не па рэзюмэ, а праз набор анлайн-гульняў. Яны павінны вымяраць кагнітыўныя і паводзінскія характарыстыкі: схільнасць да рызыкі, хуткасць апрацоўкі інфармацыі, альтруізм ды іншыя якасці. Кампанія пазіцыянавала такі падыход як больш аб’ектыўны ў параўнанні з традыцыйным прагляданнем рэзюмэ.
Даследчыкі лічаць, што ранейшыя праверкі маглі не паказваць рэальны маштаб праблемы. Pymetrics ацэньвала працу алгарытму ў цэлым: аб’ядноўвала дадзеныя па розных кампаніях і розных вакансіях. У такім агульным масіве перакосы маглі згладжвацца і выглядаць менш сур’ёзнымі.
Аўтары новага даследавання зрабілі інакш: яны праверылі не агульную статыстыку, а кожную вакансію асобна — усяго 1746 пазіцый. На іхную думку, менавіта так і трэба ацэньваць магчымую дыскрымінацыю пры найме: важна глядзець, як алгарытм адбірае кандыдатаў на канкрэтную пасаду, а не толькі па ўсёй базе адразу.
Пасля такой праверкі расавыя адрозненні сталі больш прыкметнымі. У 10,62% вакансій алгарытм рэкамендаваў цемнаскурых кандыдатаў істотна радзей, чым кандыдатаў з групы, якую сістэма адбірала найчасцей.
Каля 30% цемнаскурых кандыдатаў хаця б аднойчы падаліся на вакансію, дзе алгарытм працаваў для іх горш, чым для іншых груп. Калі лічыць не людзей, а самі водгукі, то 25,87% усіх заявак ад цемнаскурых суіскальнікаў — амаль 40 тысяч — прыйшліся на такія праблемныя пазіцыі. Закранутыя былі і кандыдаты-азіаты: 14,74% іх заявак таксама трапілі на вакансіі, дзе алгарытм паказваў вынікі, якія могуць лічыцца дыскрымінацыйнымі паводле федэральных правілаў ЗША.
«Калі адзін пастаўшчык пачынае кіраваць прыняццем рашэнняў у нейкай галіне, яго асаблівасці або недахопы могуць праяўляцца ва ўсім сектары так, як раней было немагчыма», — растлумачыла прафесар Northeastern University і сааўтар даследавання Кэтлін Крыл.
Другая важная праблема — эфект «алгарытмічнага чорнага спісу». Даследчыкі высветлілі, што алгарытмы аднаго і таго ж пастаўшчыка моцна карэлююць паміж рознымі працадаўцамі. Гэта значыць, адмова ў адной кампаніі можа павышаць верагоднасць адмовы ў іншай, калі абедзве выкарыстоўваюць адну і тую ж сістэму ацэнкі.
Гэта звязана з тым, што вынікі гульняў Pymetrics маглі захоўвацца і паўторна выкарыстоўвацца да 330 дзён. Калі кандыдат праходзіў ацэнку для адной кампаніі, а потым падаваўся ў іншую, якая выкарыстоўвае тую ж платформу, ён фактычна мог атрымліваць не дзве незалежныя ацэнкі, а адзін і той жа алгарытмічны вынік паўторна.
Сярод кандыдатаў, якія падаліся на 10 вакансій праз Pymetrics, 4% былі адхілены ўсюды. Па разліках даследчыкаў, гэта вышэй, чым можна было б чакаць, калі б рашэнні працадаўцаў сапраўды былі незалежнымі. Каб знізіць верагоднасць такога сістэмнага адсеву ніжэй за 0,1%, кандыдату прыйшлося б падацца мінімум на 25 розных пазіцый. Гэта больш чым удвая больш, чым спатрэбілася б пры незалежных рашэннях аб найме.
Аўтары называюць гэта «algorithmic blackball» — сітуацыяй, калі кандыдат можа быць фактычна заблакаваны адразу ў некалькіх кампаніях з-за аднаго і таго ж алгарытмічнага профілю, нават не разумеючы, што менавіта адбываецца.
Даследчыкі прапануюць некалькі мер: правяраць дыскрымінацыйны эфект на ўзроўні кожнай асобнай вакансіі, а не толькі па агрэгаваных дадзеных; узмацняць нагляд за рынкам пастаўшчыкоў; улічваць рызыкі канцэнтрацыі алгарытмаў; а таксама даць незалежным даследчыкам законны доступ да дадзеных такіх сістэм.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.