Алгоритм Apple обвиняют в сексизме

Apple и Goldman Sachs — два видных игрока в сферах технологий и финансов — недавно оказались в эпицентре обсуждения алгоритмов, которые устанавливают кредитные лимиты владельцам банковских карт: эмитента подозревают в неумышленной дискриминации по половому признаку, пишет Bloomberg. Сооснователь Apple Стив Возняк призвал к более жёсткому регулированию таких алгоритмов, а финансовый регулятор с Уолл-Стрит начал расследование обвинений в сексизме алгоритма Apple Pay, прозвучавших в Twitter.

На прошлых выходных Bloomberg сообщил, что Управление финансовых услуг штата Нью-Йорк (NYDFS) запустило расследование кредитных практик Goldman Sachs. Поводом стала публикация создателя Ruby on Rails Давида Хейнемейера Хэнссона в Twitter.

В длинной ветке он обругал Apple Card за то, что лимит по карте его жены в 20 раз ниже, чем у него самого. Хотя, по словам программиста, он и его жена подают совместную налоговую декларацию, а кредитный рейтинг у неё выше. Тирада сильно всколыхнула сообщество и собрала множество откликов.

The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.

— DHH (@dhh) November 7, 2019

Позже к обсуждению с аналогичной проблемой подключился кофаундер Apple Стив Возняк: у него лимит по карте Apple Card оказался в 10 раз больше, чем у жены. Причём супруги тоже подают совместную налоговую декларацию, у них совместные банковские и другие счета, привязанные к кредитным картам, однако другие банки таких различий по полу не делают.

Возняк призвал правительство вмешаться и стать на защиту граждан, заявив, что банки слишком много отдают на откуп сложной для понимания технологии. По его убеждению, подобные практики несправедливы и противоречат морали, а сами алгоритмы и механизмы их применения корпорациями, которые действуют исключительно в своих интересах, довольно непрозрачны.

Алгоритмы были призваны гарантировать равные условия для всех держателей карт, ведь они полагаются исключительно на данные и устраняют человеческий фактор. Но ситуация с Apple Pay подчёркивает их несовершенство, считает Возняк.

Претензии прокомментировал представитель Goldman Sachs. Он отметил, что Apple Card работает только с индивидуальными аккаунтами, поэтому лимиты у членов одной семьи могут значительно различаться. Но банк утверждает, что никогда бы не стал обуславливать решение гендерной принадлежностью держателя карты.

— Управление проведёт расследование с целью выяснить, имело ли место нарушение законов Нью-Йорка, а также гарантировать, что все потребители получают равные услуги независимо от пола. Если алгоритм ущемляет женщин или представителей любой другой защищённой социальной группы — устроен он так преднамеренно или нет, — это противоречит закону, — отметили в NYDFS.

Это уже второе подобное разбирательство регулятора за последние недели. Первое расследование было открыто в отношении UnitedHealth Group — крупнейшей американской компании в сфере медицинского страхования. Предметом стал алгоритм, который по результатам более ранних исследований заподозрили в преференциальном отношении к белокожим пациентам и дискриминации темнокожих.

Классические кредитные учреждения всё чаще внедряют алгоритмы для расчёта лимитов и допустимых сумм для клиентов, чтобы снизить издержки и обработать больше кредитных заявок. Вместе с тем, в финансовую сферу активно захватывают технологические компании, например Amazon, Apple, Facebook и Google, а предлагаемые ими возможности получения займов и проведения платежей рискуют отбить прибыль у банков.

Алгоритмы и Конгресс

Особый интерес к алгоритмам проявляет Конгресс. В июне случаи принятия при помощи алгоритмов решений, которые, пусть и ненамеренно, ущемляли определённые группы, рассматривал Комитет по финансовым услугам Палаты представителей США.

Кандидатка на пост президента США от Демократической партии в выборах 2020 года Элизабет Уоррен заявила о необходимости создания законов, пресекающих дискриминацию и поспевающих за темпами инноваций.

Что касается Goldman Sachs, со столь пристальным вниманием и такого рода претензиями нью-йоркский банк ещё не сталкивался. Предприятие Apple Card было запущено им в этом году совместно с Apple, и именно оно отвечает за кредитные решения по картам. К слову, Goldman Sachs называл Apple Card самым успешным проектом кредитной карты в своей истории.

А Ханссон продолжает критиковать банк за несерьёзное отношение к «проколу» с дискриминацией: как только проблема перекочевала в медийную плоскость, кредитный лимит его жены повысили, не запрашивая каких-либо дополнительных документов. «Я не думаю, что в этом виноват какой-то нехороший человек, хотевший кого-то дискриминировать. Но важно не это. Откуда нам знать, что проблема не в алгоритме машинного обучения, если никто не может объяснить, как это решение было принято?» — размышляет он.

So let’s recap here: Apple offers a credit card that bases its credit assessment on a black-box algorithm that 6 different reps across Apple and GS have no visibility into. Even several layers of management. An internal investigation. IT’S JUST THE ALGORITHM!

— DHH (@dhh) November 8, 2019