Банк Goldman Sachs обвинили в установлении разного кредитного лимита для мужчин и женщин — пользователей Apple Card. Жалобы поступили, в том числе, от сооснователя Apple Стива Возняка и бывшего автогонщика Давида Ханссона.
Оба заявили о том, что их супруги получили меньший кредитный лимит при лучшей кредитной истории. По словам Ханссона, разница между его кредитным лимитом и таковым у жены является 20-кратной.
Возняк в ответ подтвердил, что у его жены лимит ниже в 10 раз, хотя «отдельных банковских счетов или счетов кредитных карт или каких-либо отдельных активов» у пары нет.
На жалобы уже отреагировал департамент финансовых услуг Нью-Йорка. Он проверит работу Goldman Sachs по картам. «Любой алгоритм, который намеренно дискриминирует женщин или другие группы населения, является нарушением закона в штате Нью-Йорк», — отметила представитель департамента Линда Лэйсвелл.
Пользователи предположили, что кредитная линия может быть привязана к семье, соответственно, первому из супругов, подавшему заявку на карту, предоставляется более высокий лимит.
В банке в ответ заявили, что у членов одной семьи могут быть принципиально разные кредитные линии. Там отметили, что лимит формируется независимо от гендера, а в зависимости от дохода и кредитоспособности, с учетом таких факторов, как личные кредитные рейтинги и личный долг. Однако Ханссон сообщил, что после шумихи в соцсетях банк неожиданно увеличил кредитную линию его жене. «О чем тут можно говорить, если никто не может объяснить нам, как принимаются решения. Может быть, у них и не было намерения кого-то дискриминировать, но результат получился именно таким», — добавил он.
Американские пользователи получили возможность делать покупки при помощи Apple Card в августе. Apple заявила о выпуске карты в марте. Она позволяет делать покупки с помощью платежной системы Apple на более выгодных условиях. Карта имеет полностью бесплатное обслуживание. Компания пообещала возвращать 3% от каждой покупки в магазинах и сервисах Apple, сделанной с использованием Apple Card.
Goldman Sachs опубликовал пользовательское соглашение для кредитной карты. Ее владельцы не смогут покупать криптовалюты, использовать карту для приобретения игровых фишек в казино, а также делать с ее помощью ставки на тотализаторах или покупать лотерейные билеты.
Ханссон известен также как создатель популярного инструмента программирования Ruby on Rails. Он является партнером Basecamp, веб-фирмы по разработке программного обеспечения. По словам Ханссона, банк, вероятно, не имел намерения дискриминировать пользователей, однако его подвел алгоритм «черного ящика» (Black box). С этим согласились и некоторые пользователи. Они объяснили, что алгоритм мог задать женщинам меньший кредитный лимит, оценив предыдущие платежи и в целом ситуацию на рынке труда. Этот алгоритм уже привлекал внимание Конгресса. Комитет по финансовым услугам Палаты представителей заявлял о примерах принятия алгоритмических решений, когда были обнаружены случаи предвзятого отношения к конкретным группам населения.
Между тем американские законодатели потребовали ответа на федеральном уровне. Сенатор-демократ Элизабет Уоррен ранее заявляла, что правительство «должно будет принять меры, чтобы антидискриминационные законы не отставали от инноваций».
Комментарии (55)
vassabi
11.11.2019 15:49+1… до сих пор я видел только обвинения в том, что дескать это всё алгоритмы виноваты.
надеюсь, что они рискнут посмотреть в сторону сырых данных — сколько я ни видел (или делал) систем для работы с финансами, алгоритмы были виноваты только в одном из случае из моей практики. Зато данные — постоянно, то неполные, то неконсистентные, и это еще не считая очепяток и подтасовок…
UPD: были же шутки про «что может быть проще чем» — про имена, время или паспорта (не могу найти линк, нагуглил пример)
DrunkBear
11.11.2019 16:40Основная проблема нейросетей — они не могут объяснить, почему сделано именно такое решение, да и вообще, скоринговые модели — одна из самых охраняемых банковских тайн.
Видимо, нейросети станут любимой мишенью для нападок всяких sjw: дискриминируют, не объясняют почему и вообще — молчат в ответ на нападки.
adictive_max
11.11.2019 17:09Комитет по финансовым услугам Палаты представителей заявлял о примерах принятия алгоритмических решений, когда были обнаружены случаи предвзятого отношения к конкретным группам населения.
Вот тут вообще интересно, а что делать, если эти группы населения на самом деле менее кредитоспособны? Отменять скоринг в принципе, и выдавать кредиты всем с одинаковыми лимитами на одинаковых условиях?
Или что это просто случайное совпадение? Ну вот вышло так, что под формальные условия, никак напрямую с полом не связанные, женщины попадают в несколько раз чаще. Будет ли это считаться дискриминацией?algotrader2013
11.11.2019 18:48+1Как-то общался с матерым спецом из области скоринга, съевшем много говна в западном банкинге и регуляциях. Он рассказывал, что они тренируют отдельно две модели под белых и афроамериканцев. Потом подбирают порог отсечения, чтобы % аппрувов относительно всех поданных заявок по каждому цвету кожи был одинаков.
Да, выходит такой феномен, что при абсолютно идентичных входных данных белый заемщик всегда получит вероятность получить кредит ниже (ведь надо быть более «правильным», чтобы пробиться через порог алгоритма для белых, который выходит самым строгим), но зато, регулятор доволен: берешь выборку заявок от людей с одним цветом кожи, и всегда получаешь один и тот же % аппруваalgotrader2013
11.11.2019 19:02Еще из интересного приводил пример: если просто удалить все фичи из модели, которые указывают на расу (имя и количество детей, например), то хорошая модель все равно под капотом создаст фичу, которая очень сильно коррелирует с цветом кожи (как пример, одна из моделей на промежуточном уровне научилась негритянские кварталы по адресу определять, хотя никто такой задачи не ставил), и использовать эту фичу, как весьма значимую.
Keynessian
12.11.2019 04:38А как быть
с Изауройс теми кто как Скала Дуэйн или как Меган Маркл — ни фига не выглядят чёрными?
Их как по какой модели оценивают?
А с вот этими близняшками как?
DrunkBear
12.11.2019 10:45Это статистические выбросы и на них модель не будет работать корректно, скорее, персональный менеджер начнёт работать напрямую.
Так же модель, обученная на топовых актёрах и менеджерах с большими доходами, будет неправильно оценивать обычных людей, вне зависимости от цвета кожи.
Про близняшек очень хочется процитироватьанекдот… хорошо хоть не лает
Am0ralist
12.11.2019 16:20Так то, где они живут будет не сильно коррелировать с цветом кожи и всё. А так как таких людей не так уж и много, относительно всего населения, то их вклад — незначителен.
То есть корреляция на самом деле не с цветом кожи, а с другими факторами, но выглядит внешне именно как корреляция с ней и даёт повод обвинить в расизме…
ctc
11.11.2019 18:51Вот тут вообще интересно, а что делать, если эти группы населения на самом деле менее кредитоспособны?
Ну что обычно происходит при столкновении единственно верного учения с противоречащей ему реальностью? Сначала реальность долго кошмарят и бьют молотком, потом делают вид, что всё уже хорошо и реальность прогнулась, после чего от реальности прилетает ответка.Будет ли это считаться дискриминацией?
Да. Потому что судят о наличии дискриминации по легко измеряемому и очевидному конечному результату, вроде «что-то в ИТ-отделе вашей кампании маловато женщин». Разбираться в тонкостях и выслушивать всерьез «мы бы рады, да женщины не очень хотят в ИТ» никто не будет, поскольку это будет потворство сексистам, в которые вас уже записали, ведь в ИТ-отделе вашей кампании маловато женщин.edogs
11.11.2019 23:13судят о наличии дискриминации по легко измеряемому и очевидному конечному результату
Это интересная тема местами несколько абсурдная.
В сша был прецендент, контору хотели засудить за расовую дискриминацию. Вдруг в течении года, с момента последних изменений в кадровой политике, нанимались только белые, черным всем был отказ.
В ходе разбирательств выяснилось, что изменение сводилось к том, что из анкет изьяли расовые признаки (раса, фото, фио).
Суд постановил добавить обратно расу и нанимать не меньше 25% афроамериканцев. Но штраф не применил.ctc
12.11.2019 00:29Суд постановил добавить обратно расу и нанимать не меньше 25% афроамериканцев. Но штраф не применил.
Это называется affirmative action. Давняя и почтенная практика в прогрессивных странах, приводящая к замене одной дискриминации другой.
Fedcomp
11.11.2019 17:54Ну да, ведь DHH и Стив возняк это не весьма известные (да и богатые) медиа персоны, верно? а их жены?
Ostrouschcko
11.11.2019 20:34-1Наверное Стив лучше Вас знает свою кредитную историю и кредитную историю жены
old_bear
11.11.2019 18:52Что-то вспомнилась серия из «Хауса», где один
неграфро-американец был очень недоволен, что ему дают не те же лекарства, что и белым (или правильнее будет евро-американцам?). Считал это вопиющим проявлением дискриминации.
Такая мелочь, как разница в действии лекарств на людей разной расовой принадлежности им во внимание не принималась.
P.S. Интересно, сейчас эта серия в США доступна к просмотру?Am0ralist
12.11.2019 16:24Там был ещё один… афро-американец, который тоже был не очень доволен тем, что его наняли из-за того, что он — черный. Который как раз таки вашего АА и лечил)
a-l-e-x
11.11.2019 20:02Очень может быть, что, например
люди очень любят классифицировать всё в стиле (псевдо) «дихотомии» — либо белое, либо черное…
а ИИ, вообще может быть этим не заморачивается, и такими вещами не занимается.
Но зато, после принятия решения с помощью ИИ, человек смотрит на результаты, и хочет эти результаты классифицировать. В своём любимом стиле, естественно.
mkovalevskyi
11.11.2019 20:18Странно кстати. У меня сложилось прямо противоположное мнение о алгоритмах американских банков — что жене (при наличии мужа), таки кредитки дают более охотно. И я даже подозреваю почему, но это будет не политкорректная мысль ;)
A1054
11.11.2019 21:22Комитет по финансовым услугам Палаты представителей заявлял о примерах принятия алгоритмических решений, когда были обнаружены случаи предвзятого отношения к конкретным группам населения.
В этом и суть скоринга — предвзято относиться к тем или иным группам населения.
полное устранение дискриминации = запрещению скоринга.
А если та или иная группа (женщины, мужчины, негры, алеуты, водопроводчики или рыжие) пробивает закон, чтобы им давали столько же кредитов, сколько остальным, то это значит, что они пробили себе привилегии.mkovalevskyi
11.11.2019 21:58то это значит, что они пробили себе привилегии.
это, несомненно, открытие ))))
ghrb
То есть они требуют дать женщинам возможность залезать в такие же долги как мужчинам, при том что средней женщине сложнее зарабатывать такие же деньги какие зарабатывает средний мужчина, чтобы с этими долгами рассчитываться?
Daemonis
Вы так пишете, как будто кредитные карты — это что-то плохое. :)
vlom88
Герман Греф, перелогиньтесь
yudinetz
Минусуют юные смузихлебы, купившие аирподс по кредитной карте и не умеющие распоряжаться деньгами?
dlinyj
Минусуют те, кто считают комментарий неуместным.
fcoder
А умение распоряжаться деньгами — это когда кеш в кармане носишь или когда дебетовой картой светишь в каждой забегаловке?
yudinetz
Важен не сам инструмент — хоть наличные, хоть фьючерсы какие-нибудь там, а умение им пользоваться. А товарищ выше почему-то написал, что кредитные карты — это плохо, и это залезание в долги. Написал бы, например, что молоток — это плохо, смысл был бы тот же.
А вы продолжайте минусовать из-за того, что «комментарий неуместен». Странно иметь платформу, где принимаются только уместные комментарии — это как фэйсбук сегодняшний, или будущий российский интернет, где вас будет не только прослушивать, но уже и модерировать товарищ майор.
mkovalevskyi
Кредитные карты — это, кроме всего, еще и плюс к цене в магазинах. Бо за каждое использование карточки, кто-то таки отдает денежку визе/мастеркарду. И нормально так отдает.
Ну и кстати, конкретно в америке, при наличии достаточно большого долга по кредитке и желания, можно пойти в суд и сказать что тебе ту карточку навязали банки, так что ты за нее платить не будешь. И даже выиграть )
Так что кредитки — плохо ;)
edogs
1) За каждое использование карты действительно отдают визе, но отдают не за кредитную карту, а за пластиковую карту, даже если она дебитная.
2) Инкассация и охрана наличных тоже стоит для магазина денег, нередко сопоставимых с суммой отчислений в визу.
3) Платеж разумной картой в среднем по палате выгоднее, т.к.
3.1) Если это дебитка, то на ней окажется кэшбек, от 1% до 10%.
3.2) Если это кредитка, то на ней окажется грейс-период, что при длине грейса от 50 до 100 дней даст возможность… ну хотя бы тупо эти же деньги положить на вклад под %% и заработать денег
3.3) На средства находящиеся на счету начисляются %%, не так что бы большие, но на нал в кармане не начисляется ничего.
a-l-e-x
для владельца карты — по кредитной карте тоже может быть кэшбек…
для продавца услуг или товаров — работа с картами может быть выгоднее работы с наличными
mkovalevskyi
В целом — таки да, разумное использование банковских продуктов — оно полезно.
Другой вопрос, что банки работают не с людьми, они работают со статистикой… А по ней, с разумностью есть нюансы. К примеру, я когда открывал свою первую кредитку, мне полчаса читали по телефону правила ее использования. В часности пункт, про 23% фии за снятие с нее кеша. И на мой вопрос «а зачем с кредитки снимать кеш» ответили — ну есть странные люди )
Насколько я в курсе, когда в америке кто-то там (амазон кажись) попытался заделать магазин с только без наличным расчетом, их чуть не расстреляли, ибо дескриминация. Тех у кого нет кредиток. Так что для магазина нагрузка в любом случае будет двойной.
Остальные пункты — это все очень сильно зависит от страны/банка/магазина/погоды на луне.
К примеру — мне выгодно оплачивать в WholeFoods амазоновской прайм картой, но для этого ее еще надо получить, и иметь прайм аккаунт. Что означает или наличие лишних денег, или достаточно большой траффик товаров с/на амазона, иначе оно просто не окупиться.
Да и в банке на дебете у меня тоже могут быть проценты. Если там денег от 10млн, насколько я помню. Но это организовать еще сложнее )
a-l-e-x
www.riksbank.se/globalassets/media/statistik/betalningsstatistik/2018/payments-patterns-in-sweden-2018.pdf
— что показывает существование мест (магазинов), где наличные не принимаются вообще.
mkovalevskyi
Вы точно уверены что эта статья про Америку?
Бо конкретно в ее случае, кроме вышеприведенной дискриминации — это еще и попрание всех основ сразу, ибо доллар — он есть самай скрепная платежная единица в мире (как минимум по мнению америки) и НЕ принимать его для оплаты — это очень очень не есть хорошо.
И кстати, в вышеозначенной статье, упоминается некий свиш. Это намеки на перевод всего в электронный формат?
edogs
Статья про швецию, название статьи и урл: «Payment patterns in Sweden 2018».
Swish это популярная в швеции мобильная платежка, забабаханная несколькими банками совместно, что бы не отстегивать визе и т.д…
edogs
Читали про сравнение зарплат мужчин и женщин, нередко были отсылки к тому, что когда речь идет о дискриминации женщин, то приводят данные по годовой зарплате, а когда речь идет о дискриминации мужчин, то приводят данные по часовой зарплате. Наводит на рмзмышления.
Сложность заработка отдельный вопрос, как именно ее вычислять?
ghrb
Как минимум нужно приложить больше усилий чтобы трудоустроиться. Женщинам подходит меньше работ. Грузчиком например.
Ktator
Ну не знаю, мне, вот, тоже не подходит работа грузчиком.
ghrb
Я просто смотрю на знакомые семейные пары, друзей и родственников, с высшим образованием и без и усиленно напрягая память могу только пару случаев вспомнить когда жена зарабатывала бы больше мужа. Во всех остальных случаях ощутимая разница, часто кратная. Иногда жена вообще испытывает сложности с трудоустройством, самый типичный повод ребёнок, который уже есть и будет требовать отлучаться с работы, или может появиться и увести в декрет.
Ну и вообще, довольно показательно бизнес заявляет о том что в регионах нужно открывать колл-центры, мол чем ещё там женщинам заниматься.
edogs
Если потому что не могла, при прочих равных, это одно. Если потому что не хотела или не считала нужным, при прочих равных, это другое.
Женщину вряд ли возьмут в грузчики — печаль, мужчину вряд ли возьмут в секретарши — печаль. Что бы сделать корректные выводы нужно очень грамотно построенное исследование.
ghrb
Так я же не о причинах, я о факте. Если у средней женщины будет такой же кредитный лимит как у среднего мужчины, то ей труднее будет рассчитаться, достигнув этого лимита, больше я ничего не пытался сказать.
edogs
Но это не обязательно верно.
Представим себе хай скилл прогера который не любит напрягаться и работает 1 час в неделю, как следствие в статистике он виден как получающий небольшие деньги.
И представим себе рядом работягу который работает 8 часов в сутки и который получает на 20% больше.
Кому сложнее будет расплатиться с действительно большим кредитом?
Поэтому мы и говорим, что по статистике средних зарплат нельзя делать вывод о том, кому труднее будет погашать лимит. Вот данные по просрочкам могли бы быть аргументом.
mkovalevskyi
эм… дык… собственно «данные по просрочкам» — это как раз то, что больше всего (ну, не считая полностью выбранного лимита, но там есть нюансы как именно он выбран) бьет по кредитному рейтингу. Так что именно так оно вроде и работает…
edogs
Там чуть сложнее.
Цель банка это максимальная прибыль. Штрафы за несвоевременный возврат идут не просто в дополнение к проценту кредиту, а зачастую многократно превышают оный. Поэтому просрочки не всегда минус в кредитном рейтинге.
Утрируя — если у человека доход 100к в год и он постоянно просрочивает кредитную линию в 1000 баксов, то в чем проблема увеличить ее до 1500? Покрыть он ее все равно сможет, а просрочка с 1.5к даст больше прибыли чем просрочка с 1к.
mkovalevskyi
Сорри, да, конечно. Имелись ввиду просрочки по выплатам/погашениям.
ghrb
Это не репрезентативная выборка. Вы же не утверждаете на самом деле, что женщине проще много зарабатывать чем мужчине, просто они не любят напрягаться?
Мы же тут не экзотические кейсы выдумываем с женщиной которая после развода получила половину амазона и может погасить любой кредит.
Kate1313
То есть вы по умолчанию всех женщин сгребаете под одну гребенку «не умеют распоряжаться деньгами»? Влезть в долги или нет это дело женщины, оно зависит от наличия у нее мозгов в голове и калькулятора в телефоне. Это НЕ дело компании считающей сколько циферок кому выделить.
DrunkBear
Простите, Goldman Sachs — это банк и это именно его работа — считать кому сколько денег можно выделить (которые с максимальной вероятностью будут возвращены).
ghrb
Причём тут влезание в долги? Я так-то о доходах говорил.
A1054
Вы ошибаетесь. Влезать в долги или нет — дело женщины. А сколько циферек кому выделить — дело компании. Это их циферки, не государственные.
Ostrouschcko
Разсматривается конкретный случай, где у женшины лучшая кредитная история, но алгоритм ей урезает лимит из-за пола. Потому что в среднем у женщин ниже экономические возможности. Такой алгоритм посчитали некоректным к чему и я присоединяюсь.
defuz
Алгоритм скоринга вообще не корректен примерно ко всем одновременно, поскольку оценивает всех в усредненных категориях. Просто дискриминация по полу – это горячая и понятная всем тема.
Вот только алгоритм дискриминирует всех и одновременно по всем признакам – по вашему району, возрасту, количеству букв в имени и окончании в фамилии. Просто потому что это его задача – защитить банк от невозвратных кредитов, а не обеспечить равноправие и социальную справедливость.
Am0ralist
Так если финансы общие (в семье), то какая разница, кто в долги влезает? )
OutOfMemory
Я не специалист в скоринге, но возможно алгоритмы учитывают гендерные роли (в контексте совершения покупок), которые как-то формализованы в виде данных. Как вариант — роли, используемые в таргетированной рекламе. Ведь реклама для женщин и мужчин всё ещё сильно различается, даже в США.
Возможно, что эти же данные могут влиять на размер кредитного лимита по карте. Я не утверждаю, что женщины более импульсивны в покупках и более склонны к эмоциональным оценкам, чем к оценкам в соответствии с Предельной Полезностью, но реклама эксплуатирует именно такие образы.
А для однозначного ответа на вопрос «Есть ли здесь дискриминация?», наверное, нужно провести тестирование с участием всех возможных гендеров, включая ЛГБТ. Хотя подозреваю, что тогда будет выявлена ещё более серьёзная «дискриминация».
A1054
дискриминация точно есть по каким-то признакам. Иначе в чем смысл скоринга?
mkovalevskyi
кстати, фразу
можно идентифицировать и как дискриминацию самого возняка.Бо при таких раскладах, именно он выступает как гарант патежеспособности, и походу его задело, что его мало оценили, на жену не хватило )