В Детройте мужчина, которого обвинили в магазинной краже, подал в суд на местное полицейское управление из-за ареста. Оказалось, что система распознавания лиц допустила ошибку, и мужчина лишился свободы незаконно.
Иск был подан Американским союзом гражданских свобод от имени Роберта Уильямса, которого организация назвала первым человеком в США, незаконно арестованным на основании распознавания лиц.
Инцидент произошел в 2019 году. Полицейские изучали видеозапись кражи в магазине. Детектив использовал технологию распознавания лиц, и система пометила Уильямса на основании фотографии из водительского удостоверения. Сама запись была некачественной, так как все произошло в темное время суток. При этом подозреваемый был темнокожим.
Однако отдел полиции подготовил подборку фотографий, включающую снимок Уильямса, и показал ее охраннику, которого даже не было в магазине в момент кражи. Арестованный провел 30 часов в изоляторе.
Американский союз гражданских свобод утверждает, что полиция Детройта использовала распознавание лиц при обстоятельствах, которые, как они должны были знать, дадут ненадежные результаты, а затем не упомянула недостатки системы, включая ее расовую предвзятость.
Это не единственный подобный эпизод. В 2020 году другой темнокожий американец Майкл Оливер также подал в суд на полицейских.
Несколько американских городов уже запретили применять системы распознавания лиц при расследованиях, а Microsoft, IBM и Amazon обязались не допускать попадания своих систем в руки полиции.
В настоящее время исследовательская лаборатория армии США разрабатывает набор данных для обучения системы распознаванию лиц, которая работает в темноте. Visible-Thermal Face (ARL-VTF) содержит 500 тысяч изображений 395 человек. Набор включает совпадающие изображения лиц людей, снятые как в обычных условиях, так и с помощью тепловизионных камер при низкой освещенности.
Angmarets
Классика
methos2
дожили…
sergeyns
Просто поговаривают что учебные датасеты не отражают реальное рассовое соотношение… Правда в разные регионах США оно разное
Am0ralist
И поэтому система распознавания лиц опознала темную кожу вместо светлой или что? Я как-то не очень понял это из статьи...
Или что она неправильно сделала в виде расовой предвзятости? Должна была поискать белого с блэкфейсом?wolfer
сначала нейросети научили рисовать, а теперь недоумевают от того, что они расовые теории строят =)
KivApple
Качество работы алгоритма машинного обучения напрямую зависит от разнообразия исходного датасета, на котором выполнялось обучение. Нейросеть натренированная преимущественно на белых лицах, будет чаще ошибаться при работе с чёрнокожими. В свою очередь, многие датасеты, используемые для обучения, имеют данный недостаток просто потому что в странах, где разрабатываются системы распознания лиц, чернокожее население является меньшинством и случайная выборка людей для создания датасета будет несбалансированной по этой причине.
Am0ralist
Эм, тогда это не «расовая» предвзятость, а стандартное человеческий косяк распознавания, когда представители другой расы на одно лицо, то есть просто малая достоверность распознавания для представителей рас, отличных от европеоидов…
kSx
Расовая предвзятость, — это когда на ночных фотках распознаются негры, даже если их там нет?)
tvr
Исправил.
DSolodukhin
А должны распознаваться афроамериканцы?
Берешь фото, вроде афроамериканец, но нет, присмотрелся, всё таки негр.
tvr
Распознаваться должны лишь только не афронегроамериканцы.
kSx
Это всё тяга к заимствованиям русского языка. Позаимствовали «негр», — придётся теперь делить последствия. В чешском, например, он просто чернох, — и ни у кого никаких вопросов.
A114n
Испанцам очень тяжело, наверное.
tommyangelo27
Недавно была история с Эдинсоном Кавани (уругваец, испаноязычный).
glestwid
Хотя именно хиспаникам вся эта история с пигментно-одаренными до одного места. Они сами в работорговле замешаны не были, предъявить им не выйдет, а в не самых спокойных уголках большого ЛА это еще кто кого порежет. У латиносов будет однозначно численный перевес.
geher
Вообще-то очень даже.были.
В испаноязычных странах темнокожих, чьи предки не по доброй воле приехали из Африки, очень много. Другой вопрос, что там не было столь жесткой сегрегации, как в США и Великобритании,. А та, что была, достаточно быстро почти сошла на нет, в отличии от тех же США, где неофициально кое-где она все еще имеет место.
glestwid
Ну, не думаю что миллионы чиканос из ЛА имеют какое-то отношение к владельцам плантаций тростника и фруктов. Они в смысле своего социального происхождения гораздо ближе к самим афроамериканцам.
geher
Во-первых, подавляющее большинство белого населения США не имеет никакого отношения к плантаторам и прочим рабовладельцам. Более того, среди них хватает потомков белых рабов.
Во-вторых, замешаны они в работорговле были ровно по тому же принципу, что и большая часть белого населения Америки. Они той же расы (в США они вполне проходят как белые) и являются в большинстве своем прямыми потомками белых колонизаторов из Европы. Коллективная ответственность в чистом видн, не отмажешься.
Stroy71
Вообще-то negro — черный на испанском языке.
major-general_Kusanagi
vmkazakoff
И
А всё-таки пусть будет непредвзятой, ну правда! И гендерно нейтральной, а то ну как так то. Пусть по фото темнокожего мужчины находит блондинку, а то вообще этот ваш ИИ совсем распоясался!
Ommonick
недостатки статистики, включая ее расовую предвзятость*
fixed
BasilioCat
Были же сообщения о том, что полицейские управления отказываются от системы предсказания возможных нарушений, которая посылает патрули туда, где они в результате арестовывают больше негров, чем белых. Нарушая тем самым установленные социальные нормы соотношения цветных и белых преступников. Статистику портят, в общем, роботы эти.
ag3r
Если статистика говорит, что в районе А больше нарушений, чем в Б, то послав патрули туда вы зарегистрируете в А ещё больше нарушений. Обновляете данные алгоритма, и снова все в А, и там ещё больше нарушений. Возникает цикл с положительной обратной связью, который не разорвать. А вместо этого надо бы подумать о том, почему люди идут на преступления и как они вообще живут там на самом деле
Am0ralist
Ark1774
Собственно думать то особо нечего. Образование стоит дорого, дети учится не заинтересованы. Порочный круг.
Am0ralist
Ark1774
Люди с низким уровнем образования не могут найти работу и идут на преступления, их дети не могут/хотят получить образование, не могут получить работу и идут на преступления, их дети… круг замкнулся.
Am0ralist
Только там проблема несколько другая и даже с образованием не всё так однозначно. Вы больше описали проблемы реднеков (только без части про преступления), а не проблему гетто.
Дети считайте всегда не заинтересованы в образовании. И образование часто стоит дорого для всех, а не только для жителей чернокожих гетто.
Chamie
Образование стоит дороже для тех, кто меньше зарабатывает. Не в абсолютных долларах, разумеется.
Am0ralist
В сша конкретно для бывших угнетённых оно может быть доступнее, чем для «угнетателей» из реднеков и всяких депрессивных регионов. Просто по всяким квотам и прочему.
Chamie
Я отвечал конкретно на «стоит дорого для всех». Вы тут к чему-то неявно подводите, но не указываете, к чему. К тому, что в гетто ситуации лучше, чем у реднеков? А какой процент белых в США — реднеки?
Kanut79
Хм, а что по вашему означает слово "предвзятый"?
amarao
Нет, тут жалоба на другое. Система хорошо умеет различать белокожих и плохо различает (много ложных срабатываний) для темнокожих.
alliumnsk
Увы, это практически неустранимый недостаток, учитывая относительно бОльший уровень шумов на темных изображениях и бОльший вес бликов на изображениях темнокожих.
amarao
А белые сливаются с занавесками, небом и побелкой. Или нет? Насколько я понимаю, это вопрос настройки софта и железа. И был серьёзный скандал с плёнками для фотографий из-за того, что в них не "целились" в цвет тёмной кожи.
Am0ralist
Эм, ну «предвзятый» в русском — это больше про то, что до начала анализа система уже предполагает чернокожего, потому что среди них больше преступников с её точки зрения
То есть нечёткая фотка — ищи негра. Намазался гуталином — опозновай ближайшего темнокожего.
А это просто «недостоверно ищущая по разным расам программа».
ZlodeiBaal
Немножко классики
Альфонс Алле, «Битва негров в пещере ночью», 1882
Ark1774
В банкоматах вроде бы уже сделали.
ainoneko
Надо бы добавить того же автора «Хлоротичные девицы идут к первому Причастию в снежную пору»" (1883) и «Уборка урожая помидоров на берегу Красного моря апоплексичными кардиналами» (1884).
Catslinger
Писали уже много раз про расовую предвзятость AI. И дело тут даже не выборках, на которых его обучали. Дело в том, что цвет кожи типичного афроамериканца, сфотографированного в студийном свете, вообще не чёрный, а тёмно-тёмно оранжевый. Кто не верит, возьмите голливудские кадры и пипеткой померяйте. И когда лицо белого либо китайца плохо освещено, получается похожий оттенок. В результате, если на яркой улице стоит белый либо китаец, и лицо его в тени от шляпы либо чёлки, система уверенно решает, что это негр, и дальше подбирает наиболее похожее лицо уже из базы негров.
Вот и получается, что система определения преступников настроена против негров. Будь негры не чёрными, а снежно-белыми, было бы наоборот.
DigitalBerd
.
arrakisfremen
Я чёт сейчас не понял? Негры ещё и в отдельной базе находятся? Резервация для негров онлайн?
nikolayv81
Это чтобы ровно по 1/3(или 1/4 или...) из каждой базы :)
sw0rl0k
Во-первых, не меряйте ничего по голливудским кадрам хотя бы потому, что цвета голливудских фильмов намеренно искажены. Я вот снимаю иногда на киношную пленку kodak vision 3 и оранжевым негром меня не удивить.
Во-вторых, есть пруфы, что в штатах или где-то ещё используется система распознавания лиц на основе цвета кожи? Просто я видел несколько рабочих систем, две для коммерческого использования и одну для использования правоохранительными органами одной центрально-европейской страны. И все они оперировали параметрами лица (формы и расстояния), но никак не цветом кожи.
Chamie
amarao
Коричневый = тёмный оранжевый, кстати, так что тут никакого откровения нет.
Am0ralist
Всё что я видел о предвзятости подобных программ — это то, что система предсказаний возможных повторных правонарушений для судов, где не было указано ни расы, ни цвета кожи, всё равно негативнее относилась к неграм, чем к белым, из-за чего там вроде назначались большие суммы залогов и более строгие условия, если уж не ошибаюсь.
Вот только что-то меня терзают смутные сомнения, что корреляции были не с расой человека, а с адресами и неблагоприятными районами проживания, жители которых чаще совершают повторные преступлениями, а так же уровнем образования и прочими нюансами.
Поэтому хотелось бы увидеть статьи с подтверждением о том, что системы распознавания по цвету кожи хоть как-то ориентировались и были на этом пойманы.
Runis
Вот тебе цена такой «безопасности». А про незаконную слежку и упоминать не надо.
Coast
Чернокожий под покровом ночи воровал не уголь ли случайно? ))