Полицейские опасаются, что масштабное использование ИИ с целью помочь полиции может привести к необъективной оценке рисков, ошибкам в анализе данных и прогнозировании.
В качестве примера можно привести ситуацию, когда представители малообеспеченных групп населения могут быть причислены ИИ к группе высокого риска лишь по той причине, что они чаще других взаимодействуют с социальными службами, соответственно, их данные в большинстве случаев находятся в государственных базах. А ИИ как раз и получает доступ к этим базам, делая затем анализ и прогнозы.
Исследование, о котором идет речь, было проведено по заказу Центра этики данных и инноваций в рамках подготовки Великобритании к широкому внедрению ИИ практически во все сферы жизни. По словам авторов исследования, полиция Великобритании все чаще использует новейшие технологии в своей работе, включая распознавание лиц, анализ видео, извлечение персональных данных из мобильных устройств, поиск людей в социальных сетях и т.п.
Эксперты уверены, что ИИ дает значительные преимущества, но в то же время вызывает серьезные вопросы как с этической, так и с юридической точек зрения. Причина — высокая вероятность ошибок, и, следовательно, дискриминация в отношении отдельных лиц или групп лиц.
Тем не менее, усиление патрулями регионов, которые ИИ считает наиболее опасными, оказалось более эффективными мерами в плане снижения уровня преступности, чем обычное патрулирование всех районов.
Кроме того, ИИ дал возможность в два раза точнее спрогнозировать места вероятного совершения преступлений по сравнению с обычным анализом, который проводится сотрудниками полиции на основании оперативных данных. Тем не менее, в полиции такая форма анализа используется нечасто.
Скорее, полиция предпочитает прибегать к услугам ИИ для того, чтобы анализировать индивидуальные риски. Другими словами, пытается определить вероятность совершения преступлений определенными лицами. И здесь уже возникает известная проблема. Так, прогнозы в отношении групп лиц достаточно точны, но вот индивидуальные прогнозы уступают им в точности.
Проблема в том, что компьютер может спрогнозировать без проблем лишь те действия, которые происходят часто, регулярно и массово. В других же случаях ИИ ведет себя не всегда правильно.
Так, если какое-то лицо было отмечено ИИ как представляющее высокий риск совершения правонарушения, то проверить правильность прогноза, получается не всегда. Часто полиция принимает меры, для того, чтобы потенциальный преступник не смог совершить преступление.
Еще одна проблема в том, что данных собирается великое множество, в особенности о тех из них, чей уровень жизни низок. Дело в том, что в большинстве случаев такие люди знакомы с сотрудниками социальных служб и регулярно подвергаются процедуре идентификации. Нет сомнению, что ИИ будет искать данные о преступлениях там, где они могут быть — т.е., среди обитателей социально неблагополучных регионов.
По словам одного из представителей полиции, использование ИИ в работе можно сравнить с «лоскутным одеялом, которое не скоординировано, используется с разными стандартами, в результате чего результаты тоже разные.
Комментарии (28)
skrimafonolog
20.09.2019 08:42+1Полицейские опасаются, что масштабное использование ИИ с целью помочь полиции может привести к необъективной оценке рисков, ошибкам в анализе данных и прогнозировании.
То есть они предполагают настолько полагаться на прогнозы ИИ, что он для них не подсказчик, после чего нужно думать своей головой — а прямо-таки однозначно решающий перст судьбы?
С таким подходом — это уже страшно.
Потому как к ИИ привыкнут, то что мы видим сейчас, это всего лишь сомнения в новых технологиях.
А потом привыкнут и «программист забудет поставить запятую, а ты будешь сидеть 10 лет».
Kanut
20.09.2019 09:04Недавно где-то читал, к сожалению ссылку найти не могу: в Германии запустили пилотный проект по обнаружению людей находящихся в розыске через общественные видеокамеры. Лица распознавались с вероятностью 99 с чем-то процентов. Звучит вроде бы совсем неплохо. Но в результате там на одном только мюнхенском вокзале было такое количество ложноположительных срабатываний что полиция не успевала их все проверять.
И это на данный момент большая проблема: доверять ИИ на 100% невозможно(как минимум пока), а чтобы проверять его часто просто не хватает ресурсов.
lamerok
20.09.2019 09:18А выезжать на задержание ложноопознанного ресурсы есть? Это как с камерами автомобильным, как только завалили суды на отмену штрафов, сразу стали проверять тщательно, перед тем как штраф выписывать, а некоторые вообще по отключали.
Kanut
20.09.2019 09:32Ну во первых это был пилотный проект, то есть там по идее должно было быть немного больше ресурсов чем в среднем.
А во вторых об этом и речь: нет этих ресурсов в необходимом количестве и поэтому нет особого смысла во всей этой новой системе в таком её виде.
И либо ИИ надо заметно улучшать, либо какой-то абсолютно другой концепт, либо вообще про это забыть.lamerok
20.09.2019 10:18Ну по сути система может отфильтровать из 100 человек одного похожего, а человек проверить… Т. Е. Она в помощь, а не для постоянного наблюдения очень даже. Например, есть наводка, что преступник будет на вокзале в ближайшее время… Вот и поставил систему и жди срабатывания. Сработало, проверил, ложное, ждём дальше.
А со временем точность улучшитсяKanut
20.09.2019 10:26А теперь представьте что вам нужно распознать десяток потенциальных преступников, а мимо всех потенциальных точек появления у вас в день проходит несколько миллионов человек. Сколько надо будет проверок делать? И какова вероятность что преступник издалека увидит проверки, развернётся и уйдёт?
lamerok
20.09.2019 11:03Так, понятно, что если всех обрабатывать на Земле, то это не вариант, но, думаю, в частном случае, по наводке, может пригодиться. Все равно наблюдения и слежку никто в полиции не отменял.
Yuriy_krd
20.09.2019 09:56+1Как человек, который запустил систему распознавания лиц на производстве, могу сказать, что уличные камеры еще довольно долго не смогут качественно распознавать лица просто из-за своих характеристик — нужно довольно большой процент заполнения кадра лицом, чтобы достоверность перевалила, хотя бы, за 80-90% (не меньше 40-50% заполнения, причем, изображение должно быть не интерполированным). При меньшем проценте заполнения сам видел, например, как система присваивает огромному усатому мужику данные маленькой хрупкой сотрудницы.
Kanut
20.09.2019 10:22Я сейчас не хочу особо придумывать и спекулировать, но цифра в >99% мне запомнилась. Возможно там под это дело и специальные камеры ставили.
Но самое смешное что сейчас полез гуглить как оно было и ту статью не могу найти. Потому что теперь мне выдаёт более новые статьи о том что в Мюнхене запустили проект с так называемыми "super recognizer", то есть с людьми, которые могут хорошо распознавать лица. И похоже это работает лучше варианта с ИИ :)
Yuriy_krd
20.09.2019 10:30Возможно там под это дело и специальные камеры ставили
Это вполне допустимый вариант, правда, значительно более дорогой (бОльшая матрица, более качественная оптика и более мощный процессор по сравнению с обычными камерами).
vedenin1980
20.09.2019 10:37запустили проект с так называемыми «super recognizer», то есть с людьми, которые могут хорошо распознавать лица. И похоже это работает лучше варианта с ИИ
С большой вероятностью, лучше вариант с ИИ заставить работать в связке с людьми. Нашли сотню совпадений — отправили таким людям фото преступников и подозреваемых — по результатам уже посылать полицию для проверки. Тогда ложноположительные срабатывания не страшны.Kanut
20.09.2019 10:52Подозреваю что проблема как всегда в финансах. Но всё равно что-то придумывать надо, потому что этих самых super recognizer слишком мало чтобы покрыть все потребности.
П.С. И если честно я не особо то и уверен что мне нравится идея с видеокамерами на каждом углу. Даже в Германии с её более-менее адекватными правительством и законами о приватности.
lamerok
20.09.2019 11:07О… Это вы ещё в Великобритании не были, там они везде, пытался место найти в Слау где их нет, ну т. Е. где бы я не видел камер, так только в парке, да около хоккейного корта не было. А в общем на каждом углу, и надписей нет, что вас снимают.
Suntechnic
20.09.2019 10:16Если допустим у тебя преступник каждый стотысячный, и вероятность ошибки 1%, и ты хочешь заскринить миллион человек, то ты получишь 10000 подозреваемых из которых только 10 человек преступники. Хотя казалось бы…
В диагностике в медицине проблема давно известна.vedenin1980
20.09.2019 11:54то ты получишь 10000 подозреваемых из которых только 10 человек преступники. Хотя казалось бы
Если посадить человека, который вручную проверит совпадения фотографией подозреваемых и преступников, то тратя 1 секунду на проверку за день он сможет проверить порядка 28 тыс. совпадений. То есть в среднем, передав ему 10000 подозреваемых он сможет тратить по 3 секунды на проверку, что скорее всего вполне достаточно для первоначальной оценки «похож / не похож». Если сократить кол-во подозреваемых до 100 в день с этим уже вполне могут работать полицейские (им нужно будет проверять подозреваемого раз в 15 минут, что вполне по силам обычному патрулю).
Кстати, результаты проверки человеком можно использовать для дополнительного обучения нейросети.Suntechnic
20.09.2019 12:07Если посадить человека, который вручную проверит совпадения фотографией подозреваемых и преступников, то тратя 1 секунду на проверку
У хорошего профессионала на проверку (сличение фото и реального лица) уходит около 20 секунд. Почитайте что-нибудь о том как это делается. Это не просто смотрим на фото — похоже/не похоже. Это формализованная хорошо описанная процедура.
На сличение фото и фото будет уходить больше. Кроме того профессионалы эти работают в других местах, например на таможне, так что посадят туда в лучшем случае курсантов.
В самом лучшем, идеальном случае у него в итоге будет уходить не меньше 30 секунд на сличение, а это не большее 1000 фото в день, если пахать без перерывов и ни на секунду не отвлекаться. Так что придется посадить не меньше 10 таких курсантов. И это пока только миллион.vedenin1980
20.09.2019 12:14Можно делать в несколько этапов. На первом, любой человек-любитель (причем в любой точке мира с любой квалификацией) будет отсеивать явные ошибки ИИ (вроде совпадения девочки и усатого мужика), сокращая кол-во подозреваемых до 1000, а дальше уже отдавать на откуп профессионалам.
Нам в принципе, на этом этапе не нужно полное отсутствие ложноотрицательных страбатываний, если мы пропустим, скажем, каждого 10 преступника на этом этапе — не так страшно, он засветиться в других местах, если система глобальная.
На сличение фото и фото будет уходить больше.
Почему? Можно же и просто видео в хорошем качестве профессоналу прокручивать. Или показать ему не одно фото, а неколько десятков с разных ракурсов (выбирать их тоже можно с помощью ИИ).Suntechnic
20.09.2019 12:48-1Можно делать в несколько этапов. На первом, любой человек-любитель (причем в любой точке мира с любой квалификацией) будет отсеивать явные ошибки ИИ (вроде совпадения девочки и усатого мужика)
Да в принципе можно даже лучше — принять закон, чтобы каждый гражданин 1 день в месяц патрулировал улицы с фотографией преступника какого-нибудь. И если опознал кого-то — премию в 500 рублей. А если за день никого не опознал — 15 суток ареста.
По началу будет конечно сложно, но уже очень скоро, процент бегающих от 15 суток станет достаточно высок чтобы можно было ловить кого-то в каждом патруле и система придет в некоторое равновесие. Опять же на камерах большая экономия.
HellFir-e
20.09.2019 15:44Если не хватает ресурсов в этой ситуации, то я бы предложил не в часпик запускать т.к. людские ресурсы "простаивают" и обкатка неплохая получилась бы.
pewpew
20.09.2019 12:13… вызывает серьезные вопросы как с этической, так и с юридической точек зрения...
Если статистическая вероятность совершения преступлений среди малообеспеченных групп населения выше, то дело уже в интерпретации результатов. Система говорит, что вероятность выше, статистика подтверждает. Но политика толерантности запрещает отделять одну группу населения от другой. Так что тут проблема не в AI, а в политике толерантности.
Кроме того, машина следует правилам, которым её научили.
Было время, я участвовал в разработке системы постановки детей в детские сады и школы одного из регионов РФ. По регламенту, дети делились на возрастные группы и имели возможность поступления в зависимости от возраста и начала учебного года. Система автоматически распределяла их согласно льготам и возрасту. Всё бы хорошо, но проблемы возникали как правило с детьми, чей ДР был близок к пороговым.
Например, в 1 класс брали с 6 лет. А ребёнку без одного дня 6 лет и родители подают документы. Документы, естественно не проходят. То же самое и с группами в детские сады.
А ведь человек может сделать исключение в таких ситуациях или «войти в положение».
Иными словами, условия по регламенту недостаточно точные для системы, и человеческие «умолчания» системе с ходу не объяснишь.Suntechnic
20.09.2019 12:50FuzziLogic. Не, не слышали? У меня в стиральной машине было, хотя детей в ней кажется нельзя было стирать…
pewpew
20.09.2019 12:54Здесь проблема уходит в человеческие умолчания. Например, применимо к нечёткой логике, о которой вы упомянули сразу хочется вспомнить про парадокс кучи.
Я считаю, что в куче 4 зёрнышка. А тётя Клава из отдела образования считает, что 5. Всё. Мы друг другу объяснили неверно. Отсюда и невернная работа системы. А система распределяет детей и иногда распоряжается их судьбами. Это важно.Suntechnic
20.09.2019 13:24+2Парадокс кучи есть только у философов. У математиков никакого парадокса нет — куча есть куча, не зависимо от того какое в ней количество зерен. Даже если их там 0. Пустое множество, вполне себе объект.
А нечеткая логика как раз и призвана на практике выделять кучи в человеческом понимании, из всех математических куч.
tonad
20.09.2019 15:13Например, в 1 класс брали с 6 лет. А ребёнку без одного дня 6 лет и родители подают документы. Документы, естественно не проходят. То же самое и с группами в детские сады.
А ведь человек может сделать исключение в таких ситуациях или «войти в положение».
Это пример не продуманой системы. Поставив условие например так «дети, которым в этом году 6 лет», и все нормально. А граничные случаи всегда будут, и когда одного возьмут «войдя в положение», а второго нет, потому, что настроение плохое то это еще хуже.pewpew
20.09.2019 15:24В том то и дело, что продумывают специалисты разных областей, часто гуманитарных. Для них понятно. Человеку скорее всего понятно. Но реальность такова, что никто не будет в тз писать «дети, которым в этом году 6 лет», заранее сообразив, что на этом месте будут вопросы. Гуманитарии зачастую путаются в понятиях «включительно» и «исключительно», и взывать к их логике не всегда так легко. Кроме того, в тз могут и ошибиться, и ошибку придётся исправлять уже на работающей системе. Насколько это правильно — вопрос, выходящий за рамки данного обсуждения о неточной логике. Однако точно скажу, что верно поставленного тз, к которому не требовались бы правки я не видел ни разу.
Kanut
20.09.2019 18:27Но реальность такова, что никто не будет в тз писать «дети, которым в этом году 6 лет», заранее сообразив, что на этом месте будут вопросы.
Не напишут в тз, так напишут в багрепорте. А сейчас точно так же вам какой-нибудь бюрократ спокойно отказать может "потому что в законе так написано". И даже если закон уже поменяли, но бюрократ это не знал, забыл или у него просто плохое настроение, то он вам всё равно отказать может.
Так что всё имеет свои плюсы и минусы.
Zoolander
При анализе надо тогда указывать в отчете — «по этим людям не обучался»
При негативном анализе отдельной группы — давать ссылку на позитивные стороны этой группы.