Эта статья — логическое продолжение серии статей, которые я написал в этом году на тему криминала и правопорядка в США и их связи с расовой принадлежностью (раз, два). В первой серии статей, напомню, мы подробно рассматривали данные по гибели граждан от рук полицейских. А сегодня мы взглянем на этот вопрос с другой стороны: будем разбирать статистику нападений на самих полицейских и постараемся так же проследить закономерности и сделать выводы. Оружием преступников может быть пистолет или нож, а нашим оружием, как и прежде, будет python + pandas. Поехали!

Вместо предыстории

Мои предыдущие статьи на Хабре (раз, два) были посвящены статистическому разбору данных о том, как американские полицейские мочат в сортиреприменяют оружие против населения. Были рассмотрены имеющиеся открытые данные о количестве и видах совершаемых преступлений, распределению уровня преступности по разным штатам, расовой принадлежности преступников и связи всего этого с «полицейским насилием». Анализ этот позволил сделать определенные интересные наблюдения… Не буду здесь их повторять — можете сами вернуться к эти статьям по приведенным выше ссылкам.

Кто-то из моих читателей оставил комментарий вроде «понятно, почему в США полицейские не снимают палец со спускового крючка — их самих отстреливают ежедневно». И я, естественно, захотел копнуть эту тему немного глубже и рассмотреть ее «по другую сторону бронежилета»: то есть, данные о нападениях на полицейских и гибели полицейских при исполнении обязанностей. Конечно же, тоже в США. Конечно же, тоже на основе открытых источников. Конечно же, опять python + panda.

Исходные данные

Задумано — сделано. Благо, данные у меня уже были, я их накачал при изучении материала для предыдущего исследования. Напомню (или, вернее, сообщу) тем, кто по каким-то причинам не читал предыдущих статей, что все данные по преступности, численности полицейских, а также по нападениям на сотрудников правоохранительных органов в США я брал с сайта Crime Data Explorer, обеспечивающего публичный доступ к статистическим базам ФБР. При желании вы сами можете зайти и скачать оттуда те же исходные данные, которые использую я в своей работе.

Для ленивых же (то есть, для таких, как я сам) вот здесь возьмите готовый архив со всеми скачанными и отформатированными данными.

Итак, какие файлы данных используются:

• LEOKA_ASSAULT_TIME_WEAPON_INJURY_1995_2018.csv — набор данных по нападениям на полицейских в США с 1995 по 2018 г. с указанием места, штата, города, времени, нанесенных телесных повреждений, случая гибели и т.п. (естественно, без личных сведений о преступниках и потерпевших)
• crimes_by_state.csv — количество совершенных преступлений насильственного характера (убийства, изнасилования, грабежи и нападения с отягчающими обстоятельствами) по годам и штатам
• police_employee_1960_2019.csv — количество работающих штатных и внештатных полицейских по годам (с 1960 по 2019 г.) и штатам, с указанием также общей численности населения штатов и доли полицейских от населения
• us_pop_2010-2019_state_race.csv — население по всем штатам США с 2010 по 2019 г., разбитое по расовой принадлежности (белые, черные, азиаты, гавайцы, индейцы и «остальные») — эти данные взяты с сайта Бюро переписи населения США (из России сайт не работает, можете не пытаться нажимать без VPN или прочих разных Торов)
• us_states.csv — перечень штатов США с сокращенными и полными названиями
• us-states-geo.json — координаты границ штатов США (для отображения данных на карте) — взят отсюда
• leoka_felony_2010-2019.xlsx — подробные данные по убитым полицейским с 2010 по 2019 г. (включая информацию о возрасте, расе и статусе преступников и жертв и прочие полезные сведения)

Как видите, данных вполне достаточно для небольшого анализа, а возможно, и более масштабного в будущем. Мы же традиционно ограничимся самой простой статистикой и, вполне вероятно, сможем сделать некоторые ценные наблюдения. Приступим!

Analiyze This...

Сразу ссылка на исходник Jupyter / IPython. Приводить полный код я в статье не буду для экономии места — мы будем сразу смотреть на получаемые таблицы и графики.

Основной массив данных

После загрузки и объединения данных из различных источников получается вот такая большая таблица (показаны первые 15 из 1171 строк):



В таблице этой аж 37 столбцов! Давайте сразу разберемся, что тут есть:



Здесь есть все, что нам надо для исследования и даже немножко больше :) Следующим логическим шагом является подготовка агрегированных данных — по штатам (за весь период наблюдений) и по годам (на все штаты), так как текущая размерность массива не позволяет эффективно анализировать закономерности.

Среднегодовые показатели по штатам

После усреднения данных по всему периоду наблюдений (напомню: с 1995 по 2018 год включительно) можем посмотреть, скажем, на среднегодовое количество нападений на полицейских по всем штатам США. Для наглядности также отразим на том же графике среднегодовое количество совершенных преступлений (здесь и далее все картинки кликабельны):



Картинка здесь примерно та же, которую мы видели при анализе распределения уровня преступности по штатам: самые населенные штаты ожидаемо доминируют (Калифорния, Флорида, Техас), поскольку, естественно, чем больше народа, тем больше и полиции, и конфликтов с полицией. Это подтверждает и зеленая кривая тяжких преступлений, которая по большому счету повторяет очертания синих столбиков. Но здесь обращает на себя внимание Мэриленд — далеко не самый населенный штат (на 19-м месте по населению) в непосредственной близи от столицы страны. К этому моменту мы еще вернемся, а пока давайте попробуем отфильтровать составляющую населения и посмотреть на удельные показатели (на 1 млн. человек):



Здесь на первом плане не самые населенные штаты — Округ Колумбия (т.е. Вашингтон), тот же Мэриленд, Делавэр, Аляска и та же Флорида. Отсюда можно сделать вывод: в Мэриленде и Флориде нападения на полицейских происходят практически независимо от того, сколько людей проживает в этих штатах. Также здесь налицо отсутствие четкой корреляции с данными по преступлениям: в лидирующих штатах по нападениям на полицейских (кроме Округа Колумбия) удельный уровень преступности не самый высокий, как, например, в Нью-Мексико, Неваде или Южной Каролине.

В качестве дополнительной визуализации отобразим эти данные в виде «ящика с усами», чтобы посмотреть на статистическое распределение:



Вот они, эти 5 штатов-лидеров по нападениям в виде черных кружочков над прямоугольником. Они не попадают в пределы наблюдаемого максимума («усов») и считаются отвыбросами. Мэриленд и Округ Колумбия (т.е. Вашингтон) здесь отображены двумя самыми верхними кружками. Не забудем, что эти штаты также являются географическими соседями.

А теперь взглянем на другую важную величину — удельное количество нападений на одного служащего полицейского (величина рассчитана как отношение общего количества нападений на полицейских к численности полицейских в каждом штате). Аналогичным образом, для большей наглядности добавим сюда дополнительный график — численность полицейских.



Здесь сразу бросается в глаза тот факт, что самое большое количество нападений в расчете на одного полицейского происходит в штатах, где численность полиции не самая высокая (первые три лидера — Аляска, Мэриленд и Аризона). Во Флориде укомплектованность полицией очень высокая (оно и понятно — наркотрафик и все такое), но при этом и нападений много — почти каждый шестой полицейский ежегодно подвергается нападению. Конечно, это не то, что в Аляске и нашем любимом Мэриленде, где почти каждый четвертый полицейский «огребает» от населения, но все же это довольно много (интересно было бы, кстати, сравнить с ситуацией в России). В среднем же, как мы видим, в Штатах нападению подвергается каждый 11-ый полицейский.

Двигаемся дальше. Посмотрим на среднегодовое количество нападений на полицейских со смертельным исходом или, иными словами, количество убиваемых полицейских:



Ожидаемо, здесь на вершине два крупнейших штата — Техас и Калифорния, а также интересно, что довольно высокие показатели по этой зловещей статистике демонстрируют три восточных / юго-восточных штата — Миссури, Луизиана и Вирджиния. Лучше даже посмотреть, как это выглядит на карте:



Обратите внимание на восточную часть страны, от западной границы Миннесоты до западной границы Луизианы: почти везде краснеют пятна позора! И это колыбель американской цивилизации, откуда дальше шло развитие на запад.

Теперь посмотрим, в каких штатах хулиганы «успешнее», т.е. как распределяется доля смертельных исходов от общего количества нападений на полицейских.





Интересно: неожиданно «выстреливает» (простите за дурной каламбур) Южная Дакота и четыре «хлопковых» штата на юго-востоке: Миссисипи, Алабама, Джорджия и Южная Каролина. Южная Дакота занимает одно из последних мест по количеству и плотности населения, а также 3-е место по численности коренного населения (индейцев — около 8,5%). В индейских резервациях довольно низкий доход на душу населения, и, возможно, поэтому… Впрочем, мы договорились: никаких гипотез, не кормим хейтеров.

Нападения по времени суток

Прежде чем мы перейдем к рассмотрению трендов в анализируемых данных (т.е. изменений по годам), в качестве промежуточного «пит-стопа» посмотрим на зависимость нападений на полицейских от времени суток. Интуитивно понимаем, что такая зависимость должна быть (вспоминаем разные голливудские фильмы про полицию). Что ж, проверим:



Так и есть! Количество неадекватовграждан, склонных решать свои разногласия с правоохранительными органами физическим путем, возрастает с наступлением ночи, достигая своего пика с часу до двух утра, и постепенно спадает под утро, с минимумом в промежуток с 06:00 до 08:00. Как говорится, «мафия засыпает».

Идем дальше!

Годовые изменения общих показателей по стране

Суммируя наш исходный массив данных по штатам, получаем годовые показатели для всей страны за весь период наблюдений. Сначала посмотрим на количество нападений на полицейских и численность полиции:



Что мы здесь можем увидеть? До 2008 г. численность полиции активно наращивается, но количество нападений остается примерно на одном уровне (в районе 60 тыс. в год). С 2008 по 2016 г. полицейские подразделения особо не растут в численности, зато нападения становятся год от года все реже, хотя и спад едва заметен. В 2016 году происходит какой-то всплеск насилия (с возвратом на уровень 1998 г.), а также достигает своего пика численность полиции. А после 2016 г. штат полиции начинает резко сокращаться до уровня 2000 г. в 2018 г., при этом снижающийся тренд нападений удается сохранить.

Сокращение штата полиции началось при Дональде Трампе в 2017 г. и, вполне вероятно, будет продолжено при новом президенте на фоне публичных движений против полиции (BLM, Defund the Police и т.д.). При этом сохранение спада нападений на полицейских может, конечно, объясняться как раз сокращением самих полицейских, однако здесь важнее прогноз уровня преступности в стране, который, естественно, зависит от наличия и количества стражей порядка. Если эта тема интересна, в этой статье представлен неплохой обзор.

Здесь же надо отметить, что рассмотрение удельных показателей по нападениям на полицейских (на 1 млн. человек) не дает какую-либо другую картину, так как мы рассматриваем агрегатные показатели по всей стране:



А что с убийствами полицейских? Давайте посмотрим:



Показатели скачут вплоть до 2013 г. (минимальное значение), после чего начинают резко набирать, достигая пика в пресловутом 2016 году (что же там такое произошло?), после чего опять резко снижаются до уровня 2013 г. Но мы уже знаем, что это ложное впечатление, будто бандиты исправились после 2016 г. и перестали убивать полицейских, связано со значительным сокращением самой полиции — стало меньше потенциальных жертв.

Кстати, возможно полезно еще посмотреть на долю смертельных исходов от общего количества нападений:



Очевидно, здесь аналогичная картина.

Но черт возьми, давайте уже разберемся с 2016 годом! Что за всплеск насилия против полиции? Посмотрим на этот год в разрезе штатов, отобразив как убийства, так и нападения:



В половине штатов убийств вообще не было, в четверти штатов было по 1-2 случаям, а остальные случаи приходятся, в основном, на южные и восточные штаты. Про Техас и Калифорнию мы уже знаем… Но в чем проблема в Вирджинии? Синяя точка показывает, что в этот год в Вирджинии было не так уж много нападений на полицейских (чуть больше 1500) — не то, что в Техасе, Калифорнии и Флориде. И при этом 11 убитых полицейских! Анализ исходного файла (LEOKA_ASSAULT_TIME_WEAPON_INJURY_1995_2018.csv) показывает, что было зарегистрировано 9 случаев, из которых в 8 случаях убито по 1 полицейскому, а в 1 случае убито сразу 3.

Здесь необходимо отдельно указать, что, конечно же, нельзя считать исходную базу ФБР, откуда мы берем данные по нападениям и убийствам полицейских, на 100% полной. Эти данные собираются ФБР на основе добровольно направляемой информации различными агентствами (подразделениями полиции). То есть если какое-то подразделение не участвует в программе предоставления сводной информации, соответствующих случаев в базе попросту не будет! Простой пример: за тот же 2016 г. в штате Айова в базе не зарегистрировано ни одного намеренного убийства полицейских. При этом был довольно громкий случай стрельбы в г. Де-Мойн из засады с гибелью целых двух полицейских, который даже описан на отдельной странице в Википедии. Кстати, обратите внимание на этот список убитых полицейских — пока он не полный, но начиная с 2018 г. уже есть контент и ссылки на источники. В частности, отдельно освещены «стрельбы» в Техасе и Луизиане в 2016 г. Дополнительно, если нужны более детальные описания случаев убийства полицейских, на том же сайте ФБР доступна ежегодно пополняемая публикация, подробно освещающая эти события по каждому штату — на настоящий момент книжечка покрывает события с 2002 по 2019 г. и занимает 563 страницы без картинок :)

Виды телесных повреждений

Давайте теперь посмотрим на статистику нападений по видам наносимых телесных повреждений. Зачем? Потому что мы можем.



ОК, по годам доли остаются примерно теми же. Посмотрим в укрупненном виде, усреднив данные по всем наблюдениям:



Итак, подавляющее большинство всех телесных повреждений при нападениях наносится голыми руками и ногами. Огнестрельное и холодное оружие используется только в 3% нападений, и остальные 13% может быть чем угодно (хоть плюшевым мишкой). Впрочем, средняя доля смертельных случаев составляет всего 0,07%, поэтому эти 3% огнестрельного и холодного оружия (а также не забываем про все остальное) вполне объясняют смертельные случаи.

Расовый и возрастной состав преступников и их жертв

Далее рассмотрим более подробные данные по расовому и возрастному составу убийц и убитых полицейских. Эти данные доступны в файле leoka_felony_2010-2019.xlsx, который я собрал из отдельных таблиц, доступных на том же сайте LEOKA. Отличие от основного массива данных в том, что в этом случае наблюдения ограничены периодом с 2010 по 2019 г., однако при этом нам доступны более подробные сведения о расе, поле, возрасте преступников и жертв и их статусе с точки зрения закона (например, «под домашним арестом», «рецидивист» и т.д.).

Начнем с расового состава преступников (т.е. убийц полицейских):



Ожидаемо белая раса выделяется — просто потому, что белых в США больше. Но обратим мимоходом внимание: пропорция не всегда была одинаковой (например, в 2010 чернокожие преступники даже численно превосходили, а в 2015 г. примерно 50/50). Но давайте посмотрим на усредненные показатели:



56% белых, 37% черных и 6% всех остальных. При этом если брать все население США, расовый состав довольно сильно отличается. Так представители каких же рас статистически чаще убивают полицейских? Давайте посмотрим на удельные показатели:



Здесь однозначно доминируют черные и индейцы. Примерно на каждые 2 млн. чернокожих или индейцев один убийца. Для белых же этот показатель — 1 убийца на каждые 8 млн. (т.е. в 4 раза меньше). Это наблюдение согласуется с результатами предыдущего исследования по преступности в США, где также была выявлена большая склонность чернокожих к совершению преступлений (под «склонностью» я имею в виду, конечно, не этническую или психологическую расположенность, а статистическую закономерность).

Давайте теперь перейдем к возрастному составу убийц:



Картина здесь также довольно обычная: половина всех убийств приходится на молодых людей в возрасте от 18 до 30 лет. Целесообразно предположить, что именно этот промежуток жизни в целом наиболее связан с наиболее активными действиями (плохими или хорошими). По мере старения (после 35 лет) убивают все меньше, хотя и на возраст после 60 лет приходится 2% убийств — старый не значит безобидный. Несовершеннолетних убийц — 3%.

А теперь посмотрим на статистику по убитым полицейским. Начнем с расового состава:



Белые опять доминируют, но даже невооруженным глазом видно, что пропорция здесь ближе к демографической. Это подтверждается и удельными показателями:



Белых полицейских и индейцев убивают примерно с одинаковой частотой, черных — чуть меньше, а меньше всего — азиатов и гавайцев. Можно предположить, что эти данные согласуются с расовым составом полиции в стране, однако без исходных данных проверить это невозможно. Еще один осторожный вывод, который мы можем сделать из этой картинки, — это то, что убийства полицейских никак не связаны с расовой нетерпимостью и мотивированы другими причинами.

Последнее, на что осталось взглянуть, — это возрастной состав убитых:



Здесь видим довольно ровное распределение возрастных групп от 25 до 50 лет (с небольшим превалированием группы с 31 до 35 лет), что говорит о таком же равномерном распределении оперативных работников полиции по возрасту. Убитых в возрасте до 25 лет всего 4%, из чего можем заключить, что новичков обычно не отправляют на опасные задания, связанные с риском для жизни. Впрочем, чтобы эти заключения были более достоверными, также необходимы данные по возрастному составу всех полицейских.

Корреляции

В заключение давайте посмотрим на взаимосвязи между различными показателями в виде корреляционных матриц, как мы это делали в предыдущих исследованиях. Работать будем с нашим основным массивом данных. Во всех случаях будем использовать линейный коэффициент корреляции Пирсона.

Для анализа же возьмем самые основные показатели: количество нападений на полицейских, количество совершаемых преступлений, численность полиции и численность населения:

Здесь все наиболее значимые зависимости выделены жирным шрифтом. Таким образом, очевидны следующие взаимосвязи:

• Между количеством нападений на полицейских и количеством тяжких преступлений: логично предположить, что конфликты, приводящие к физической агрессии против полицейских, в свою очередь связаны с уровнем преступности. Чем больше преступлений, тем больше стычек с полицией (спасибо, кэп!).
• Между количеством нападений на полицейских и численностью полиции. Здесь также все однозначно: чем больше объектов нападения, тем больше и самих нападений. Так как нападение (в отличие, в какой-то мере, от убийства) трудно предотвратить (например, теоретически любой может подойти к человечку в форме и дать ему пинка — это будет уже нападением), отсюда и корреляция. Кстати, мы уже говорили, что именно поэтому количество нападений на полицейских снижается с 2017 г. — потому что снижается и численность самих полицейских. Что, конечно, не говорит о повышении безопасности в обществе.
• Между количеством нападений на полицейских и населением. Тут тоже все ясно: больше людей — больше преступников и полицейских — больше конфликтов между ними.
• Между количеством преступлений и численностью полиции: численность полиции наращивается «в ответ» на увеличение преступности или, говоря по-другому, в регионах, где совершается больше преступлений, нанимается больше полиции для сдерживания преступности.
• Между количеством преступлений и населением: эту корреляцию мы уже рассматривали в предыдущих исследованиях, она самоочевидна.
• Между численностью полиции и населением. Здесь логика та же: больше народа — больше преступников — больше полицейских.

На этом наш небольшой анализ подошел к концу. Спасибо за ваши отзывы!