Как у всех появилась зацикленность на количественных показателях? Почему даже ошибочным цифрам верят больше, чем суждениям профессионалов?

Пулеметчик безостановочно стреляет в пустое небо. 

— Зачем он это делает?

— У него KPI по гильзам.

Всем привет, меня зовут Руслан Галифанов, я основатель сети копицентров Copy.ru и IT-компании VEA, которая создала CRM-систему для полиграфистов HelloPrint. Как и любому бизнесмену, мне часто приходится сталкиваться с KPI и с проблемами, которые они вызывают. 

В моей практике было немало случаев, когда KPI сильно тормозили процесс. Например, доход продакт-менеджера зависит от вовремя сданного проекта, если же проект сдан не вовремя — менеджера ждут штрафы. Догадайтесь, что старается сделать продакт, когда сроки горят? Конечно, не решить проблему, а свалить вину на партнера и закрыть проект к такой-то бабушке. Тогда его доход не пострадает. Обычно такие проблемы удавалось разрулить при прямом контакте с партнером. Но если бы не KPI, которые вроде как должны помогать делу, проблем бы не было вообще.

И если неверно поставленные KPI в моем случае не приносят глобального вреда (да, бизнес пострадает, но страна и мир останутся на месте), то есть сферы, в которых они просто губительны: образование, медицина, управление государством. В них цена ошибки слишком высока, а последствия часто очень отдаленные. Как раз об этом книга Джерри Мюллера «Тирания показателей». 

Мюллер — профессор истории в Католическом университете Америки.  Сфера его интересов — история социальной, политической, религиозной и экономической мысли, капитализм, консерватизм. При этом его нельзя отнести к левым или правым.

Как заведующий кафедрой истории Мюллер столкнулся с новыми требованиями государства по оценке своей работы и утонул в отчетах, вместо того чтобы заниматься статьями, конференциями и подготовкой преподавателей. Тогда он решил углубиться в проблему KPI (откуда появилась зацикленность на показателях, почему ее применяют там, где не надо и т.д.) и написал об этом книгу. Я ее прочитал и хочу поделиться видением автора.

Здесь стоит оговориться: Мюллер, а не я, приводит примеры в основном из США и Британии, так что не стоит воспринимать этот текст как попытку показать, что «у них все плохо». Каждое утверждение хорошо ложится и на наши реалии. 

Из парламента в школы, на заводы и в кабинеты: как все стали поклоняться голым числам

Этот путь по Мюллеру можно разделить на четыре этапа.

1. От оценок в школе к оценке школы. Идея, что некоммерческим организациям нужно платить, отталкиваясь от их эффективности, впервые пришла к британским ученым политикам. В 1862 году член британского парламента Роберт Лоу предложил финансировать школы, исходя из их успешности. Успешность оценивали по тому, сколько учеников умеют читать, писать и считать, то есть сдали экзамен по арифметике и английскому. Это каждый год должен был проводить специально обученный инспектор. За каждого ученика, который не явился на экзамен или завалил его, у школы отбирали определенную часть финансирования.

Это абсолютно рыночный принцип оценки знаний. Против него выступил литературный критик и культуролог Мэтью Арнольд. Он был фигурой легендарной — поднял литературную критику на новый уровень, а его отец, Томас Арнольд, реформировал английскую систему образования. Кроме того, сам Мэтью работал школьным инспектором, так что его профессия, семья и опыт давали хороший фундамент для критики власти и защиту от нее.

В своем эссе «Дважды пересмотренный кодекс» он подчеркивал, что:

• Во-первых, количественный подход к оценке знаний не развивает «общий интеллект». То есть способность не просто считать и читать, а еще и осмысливать прочитанное.

• Во-вторых, такие KPI убивают «стремление низших классов подняться над своим положением». Почему? Смотрите «во-первых». К тому же многие ученики из бедных семей не смогут сдать экзамен или не явятся на него. Тогда школа получит меньше денег и в следующем году сможет обеспечить меньше мест для бедняков.

Тем не менее систему ввели. На протяжении следующих веков такой подход в разных странах то возрождался, то умирал. Например, в США в начале XX века влиятельный экономист Саймон Паттен требовал ввести для оценки школ критерии, которые можно «видеть и измерять». А на Паттена в свою очередь повлиял заводской рационализатор Фредерик Тейлор.

2. Десять лопат тейлоризма. Фредерик Уинслоу Тейлор — американский инженер, который в начале XX века сумел так рационализировать рабочие процессы на заводах, что сэкономил им десятки тысяч долларов. Свой опыт он изложил в книге «Принципы научного менеджмента», вышедшей в 1911 году. 

Опыт Тейлор взял «на земле», в самой грязищи и с помощью научных методов. Так, он буквально с хронометром изучал, как люди машут лопатой. Задача была установить при какой нагрузке достигается наибольшая эффективность. Тейлор с помощником учитывали плотность сырья, которое перебрасывали (уголь, железная руда и т.д.), на какой поверхности оно лежит, в какое место кучи втыкают лопату и много чего еще. 

В результате они пришли к выводу, что средняя нагрузка должна составлять 8,6 кг. Исходя из этого разработали 10 видов лопат (каждый для определенного сырья), наиболее оптимальные движения, а также график отдыха и труда. Рабочим раздали лопаты, а над ними поставили менеджера, который следил за соблюдением правил. И это сработало. Средняя выработка одного человека увеличилась с 16 до 59 тонн.

Книга Тейлора буквально заражает верой в расчеты: написана она бодро, без воды и показывает конкретные результаты. Однако автора обвиняли в том, что у рабочих отнимают свободу мышления и свободу вообще. Ленин в 1914 году написал об этом целый труд: «Система Тейлора — порабощение человека машиной». Но отрицать эффективность системы было невозможно. Даже Ильич после прихода к власти отмечал, что тейлоризм надо ставить на службу государству.

Вот только дальше производства с тейлоризмом лучше не заходить. Но об этом чуть позже.

3. Менеджеризм, или «Макнамаровщина». Мюллер отмечает, что тейлоризм — детище технарей, однако вклад в культуру отчетности внесли не только они, но и бухгалтеры, придумавшие стандартизированную оценку. 

Роль суждения, основанного на опыте и глубоком знании контекста, отодвинули на второй план. Главная идея менеджеризма заключалась в том, что различие между организациями — частными компаниями, правительственными агентствами и университетами — не так важно, как их сходство. А раз так, то деятельность всех организаций можно оптимизировать с помощью одного и того же набора управленческих методик и навыков, — говорит Мюллер.

И здесь автор останавливается на фигуре Роберта Макнамары. Он прошел большой путь: от простого бухгалтера до руководителя компании Ford, министра обороны США и в конце концов возглавил Всемирный банк. Все благодаря одержимости статистикой, которой легко заражались и другие. 

Макнамара вывел принципы «научного менеджмента», которые можно сформулировать так:

— Если любые последствия принятого решения можно измерить и зафиксировать, их надо измерить и зафиксировать.

— Все, что нельзя измерить и включить в математическую модель, нужно отбросить.

— Все, что плохо поддается измерению, можно считать несущественным.

Начиная с 1950-х их на вооружение взяли бизнес-школы и полностью поменяли модель обучения. Если раньше они готовили руководителей для конкретной отрасли, то теперь обучали универсальных спецов, для которых главной компетенцией стало умение пользоваться методами количественной оценки. Это вычеркивало старое понятие компетентности, означавшее практическое накопление знаний в конкретной сфере. Допустим, руководителей из автоиндустрии, которые провели в отрасли не один десяток лет, заменяли на бухгалтеров. Да, при наличии опытных менеджеров среднего звена и технических специалистов такая перестановка может быть успешной. Но что если опытных спецов нет? Как руководитель, который ориентируется только на цифры, наладит работу? 

4. Теория принципала-агента. Ее в 1976 году выдвинули американские экономисты Майкл Дженсен и Уильям Меклинг. В упрощенном виде суть теории можно объяснить так: есть те, кто имеет определенные интересы (принципалы) и те, кто нанят для их реализации (агенты). При этом цели агентов и принципалов могут не совпадать. Например, акционеры хотят увеличить прибыль, директор — хороший офис, который подчеркнет статус, работники — высокую зарплату и поменьше работать. Нужно как-то свести эти цели воедино, не забывая о том, что желания принципала важнее всего. На помощь приходят финансовое поощрение, связанное с количественными показателями. А к ним присоединяется контроль, без которого не обойтись — нужно же понимать, насколько агенты хорошо выполняют свою работу.

Такой подход начали применять к государственному управлению. Но если в коммерческих сферах он оправдан, то что делать с некоммерческими организациями? Какие показатели вводить для врачей, учителей или военных? Кто здесь принципал? И еще немаловажный момент — в коммерческих компаниях люди работают за деньги (не всегда, но это важный стимул). В некоммерческих организациях часто большую роль играет внутренняя мотивация: врач радуется, когда вылечил пациента, учителя гордятся успехами учеников и т.д. Теория принципала-агента совсем исключает ее. 

От снятия сливок до подтасовок: ошибки и проблемы, которые возникают при зацикленности на KPI

Очарованность KPI приводит к искажению информации. Здесь Мюллер выделяет несколько главных последствий. 

Измеряют то, что легче всего измерить. Этот случай отлично иллюстрирует старая шутка. 

Мужик ночью на четвереньках ползает под фонарем. Прохожий спрашивает его:

— Что потерял?

— Кошелек.

— Здесь потерял?

— Нет, в кустах.

— А почему здесь ищешь?

— Здесь светло.

Измеряют не результат, а вклад. Если результат сложен для измерения, то часто сосредотачиваются не на нем, а на затраченных усилиях (деньгах, времени, материалах и т.д.).

Качество информации снижается из-за неправильных стандартов. Люди начинают сравнивать несравнимое. Эффективность государственных школ и коммерческих компаний, театров и магазинов и т.п. Хотя задачи и способы функционирования у этих организаций абсолютно разные.

К таким ошибкам часто приходят намеренно, манипулируя информацией. И способы манипуляций довольно тривиальные.

Снятие сливок. Исполнители отказываются от сложной работы, потому что в статистике она ничем не отличается от более простых задач.

Снижение стандартов. Кто-то не дотягивает до нужного показателя? Давайте снизим показатели. Такое распространено в учебных заведениях.

Искажение данных. В отчетности тяжелые случаи можно переквалифицировать в более легкие. Или наоборот.

Банальная подтасовка. Чем важнее показатели, тем чаще такое происходит. Допустим, для организации важно, чтобы ее участники сдали какой-нибудь тест. Значит все неудачные результаты могут заменить или выбросить.

Когда KPI мешают, а когда — нет 

В армии. Роберт Макнамара был министром обороны США с 1961 по 1968 год. Его называют одним из «архитекторов Вьетнамской войны». Вот только здание, построенное по его проекту, стало примером того, как делать не надо. 

Макнамара считал, что истощение противника в какой-то момент заставит его сдаться. Чтобы измерить уровень истощения, он ввел подсчет боевых вылетов, площади поражения, количества выпущенных снарядов, а также потерь своей и вражеской пехоты. Но эти показатели не учитывают боевой дух соперника, его стратегию и сплоченность. К тому же для подсчета потерь использовали солдат, которые буквально ползали по полю боя и тоже часто погибали. А часть офицеров в отсчетах просто завышала потери противника и преуменьшала свои.

В результате высшему руководству поступали искаженные данные, отношения между полевым и кабинетным командованием ухудшались с каждым днем. Закончилось все поражением, а кейс Макнамары стал притчей во языцех. 

Тем не менее случай Макнамары не означает, что количественные показатели во время боевых действий бесполезны. Они могут очень даже помогать, но только в том случае, если их определяет человек, глубоко погруженный в контекст местности, где идет конфликт. И показатели могут быть самыми неожиданными. Например, цены на овощи. В доказательство Мюллер приводит цитату Дэвида Килкаллена, специалиста по стратегии борьбы с повстанцами:

Афганистан — аграрная страна, и разнообразие сельскохозяйственной продукции значительно варьируется от региона к региону. Учитывая, что сельскохозяйственное производство в Афганистане является рыночным, факторы риска и стоимости — размер упущенной выгоды от выращивания другой культуры, риск транспортировки продукции по опасным дорогам, риск реализации продукции на рынке и риск перевозки денег домой — автоматически учитываются в стоимости фруктов и овощей. Таким образом, колебания рыночных цен могут быть суррогатным показателем общей уверенности населения и воспринимаемой безопасности. Поэтому цены на экзотические овощи (то есть овощи, выращенные за пределами района и привезенные издалека с риском) могут быть полезным ориентиром.

В образовании. В 2001 году Джордж Буш-младший принял закон «Ни одного отстающего ребенка». Его поддержали обе партии. Закон должен был решить важнейшую проблему: выровнять успеваемость учеников из разных этнических групп. Выходцы из Азии традиционно получали лучшие оценки, за ними следовали белые американцы, а затем афроамериканцы и испаноговорящие. Что связано, замечу, не с этнической принадлежностью, а скорее с доходами, социальным положением и семейной культурой.

Выровнять ситуацию планировали с помощью тестов по математике, английскому и естествознанию, которые проводили в 3, 8 и 12 классах. Результаты тестов разных групп сравнивали, выявляли неуспевающих и помогали им продвинуться в учебе. Закон также предусматривал штрафы для школ, где ученики не достигают должных результатов.

Это не помогло: средний балл учеников из разных групп остался прежним, как утверждает Мюллер, ссылаясь на статистику. Зато такое решение принесло много непредвиденных проблем.

Учителя и директоры школ начали больше времени уделять предметам, которые нужны для сдачи тестов. Обществознание, историю и факультативные занятия задвинули в дальний ящик или убрали вовсе. При этом естествознание, английский и математику изучали так, чтобы сдать тест, а не получить глубокие знания (очень напоминает проблемы ЕГЭ и ОГЭ). Об этом предупреждал Мэтью Арнольд почти полтора века назад.

Появились и манипуляции с данными. Так, в школах Техаса и Флориды некоторых слабых учеников причисляли к инвалидам, потому что те не сдавали тесты и не входили в статистику. В ряде городов учителя просто выбрасывали плохо написанные работы или исправляли ответы, а где-то губернаторы упрощали сами тесты, чтобы поднять показатели и продемонстрировать свои успехи в управлении образованием. Такой подход начисто убивает прекрасную цель: поднять успеваемость. Однако он не всегда плох.

…тестирование может быть по-настоящему полезным в качестве инструмента диагностики, помогающего учителям определять эффективность различных аспектов учебной программы. Однако оно лучше всего работает, когда от него не зависит вопрос «жизни и смерти». Превращение этих тестов в основной критерий оценки школ — вот что создает извращенные стимулы, — пишет Мюллер.

В здравоохранении. Мюллер отмечает, что к 2025 году сектор здравоохранения в США будет составлять около 20% от всей экономики. Это огромные и вполне объяснимые цифры: большое поколение бэби-бумеров (то есть родившихся с 1946 по 1964 год) стареет и все чаще обращается в больницы. 

Чтобы сделать расходы более прозрачными и эффективными, сторонники количественных показателей вводят различные системы рейтингов, а также обязывают публиковать клиники различную статистику. Идея в том, что пациенты будут смотреть на рейтинги больниц и выбирать лучшие по соотношению цена/качество, врачи будут рекомендовать самых успешных специалистов, а страховщики — предлагать самые выгодные условия наиболее топовым клиникам. Где-то к этому прикрутили систему P4P — денежные вознаграждения для медиков при достижении определенных целей.

Так в штате Нью-Йорк для кардиохирургов ввели публичные карты отчетности, которые раскрывают уровень смертности пациентов после коронарного шунтирования, то есть процент выживших на 30-й день после операции. Это сделали, чтобы снизить количество летальных исходов и составить рейтинг врачей. В целом показатели смертности снизились. Но Мюллер отмечает, что статистика не учитывает сложных пациентов, от которых хирурги могли отказаться. К тому же некоторых тяжелобольных стали отправлять в другие клинки, а в соседнем штате Массачусетс показатели смертности упали без всяких карт отчетности. Это значит, что публичные данные и рейтинги напрямую не связаны с улучшением лечения, но они точно требуют дополнительных трат. 

Однозначную пользу количественные показатели приносят, когда включены в более широкую систему, которая учитывает пациентов, врачей, администраторов, а главное — в которой есть связь между всеми. 

В качестве примера Мюллер приводит ситуацию с заражениями крови через катетер: в США в 2001 году их количество достигло 82 000. 32 000 человек умерли, а стоимость лечения одного пациента колебалась от 12 000 до 56 000 долларов. Показатели смертности стали серьезным сигналом для действий врачебного сообщества. Доктора из больницы при Университете Джона Хопкинса в Балтиморе разработали программу «Основы интенсивной терапии», состоящую из пяти простых процедур, и успешно внедрили ее у себя. Затем программу ввели в других штатах. Результат был отличным: количество занесенных инфекций снизилось на 66%. 

Проект «Основы интенсивной терапии» включает ежемесячный сбор данных об уровне инфицирования, которые направляются руководителям отделений реанимации и руководству больниц. В целях предотвращения ошибок результаты обсуждаются с медперсоналом. Это пример диагностического использования количественных показателей, — пишет Мюллер.

В полиции. Многие слышали про «палочную систему» в российской полиции. Но это не исключительно российское явление. В США она тоже распространена. По словам Мюллера, ее невольно стимулирует ФБР и абсолютно намеренно — политики. А полицейские оказываются заложниками количественных показателей. 

Все начинается с того, что ФБР публикует сводный отчет о преступности. В нем оно обобщает данные о восьми видах преступлений: убийствах, грабежах, изнасилованиях, физическом насилии с отягчающими обстоятельствами, ограблениях со взломом, кражах, угонах и поджогах. А затем выдает индекс преступности. И тут начинается самое интересное.

Если индекс ниже, чем в прошлом году, начальство на всех уровнях поздравляет друг друга. Если выше — это становится частью политической игры. На действующее руководство штата или страны, конкуренты спускают всех собак: «Смотрите, они не справляются с обязанностями! А мы говорили, что так и будет! Выбирайте нас скорее!».

Действующее руководство спускает своих собак на полицейских с криком «Снизьте уровень преступности на 20%, иначе останетесь без премии!». Естественно, что у офицеров возникает соблазн манипулировать с цифрами. Дежурный может квалифицировать кражу со взломом как «проникновение в жилище». А это уже преступление, которое в отчёт ФБР не попадает. И чем больше таких манипуляций, тем ниже качество следующего отчёта. Следовательно, даже если в реальности в этом году уровень преступности снизится, а манипуляций будет меньше — в отчёте он может повысится. 

Другой показатель, который часто требуют от полиции — количество арестов. Здесь в качестве иллюстрации Мюллер приводит слова Эда Бернса, бывшего полицейского и одного из создателей сериала «Прослушка». Он тщательно выстраивал дело против наркобарона: собирал улики, свидетельства, вычислял сообщников. Но это дело долгое и требующее много ресурсов, так что его регулярно задвинули на второй план, ведь поймать подростка, торгующего наркотиками, намного проще. В статистику такое задержание войдёт наравне с задержанием наркобарона, но ситуацию с наркотиками на улицах никак не исправит. 

В качестве удачного применения количественных показателей в полиции можно привести систему Compstat. Если говорить совсем просто, то это интерактивная карта, на которой указаны различные преступления, а также условия, которые сопутствуют этим преступлениям. Карта помогает вычислить потенциально наиболее опасные области и направить туда усиленные патрули. В результате применения такой системы количество преступлений снизилось в разы. Но требования в стиле «снизьте уровень преступности на 20%, иначе лишитесь премии» если не убивают, то значительно снижают эффективность такой системы.

В бизнесе. Ориентация на количественные показатели в бизнесе — дело нормальное. Но зацикленность на них и здесь может приводить к плачевным результатам.Отличный пример — кейс фармацевтической компании Mylan.

В 2014 году совет директоров решил, что топ-менеджеры будут получать хорошие бонусы, если прибыль компании ежегодно будет расти на 16%. Последствия такого решения стали катастрофой для простых граждан и всего бизнеса США.

Главный продукт Mylan — портативные инъекторы EpiPen, которые спасают от анафилактического шока. Ими пользуются и взрослые, и дети по всей Америке. Других вариантов у них почти нет: компания являлась монополистом.

Чтобы выполнить требования совета директоров и получить обещанный бонус, гендир Mylan Хези Бреш в 2014 году подняла стоимость упаковки из двух инъекторов с 263 до 461 доллара. А ещё через год — до 608. Результат — цена акций компании за год возросла с 22 до 73 долларов.

Все это вызвало скандал и привело к слушаниям в конгрессе, результатом которых стало судебное разбирательство по поводу ценообразования Mylan. Также кейс компании способствовал принятию закона Сарбейнса-Оксли. Согласно закону, ответственность за точность финансовой отчетности целиком ложится на совет директоров. Да, это сделало бизнес более прозрачным, но теперь совет директоров намного больше времени уделяет отчётам, а не стратегическому развитию.

Стоимость акций Mylan в результате упала до 36 долларов в 2016 году. Добавьте к этому репутационные издержки.

Фрагмент из фильма «Американцы». С 0:45 по 1:10 — знаменитая мотивационная речь о показателях и вознаграждении за них. 

Пожалуй, случаем, когда ориентация только на количество может стимулировать и никому не вредит, остается монотонная работа. Например, для рабочего, который производит однотипные детали. KPI на их количество вполне может служить стимулом. Здесь в пору вспомнить тейлоризм.

Почему количественные показатели настолько популярны даже в некоммерческом секторе

Если есть столько случаев неудачного применения количественных показателей, почему их продолжают использовать даже там, где не надо? Точного ответа у Мюллера нет. Но есть несколько предположений.

Общество усложняется. Все больше людей получают различные услуги или участвует в принятии решений. При этом они не являются экспертами в каждой области, но им необходимо понимать, как оценить качество товара или услуги. Такую иллюзию понимания дают количественные показатели. «100% выпускников этой школы попадают в колледж? Ок, наш ребенок будет учиться здесь».

Отсюда же возникает требование прозрачности (transparency) — чтобы получать статистику, она должна быть открытой. Иногда это доходит до нелепости: от политиков требуют вести переговоры перед десятками камер. Как при этом можно что-то решить, я не представляю.

О возросшем требовании прозрачности косвенно говорит статистика Google Ngram. Сервис показывает, как часто употребляли определенные слова и выражения в печатных источниках, начиная с XVI века. Примерно с 1990-х количество упоминаний «transparency» возросло многократно.

Еще одна возможная причина — обесценивание профессионального суждения, которое в свою очередь появляется из-за низкого уровня доверия в обществе.

Получается замкнутый круг —  отсутствие социального доверия ведет к обожествлению количественных показателей, а вера в количественные показатели способствует падению доверия к профессиональному суждению. Филип Хауард в своих книгах утверждает, что потеря доверия рождает новое мировоззрение, в котором «отказ от субъективного выбора в публичных решениях —  не просто теория… а своего рода теология… Субъективный выбор считается слишком опасным», — пишет Мюллер.

Помимо прочего срабатывает «эффект шахты». Так называют ситуацию, когда представители организации или всего общества не имеют связей друг с другом. Чаще всего в «шахте» оказываются руководители больших компаний. В них десятки департаментов, тысячи человек — и чем их больше, тем сильнее разрыв между руководством и нижестоящими сотрудниками. Такие организации просто невозможно «охватить умом», поэтому упрощения в виде количественных показателей неизбежны.

Кроме того, Мюллер отмечает «соблазн информационных технологий». Если 40 лет назад создание электронных таблиц и графиков было делом сложным и часто дорогим, то теперь оно доступно каждому. Сделал красивый график — и, кажется, что все стало понятным.