Этот перевод создан для телеграм-канала Инжиниринг Данных. И, так как, одной из задач создателей телеграм-канала и аналитического курса DataLearn является популяризация грамотной работы с данными, мы выкладываем переводы в общий доступ. В этом переводе разбирается более подробно концепция контролируемых входных метрик Амазона и ее польза для вашего бизнеса.

Содержание:

1. Попробуйте это

2. Почему это так действенно?

Признаю: Я немного одержим концепцией Амазона касательно контролируемых входных метрик (перевод). 

Сама идея кажется крайне простой. «И?», слышу ваш возглас, «Разве контролируемые входные метрики не просто мудреный способ говорить “опережающие показатели”? И не просто ли это то, что каждому уже стоит делать при выставлении OKR?» Это хорошие замечания. Но они в значительной степени идут вразрез со стилем мышления, которого контролируемые входные показатели заставят вас придерживаться. Я бы сказал, что контролируемые входные метрики — это тот тип идей, когда методы поначалу кажутся тривиальными, но, после их применения на практике, меняется способ вашего мышления о данных. 

На самом деле, я даже зайду дальше и скажу, что они в корне изменили мое представление об операционной эффективности.

Я бы хотел дать вам возможность это прочувствовать в данном посте. Так что, давайте начнем.

Попробуйте это

Ключом к пониманию нюансов этой идеи будет попытка вывести контролируемые входные метрики для вашей компании. Уважьте меня. Подумайте о каком либо бизнес процессе, в который вы вовлечены. Теперь подумайте о метриках, которые вы можете оценивать для измерения этого процесса.

Если вы как я, то вы бы придумали такие метрики:

• Продажи: количество закрытых сделок.

• Маркетинг: трафик блога или недельное количество новых подписок на еженедельную рассылку.

• Разработка ПО: количество поставленных новых функций за период.

• Поддержка клиентов: результаты опроса после взаимодействия с отделом поддержки клиентов/NPS.

И так далее.

Велика вероятность того, что выбранные вами показатели будут выходными показателями, то есть результатами, которых вы хотите для бизнеса, но над которыми вы, на самом деле, имеете лишь косвенный контроль.

Например, трафик блога. Скажем, ваша цель — увеличить трафик блога в 2 раза в течение следующих 6 месяцев. Что бы вы сделали? Написали бы больше гостевых постов? Привлекли бы больше seo-трафика? Приводили бы в порядок структуру вашего сайта? Пробовали бы сделать несколько вирусных постов?

Вероятный ответ заключается в том, что вы будете пробовать все эти вещи, понимая, однако, что вы столкнетесь с отложенным эффектом от ваших усилий. Например, для улучшений, связанных с SEO, может пройти порядка 6 месяцев от действий до результатов.

Так вот поэтому измерение показателей на выходе недостаточно хорошо. Оно недостаточно для мотивации ваших сотрудников и, конечно, недостаточно, если вы работаете в Амазоне. 

 Как говорит Колин Брайар, если вы хотите быть хорошим руководителем, вам нужно иметь вполне конкретное представление о факторах, поддающихся вашему контролю, которые непосредственно влияют на волнующую вас выходную метрику. И вам нужно их измерять. Он аргументирует это так:

«Лучшие управленцы, которых я видел, очень четко понимают, какие «кнопки» нажимать и какие «рычаги» использовать, чтобы получить результат, который они хотят. Они видят процесс насквозь».

Такие входные метрики обычно связаны с пользователями. «Клиентский опыт стал лучше на этой неделе, чем он был на прошлой неделе? Это сложнее узнать, чем кажется. Поэтому вы мониторите 10 или 20 разных вещей, немного экспериментируя.» — говорит Брайар. «Оценивайте их изо дня в день — отличный управленец всегда измеряет, поэтому он точно знает, что происходит. Если вы что-то не оцениваете, оно скорее всего пойдет не так.»

«Лучшие управленцы, которых я видел, очень четко понимают, какие «кнопки» нажимать и какие «рычаги» использовать, чтобы получить результат, который они хотят. Они видят процесс насквозь».

Такие входные метрики обычно связаны с пользователями. «Клиентский опыт стал лучше на этой неделе, чем он был на прошлой неделе? Это сложнее узнать, чем кажется. Поэтому вы мониторите 10 или 20 разных вещей, немного экспериментируя.» — говорит Брайар. «Оценивайте их изо дня в день — отличный управленец всегда измеряет, поэтому он точно знает, что происходит. Если вы что-то не оцениваете, оно скорее всего пойдет не так».

То, что вы теперь захотите измерить, — это контролируемые входные показатели - вещи, которые, как вы знаете, можно улучшить сегодня, и это приведет к изменениям в желаемой выходной метрике через несколько месяцев. Такие входные показатели, как правило, стимулируют поведение сотрудников, если вы устанавливаете их в качестве организационных целей. Так, например:

• Для продаж вы оцениваете количество ответов /взаимодействий с уникальным пользователем, который подходит вам по параметрам «идеального клиента». (Целевой выходной показатель здесь: количество закрытых сделок).

• Для маркетинга: % блог-постов с индивидуализированной и привлекательной для заполнения формы на подписку, встроенной в текст. (Целевой выходной показатель здесь: количество новых подписчиков на рассылку).

• Для разработки ПО: среднее время от коммита до деплоя. (Целевой выходной показатель здесь: количество новых функций, поставленных за период).

• Для отдела поддержки клиентов: % тикетов, которые были закрыты в течение 3ех дней. (Целевой выходной показатель здесь: NPS).

Ключевым свойством множества из этих метрик является то, что вы остановитесь и скажете: «подождите ка минутку, я не думаю, что эти метрики приведут нас к желаемому результату.» И в этом и есть весь смысл. Контролируемая входная метрика, по определению, на несколько слоев ниже, чем ваша ожидаемая выходная метрика, и вам нужно будет выяснить, существует ли между этими двумя показателями прочная взаимосвязь. И что более важно, контролируемая входная метрика должна спровоцировать изменения в работе внутри вашей команды, а вы должны чувствовать страх, что это повлечет за собой некие несогласованные изменения (подумайте о неблагоприятных ситуациях из закона Гудхарта). 

Амазон утверждает, что это абсолютно предсказуемо, и это то, почему необходимо пройти через период проб и ошибок, чтобы увидеть ведет ли нас входная метрика к желаемым результатам или нет. Огромная часть моего конспекта Working Backwards повествует о процессах Амазона по выбору контролируемых входных метрик. Они называют это «прохождение через жизненный цикл метрик», процесс выбора метрик назван DMAIC («Define, Measure, Analyze, Improve and Control»), или «Определите, Измеряйте, Анализируйте, Улучшайте и Контролируйте».

Итак: Я надеюсь, вы еще со мной. Я надеюсь, вы попробовали выбрать правдоподобную входную метрику для своего бизнес-процесса, а также соответствующую выходную метрику, на которую та должна влиять. Хочу спровоцировать вас еще немного: попробуйте прокрутить в голове несколько процессов в вашем бизнесе. Для каждого из бизнес-процесса спросите:

• Какое ожидаемое поведение мы здесь хотим видеть? (например, для команды обработки данных это может быть: «мы хотим увеличить процент бизнес-решений, принимаемых с использованием данных»).

• Какова наша выходная метрика для этого и как мы ее измеряем? (Как вы собираетесь фиксировать, принимаются ли решения с использованием данных или нет?)

• Какова наша входная метрика? Возможный кандидат: % внутренних отчетов, которыми пользуются — будь то через дашборд или прочтение электронного письма— не реже одного раза в неделю.

• Теперь приготовьтесь пройти процесс проб и ошибок DMAIC, который использует Amazon, чтобы проверить, действительно ли выбранная входная метрика влияет на выходную метрику.

Переключитесь на время, а затем повторите эти вопросы для остальных процессов, которые вы хотите проработать в голове.

Почему это так действенно?

Давайте ка вернемся к моему исходному вопросу: почему это важно? И почему мне эта идея кажется такой замечательной?

Нас не учили так думать

Простой ответ — нас не учили так думать. Когда люди говорят «основывай решения на данных»/«принимай решения на основе данных», мы сразу же думаем: «о, мы должны оценивать наши бизнесовые результаты». И поэтому мы оцениваем такие вещи, как количество закрытых сделок, ретеншн когорт, рост выручки или количество визитов в блоге. Это все выходные метрики и, хотя они и важны, они не особо то действенны. 

Амазон утверждает, что недостаточно знать выходные метрики. На самом деле, они заходят еще дальше, и говорят, что вы не должны уделять особого внимания выходным показателям; вам следует следить за контролируемыми входными метриками, которые, как вы знаете, влияют на те самые выходные метрики. Все совершенно иначе, когда, скажем, ваша служба поддержки клиентов знает, что их премии зависят от комбинации NPS и «% закрытых тикетов в течение 3ех дней». Если бы вы четко продемонстрировали взаимосвязь между первым и вторым, тогда каждый из команды был бы замотивирован вернуться с оптимизированным процессом как раз для увеличения этого процента! 

Конечно, у такого подхода существуют потенциальные проблемы. Но Амазон разработал ряд техник (перевод), что бы предотвратить несогласованные изменения:

• У каждой метрики есть ее владелец, а каждый владелец метрики обязан понимать, что является нормой, а что аномалией.

• Метрики проходят аудит у независимого отдела (финансового), что не позволяет владельцам продукта изменять показатели или выбирать показатели, которые льстят руководителям. 

• Показатели пересматриваются каждую неделю на еженедельной встрече бизнес-ревью. (Это происходит фрактально — от уровня топ-менеджмента вплоть до каждой команды).

• Финансовый отдел информирует как вышестоящее руководство, так и владельцев продукта, о том, как они отслеживают достижение каждой из годовых целей, как по входным, так и по выходным показателям.

• От исполнительных директоров и владельцев продукта ожидается критическая оценка эффективности каждой метрики, им позволено модифицировать и убирать метрики, если они перестают быть полезными.

• У владельцев метрик должен быть простроен процесс аудита каждой метрики, чтобы проверять, что они измеряют именно то, что необходимо оценивать. Процесс аудита запускается с определенной периодичностью.

Я пытаюсь подчеркнуть, что Амазон использует метрики в качестве тонко настроенного операционного оружия — они понимают, с точки зрения разработки стимулов, что хорошо спроектированная система метрик влияет на поведение организации.

В мире бизнес-аналитики мы часто проводим время, обсуждая классные передовые инструменты, новые хитрости в пайплайне, модульные тесты или "тетрадки, а не дашборды!" Но, вероятнее всего, все это не имеет значения, если ваша организация соответствующе не настроена для принятия решений на основе данных.

Амазон проводил свои первые встречи по метрикам при помощи стопок распечатанных листов. И делали они это в начале 2000х, когда только зарождались колоночные СУБД, а технология OLAP еще была нормой. Но ведь результат превзошел самые смелые мечты.

Итак: а что мы можем сказать про себя?