Автор статьи: Дмитрий Курдюмов

Участвовал в Аджайл-трансформациях в крупнейших компаниях в России (Альфа банк, МТС, Х5 retail group), с международным опытом в стартапе за рубежом.

Как понять эффективность команд? Как узнать можем ли мы перформить лучше и экономить ресурсы? Многие поднимают эти вопросы в компаниях.

Последние несколько лет я активно занимаюсь вопросом внедрения метрик эффективности в компании и команды и с многими компаниями мы прошли большой путь по использованию метрик.

За это время сформировался фреймворк метрик, который позволяет построить сквозную аналитику того, как вы поставляете ценность, насколько эффективны ваши процессы и флоу поставки ценности. Все это дает картину и данные для того, чтобы управлять эффективностью ваших процессов и команд и улучшать их.

Но что такое эффективность? И какие метрики действительно являются ключевыми? Какие из них позволят не только измерить текущее состояние, но и помогут принимать обоснованные решения для улучшения работы? В данной статье мы рассмотрим важные метрики, которые помогут вам ответить на эти вопросы и повысить результативность вашей инженерной команды.

Для того чтобы лучше разобраться что такое эффективность, давайте посмотрим на 2 определения - эффективная команда и поток создания ценности.

Эффективная команда

Базовое определение эффективности - это способность достигать целей за наименьшее количество ресурсов. 

Из тех критериев, которые мы обычно отмечаем, это:

• Фокусировка на создании и доставке ценности ( чтобы каждый участник процесса делал действия по созданию ценности, а не просто выполнял задачи. Это дает в первую очередь постоянную приоритизацию и декомпозицию и отброс лишнего);

• Нацеленность на достижение результата ;

• Прогнозируемость (способность прогнозировать результат по срокам, ресурсам и стоимости);

• Скорость и гибкость (способность быстро тестировать новые идеи, выпускать новые решения на рынок и быстро перестраиваться);

• Качество (способность создавать качественное решение работающее без сбоев).

Эффективность часто связывают с принципами Lean, так как Lean ориентирован на максимизацию ценности для клиента при минимальных затратах и устранении всего лишнего. Одним из ключевых принципов Lean является устранение всех видов потерь, которые могут возникнуть в процессе потока создания ценности.

Поток создания ценности

Описывает последовательность шагов и процессов, которые необходимы для создания конечной ценности для клиента или пользователя.

Что позволяет поток создания ценности?

• Увидеть весь процесс;

• Определить источники потерь;

• Упростить планирование.

Зачем нам что-то измерять?

Что позволяют метрики:

1. Оценивать прогресс. Благодаря метрикам, мы всегда знаем, насколько мы продвинулись в достижении целей и выполнении задач и ключевых проектов.

2. Улучшать результативность. Отслеживать плановые и фактические показатели, улучшать точность прогнозов и качество результатов.

3. Повышать скорость и гибкость быстрее отказываться от ненужного, экономить время и ресурсы, доставлять ценность быстрее, ускоряя рост продуктов.

4. Оптимизировать процессы. Метрики помогают нам выявлять узкие места в потоке создания ценности и оптимизировать процессы для максимальной эффективности.

5. Повышать качество работы. Оценка качества работы на основе метрик позволяет нам предотвращать ошибки и стремиться к постоянному совершенствованию. А также повышать качество продукта, который мы делаем.

6. Предсказывать риски. Метрики помогают нам прогнозировать возможные риски и проблемы, что позволяет нам принимать меры заранее.

7. Принимать обоснованные решения. Наши решения основаны на фактах и данных, а не на предположениях. Метрики предоставляют нам объективную информацию для принятия обоснованных решений.

Кумулятивная диаграмма, например, дает понимание эффективности и плавности потока и по ней ретроспективно можно проводить анализ.

Метрики эффективности 

Метрик результативности - метрики, ориентированные на пропускную способность и прогнозируемость производственного процесса:

• Запланированное/фактическое кол-во целей;

• Запланированное/фактическое кол-во фич/эпиков; 

• Запланированное/фактическое кол-во US (пользовательских историй); 

• Запланированное/фактическое кол-во Story points;

• Средняя скорость – Velocity – фактическое кол-во SP за период.
  

Метрики скорости и гибкости - метрики, ориентированные на скорость доставки ценности клиенту и гибкость производственного процесса.

• Time to market (Lead time, Cycle time и Time to learn);

• Release frequency;

• Release stabilisation period / Change failure rate;

• Mean time to repair.

Метрики качества - метрики, ориентированные на качество производственного процесса

• Technical debt на конец итерации (или планируемого периода);

• Critical bugs на конец итерации (или планируемого периода);

• Critical vulnerabilities на конец итерации (или планируемого периода);

• Количество новых тест кейсов;

• Unit test coverage.

Time to market

Time to market измеряет время, необходимое для того, чтобы новый продукт, функция или изменение достигло рынка с момента начала его разработки или концепции. Она является важным показателем для компаний, стремящихся быть конкурентоспособными и адаптироваться к быстро меняющимся рыночным условиям. По сути - это главный показатель скорости компании.

Однако, помимо Time to market, есть еще один важный показатель, расширяющий time to market  - это time to learn. 

Time to learn не только определяет время необходимое для реализации идеи, но и также время которое нам потребовалось для того чтобы понять приносит ли новая функция/ продукт или изменение должный нам эффект. Многие компании вообще не измеряют эти показатели и просто делают фичи, не задумываясь о том, что большинство идей может и вовсе не нести ценности и просто перегружает продукт для пользователей.

Поэтому главная задача адаптивной организации - не просто быстро что то создавать,  но и построить процесс в ходе которого компания поймет нужно ли оставлять изменение в текущем виде, изменить или вообще убрать.

Lead time - время от момента взятия обязательств делать задачу до ее поставки.

Это важная метрика которая позволяет прогнозировать завершение новых задач после их взятия в работу на основе 85 перцентиля.

Для того чтобы вычислить перцентиль необходимо собирать время выполнения по каждой задаче (lead time). 

Чтобы посчитать 85 перцентиль за период нужно взять распределение времени выполнения (то есть те задачи которые завершились в данном периоде и вычислить значение до какого значения завершилось 85% задач). Такое значение называется 85-м процентилем. Это значение выводится в виде числа.

Time to release  - время от готовности задачи до момента ее попадания на продуктивную среду. Во многих организациях процессы релиза могут быть очень сложными и болезненными и поэтому мониторинг этой метрики позволит нам реально понимать время которое мы тратим на это и принимать необходимые меры.

Картинка иллюстрирующая схематично метрики, включая time to market:

Какие последствия несет сбор неправильных метрик?

На практике часто возникают ситуации, когда неправильно выбранные метрики создают иллюзию успешности и эффективности.

Пример из реальной жизни: 

Не так давно, мы анализировали результаты квартала в одной компании, где мы начали проводить трансформацию. По собранным метрикам казалось, что квартал прошел на высшем уровне. Вот какие метрики были использованы:

• Количество выполненных Story Points (причем измеряется каждая отдельная задача для каждого сотрудника, а не общая продуктовая фича несущая ценность);

• Точность оценок по срокам для задач (также измеряется отдельно по каждой задаче, а не в контексте всей фичи);

• Соотношение запланированных Story Points к выполненным. 

Однако, при более глубоком анализе мы поняли, что мы не доставили реальной ценности бизнесу. Скорость выполнения всех команд в квартале была равна нулю, потому что реальной ценности мы не заделиверили. Работа была выполнена частично.

Таким образом, эффективность квартала также оказалась на уровне нуля. Этот случай наглядно демонстрирует, что выбор метрик и фокус на эффективности требует осторожности, иначе может сложиться иллюзия прогресса, не соответствующая реальности.

Какие метрики эффективности выбрать?

Выбор метрик эффективности зависит от конкретных целей оптимизации и характера вашего бизнеса. Чтобы определить, с чего начать, следует сначала определить цели оптимизации. 

Если вашей компании важна скорость и гибкость, однозначно вам нужно мерить time to market, time to learn и другие сопутствующие метрики. 

Если нужна стабильность, то сделайте фокус на том, чтобы больше фокусироваться на метриках качества.

Но в целом моя рекомендация - смотреть на комплекс метрик, описанных выше, так как в погоне за time to market вы можете потерять в качестве и наоборот.

Также с осторожностью относитесь к сбору метрик эффективности каждого отдельного человека, количество выполненных задач и прочее. Что не имеет отношение к результату, а дает лишь понимание, что работа делалась, но не дает ответа на вопрос, а что было сделано и насколько эффективно работает поток создания ценности (как в описанном примере выше).

Как использовать метрики эффективности?

Используйте метрики в бизнесе как показатели при управлении самолетом, которые используют пилоты при взлете, полете и посадке. Важны все показатели, но фокус на том или ином показатели должен быть в тот или иной момент времени. И также ответ на вопрос что оптимизировать зависит от целей оптимизации в данный момент.

Используйте метрики на ретроспективах как на уровне команд, так и на уровне организации. Принимать решения об улучшении также важно на основе количественных показателях.

Как внедрить метрики?

Метрики эффективности внедряются с помощью интеграции BI инструментов с инструментами трекинга задач и инструментами GIT. Это непростая задача, требующая разработки и доработки инструментов трекинга, досок, внедрению культуры обновления задач. Но в результате  получаются наглядные дашборды, в которых вы сможете делать обзор метрик, применяя различные фильтры.

Так мы с командой сделали Aimger - инструмент сбора и анализа метрик на основе AI, с визуализацией дашбордов, который мы внедряем и настраиваем в компаниях.

Инструмент быстро встраивается в экосистему организации, а также мы помогаем определить и внедрить правильный набор метрик. А AI помощник помогает анализировать данные и делать выводы быстрее. Если хотите получить презентацию продукта, оставляйте заявку по ссылке в сообщении “хочу на презентацию Aimger”. А также если понравилась статья подписывайтесь на мой телеграм канал.

В науке управления фокус внимания чаще-всего указывает на то, как команде работать «больше». Как мотивировать сотрудников, какие процессы и метрики применять. Это чрезвычайно важный навык руководителя.

Действительно, руководителю необходимо получать результат, используя минимум ресурсов. И здесь есть небольшой подвох, причинно-следственная нестыковка. Разве же работать «больше» и получать результат, нужный нашему заказчику, это одно и то же? Хочу порекомендовать вам вебинар, где мои коллеги расскажут всегда ли тяжелый труд означает замечательный результат? Вы сможете обсудить часто остающийся в тени ресурс повышения результативности путем минимизации выполняемой работы. А также научитесь применять этот ресурс. Регистрация доступна по ссылке.