Привет! Я Костя Рубцов, руководитель продукта «Ассистент Олег» и один из лидеров коммюнити продактов Тинькофф. Расскажу, как мы решили вместо алгоритмических тестов по компетенциям провести чемпионат с бизнес-кейсами, чтобы оценить уровень продактов, а им самим увидеть точки роста и поучаствовать в интересном челендже.

Три проблемы оценки уровня продакта

Мы в компании стремимся к прозрачному и объективному процессу оценки каждого сотрудника. Это позволяет видеть свой возможный карьерный трек, какой результат считается крутым, понять необходимый уровень навыков. Самой компании это помогает транслировать ожидания, а затем отмечать результаты и профессиональный рост специалиста. Звучит логично, но мы увидели три проблемы при реализации.

Первая проблема: уровень знаний не говорит об уровне в профессии. Очевидный и распространенный способ оценки сотрудников — тестирование. Это простой и удобный инструмент. Он показывает уровень знаний через ответы на конкретные вопросы, но не дает оценки навыков решения задач с высоким уровнем неопределенности. Ведь чтобы упаковать тест, приходится упрощать формулировки в пользу алгоритмической оценки ответов.

Мы попросили 50 сотрудников, преимущественно продактов, пройти «Тест для оценки навыков в управлении продуктом» и сравнили результаты с ответами за всю историю существования теста. Спасибо GoPractice за предоставленные данные! 

Казалось бы, мы видим отличный результат: продакты Тинькофф хорошо справляются с тестом, составленным экспертами в области профессиональной оценки. Но есть нюанс: в списке сотрудников были представители и других профессий — HRBP, менеджер образовательных проектов, бизнес-аналитик, — которые справились на уровне джун-продакта, а те, в свою очередь, отвечали на уровне скиллового продакта. 

В таблице я привел строки с особенно интересными результатами: они показывают, что тесты самооценки продактов могут на приемлемом уровне пройти представители других профессий в нашей компании, а джуны могут показать знания на уровне опытных ребят.

Вторая проблема: ожидания стейкхолдеров не сформулированы явно. Необходимо сформулировать, чего стейкхолдеры ожидают и что ценят в работе продакта, желательно на примерах. 

Мы в Тинькофф провели экспертный совет на основе опыта сотрудников с высокими годовыми оценками и значимыми результатами. Выделили пять критериев оценки уровня в профессии: масштаб результата, сложность домена, самостоятельность, лидерство и опыт. Система получила название SCALE и прежде всего оценивает фактический бизнес-результат, нежели уровень навыков и академических знаний. 

Когда создаешь метод оценки уровня продакта, важно формулировать приближенные к реальности задачи. При этом сам метод должен соответствовать ожиданиям бизнеса. Задачи должны быть максимально приближенными к реальности, а это моментально усложняет валидацию: нужны ресурсы экспертов, ведь мы хотим получить объективную оценку.

Третья проблема: сложно добиться объективности. Что такое объективная оценка? У нас есть внутренние эксперты, часто лиды направлений, которые оценивают навыки продактов. Мы понимаем, что их прежний практический опыт после перехода в роль руководителей со временем может потерять актуальность, ведь постоянно появляются новые контексты, инструменты и знания. А еще есть критерий доверия оценке, а с ним все становится сложнее, ведь иногда сотрудники не доверяют даже своим непосредственным руководителям в результате персонального аудита.

Мы увидели 3 проблемы оценки продактов и решили пойти нестандартным путем. Для этого организовали внутренний чемпионат среди сотрудников. В качестве задания взяли кейс с реальным контекстом, в котором оказался один из наших продактов. Ответ на задание невозможно уместить в одно предложение или выбрать правильный вариант из предложенных.

Для повышения объективности решили использовать крауд-оценку — анонимное ранжирование решений участниками друг друга с последующим дисконтированием оценок тех, чьи работы оказались слабее, и наоборот. 

Звучит сложно, но сейчас я все объясню!

Что такое Tinkoff Product Cup 2023

Осуществить задуманное нам помог Карьерный Цех — организатор конкурсов для продактов, дизайнеров и аналитиков. В их профессиональных соревнованиях участники решают практические кейсы, оценивают друг друга и получают фидбек о сильных сторонах и точках роста. Используя почти готовое решение, мы ускорили проверку гипотезы нового способа оценки продактов и вдобавок получили экспертизу ребят по организации и мотивации участников.

Tinkoff Product Cup — это чемпионат для продакт-менеджеров и других специалистов продуктовых команд. Участники получают два реальных бизнес-кейса, ограничения по времени и проблему выбора лучшего решения на этапе анонимной оценки друг друга.

Наш чемпионат отличался от публичных конкурсов, которые проводит Карьерный Цех, поэтому стандартное решение нужно было кастомизировать. Мы не решали задачу найма, а тестировали гипотезу крауд-оценки скиллов. Ребята адаптировали интерфейс конкурса. Например, убрали опцию отправки резюме и выделили базу участников в отдельный контур для сохранения приватности данных о сотрудниках.

Возникла идея проверять уровень на реальных задачах из недавнего прошлого — это открытые вопросы, у которых нет единственного правильного ответа, даже по прошествии времени. Работа над поиском решения в такой ситуации, а затем его сравнение с другими во время крауд-оценки требуют комплекса работ, таких как: 

• анализ ситуации и поиск данных;

• формулирование проблемы;

• выбор решения и его обоснование; 

• упаковка выводов для оценки остальными участниками команды. 

И все это параллельно основным задачам на работе — кажется, такие условия позволяют именно продактам лучше остальных специалистов проявить себя. 

Так родилась концепция конкурса Tinkoff Product Cup — внутреннего соревнования для всех продактов компании, где заданиями стали:

• Реальные ситуации. Конкурсанты решали задачи из практики Тинькофф. 

• Понятные проблемы. Вопросы сформулировали так, чтобы участники могли поставить себя на место клиента или бизнеса.

К тому же на практике несколько менеджеров продукта редко одновременно работают над одной задачей — важное условие для оценки относительного профессионального уровня. А через конкурс мы помещаем всех участников в единый контекст и условия, чтобы сделать оценку максимально объективной.

Как проходил чемпионат

Конкурс продактов был пилотным проектом, поэтому некоторые этапы корректировали в процессе. Отдельные моменты мы с командой Карьерного Цеха дорабатывали буквально на лету. 

Первый этап — сбор заявок. Конкурс анонсировали в наших сообществах. 

Такая активность откликнулась команде: прислали более 600 заявок, 450 человек стали участниками. На этом этапе отвалились те, кому развитие в продакт-менеджменте интересно, но они не готовы прямо сейчас к такому формату или нет времени.

Второй этап — публикация заданий. Кейсы опубликовали на платформе Карьерного Цеха. В конкурсе было два задания, направленных на проверку разных компетенций.

В задании № 1 «Ценность для пользователя» были вопросы вокруг UX в мобильном приложении Тинькофф, которая упрощает отправку денежных переводов.

В задании № 2 «Ценность для компании» участникам предложили разработать концепцию продукта и оценить его с точки зрения пользы для бизнеса.

Есть утверждение, которому я верю, что единственный способ обучения — повторение. Мы повторяем полученные ранее знания и так обучаемся. В работе продактов нет учебников именно для твоей задачи, хорошие материалы ситуативны и не всегда применимы. Особенно когда предстоит впервые в индустрии решить сложную задачу. 

На конкурсе мы создали прецедент, когда участник видел, как его задачу решал кто-то другой, и таким образом дообразовывался, потому что один человек мог подумать о том, о чем не подумал другой. Это эффективное обучение и обогащение знаниями.

Крауд-ревью помогает прокачать навык принятия решений — это еще один плюс метода. На конкурс прислали много решений с незначительными или неочевидными отличиями, поэтому некоторым участникам было сложно ранжировать чужие работы. Чемпионат дал возможность попрактиковаться в оценке компетенций.

Мы стремились максимально задействовать навыки участников, поэтому вместе с экспертами Карьерного Цеха придумали двухступенчатый кейс. Сложность первого задания — на среднем уровне, а второй кейс более объемный и сложный по компетенциям. Проверяли навыки сбора данных, способность анализировать и мыслить нестандартно, а еще скилл презентации.

Третий этап — сбор решений. На выполнение кейсов было десять дней. Оба задания обязательны, и ответы не должны превышать пяти страниц презентации. 107 человек отправили работы, 97 вошли в итоговый рейтинг. 

10 участников отсеялись из-за несоответствия регламенту: часть решений не были анонимными, другие нарушали ограничение в пять слайдов информации. В будущем стоит лучше транслировать правила конкурса, чтобы не было разночтений.

В задании № 2 «Ценность для компании» участникам предложили разработать концепцию продукта и оценить его с точки зрения пользы для бизнеса.

Важно уточнить, что Технолог в Тинькофф – специалист, который выполняет задачи разных профессий: работает с бизнес-требованиями, анализом данных и ведет проекты. Существенная часть технологов выполняет и задачи продакт-менеджера, и часто с ростом переходят в эту профессию. Чтобы упростить, в следующем выводе мы суммируем технологов в сегмент продактов. 

Распределение выше примечательно тем, что заявлялись на чемпионат ребята разных профессий, из которых только 56,3% можно отнести к продактам, при этом среди приславших решения их стало 75%. Значит, чемпионат стал профессиональным состязанием и с большим успехом его проходят именно менеджеры продуктов.

После чемпионата мы провели опрос и попросили участников оценить предложенные задачи.

Четвертый этап — оценка работ. Мы решили не привлекать к оценке работ экспертов, чтобы не тратить их время и чтобы результаты не зависели от субъективных взглядов. В публичных конкурсах специалисты Карьерного Цеха используют методику крауд-ревью — когда участники сами оценивают работы других участников.

За шесть дней каждый участник конкурса оценил десять других работ. Все кейсы были анонимными, их следовало отранжировать от сильного к слабому. Математическая модель собрала все оценки и составила итоговый рейтинг.

Математическая модель — это разработка Карьерного Цеха, она состоит из нескольких этапов. В первом круге участники оценивают друг друга, каждому дается несколько анонимных работ других ребят для оценки, и он должен оценить их между собой от самой лучшей к самой худшей. 

Во втором круге модель ранжировала работы с поправкой на рейтинг каждого участника — повышала вес оценок у тех, чьи работы были оценены выше, и снижала у тех, чьи работы были в конце рейтинга. Так мы моделировали условия, в которых авторы высоко оцененных работ, могут экспертнее оценить работы других. Этот метод оценки можно назвать градиентным спуском.

По сути, мы столкнули участников с функцией руководителя: надо было детально разобраться, чем одна работа отличается от другой, как и руководителю приходится детально разбираться в работе сотрудника, чтобы правильно оценивать его. В зависимости от количества голосов составлялся рейтинг работ. 

А главное — на конкурсе мы создали прецедент, когда участник видел, как его задачу решал кто-то другой, и таким образом дообразовывался, потому что один человек мог подумать о том, о чем не подумал другой. Это эффективное обучение и обогащение знаниями.

Крауд-ревью помогает прокачать навык принятия решений — это еще один плюс метода. На конкурс прислали много решений с незначительными или неочевидными отличиями, поэтому некоторым участникам было сложно ранжировать чужие работы. Чемпионат дал возможность попрактиковаться в оценке компетенций коллег.

Пятый этап — награждение победителей. Рейтинг Tinkoff Product Cup 2023 формировался по сумме баллов за два задания. Мы выбрали пять победителей и отдельно отметили еще двух призеров с сильными работами. Итоговый рейтинг — это сумма баллов за первое и второе задания, но были участники, которые так круто выполнили одно задание из двух, что мы не могли их не отметить. 

Финалисты получили вознаграждение во внутренней валюте компании, а призерам и победителям также достался топовый мерч. А еще у участников была возможность получить обратную связь от экспертов компании по своим работам. 

Экспертов привлекали, если у участников были вопросы по оценкам и они хотели более развернутой обратной связи по своим результатам. Когда нужен был толкователь, на помощь участнику приходил наш институт менторов. Можно было оставить заявку на разбор работы, чтобы понять, чего не хватило или что можно было сделать иначе.

Место в первой пятерке подтверждает высокий уровень компетенций, по мнению сообщества продактов нашей компании. Результаты конкурса позволили на конкретном примере выделять направления для развития, обучения или проработки с ментором.

Часть конкурсантов отсеивается на этапе отправки готовых работ, и это нормально. Решение кейсов требует времени, упорства и креативности. Участники могут не уложиться в тайминг или просто передумать. 

Подведение итогов

Главное, все оказались в выигрыше. Мы нашли коллективный способ проверки уровня продактов, который экономит время и ресурсы компании. Участники прокачали скиллы на реальных кейсах, а Карьерный Цех решил нашу задачу как заказчика и открыл для себя новое направление корпоративных конкурсов. 

Мы довольны результатами, получили интересный опыт и зафиксировали пользу от конкурса: 

• Развитие продуктовой культуры. Продакты получили новый профессиональный опыт и оценку компетенций, увидели точки роста и наметили пути развития. А другие специалисты — возможность побыть в новой роли, применить продуктовый подход и оценить свой потенциал.

• Бизнес открыл новый способ решения творческих задач. Мы хотим перенести этот опыт на новые проекты. Не решать задачи, которые были, а целым сообществом брейнштормить идеи по новым направлениям. А еще хотим создавать сильные кейс-команды для генерации идей и возможных решений за короткое время. Продакт должен будет собрать себе команду — найти аналитика, разработчика или других специалистов и продать им идею участия в конкурсе, чтобы вместе создать не просто презентацию, а демо решения. И так можно оценить лидерские качества продакта.

• Проверка вовлечения сотрудников. Когда нет отдельного времени на эту активность, когда мы челленджим самих себя, и это показывает культуру компании. Мы увидели, что люди вовлечены и могут в дополнительное время провести сложную аналитическую работу.

Нужно лучше планировать ресурсы опытных менторов для дальнейшего разбора работ всех участников, запросивших персональный разбор результатов с выявлением точек развития. Нам не хватило ресурсов менторов, потому что мы оказались не готовы к такому количеству запросов. Это было неожиданно.

Вот такой крутой опыт у нас получился с чемпионатом. А как в ваших компаниях оценивают компетенции продактов?