В учебнике обществознания за 9 класс есть определение экономики как науки: «Экономика — наука о том, как люди удовлетворяют свои постоянно растущие потребности в условиях ограниченности ресурсов». Точно так и в разметке — нам нужно удовлетворить свои постоянно растущие потребности в объёмах и качестве разметки, а бюджет ограничен. Помочь нам в этом может система мотивации.

Привет! Меня зовут Кузнецов Роман. Я занимаюсь разметкой и модерацией данных в Альфа-Банке. В этой статье хочу поднять извечную задачу — как мотивировать разметчиков делать много и качественно, но при этом за те же деньги (вместо разметчиков поставьте своё). Расскажу, как мы в банке нематериально мотивировали ребят, ввели геймификацию и даже повысили их творческую активность!

Как вы знаете, есть два вида мотивации: материальная и нематериальная.

Материальная мотивация — самый очевидный вид мотивации. Очевидно, что она работает. И у нас она введена уже давно. Для разметчика здесь всё просто — делай объём выше нормы и качественно — получай премию.

А с нематериальной мотивацией сложнее. Нам нужно сделать так, чтобы разметчики делали все круто, много, а ещё и за те же деньги. 

Мы нашли два инструмента: рейтинг и геймификация в рабочие процессы. Простые, но работают как швейцарские часы.

Как сделать карьерный рост разметчика прозрачным?

Нужен рейтинг. 

Разметчики (их ещё называют ассессорами или ai-редакторами) тоже хотят карьерного роста. Они могут вырасти от разметчика до ведущего разметчика, а потом — до начальника группы. Прозрачности здесь добавляет рейтинг — показывает потенциал разметчика занять более высокую позицию. 

В рейтинге мы видим балльную оценку разметчика и соответственно его место среди других (к слову, это у нас в управлении самая посещаемая страница в Confluence). 

Ребята могут этот рейтинг отфильтровать как им захочется. Допустим, посмотреть, какое место Ваня занимает среди ребят на такой же должности. Если в ближайшее время появятся ставки на должность выше, то Ваня сможет понять какие у него потенциальные шансы на рост. 

• Если шансы высоки — все классно, стоит удерживать текущий темп работ и начинать смотреть на показатели коллег с должностью выше. 

• Если есть проблемы — стоит поработать над своими метриками и выбиваться в лидеры. 

Также можно увидеть, что у Димы самый высокий показатель в рейтинге — это повод сходить к старшему коллеге и попросить совета или помощи в улучшении своей работы.

Как формируется рейтинг

Здесь нам конечно «повезло», так как работу разметчиков относительно просто оцифровать, ведь у нас есть всего два ключевых показателя работы разметчиков, которые легко посчитать: объём размеченных заданий и качество разметки. 

Для многих других должностей типа DS’ов, аналитиков, разработчиков и других так просто не получится, и нужно будет поразмышлять над подходом (чем мы, кстати, сейчас тоже занимаемся).

В общем, рейтинг считается как средневзвешенное и включает 4 показателя: 

• объём размеченных заданий, 

• качество разметки, 

• оценка руководителя, 

• оценка инициативности.

№1. Объём размеченных заданий (как много делает разметчик). 

У нас есть целевое значение плана. Если план выполнен на 100%, то это 100 баллов. Если план выполнен больше или меньше, то также считаем в процентах и переводим в баллы 1:1.

Допустим, разметчик Саша выполнил 98% плана. Процент выполнения плана переводим в баллы в соотношении 1:1 — значит он получает 98 баллов. Далее его баллы умножаем на 0,3 — вес показателя выполнения таргета по плану (веса мы определяли эмпирическим путем). Итого получаем 98 * 0,3 = 29,4 балла рейтинга.

№2. Качество разметки. 

Аналогично пункту выше — считаем процент от целевого значения и переводим в баллы.

№3. Оценка руководителя. 

Начальники групп по 100-бальной шкале оценивают работу разметчиков: как ребята коммуницируют, вовремя ли сдают работу и т.д. (кстати, эта оценка также напрямую влияет на премию сотрудника).

№4. Оценка инициативности. 

Этот показатель мы придумали вместе с рейтингом. Наша цель — «подтолкнуть» ребят к разного рода не основным активностям, типа написания статей, выступлений и т.д. Мы как управление разметки данных тут получаем рекламу внутри и вне банка, а также потенциальные артефакты, возникающие в ходе подготовки ребят. Разметчики как увеличивают экспертность в своем направлении, так и развивают личный бренд, навыки выступления и другие скилы. Еще это своего рода тимбилдинг, так как могут объединяться в небольшие группы для решения творческих задач типа подготовки выступления.

И кстати, этот показатель хорошо сработал — после его введения у нас количество заявок на статьи и выступления выросло в 2 раза.

В общем, теперь у нас есть все показатели и их веса и можно посчитать итоговый рейтинг (у нас в примере получилось 89,1).

Отмечу, что веса мы выбирали эмпирическим путем. Сравнивали различные варианты, обсуждали с начальниками групп и остановились на текущем. У показателей объемов и качества веса выше, так как это ключевые показатели работы разметчиков, характеризующие их основную деятельность.

Добавляем геймификации и эмоций

Мы сделали ачивки. 

Всё как в компьютерных играх, когда получаешь виртуальную награду с крутым названием за какое-то достижение. Достижения могут быть абсолютно разными. Мы хотим поощрять ребят за любые активности: сделал больше всех, лучше всех, выступил где-нибудь, шесть месяцев подряд был в топе рейтинга и многое другое.

Не знаю как, но ачивки работают:

• Ребята видят признание их достижений, а это всегда приятно.

• Ребята конкурируют за ачивки, но в игровой форме — получаем здоровый соревновательный дух.

• Прогресс сотрудника наглядно отображается в виде ачивок. Лидеры рейтинга как правило будут и с большим количеством ачивок.

• Даже виртуальная награда поднимает ребятам настроение.

В сравнении с рейтингом, ачивки мотивируют ребят смотреть на каждый свой показатель в отдельности. К примеру, когда мы вместе с рейтингом ввели ачивки по качеству, то отметили в первый месяц рост качества в среднем на 1-1,5 п.п. в зависимости от проекта.

Выводы

Кажется, что текущий тренд в разметке, ИТ и не только — внедрение AI-ассистентов, авторазметка с помощью LLM и т.д. Но никогда не стоит забывать про людей. Люди — фундамент процессов модерации и разметки данных. Мотивировать их можно не только за счет денег, но и вводя различные виды нематериальной мотивации. В нашем случае мы ввели всего два простых и давно всем знакомых инструмента. Хотя они давно известны, работать от этого они не перестали и обеспечили ребят прозрачным ростом за счет общего рейтинга, а также добавили эмоций и геймификации за счет введения ачивок.