Последние несколько лет я активно участвую в процессе подбора системных аналитиков в департамент развития цифровых сервисов. Начинал с проведения скринингов и технических интервью, а уже будучи руководителем направления, принимал решение о распределении кандидатов по командам и их трудоустройстве.
Минувший год удивил значительным сокращением вакансий на позицию junior системных аналитиков. Бизнес, финансирующий деятельность команд, в большей степени заинтересован в найме опытных специалистов, способных сразу приступить к разработке новых цифровых продуктов. Всё меньше команд готовы вкладываться в развитие начинающих специалистов.
Но найм никто не останавливает. При этом бизнес выражает недовольство из-за отвлечения технических экспертов от работы над продуктами для проведения технических интервью. А многие кандидаты демонстрируют знания и навыки на уровне junior, что также не бьется с потребностями бизнеса. Поэтому было решено проанализировать процесс подбора и найти точки роста, чтобы закрывать потребности в найме с минимальными затратами времени технических экспертов. В результате появился скрининг-бот, о котором речь пойдет ниже.
С точки зрения кандидата текущий процесс подбора в департамент развития цифровых сервисов состоит из трех последовательных этапов:
Скрининг. Это общение с HR-специалистом на 15-30 минут, в ходе которого проверяются, в том числе, релевантные знания и опыт, необходимые для успешного прохождения технического интервью. На скрининге HR задаёт открытые вопросы, например, «С какими архитектурами работал за последние 5 лет?», «Есть ли опыт проектирования веб-сервисов с нуля?». Руководитель на основании анализа резюме и ответов кандидата принимает решение о направлении его на техническое интервью.
Техническое интервью. Общение с техническими экспертами Банка, где выявляется технический уровень кандидата — junior, middle или senior. На интервью кандидату предлагают как теоретические вопросы, так и практические задачи. После эксперты оставляют обратную связь с указанием уровня кандидата. На основании обратной связи и требований вакансии руководитель принимает решение о направлении кандидата на знакомство с командой.
Знакомство с командой. Встреча с членами продуктовой или платформенной команды, в которую направляется кандидат, в зависимости от уровня, выявленного на техническом интервью. Цель данной встречи состоит в оценке личных качеств кандидата, подходит ли он команде, сможет ли команда с ним сработаться. Если от команды в лице владельца продукта есть положительная обратная связь, то руководитель принимает решение о найме кандидата, совместно с HR-специалистом формирует job offer, запускает процесс трудоустройства.
Анализ этих этапов показал, что скрининг слабо выполняет функцию отбора кандидатов, его проходит абсолютное большинство. Так в моём направлении:
с 15 марта по 14 апреля его прошёл 91% кандидатов;
с 15 апреля по 14 мая — 100%;
а с 15 мая по 14 июня — 88%.
В среднем за три месяца — 93%. Слишком хорошая статистика, которая говорит лишь о том, что открытые вопросы не позволяют полностью оценить уровень знаний и навыков кандидата.
Для улучшения качества оценки кандидата на позицию системного аналитика было решено на этапе скрининга использовать закрытые вопросы. А для снижения нагрузки на HR-специалистов процесс проведения скрининга был автоматизирован за счет разработки бота для Telegram.
Кандидату направлялась персональная ссылка, перейдя по которой начиналось взаимодействие с ботом. Скрининг состоял из 16 вопросов, на которые требовалось ответить за ограниченное время — от одной до полутора минут на вопрос. Кандидат мог начать скрининг сразу, либо пройти его позже.
В качестве проверяемых были выбраны темы, рассматриваемые, в том числе, и на техническом интервью:
Работа с требованиями.
SOAP и XML.
REST и HTTP.
Базы данных и SQL.
Бот предлагал текстовую формулировку вопроса и несколько вариантов ответа, один из которых был правильным. Часть вопросов также имела графическое сопровождение.
Для успешного прохождения требовалось правильно ответить на 75% вопросов. Так за период с 15 июня по 14 июля успешно прошли скрининг-бот 26 из 59 кандидатов на штатные позиции — т.е. 44%.
Использование закрытых вопросов с единственным правильным вариантом ответа выразилось в снижении количества кандидатов, успешно прошедших скрининг, почти в 2 раза, и экономии до 29,5 часов HR-специалиста в месяц.
Если бы процент прохождения скрининга остался в значении 93%, то на техническое интервью вышло бы 55 кандидатов, т.е. на 29 человек больше. Обычно такое интервью длится от одного часа и требует привлечения двух технических экспертов для формирования альтернативного мнения. Отсюда вырисовывается и выгода для бизнеса.
Сокращение количества прошедших первый этап кандидатов повлекло за собой снижение времени отвлечения технических экспертов от работы над цифровыми продуктами на 58 часов в месяц.
На 10 августа по результатам технического интервью уровень Middle подтвердили десять кандидатов (38%), прошедших скрининг-бот. Это неплохой результат. Особенно с учётом того, что задача бота — лишь предварительная оценка знаний и навыков кандидата, а не определение его технического уровня. Из них четверо уже вышли на работу в департамент разработки цифровых сервисов.
Если обратить внимание на статистику ответов, то вырисовывается следующая картина:
На два вопроса поступило менее 40% правильных ответов.
По шести процент прохождения средний — от 40% до 70%.
С остальными вопросами, а их половина, успешно справляется более 70% кандидатов.
№ |
% |
№ |
% |
№ |
% |
№ |
% |
1 |
92% |
5 |
46% |
9 |
53% |
13 |
100% |
2 |
17% |
6 |
92% |
10 |
66% |
14 |
73% |
3 |
46% |
7 |
97% |
11 |
78% |
15 |
31% |
4 |
81% |
8 |
73% |
12 |
68% |
16 |
49% |
Обладая данной статистикой теперь стало возможным более обоснованно управлять этапом скрининга. Например, за счёт замены сложных вопросов (а их сейчас две штуки) более простыми, с целью увеличения воронки в случае расширения подбора. Либо за счет замены простых вопросов с высокой долей правильных ответов более сложными, с целью поддержания функции отбора. Ожидается, что такая система будет стремиться к равновесному состоянию, за счет которого будет обеспечен приемлемый уровень сложности вопросов, предлагаемых кандидатам на первом этапе подбора.
В настоящее время скрининг-бот используется в процессе подбора в штат департамента разработки цифровых сервисов. Причем не только на позицию системного аналитика, но и ещё на нескольких компетенциях. Идёт накопление статистики с целью принятия решения о дальнейшем его масштабировании — на аутстаф и другие департаменты банка.
Отдельную благодарность хочу выразить Игорю Беляеву (@korol-super-top) за разработку скрининг-бота. Если появятся вопросы по реализации, думаю, Игорь с радостью на них ответит.
Читатель, поделись, используете ли вы в своей компании аналогичные решения для предварительной оценки кандидатов? Что они из себя представляют? Буду рад найти описание вашего опыта в комментариях ниже.
А для тех, кому интересно, как может проходить второй этап процесса подбора в Банк - техническое интервью, оставляю ссылку на запись публичного собеседования на роль системного аналитика, сделанную в прошлом году совместно со Школой анализа и проектирования NextWay
Комментарии (23)
Nyksu
21.08.2023 14:29+1Если с целью отсечь самых джунов от остальных, но метод годный. Но если узнать что именно и как с кандидатом, то тут только личная беседа. У аналитиков даже не могу представить как это без этого обойтись. Теорию можно знать хорошо и подготовиться, тем более есть время таки погуглить когда общаешься с ботом. Собственно любой экзамен может выяснить только то, что не знает конкретный кандидат, а вот что он знает и чем может быть полезен - это уже сложнее. Ещё один момент. Кандидат от волнения может просто не успеть ответить зная правильный ответ. Это как в кинематографе - вам к голове приставляют пистолет и ждут что вы быстренько взломаете Пентагон... Но такое бывает только в фильмах. В реальности люди в критических ситуациях часто выключаются. И понятно бы было если у вас постоянно критические ситуации на работе и вам нужен просто супермен спокойный как Штирлиц, то да.. Но ведь вам нужны просто хорошие специалисты, которые не бегают спринтерские дистанции.
alobzov Автор
21.08.2023 14:29+1Справедливое замечание. Именно поэтому на первом этапе допускается четверть неверных ответов. А то, что знает кандидат, коллеги определяют на дальнейших этапах
GospodinKolhoznik
21.08.2023 14:29+2Лучший способ сделать так, чтобы крутые спецы отваливались на этапе скрининга, а оставались самые слабые - поручить скрининг телеграм боту.
Мне кажется нормальные синьоры просто побрезгуют собеседоваться с ботом. Ну не знаю, может я чего то не понимаю и у вас стоит очередь за забором из Кармаков и Торвальдсов желающих работать на вас.
PecarVacun
21.08.2023 14:29+2Полностью согласен! именно эти слова не нашел, когда писал свой первый комментарий
alobzov Автор
21.08.2023 14:29По внешним кандидатам данных нет, но точно могу сказать, что внутренние ребята, в т.ч. лиды и синьоры, проявляют интерес и просят дать им пройти бота)
Nyksu
21.08.2023 14:29+1Кому то да - будет интересно, кому то нет, как написано выше. Главное не давать таких странных вопросов, как ответить за минуту сколько ошибок в XML... нужны более талантливые вопросы, раскрывающие специалиста.. вы же не тестировщиков принимаете и не членов команды ЧтоГдеКогда.
alobzov Автор
21.08.2023 14:29+1Соглашусь, вопросы должны позволить взглянуть на кандидата с разных сторон. А их составление - отдельный навык.
Насчет приведённого примера. Вам он кажется странным. Однако нашим аналитикам приходится работать в т.ч. с XML-сервисами, настраивать интеграции, участвовать в разборе дефектов. Поэтому нам важно, чтобы человек понимал правила формирования XML. И текущая статистика показывает, что с данным вопросом успешно справляется почти половина кандидатов. Практически столько же проходит скрининг
Nyksu
21.08.2023 14:29Понимание XML и найти число ошибок за 1 минуту - это не одно и тоже. Я не говорю что это сложно или легко, я говорю что это не то что нужно спрашивать. Даже если кто-то и отвечает (не отвечает) на этот вопрос. Найти ошибку в коротком примере XML сможет аналитик который никогда с XML не сталкивался, если он потратит минут 30 на прочтение о формате. А вот найти ошибку в большом ответе XML на практике не дело аналитика... это вообще отдельная задача, и лучше выполняемая автоматическими тестами, здесь человек не нужен, это глупость использовать людей для этого. Это как солдатами разминировать минное поле. Задача должна соответствовать важным особенностям системного анализа, а то что вы задаете это как олимпиада для школьников со специфическим уклоном. Да кинуть в GPT-chat (это конечно крайний случай для этого должны быть специализированные инструменты) документ и узнать об ошибке - вот использование некоторых инструментов сообразно. Столяр не тот кто может зубами перегрызть полено, а кто возьмёт для этого пилу и ей сможет отпилить. При всём своём не малом опыте в системной аналитике я бы не стал на себя брать функции тестировщика, тем более функции автоматических тестов. И понимать где та граница тестирования качества данных должна падать на долю аналитика - это и есть талант руководителя, боюсь правда вы меня не поймёте.
gudvinr
21.08.2023 14:29Понимать правила != искать ошибки
Можно хорошо понимать правила формирования xml, но при этом, к примеру, именно сейчас не обратить внимание, что в xml, в отличие от html, не бывает элементов без закрывающих тегов
Данные в любом случае будут переданы в парсер, и именно парсер должен проверять ошибки синтаксиса в xml, а не человек
Это так же ужасно, как писать алгоритмы на бумажке
alobzov Автор
21.08.2023 14:29По первому тезису согласен. Без понимания ошибки искать тяжелее и дольше.
По второму, алгоритмы писать ужасно, когда это единственное задание, от которого зависит исход подбора. Когда же оно одно среди множества, его невыполнение компенсируется выполнением остальных. А если кандидат справляется с алгоритмами, это наоборот выделяет его среди массы
Selector83
21.08.2023 14:29+1Считаю, что бот-нормальное решение для скринига. Есть плюсы и минусы, но амбициозно сделать полноценное решение для скрининга как внешних, так и внутренних кандидатов, с картами компетенций, софт-скиллами и прочее. Сейчас занимаемся этим, очень интересная и нетривиальная задача.
А еще пришли к выводу, для своих сотрудников, что важно смотреть не на теоретические знания (это можно вызубрить), не на способность решить тестовую задачу (сейчас этому тоже учат, решать типовые задачи и пройти собес), а на умения - когда ты применяешь теорию и практику на своих проектах (показал PR-ы на своих проектах, артефакты, рассказал как и почему сделал). Но это другая чуть смежная история про развитие компетенций своих сотрудников.
alobzov Автор
21.08.2023 14:29Развитие компетенций внутренних сотрудников - отдельная увлекательная история. Встречал разные подходы, но интересен ваш опыт - в процессе оценки даёте ли вы сотрудникам новые задания (например, спроектировать решение по заданным требованиям и обосновать проект) или останавливаетесь на анализе артефактов их работы?
mello1984
21.08.2023 14:29Нормальный подход для отсеивания совсем никаких спецов. Правда если вопросы такие как на скрине - сколько ошибок в xml - то вопрос, что проверяется и стоит ли экономия времени HR потери реальных миддлов. В конце концов есть IDE, которые этот функционал выполняют...
Но больше интересно - этот тест только миддлам даётся или и выше - тоже?
alobzov Автор
21.08.2023 14:29Тест дается всем. Он не оценивает технический уровень кандидата. Оценка уровня происходит на техническом интервью
Urub
21.08.2023 14:29-1"Использование закрытых вопросов с единственным правильным вариантом ответа .."
хм, даже одну кнопку не смогли нажать ? )
Leetc0deMonkey
21.08.2023 14:29+1В этом вопросе ведь такая диллема... Если вы не условный Яндекс и прочее сладкое место, сильные разработчики просто разворачиваются когда им предлагают поплясать на таких вот скринингах. Автоматизированных или нет, не важно. У них как правило проблем с поиском работы нет. А вот те кому деваться некуда, те конечно усердно примутся проходить все скрининги. И чем ниже уровень кандидата, тем выше у него мотивация "хоть чучелом, хоть тушкой". То есть все эти прескрининги и алгособесы на самом деле приводят к прямо обратному результату!
PecarVacun
как по мне, так "девочка junior HR" намного лучще заменит этого чат бота. чуть дороже чем полностью автоматизированный чат бот, но минимизирует ошибку "человеческого фактора" при ответе на вопросы.
Главное, дать ей инструмент первичного скрининга соискателей. С правильным скриптом - она сможет сделать более релевантную подборку кандидатов.
Кроме этого, есть шанс, что она прошедших соискателей еще и по типам личности, по Белбину или DISC или что вы там используете, разделит. А это в свою очередь даст возможность техническим (дорогим) ресурсам собеседовать только тех, кто с большей вероятностью успешно вольется в команду по ролям...
Но это все только мои мысли, с дивана :)
alobzov Автор
Безусловно, скрининг можно было оставить на HR и по-прежнему "жечь" его время)
В части проверки софтов хороший поинт
PecarVacun
не спорю, но задача стояла "чтобы закрывать потребности в найме с минимальными затратами времени технических экспертов".
учитывая, что хороших специалистов на рынке, по словам автора, не очень много, опасность потерять потенциального специалиста из-за пресловутой ошибки при заполнении формы, без последующей проверки человеком, достаточно велика.
Мой коментарий относился именно к этому конкретному кейсу. В целом я за автоматизацию процессов.