Стажировка – отличный способ привлечь в команду новых специалистов. Но ее организация требует много ресурсов. И чтобы эти затраты принесли ценность, нужно учесть множество факторов.

Как отобрать лучших, когда количество заявок на стажировку часто в десятки или сотни раз больше, чем мест? Как качественно оценить стажеров всего за 2 месяца? Как настроить процессы, чтобы стажировка подготовила кандидата к реальной работе и принесла пользу в сделанных задачах?

Мы проводим летние стажировки в Центре ИИ 6 лет. С 2018 года 80% принятых на стажировку остались с нами после ее окончания. А 60% из них – работают до сих пор и обучают новые поколения стажеров.

В этой статье расскажу, что мы делаем, чтобы стажировка приносила команде пользу.

Цель стажировок

Для оценки успеха стажировки необходимо определить ее цели еще до начала.

Обычно главная цель – это привлечение новых сотрудников. Но, даже если у вас нет вакансий для постоянных junior специалистов, стажировка может принести пользу: прокачать своих сотрудников, повысить узнаваемость компании и получить решенные задачи.

Выбор стажеров и подготовка

Составление тестового задания

Качественное тестовое для начинающих специалистов по Data Science – задача непростая. Поэтому мы сформулировали требования к подготовке задания:

Уровень сложности. Задание не слишком сложное, чтобы не отпугнуть интересных кандидатов, но в то же время позволяет продемонстрировать глубокие знания по теме.
И мы стараемся сделать тестовое таким, чтобы решение нельзя было нагуглить. Теперь у нас новый вызов: как сделать задание, которое не отнимет много времени, но его будет сложно «наGPTшить»? Кто знает, как — расскажите в комментариях :)

Данные для задания. Мы предлагаем реальные задачи в качестве тестовых, поэтому тщательно проверяем, нет ли в данных чувствительной для компании информации. И проводим оценку на data leakage.

Оформление и формулировки. Задание понятно сформулировано, чтобы кандидаты не тратили время на разгадку требований. Также мы уделяем внимание оформлению и верстке.

Внешнее ревью. Тестовое задание валидируют члены команды, которые не работают над проектом из тестового – так мы создаем условия, схожие с ситуацией кандидата. Они решают задание и дают обратную связь.

Мы экспериментируем с форматом заданий — в прошлом году одним из вариантов тестового было соревнование на kaggle. Опыт нам понравился: публичный лидерборд стимулирует кандидатов дорабатывать решение и пробовать разные подходы. Поэтому в этому году мы сделали тестовое только в формате соревнования. Получилось весело и удобно как для нас, так и для кандидатов. В следующих статьях расскажем об этом подробнее.

Проверка заданий

В области Data Science решения нешаблонные и требуют много времени для проверки. Нам присылают несколько сотен тестовых. Время на ответ кандидатам ограничено и проверить работы надо за несколько дней, поэтому процесс проверки мы разбили на два этапа:

1. Автоматический расчет метрики. Сначала мы проверяем все решения скриптом, который считает метрику на privat-части тестовой выборки. 

2. Детальная проверка решений. Мы отбираем решения с метрикой выше зафиксированного порога и детально проверяем только их. Изучаем, как кандидат рассуждал в процессе решения, какие методы пробовал. В работах, вышедших во второй тур, понятность и интерпретируемость исследования оцениваем выше, чем небольшой перевес по метрике.

Автоматическая проверка требует от кандидата четкого соблюдения формата ответа, о чем мы предупреждаем в тестовом. Это накладывает ограничения на кандидатов. Но мы считаем, что у подхода есть дополнительный плюс: можно отсеять претендентов, которые невнимательно читают задание.

Нам важно не только получить новых сотрудников, но и развивать соискателей. Поэтому мы даем обратную связь по тестовым и предлагаем кандидатам после проверки заданий делиться решениями в общем чате.

Интервью

Как провести собеседование с кандидатами, если у них пока нет релевантного опыта, о котором их можно расспросить? Мы выбрали способ проведения интервью в два этапа:

1. Самопрезентация. Ребята записывают видео, в которых рассказывают о себе, образовании, интересах и амбициях в области Data Science.

2. Онлайн-интервью. Выбираем знакомые кандидату темы и подбираем собеседующих, которые хорошо в них разбираются. 

Подготовка наставников

Стажировка идет 2 месяца, поэтому наставники готовятся заранее:

• Проходят обучение как ставить задачи, давать обратную связь и т.д.

• Готовят задачи для стажера: составляют понятное описание и проверяют доступность данных для решения.

• Формулируют первый вариант целей, плана и критериев прохождения стажировки, которые потом обсудят со стажером.

Как выглядит та же доска после стажировки

Совет:

Подготовка инструкций для наставников и стажеров требует ресурсов. Но в будущем это сэкономит время на передачу контекста и гарантирует, что все получат одинаковую информацию.

Стажировка

Задачи

У нас в команде много разных направлений и сформулировать общие для всех критерии – сложно. Но мы сформулировали рекомендации, какой должна быть задача для стажера:

• Наставник сам понимает, как ее решать.

• Нет железного дедлайна, от соблюдения которого зависят другие команды или клиенты.

• Чем ниже уровень неопределенности, тем лучше. Задачи должны быть достаточно глубоко проанализированы, чтобы была возможность достичь результата за два месяца.

Работа на стажировке максимально приближена к реальности. Поэтому стажеры сразу начинают взаимодействовать с другими ролями в компании – от получения доступов к данным до обсуждения деталей решения с заказчиком.

Критерии прохождения стажировки

Критерии стажировки – это наши ожидания от стажера при выполнении задач и от них зависит решение о продолжении работы. Они обсуждаются и фиксируются на первых встречах с наставником. А команда и сотрудник могут оценить по ним промежуточные результаты в любой момент.

Критерии должны быть понятными, измеримыми и достижимыми. Посмотрим на примеры хорошо и плохо сформулированных критериев:

Совет:

Вы можете определить критерии для каждого месяца работы с новичком. Это покажет ему ожидаемый путь развития, а вам поможет оценивать динамику.

Включение в корпоративную культуру

Контур – крупная компания со множеством продуктов и команд. Чтобы стажерам было легче погружаться в процессы, мы разработали для них онбординги и онлайн-курсы.

Также есть и мероприятия, которые помогают стажерам влиться в коллектив. Они проводятся и на уровне компании, и на уровне отдела.

Совет:

Зовите стажеров на обед, попить чай/кофе, приглашайте на командные внерабочие тусовки – так им будет проще наладить коммуникации в команде.

Коммуникации с наставником

Стартовые встречи

В первые дни наставник помогает стажеру разобраться в процессах, предметной области и задаче. Темы стартовых встреч:

• Вводная встреча: о месте нашего отдела в компании, про команду и проект.

• Процессы разработки: какие категории задач бывают, их типичный воркфлоу, принятый в команде процесс ревью. 

• Инструменты: где пишем код, документацию и ведем задачи.

• Первая задача: предметная область, описание задачи, почему задача важна для компании.

• Обсуждение целей и критериев прохождения стажировки.

Совет:

После того как вы со стажером сформулировали цель и задачи, попросите его объяснить их своими словами. На следующий день спросите еще раз — это поможет убедиться, что вы со стажером одинаково видите цели и они зафиксированы в полном объеме.

Регулярные коммуникации

Мы даем стажеру понять, что он всегда может получить поддержку наставника. Но частота коммуникаций зависит от самостоятельности стажера. Обычно сначала мы создаем чат для оперативного обмена информацией и назначаем дэйлики, а потом регулируем частоту общения в зависимости от потребностей.

Экватор стажировки

В середине стажировки мы даем стажеру развернутую обратную связь, чтобы он мог скорректировать работу до конца стажировки. Обратная связь должна основываться на комплексной оценке с разных сторон, включая селф-ревью самого стажера.

Как это делаем мы:

1. Собираем обратную связь от сотрудников, с которыми стажер поработал.

2. Стажер и наставник по отдельности письменно анализируют прогресс по задаче. А также оценивают выполнение целей и дают прогноз, будут ли они закрыты в срок.

3. Проводим встречу, на которой стажер, наставник, менеджер и техлид обсуждают обратную связь и прогресс стажера. 

4. Фиксируем критерии стажировки, которые уже закрыты и шаги для закрытия оставшихся. Корректируем цели, если видим объективные причины не достичь их.

Решение о найме и обратная связь

В конце стажировки мы оцениваем кандидатов и решаем, кого пригласим работать с нами.

Сложность оценки в том, что стажеры работают над очень разными задачами и у каждого свой наставник. Здесь помогают цели и критерии, которые мы прописали в начале и актуализировали в середине стажировки. Процесс оценки и сравнения получается систематизированным и предсказуемым для кандидатов. А чтобы у стажеров было время на апелляцию, мы сообщаем им результаты за несколько дней до конца стажировки.

Объявление результатов тоже важно – мы хотим расставаться с сотрудниками, которые нам не подошли, на позитивной ноте. К этому надо подготовиться: тот, кто расскажет кандидату о решении, должен сделать это корректно и дать необходимую информацию о причинах.

После стажировки

В конце важно сравнить ожидания с результатом. И тут помогают цели, которые мы ставили еще до начала стажировки. Мы проводим ретроспективу, в которой участвуют все организаторы и наставники и совместно оцениваем наши результаты.

Также мы собираем обратную связь со всех задействованных лиц – стажеров и сотрудников компании.

На основании ретроспективы и обратной связи мы делаем выводы, чтобы в следующем году исправить недочеты.

И, конечно, хвалим друг друга за успехи и делимся опытом и наработками с коллегами :)

Заключение

Организация и проведение стажировки требуют много сил и времени. Зато в итоге мы проверяем навыки кандидата на практике:

• Технические скилы – работал над реальной задачей по тому же процессу и в тех же инструментах, что и остальные сотрудники.

• Целеполагание, планирование и самоорганизация – участвовал в формулировании целей и шагов для их достижения, тренировался прогнозировать свою работу.

• Саморефлексия – практиковался анализировать свой прогресс и обрабатывать обратную связь о себе.

• Софтскилс и умение работать в команде – самостоятельно решал вопросы с другими ролями. И мы даже проверили на тусовках, как он вольется в коллектив.

А если кандидат останется с нами, то мы получаем коллегу, который уже погружен в предметную область, знаком с процессами и инструментами и быстро встроится в общий рабочий процесс.

Чек-лист проведения стажировки

1. Определяем цели и критерии стажировки.

2. Собираем команду: наставников, проверяющих тестовые, собеседующих.

3. Готовим тестовые, материалы и программу стажировки.

4. Проверяем тестовые, собеседуем и выбираем стажеров.

5. Начинаем программу по адаптации стажеров и проводим стартовые встречи для погружения.

6. Даем обратную связь на экваторе стажировки.

7. Принимаем решение о приглашении стажеров в команду.

8. Проводим ретроспективу и работаем с результатами.

График стажировки