Все руководители делают ошибки.

Какой бы у тебя ни был управленческий опыт, сколько бы сотен мидлов и сеньоров ты не нанял, ты все равно будешь ошибаться при найме. И если, принимая на работу мидлов, ты совершаешь ошибку только в 1 случае из 5 - это уже отличный показатель.

В случае джуна задача усложняется. У новичка пока немного технических знаний и практических навыков, а карьерный путь и того меньше. Спрашивать, кроме теории, пока особенно нечего. Строить прогнозы на аппроксимации предыдущих успехов невозможно. Вероятность нанять того, кто не потянет, серьезно возрастает.

Что же тогда говорить про эффективность собеседования с IT-абитуриентом.
Который не имеет и намека на технические знания.
Который ни дня не работал ни на одном IT-проекте.
И, который, скажем честно, и сам пока не до конца уверен, а подходит ли ему IT.
Спойлер:

Из 4-5 IT-абитурентов в действительности "хочет и может" работать в IT только один.

Именно такая, казалось бы абсолютно нерешаемая задача, стояла перед нами в рамках двухлетнего проекта - научиться с высокой степенью точности предсказывать карьеру (или ее отсутствие) у того, кто только планирует получать технические знания и практические навыки.

Успешное обучение качественных IT-специалистов покоится на трех слонах

Первый - выбирать только тех, у кого есть и тяга, и способности к будущей IT-специальности.
Второй - делать обучение на 20% теоретическим и на 80% практическим.
Третий - передавать опыт в реальном проектном окружении.

Главный в этой троице - первый слон.

Чем больше на обучение попадает тех, кто "и хочет и может", тем проще организовать качественный образовательный процесс. И тем более результативным он будет для всех участников.

Но как качество учебы может зависеть от состава группы?

Дело в том, что отсутствие первого слона, когда на обучение берутся все желающие и “случайно проходившие мимо”, приводит к проблемам и с остальными слонами - практическим обучением и реальным опытом.

Давайте рассмотрим массовое онлайн-образование (MOOC), где это проявляется наиболее ярко. Здесь на входе организована максимально широкая "воронка", предлагающая абсолютно каждому попробовать свои силы в получении новой специальности. Как результат, "случайных" студентов здесь действительно много, а группы многочисленные, доходящие до 100 человек.

Учебную программу приходится "адаптировать" под невысокий средний уровень и максимально упрощать, выкидывая сложный материал.

Держать соотношение теории и практики 20 к 80 при большом числе набранных студентов уже не получается. Организовать онлайн-лекцию для 100 студентов можно легко. Организовать эффективный практический воркшоп для 100 студентов практически невозможно.

Даже простая учебная программа не спасает при проверке домашних заданий. "Случайные" студенты прокрастинируют, при любых сложностях задумываются о том, "а мое ли это", ленятся погрузиться в теорию, даже если она изложена простым языком, или же просто списывают. В результате на проверку "домашек" ставить квалифицированных специалистов бессмысленно - выпускников этого же курса или кросс-проверок вполне достаточно.

Из-за всего это демотивируются как преподаватели, так и способные студенты, а доходимость до конца обучения стремительно падает. Ведь "случайно проходившие мимо" к середине обучения понимают, что оказались не там, и отчисляются. И таких действительно много.

При массовом онлайн-образовании (MOOC) процент доходящих до конца обучения (COR) составляет удручающие 15%.

Хорошая новость: 15% - это усредненная статистика по всем MOOC, включая не только IT-специальности, и она сильно коррелирует с числом обучающихся (разброс доходящих до выпуска 1-60%).
Если мы ограничимся только IT-обучением, то по открытым данным и моей экспертной оценке число доходящих до конца обучения будет в диапазоне 15-60%.

Плохая новость: мы пока говорим про простую доходимость до конца обучения, а не про число получающих IT-работу после него.

Схема 500-30-5

Широкая воронка на входе массового онлайн-обучения - это экономически просчитанная бизнес-модель. Её финансовый успех базируется на максимизации числа начинающих обучение.

Но подходом "берем побольше, а потом отсеем в ходе обучения" почему-то пользуются и IT-компании во внутренних учебных центрах. Стандартная схема 500-30-5 (получаем 500 заявок на обучение, 30 зачисляем в группу, 5 берем на работу) не выглядит рентабельной.
Отрывать ресурсы компании на несколько месяцев, только чтобы нанять пять джунов?

Можно было бы перенять практики высшего образования, но там ситуация ненамного лучше - после пяти лет обучения меньше половины выпускников IT-специальностей действительно работает в IT (англ.).

Хуже всего то, что "случайные" студенты - это не плохие студенты. Это способные люди, ошибка которых заключается лишь в том, что они пытаются реализовать свои способности не там, где они действительно нужны. И которым никто не дает адекватных инструментов для поиска себя. В результате многие тратят и время, и деньги на ненужное им обучение.

Задача: повысить число трудоустраивающихся в 2 раза

В этом месте лучше представиться. Меня зовут Лилия Урмазова, я более 20 лет в тестировании и более 20 лет параллельно занимаюсь QA-образованием - преподаю, организовываю корпоративные и частные учебные центры.

В этом материале я бы хотела рассказать про предварительные результаты двухлетнего проекта, в рамках которого перед нами стояла задача повысить эффективность подготовки QA-специалистов в два раза. 

Работа шла сразу со всеми "слонами". Занимались и повышением прикладной составляющей самого образования, и организацией продолжительной интернатуры для формирования практических навыков.

Но инвестировать в эти улучшения без фокуса на тех студентах, которые "хотят и могут" было бы бессмысленно.

До старта проекта: "Неплохо, но…"

Прежде чем говорить про метрики, с ними нужно определиться.

Как измерить эффективность IT-обучения?

Часто используют COR - доходимость до конца обучения. Но здесь нет ничего про цель, ради которой обучение происходит - про старт новой карьеры. Можно сделать крайне легкую учебную программу, где подавляющее большинство будет доходить до конца обучения, но потом оставаться невостребованными на рынке труда.

Процент трудоустроенных - это более интересная метрика. Но зачастую ее считают только от числа тех, кто дошел до конца обучения, а не от общего числа поступивших. Мы полагаем, что такой подход, мягко говоря, вводит в заблуждение. Чем меньше дойдет до конца обучения, тем больше будет “процент трудоустроенных”.

Поэтому наша главная метрика - это число получающих работу студентов от числа всех тех, кто в начале обучения пришел хотя бы на одно занятие.

Статистика нахождения студентами работы (до старта нашего проекта):

Средний процент трудоустроенных студентов - 30%.

По данным различных исследований, именно в разрезе обучения тестированию процент нашедших работу от числа всех поступивших на обучение студентов колеблется в диапазоне 5-26%:

30% до старта нашего проекта были немного выше максимального по рынку и ощутимо выше среднего из-за специфического формата обучения в микро-группах.

Но наших слонов явно можно сделать еще лучше, если попытаться предвидеть будущее.

Но как можно предсказать IT-карьеру того, кто только задумывается об IT и кому пока бессмысленно задавать технические вопросы?

Если мы не говорим про специфическую разработку, то современное IT большей частью не предполагает хорошего знания высшей математики, теории вероятностей или исследования операций. 80% проектов - это разработка достаточно типового e-commerce, финтеха или b2c-сервисов. Для которых что-либо из вышеуказанного требуется редко.

И из-за этого ситуация в чем-то сложнее. Мы не можем проверять знание высшей математики, что было бы достаточно просто. Но что тогда проверять?

Попробуем посмотреть с другой стороны.

А по каким вообще причинам студенты обычно не доходят до окончания обучения?

Топ-10 причин схода с обучения

"Выбивающие" студентов из обучения причины в порядке убывания частоты (по накопленной с 2016 года статистике):

1. "Это не мое", "Попробовал и что-то не понравилось", "Слишком заумно", "Слишком просто и скучно", "Хочется более технической специальности", "Хочется менее технической специальности".

2. Procrastinatio ordinaria — прокрастинация обыкновенная.

3. На обучение изначально не выделено достаточно времени, и пошел перегруз.

4. Некачественное обучение. Программа обучения составлена неправильно или программа хорошая, но сам образовательный процесс организован плохо.

5. Внезапный рост загруженности на текущей работе или длительная командировка.

6. Проблемы личного характера, семейные хлопоты, отсутствие договоренности с близкими по домашним обязанностям, заботе о детях и т.д. или же отсутствие поддержки с их стороны.

7. Политические обстоятельства, внезапная релокация.

8. Легкое личное заболевание (достаточно пару ОРЗ по десять дней, чтобы серьезно отстать) или серьезное заболевание в семье.

9. Лето. Наложение летних месяцев или тем более отпуска на обучение у многих снижают эффективность учебы (хотя отпуск должен, вроде бы, наоборот, помогать).

10. Финансовые проблемы.

Как мы видим, большая часть причин относятся к изначально некачественному обучению (на что можно и нужно влиять), низкой самоорганизации студента или внешним форс-мажорам (на что сложно влиять).

На первом же месте стоит "это не мое". Да, здесь может быть завуалированно отсутствие необходимых когнитивных способностей. Но по нашему опыту, в большинстве случаев здесь все-таки не "не могу", а "не хочу".

Как показывает опыт и преподавания, и управления, для успеха всегда первично наличие желания что-то сделать.
Случаи, когда человек действительно хочет, но у него не получается, встречаются намного реже.

Получается, что нам надо проверять не только способности будущего студента, но и его мотивацию, чтобы он действительно хотел доучиться до конца и начать свою IT-карьеру.

Таким образом, перед нами стоит три глобальные задачи.
Понять, что абитуриент:

• правильно осведомлен о том, что из себя на самом деле представляет специальность тестировщика ("я понимаю")

• мотивирован "изнутри", не принимает решение эмоционально или под внешним влиянием ("я хочу")

• обладает необходимыми для обучения и работы способностями  ("я могу")

Итак, мы определись с какой целью и что именно мы делаем.
Затем настало время практической реализации:

Этап 1. Проверяем способность воспринимать технические знания. И даем возможность понять, насколько человека вообще интересует тестирование

Итак, у нас есть 100 желающих обучаться тестированию.

Изучение резюме здесь нам не поможет - в них еще нет никакого IT-опыта.

Логические задачки проверяют только умение решать логические задачки.

Тестовые же задания, предполагающие только один правильный ответ, в эпоху ChatGPT бесполезны.

Как же тогда действовать?

Что происходит

Абитуриент получает интерактивный учебник, содержащий шесть учебных блоков.

Три учебных блока, можно сказать, гуманитарные, о профессии тестировщика. Они посвящены роли тестировщка в команде и процессе разработке ПО, мотивирующим и демотивирующим моментам, а также ожиданиям работодателей.

Другие три учебных блока технические. Но не простые вводные, как это часто делают на курсах, а средней сложности - про архитектуру ПО, работу с логами на сервере и исследовательское тестирование.

Что важно, информация специально дается текстом, а не в виде онлайн-лекций. Ведь работа в IT и тем более работа тестировщика предполагает большие объемы работы именно с текстовой информацией - требованиями, спецификациями, технической перепиской.
Тестировщику редко приходится смотреть видео.

Что ожидается от абитуриента

Изучить теорию, пройти онлайн-тесты и, главное, выполнить домашние задания, на которые нет правильного ответа.
Структурировать текущие требования работодателей на базе вакансий, разобрать ситуацию плохой коммуникации на проекте, подготовить заметки о небольшом сеансе исследовательского тестирования.

Это средние по сложности задачи, выполнение которых сразу демонстрирует и способность воспринимать информацию, и проводить анализ, и подготавливать ответы в понятном другим членам команды формате. Они не имеют единственного правильного ответа, и поэтому списывать бессмысленно.

Одновременно выполнение этих задач помогает абитуриенту понять, насколько вообще ему интересно разбираться в дебрях требований и погружаться в нюансы.

Сколько проходит дальше: примерно 50%.

Этап №2: Скрининг на тестерский склад ума ("я могу")

Еще до старта обучения абитуриенту нужно помочь понять, хватит ли ему способностей для обучения и последующей работы тестировщиком. И предсказать, сможет ли он без проблем найти работу или же ему слишком рискованно тратить деньги и полгода жизни на обучение.

Если на первом этапе мы проверяли знания, необходимые любому IT-специалисту, то теперь We Need To Go Deeper.

Что происходит

Как проверить, как тестирует тот, кто не умеет тестировать?

Продвинутый скрининг на "тестерский склад ума" проходит в виде группового экзамена. На нем абитуриенты разбиваются на несколько подгрупп. Каждой группе даются варианты трех заданий. Важно не только правильно выполнить задание, но и уметь коммуницировать в своей подгруппе, аргументировать, предлагать альтернативные решения.

Что такое "тестерский склад ума" в нашем определении

1. Аналитический подход: способность анализировать, находить закономерности и выявлять причинно-следственные связи.

2. Системное мышление: способность видеть «большую картину» и понимание того, как изменения в одной части системы могут повлиять на другие её части.

Но при этом также и:

3. Детальность: внимание к деталям и тщательность в поиске ошибок и несоответствий в софте.

4. Терпение и настойчивость: готовность заниматься монотонными задачами и усидчивость в поиске решений для сложных проблем.

Но при этом также и:

5. Творческое мышление: способность мыслить нестандартно и предвидеть необычные сценарии использования, которые могут привести к сбоям.

6. Коммуникативные навыки: умение чётко и понятно доносить свою мысль до членов команды, в том числе разработчиков и менеджеров проектов.

Наконец:

7. Ориентация на качество: стремление к достижению наилучшего возможного качества продукта и понимание его значимости.

Как можно увидеть, некоторые качества противоречат друг другу и уживаются далеко не в каждом человеке.

Задания следующие:

1. Есть определенные проблемы с работой некоторого устройства. Нужно предложить шаги локализации проблемы. Изначально даются вводные, которые "запускают" мыслительный процесс, но способность мыслить "вне коробки" очень приветствуется.

2. Задание на локализацию проблемы в распределенной архитектуре ПО. Здесь это уже не очень очевидно, поэтому на всякий случай еще раз подчеркнем - обладать какими-либо знаниями по тестированию для прохождения этого экзамена не требуется. Дается перечень симптоматики на уровне пользователя при выходе из строя разных уровней приложения. Нужно разобраться в возможной комбинаторике и выбрать, что может быть причиной при конкретном симптоме, а что не может.

3. Задание на работу в командной строке Linux. И снова подчеркнем - обладать какими-либо знаниями Linux для выполнения этого упражнения не требуется (на месте Linux может быть, например, язык суахили или набор значков). Дается три команды на работу с файловой системой, объясняется, что каждая из них делает. После чего нужно скомпоновать эти команды для выполнения определенной задачи.

Что ожидается от абитуриента

Задачи кажутся чрезмерно сложными для "нулевых" людей, но ментора интересует не правильный ответ, а логическая цепочка. Если абитуриент не смог ответить верно, но при наводящих вопросах показал, что размышлял структурно, это будет зачтено.

Сколько проходит дальше: примерно 80% от прошедших первый этап.

Этап №3: Насколько мотивация, сильные стороны, цели и представления о профессии совпадают с реальностью (“я понимаю”)? Раскроются ли в работе тестировщиком интересы, принесет ли она удовольствие (“я хочу”)?

Самая частая проблема, ведущая к дальнейшей неудаче - если решение о новой карьере принимается не осознанно, а эмоционально или под внешним влиянием.
"У меня знакомые давно работают в IT", "Друг попробовал и у него получилось".

Здесь наша задача помочь абитуриенту отделить "я хочу" от "хочет моя жена/муж, друзья". Как показывает практика, заряда внешней мотивации хватает максимум на пару месяцев, потом студент "сдувается".

Что ожидается от абитуриента

На индивидуальной профориентации у ментора с опытом более 10 лет в тестировании максимально честно ответить на несколько десятков вопросов по восьми блокам:

• Есть ли в прошлом опыте что-то, что будет помогать/мешать?

• Правильное ли представление о профессии?

• Совпадает ли психопортрет с психопортретом QA?

• Что относится к сильным/слабым сторонам, в чем талант?

• Адекватная ли мотивация? Ее сила? Идет к чему-то или бежит от чего-то?

• Добросовестность? Готов ли к интенсивному обучению? Организация? Спринтер или марафонец?

• Насколько активную позицию к обучению занимает? Есть ли план? Что ждет от обучения? Процессник или результативник?

Сами вопросы и их порядок подобраны таким образом, чтобы исключать социально ожидаемые ответы. При подготовке к профориентации ментор изучает предыдущий "не IT-опыт" абитуриента по резюме и при необходимости корректирует список вопросов.

Абитуриенту тоже предлагается задавать интересующие его вопросы.

Индивидуальная профориентация - это достаточно дорогая активность. Но зато она очень сильно экономит ресурсы следующие полгода, так как позволяет не тратить их на обучение тех абитуриентов, кому это на самом деле не нужно.

Сколько получает положительную рекомендацию от ментора на профессию тестировщика: примерно 60% от прошедших второй этап.

Финальная рекомендация ментора представляет собой один из следующих вариантов:

• "Тестирование рекомендуется - можно начинать обучение"

• "Тестирование подходит (но можно и в разработку)"

• "Рекомендуется разработка"

• "Рекомендуется другая IT-специальность (продукт/аналитик/менеджер/иное)"

• "Есть сомнения - нужно выполнить дополнительное задание"

• "Рекомендуется сейчас не концентрироваться IT-карьере"

Почему мы не используем стандартные профориентационные тесты?

Потому что именно в разрезе тестирования они работают плохо

Классические тесты на профориентацию слишком общие и могут указать только на IT-тематику целиком, но не на конкретную специальность.

Специализированные же тесты от IT-компаний предлагали нам, тестировщикам с успешным опытом работы в QA 10-20 лет, стать в первую очередь Front-End разработчиком, DevOps. И уже только потом — тестировщиком.

Почему так происходит?

Как мы говорили выше, "тестерский склад ума" предполагает как активную работу с программами, с документацией, так и с другими людьми.
Нужно как обладать системным мышлением, так и быть внимательным к деталям.
Требуется и творческое мышление, и одновременно — готовность заниматься монотонными задачами.
Всё это взаимоисключающие вещи.

В терминах опросника Климова эта профессия предполагает симбиоз из разных
типов - "человек-техника", "человек-знаковая система" и "человек-человек".
Такое смешение сбивает тест с толку, и он показывает неправильные результаты.

Еще один момент - это то, что большинство тестов ориентированы на профориентацию школьников, но не взрослых людей

Что отличает взрослого от школьника? Наличие жизненного и профессионального опыта - который зачастую пригождается и в работе тестировщика.

К сожалению, никакой автоматизированный тест не будет учитывать предыдущую индивидуальную историю конкретного человека. То же самое можно отнести и к сильным и слабым сторонам. При выполнении тестов все мы зачастую даем социально ожидаемые ответы и говорим про те сильные стороны, которыми мы хотели бы обладать, а не обладаем на самом деле. Если же сделать ретроспективу опыта работы, то обнаружатся реальные преимущества.

Есть ли не просто тяга к тестированию, но и способности к нему, выяснить при помощи тестов невозможно

Для этого необходимо решение специализированных QA-задач, которые в классических тестах на профориентацию отсутствуют, так как они слишком общие и выявление логических и технических способностей их целью не является. Специализированные тесты на IT-профориентацию это тоже не проверяют.

Решение QA-задач, близких к реальным — это не тесты с выбором нужного варианта ответа, а задания, где нужно подумать, предложить несколько вариантов решения, а главное - объяснить ход своих мыслей.

По каждому абитуриенту агрегируется обезличенная аналитика. Если в ходе обучения он все-таки сходит с дистанции или не находит работу, то мы делаем ретроспективу, на которой анализируем, какие нюансы повлияли на результат. При накоплении достаточного объема данных (сейчас проводим примерно ~300 профориентаций в год) логично сделать и технический анализ.

Спустя два года: Близко к максимально возможному

Напомним, в 2022 году процент трудоустроенных от числа всех изначально поступивших студентов был в диапазоне 20%-40% со средним 30%.

Статистика получения студентами работы (после старта проекта):

Как мы видим, процент трудоустроенных вырос с 20-40% до 43-67% со средним 53% от числа всех изначально поступивших.

67% получивших работу от числа изначально поступивших - это уже близко к максимально возможному 81% получающих работу (хотя "последняя миля" обычно самая сложная).

Откуда взялся "максимально возможный % нашедших IT-работу", равный ровно 81%?

Сколько студентов доходит до выпуска?
Увы, даже при очень качественном образовании и только высокомотивированных студентах всегда будут форс-мажоры, касающиеся заболеваний, серьезных личных или рабочих обстоятельств. Тем более в нашем нынешнем неспокойном мире.
Поэтому максимальное возможное число доходящих до выпуска - 90%.

Сколько из числа выпустившихся находит работу?
Здесь 100% тоже невероятны, даже если каждого лично приводить за ручку к ждущему ему работодателю. Кто-то получает на старой специальности предложение-повышение  "от которого невозможно отказаться", кто-то планирует переезд и поэтому берет паузу, у кого-то меняются финансовые возможности и он не готов на год-два терять в зарплате. И, конечно, опять же случаются личные обстоятельства.
Максимальное возможный процент получающих работу от числа дошедших до выпуска - 90%.

Итого, 90% * 90% = 81% от числа всех изначально поступивших на обучение получает IT-работу.

К сожалению, среди платных курсов обучения тестированию мне неизвестны примеры, когда в том числе и за счет изначального отбора-профориентации удавалось бы приблизиться к данному показателю.

Но есть пример из смежного сегмента - обучения разработчиков. Эльбрус буткемп как раз проводит входные экзамены-собеседования и, судя по результатам независимого исследования, достигает результатов "88% доходит до выпуска, 90% выпускников находит работу". Итого, 88%*90%=79%. Уже очень близко к верхней планке.

Что не менее важно, наличие на курсе "только тех, кто хочет и может" серьезно повысило и качество образовательного процесса. Менторы видят только мотивированных студентов и готовы давать им больше, ведь эти дополнительные усилия точно не пропадут впустую.

Студентов теперь не демотивируют прокрастинирующие одногруппники, они получают больше поддержки от других студентов.

С экономической точки зрения образовательный процесс стал гораздо более эффективным и, что немаловажно, более рентабельным. Больше нет преподавательских и административных ресурсов, "уходящих в песок".

А абитуриентам, которым IT по какой-то причине не подходит, теперь не надо тратить деньги и месяцы жизни на обучение и поиск работы, чтобы через полгода-год понять "это все-таки не мое". За два года этот проект уже уберег от ошибки сотни задумавшихся о тестировании.

Выводы

Современное IT - это достаточно узкоспециализированный, отточенный процесс, который для многих специальностей, в том числе тестировщиков, не требует университетского образования.

Но это не значит, что успешная карьера в IT уготована каждому. Аналитический подход, системное мышление и другие важные компоненты успеха никуда не исчезли. Немаловажно и искреннее желание работать в IT, исходящее именно от абитуриента, а не его окружения.

Но на текущий момент во всех разновидностях IT-образования профориентация, как правило, проходит неэффективным и затратным "естественным" путем - через отсев в ходе обучения.

Использование же подхода "Shift Left", то есть как можно более ранее выявление именно тех, кто "хочет и может", позволяет как резко снизить расходы, так и повысить эффективность образовательного процесса для всех участников.

Далее

Использование "Shift Left", или, как мы его называем, профессионального подхода к QA-образованию, наиболее ярко проявляется при организации обучения во внутренних учебных центрах IT-компаний. Уж где, как не там в приоритете должно быть качество обучения, а не количество обучающихся.

Использование профессионального подхода к IT-образованию позволяет изначально набирать не 30-40 студентов в надежде, что пять в результате будут достойны найма в компанию, а намного меньше. Для несведущего разница между организацией обучения 30-40 студентов и 10 студентов может быть небольшой, но про это уже в следующем материале.

В статье "Как схема 500-30-5 делает внутренние учебные центры бесполезными" поговорим про то, какие точки роста есть у внутреннего IT-обучения при подготовке компаниями кадров "под себя".