- это ответ на очень простой вопрос "А сколько именно студентов после вашего курса получает IT-работу?".

Для успеха любого IT-проекта важна его прозрачность. Чем более понятны и объективны метрики происходящих процессов, тем заказчику проще предсказать дальнейшее развитие событий и при необходимости повлиять на результат, приняв в нужный момент правильные решения.

В EdTech, готовящем кадры для IT, пока есть определенные проблемы с прозрачностью.
Возможно, из-за того, что IT-образование пока все еще лихорадит.
В середине 19 века возникла калифорнийская “золотая лихорадка”, когда многие устремились на прииски в надежде отыскать золото и разбогатеть.
Спустя 160 лет там же началась лихорадка EdTech, когда в Калифорнии были основаны такие известные компании как Coursera, Udacity и Khan Academy.

Последние годы внимание к IT-образованию не ослабевает. Многие хотят реализоваться в IT и получить высокооплачиваемую работу.
Да, вероятность выучиться и найти IT-работу сильно выше, чем обнаружить золотую жилу на прииске. Есть много хороших программ, курсов и предостаточно квалифицированных специалистов, которые готовы делиться своим опытом.

Но это не значит, что улучшать нечего.
Без простых и объективных критериев эффективности образования у студента есть ненулевая вероятность не получить ожидаемый результат.  

KPI

Какие могут быть показатели эффективности образовательного процесса?
Зависит от вида обучения.

Бывает обучение, где главный индикатор эффективности - это уровень комфорта и удовольствия студента от обучения. Таковы, например, курсы про выстраивание жизненного баланса, рисование или повседневное использование нейросетей. Они должны расслаблять и развлекать, а результатом будет являться тот самый комфорт, новые впечатления и умения.

Есть обучение, результатом которого должно быть изменение жизни студента и ее радикальное улучшение. Поэтому качество такого курса должно определяться главным параметром - получилось у студента изменить свою жизнь, карьеру или нет. 

В разрезе IT-образования "с нуля" результатом будет как раз ответ на вопрос "Хватило ли полученных знаний и навыков для того, чтобы начать карьеру?".
Если хватило - то значит всё отлично.
Если нет - значит деньги студента потрачены впустую, а курсу надо что-то менять.

К сожалению, некоторые мои коллеги по EdTech категорически несогласны с тем, что трудоустройство - это главный индикатор, показывающий результативность IT-курса для новичков.

“Число трудоустроенных студентов - это не тот KPI, на который мы ориентируемся. Важнее COR (NPS, иное).”.

Конечно, данные параметры тоже важны. Сложно достичь результата, если обучаться не нравится, преподаватель объясняет непонятно, а занятия скорее демотивируют, чем зажигают. 

Но эти параметры оценивают только процесс обучения, но не его результат.
А еще они имеют смысл для EdTech компании, но не для студентов. Что, например, означает для обучающегося COR 45% или NPS 60%? Как это ему поможет выбрать подходящее обучение? 

Есть три основные причины, почему многие IT-курсы занимают позицию “трудоустройство после обучения - это не KPI”:

Большинству студентов не нужна учеба ради учебы.
Как старатели вряд ли пересекали океан, чтобы приехать в Калифорнию просто ради удовольствия покопаться в земле, так и главная жалоба, которую высказывают студенты многих курсов, это "из нашей группы почти никто не трудоустроился".

Студенты хотят начать карьеру в новой для себя индустрии.
А так как клиент всегда прав, IT-школы вынуждены публиковать статистику, хотя бы приблизительно отражающую объективные результаты их работы.

Далее поделюсь некоторым инсайдерским взглядом на IT-образование.
Про то, какие у каждого курса есть варианты рассказать про воображаемые или реальные результаты работы. 
А у студента - отличить мнимое раскрытие тайны от реального.

? Число трудоустроенных на лендинге курса

Сначала - про важный психологический момент. 

По мнению обычного абитуриента, работу в IT должны получить 85-95% поступивших студентов, не меньше.

На самом деле теоретический максимум - это 81% трудоустроенных.

Почему именно 81%?

А на практике после разных курсов получают работу от 5% до 80% поступивших. 

Это расхождение между ожидаемым и реальным, увы, вынуждает некоторые курсы пытаться завуалировать реальные цифры так, чтобы они были похожи на то, что ожидает увидеть абитуриент.

Наиболее типичные приемы подать статистику трудоустройств запутанно:

Скрытый текст

Сколько было тех, кто выполнил домашки на 90%?

50 студентов из 100?
или
5 студентов из 100?

Вторая часть "[% трудоустроившихся студентов среди тех, кто] получил оффер во время обучения" вызывает еще больше вопросов.

"Гуманитарий" прочитает это как "84% студентов нашли работу".

Человек с техническим складом как "из числа тех студентов, кто нашел работу, 84% сделали это с помощью Центра карьеры".

Для сравнения - весьма неплохой курс, Яндекс Практикум, открыто сообщает, что у них лишь 60% студентов доходит до конца обучения.
Поэтому 80% (!) трудоустроившихся, да и еще до конца курса (!) - это фантастический результат. 

Но, возможно, подобно предыдущей картинке, это следует читать как “80% из числа всех нашедших работу находит ее до конца обучения”.

Основной вопрос к указываемым на лендингах числам трудоустройств - в 99% случаев не раскрываются исходные данные.
Проверить, что именно такой процент студентов на самом деле трудоустроился, невозможно.

Итак, способ №1 “данные на лендинге курса”

Плюсы: можно верить на слово, не вдаваясь в детали
Минусы: нужно верить на слово, не вдаваясь в детали

Второй способ: 

? Проверка трудоустройства внешним аудитом

Общее недоверие к статистике трудоустройств, которую курсы “считают сами о себе”, родило предложение в виде внешних аудитов трудоустройств.

Самые известные аудиты на русскоязычном рынке делает Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ).

Можно найти аудиты:

• Яндекс Практикум

• Skillbox

• Эльбрус

Это аудиты, которые содержат много интересной информации и дают много пищи для размышлений. 

В отчете аудита можно увидеть, как отличается обучение на разных программах и с какими полученными специальностями студенты находят работу легче, а с какими сложнее. Также дается информация о том, каким способом чаще и как быстро студенты находят работу. 

Единственный, но существенный минус аудитов НИУ ВШЭ - в них есть информация о выпускниках, но нет никакой информации о том, сколько студентов становится выпускниками. Мы можем посмотреть, сколько выпускников трудоустроилось, но не сколько из изначально поступивших дошло до конца обучения и получило работу в IT.

50 выпустилось, 25 трудоустроилось = 50%
выглядит намного лучше, чем
100 поступило, 25 трудоустроилось = 25%

Возможно, это ограничения методики или желание не делать статистику слишком сложной. Но то, что в данной статистике учитываются только “выжившие старатели”, всей полноты информации все-таки не дает. Это подобно анализу эффективности больницы только по выжившим пациентам.

Итак, способ №2 “внешний аудит”
Плюсы: проверяет внешняя компания, данным можно верить
Минусы: есть только часть статистики

Третий способ:

? Поименные списки всех поступивших студентов и всех начавших IT-карьеру

Когда мы тоже прошли аудит, я задумалась. 

Может быть, есть какой-то максимально убедительный способ продемонстрировать результаты обучения?

Чтобы он был полностью открытый, прозрачный и ни у кого в результате не оставлял сомнений.

И, главное, чтобы каждый желающий мог лично проверить статистику трудоустройств.

Например, в виде открытых списков.
Вот такие-то студенты начали обучаться.
А потом из их числа такие-то в результате начали IT-карьеру.

Но раньше я никогда не видела, чтобы курсы когда-нибудь открывали подобную информацию. Очевидно, что есть какие-то подводные камни, например, персональные данные. Не каждый студент согласится, чтобы информация о нем была размещена в сети.

На практике всё оказалось не так сложно:

Первым делом необходимо найти баланс по персональным данным. С одной стороны, частично деперсонализировать данные студентов, чтобы не создавать им проблем или просто дискомфорт. С другой - оставить возможность желающим убедиться, что это всё реальные, а не нагенерированные личности.

Затем - проверить, что действующие оферта и политика персональных данных позволяют размещать нужную информацию. 

Главное - заручиться поддержкой студентов нескольких первых учебных групп. Как показал опыт, желание помочь другим ("я помню, как сам выбирал обучение, пытаясь отличить качественное обучение от плохого" и благодарность к школе (если, конечно, большинство студентов нашло работу после обучения) - это то, что позволяет эту поддержку получить.

Пример открытых списков

Первый столбец - имя и первая буква фамилии каждого студента. Ссылка из этого столбца ведет на телеграм студента. 

Второй и третий столбец - это результат обучения в виде трудоустройства в конкретную компанию (или его отсутствия).

Четвертый столбец - это ссылка на LinkedIn* студента.

Заблокированный в РФ LinkedIn*, а не другая соцсеть или Habr, используется по двум причинам:

Вышеуказанное позволяет не раскрывать то, что раскрывать не нужно.
Для тех студентов, кто не начал карьеру в IT, персональных данных практически нет - только ссылка на телеграм-профиль. Ник редко совпадает с фамилией, а номер телефона у большинства закрыт для просмотра.
Для тех студентов, которые не только учились, но и нашли работу в IT, персональных данных больше - есть ссылка на публичный профиль в LinkedIn*  + название компании.

При этом всё это в совокупности позволяет любому желающему самостоятельно, без посредников, убедиться в том, какая реальная эффективность у обучения.

Пользуясь открытыми данными, можно выйти на контакт с любым обучавшимся. Чтобы проверить, что списки поступивших реальные ("А Игорь С. учился в вашей группе?"), а выпускники действительно трудоустроились в конкретные компании именно по специальности.
И, в конечном итоге, убедиться, что % трудоустроившихся студентов взят курсом не из головы.

Итак, способ №3 “поименные списки”
Плюсы: самый прозрачный способ
Минусы: нужно отслеживать судьбу каждого студента

ИТОГО

Если бы вы на последние деньги приехали на золотой прииск и услышали, что "многие из работавших здесь в результате стали миллионерами" логично было попросить список всех когда-либо работавших на этом прииске.
С явным указанием тех, кто в результате стал миллионером.

Аналогичное имеет смысл сделать и при выборе IT-обучения - попросить у представителя курса ссылку на открытые исходные данные по трудоустройству.

Это самый простой способ узнать, а как обстоят дела на самом деле. 
Ведь как показывает опыт, у IT-курсов есть возможность максимально прозрачно продемонстрировать результаты обучения.

Про нюансы профессионального подхода к IT-образованию еженедельно говорим в телеграм-канале “Становимся тестировщиком”.
Там же появляются анонсы следующих Хабр-статей.