В 2019-2020 годах мы проводили программу по обучению и сертификации Microsoft Azure.
В статье я решил подвести свои итоги этого растянувшегося на 12 месяцев мероприятия.
В 2019 году никто не предполагал, во что эта программа вырастет (3500+ участников из 27 стран, 11 разных сертификатов).
Процесс, которой занял 12 месяцев, я разделил на 3 стадии:
Есть официальные пресс релизы от EPAM и Microsoft, но там достаточно общая информация.
Началось все с июля 2019 года, когда я в качестве тренера провел первый/экспериментальный курс по az-203 на 18 человек в Минске.
Если не вдаваться в детали, то отзывы были очень противоречивые. Проанализировав причины, мы пришли к следующим выводам:
Кроме того, стало ясно, что официальных курсов для Microsoft Certified Trainers (MCT) не хватает, чтобы подготовить людей к сдаче экзамена и/или реальной проектной работе.
Перед началом MVP фазы мы сделали еще один подход к снаряду. Были созданы шаблоны процесса подготовки. По сути: список лабораторных работ, ссылок на официальную документацию, на Microsoft Learn.В 2019 году Microsoft learn был заметно скромнее, чем сейчас, и не мог полностью закрыть подготовку к экзаменам.
Ссылки на эти шаблоны/скрипты по самообучению разослали на широкую аудиторию, чтобы получить обратную связь. Результатом этого стало понимание, что полностью на самообучение без надзора (supervising) лучше не отдавать, т.к., и visibility прогресса не будет, и человек в коллективе учится лучше — соревновательные моменты его подстегивают.
К сентябрю к нам (Microsoft Competency Center и Learn&Development отдел) в рамках партнерской программы пришли представители Microsoft и рассказали, что есть такая Enterprise Skill Initiative, благодаря которой мы могли бы получить до 250 ваучеров на сдачу экзаменов бесплатно. И если из 250 выданных ваучеров будет получено 40 подтвержденных сертификатов, то можно повторять бесконечно (правда, удалось повторить всего 4 раза). Были и другие опции в программе: такие как оплата обучения в сертифицированных учебных центрах (20 штук вроде) и вебинары от самого Microsoft в количестве 2 штук.
Запуск делался в несколько заходов, т.к. нужно было на большой аудитории посмотреть как люди будут реагировать на формат, смогу ли я “вести” несколько сотен человек, как будут работать тулы для стриминга, MSTeams для поддержания уровня вовлеченности и т.п. Fail Fast на масштабе в 400 человек, не так страшно как на тысячах.
Другие курсы до конца 2019 года начать мы не успели (да и цели не было), т.к. нужно время. Кроме того, под конец года всегда горячий период для проектов.
В итоге до конца 2019 года через наши учебные программы прошло порядка 800 человек, сдало сотни полторы.
В ноябре 2019 года, был проведен Certification Event в Минске.
Итого: порядка 80% сдавших, а среди вышедших на экзамен AZ-203 (azure development) вообще 100% сдача была.
Участники позитивно оценили это мероприятие, просили провести, как минимум, в Киеве и Санкт-Петербурге, но в Феврале 2020 года COVID-19 внес свои коррективы
В конце ноября Microsoft пришла с интересным предложением: если наберете 350 сертификатов в рамках этой программы обучения, то мы сможем вместе сделать кампанию. Хорошо, “challenge accepted”.
В качестве приятного бонуса к этому предложению, мы смогли получить тесты на платформе MeasureUp, которые мы использовали в качестве выходного контроля знаний по окончанию программы.
Между ноябрем и февралем, мы готовились к большому запуску на все локации и одновременно заканчивали с теми, кто был в первом большом запуске. Обновляли контент, согласовывали тексты анонсов, дописывали/переписывали инструкции, планировали в каких городах будем делать offline сдачу. К нам присоединилась Data Practice с курсами для Azure Data Engineer and Data Scientist.
Итоговый список курсов включал: Azure для администраторов, разработчиков, архитекторов, devops, дата инженеров/scientists и fundamentals.
Ваучера для экзаменов по Azure Security, Azure SAP, Azure IoT и Azure AI (Bots&Cognitive Services) тем, кто мог доказать свои знания- мы предоставлял без программ.
Чтобы быть уверенным в качестве подготовительного материала, уровне сложности экзаменов и уверенно отвечать на любые вопросы участников — я решил лично подготовиться и сдать все доступные экзамены по Azure на тот момент.
В итоге мы собрали порядка 2800 человек, с которыми и начали обучение.
На такую аудиторию работать пришлось совсем по-другому. Мы начали по данным за первый запуск,
(выводить наш процент сдачи из этого графика не пытайтесь, т.к. это слепок данных по двум конкретных сертификатам)
В марте до нас добрался COVID, а вместе с ним и вся мировая экономическая и психологическая ситуация. Целый месяц наша Azure Certification Org Team работала в режиме оперативного штаба. Пришлось перестраиваться на ходу.
Инженеры расселись по домам и вместо того, чтобы учиться, каждые 5 минут обновляли ленты с новостями по эпидемиологической ситуации. Мы это наблюдали даже по активности в MSTeams. 
Кроме того, пришлось активно вникать во многие региональные и индивидуальные особенности, часть из них описана в статье.
Понятное дело, мы заморозили планы по проведению мероприятий в офисах, сделали максимально подробные инструкции по сдаче из дома. Часть из советов я привел в этой статье.
Тестовые центры, либо сами закрылись, либо люди не готовы были в них идти, да и EPAM запретил сотрудникам в них сдавать, чтобы люди лишний раз не рисковали своим здоровьем. В итоге, недели 3-4 было потрачено на переназначение экзамена через online proctor.
Одновременно из офиса в Китае приходили вопросы: «а нам-то чего делать, у нас уже все открывается?!»
Под конец апреля, Microsoft сказала, что из-за экономической ситуации вызванной COVID количество циклов по выдаче наборов по 250 ваучеров, стало ограниченным и наш лимит — всего 1000 ваучеров(хотя по изначальным правилам, с учетом уже сданных сертификатов, мы могли минимум еще одну тысячу рассчитывать, чтобы, на пример, осенью после выхода az-104/az-204/az-303/az-304 обновить все наши сертификаты). Из-за этого срочно пришлось менять свои планы по выдаче, вводить приоритезацию, менять правила по пересдаче.
Только к концу апреля ситуация стабилизировалась. Процессы сдачи онлайн были более-менее отработаны и предсказуемы, нервозность у людей прошла, солнышко выглянуло.
Чтобы еще немного подтолкнуть людей к сдаче экзаменов, мы попросили тех, кто уже сдал — сделать фотографию себя на фоне #CertifyAtHome хештега со своими сертификатами. Чувство юмора некоторых участников, приятно удивило.
Подсчет сертификатов мы сделали в Excel на PowerQuery, чтобы из 2 источников данных (отчет из Microsoft Partner Center и списка выданных ваучеров, где мы в ручную отмечали сданные экзамены) вычислять полученные сертификаты для разных отчетов(внутренний и для Microsoft), и затем делать join со справочными данными сотрудников, чтобы понимать- сколько каких сертификатов у нас в каждом город/стране.
В конце апреля 2020 года, по методике подсчета сертификатов от Microsoft, мы выполнили наши обязательства перед Microsoft, хотя большая часть наших инженеров еще даже на экзамен не успели выйти. Началась активность по части маркетинга, а мы продолжали программу обучения и сертификации, т.к. ваучеров оставались, а уж переставать учиться — это вообще не правильно.
Особенно приятно, что наш процент успешной сдачи экзаменов- было ~85% от тех, кому были выданы ваучеры. Точную(с научной точки зрения) причину установить тяжело, но я считаю, что такая статистика достигнута обьемной программой обучения и выходным контролем знаний через тесты на MeasureUp.
Для инженеров мы смогли организовать возможность пообщаться со Скотом Хансельманом.
В статье я решил подвести свои итоги этого растянувшегося на 12 месяцев мероприятия.
В 2019 году никто не предполагал, во что эта программа вырастет (3500+ участников из 27 стран, 11 разных сертификатов).
Процесс, которой занял 12 месяцев, я разделил на 3 стадии:
- PoC (Proof of Concept) – проверка подхода
- MVP (Minimum Valuable Product) и его пилотирование
- Развертывание программы на всю компанию
Есть официальные пресс релизы от EPAM и Microsoft, но там достаточно общая информация.
Зачем мы это делаем?
- С одной стороны, любому инженеру нужно постоянно осваивать что-то новое, чтобы не отставать от запросов проекта.
- По моей личной статистике (участвую в процессе staffing'а инженеров на проекты в нашем подразделении) — от 30 до 50% позиций идут с явным указанием знаний одного из больших Cloud провайдеров. Для нашего отдела это уже must have skill. За другие компании или хотя бы отделы говорить не готов.
- Любой клиент/менеджер проекта предпочтет взять специалиста с опытом в нужной технологии, чем надеяться на «быструю обучаемость».
- А еще эта программа для меня была личным челенджем...Год назад в EPAM проходил townhall Google практики, на котором коллеги отчитывались о количестве сертификатов по GCP; по оценкам это второе место в мире после самого Google. И мне очень захотелось сделать что-то близкое по масштабам т.к. я ведь бывший инженер компании Microsoft с знанием Azure.
PoC
Началось все с июля 2019 года, когда я в качестве тренера провел первый/экспериментальный курс по az-203 на 18 человек в Минске.
Если не вдаваться в детали, то отзывы были очень противоречивые. Проанализировав причины, мы пришли к следующим выводам:
- Курс надо делать полностью удаленным(в тот момент COVID-19 не было даже на горизонте)Мы сразу закладывали массовое обучение на сотни сотрудников. В класс много людей не соберешь, даже в самый большой, — человек 30 максимум. Тренеру с большими группами в классе тоже непросто работать. Привозить людей из региональных офисов в Минск – потребуется согласование, выделение бюджета и логистики. Ехать самому в качестве тренера по городам тоже не вариант, т.к. надо еще и на проекте работать, а курсы от 2-5 дней занимают.
- Курс надо растягивать во времени на несколько недель или даже месяцев без отрыва от производства т.к. люди не могут просто взять и выйти на неделю-две из своих проектов. Обучение приходится совмещать с текущей проектной работой.
- Курс должен быть “с нуля”, вне зависимости от входного уровня участника(а участник уже сам принимает решения — знает ли он эту тему и может пропустить, или нет). Собрать группу с примерно одинаковым уровнем владения несколькими десятками разных сервисов в одну неделю в одном городе — крайне сложно, а делать курсы разной глубины — очень затратно по времени.
- Нужно готовить людей не только по Azure for Developers, но по всему спектру сертификаций, начиная с базовой Azure Fundamentals и до Azure Solution Architect, т.к. в реальном проекте вся команда (и бизнес аналитик, и младший тестировщик, и аккаунт менеджер) должна иметь хотя бы минимальные навыки. А те, кто команду направляет, смогут опираться на этот общий уровень.
Кроме того, стало ясно, что официальных курсов для Microsoft Certified Trainers (MCT) не хватает, чтобы подготовить людей к сдаче экзамена и/или реальной проектной работе.
Перед началом MVP фазы мы сделали еще один подход к снаряду. Были созданы шаблоны процесса подготовки. По сути: список лабораторных работ, ссылок на официальную документацию, на Microsoft Learn.
Ссылки на эти шаблоны/скрипты по самообучению разослали на широкую аудиторию, чтобы получить обратную связь. Результатом этого стало понимание, что полностью на самообучение без надзора (supervising) лучше не отдавать, т.к., и visibility прогресса не будет, и человек в коллективе учится лучше — соревновательные моменты его подстегивают.
Microsoft пришел
К сентябрю к нам (Microsoft Competency Center и Learn&Development отдел) в рамках партнерской программы пришли представители Microsoft и рассказали, что есть такая Enterprise Skill Initiative, благодаря которой мы могли бы получить до 250 ваучеров на сдачу экзаменов бесплатно. И если из 250 выданных ваучеров будет получено 40 подтвержденных сертификатов, то можно повторять бесконечно (правда, удалось повторить всего 4 раза). Были и другие опции в программе: такие как оплата обучения в сертифицированных учебных центрах (20 штук вроде) и вебинары от самого Microsoft в количестве 2 штук.
- За ваучеры мы сказали большое спасибо.
- А вот в учебные центры наших сотрудников мы решили в русскоговорящих странах не отправлять по множеству причин:
- Количество предложенных мест было 20-40, а у нас во всех крупных локациях минимум под сотню набиралось. Решать за людей, кто будет учиться внутри, а кто снаружи — плохо. Спрашивать у них самих — в любом случае будут недовольные.
- Мы уже были готовы начать курсы со мной в качестве тренера. Я и сам Microsoft Certified Trainer 4 года (когда-то давно звали в учебный центр “Специалист” читать курсы по Azure, но совмещать это с работой в Microsoft по всем правилам мне показалось тяжело). В качестве сотрудника Microsoft RUS я учил клиентов Microsoft за деньги, но мотивация научить свой коллег работает сильно лучше, а внешний тренер после прочтения курса вам ничего не должен.
- В итоге, места в учебных центрах мы отдали в венгерский и польские офисы, т.к. там и народу поменьше работает в компании, да и я не был готов сразу читать курс на английском языке на большом масштабе.
- Курсы от самой Microsoft мы тоже решили в русскоговорящих странах не использовать по тем же причинам, что и места в партнерских учебных центрах.
MVP/Первый большой запуск
Запуск делался в несколько заходов, т.к. нужно было на большой аудитории посмотреть как люди будут реагировать на формат, смогу ли я “вести” несколько сотен человек, как будут работать тулы для стриминга, MSTeams для поддержания уровня вовлеченности и т.п. Fail Fast на масштабе в 400 человек, не так страшно как на тысячах.
- С сентября 2019 года мы начали одновременно курс AZ-900 в России, Беларуси, Украине и Казахстане. AZ-900 пошел хорошо сразу и стало понятно, что формат рабочий.
- И Az-203 только в Беларуси. Почти сразу начали приходить коллеги из России и Украины, с просьбой “а сделайте и нам”, что только подчеркнуло интерес к курсу. С середины курса мы их (коллег из России и Украины) добавили, а к первым 3 модулям просто дали доступ к записи. К AZ-203 были нарекания по контенту, которые я ранее уже описывал.
- После окончания AZ-900, я смог приступить к AZ-103 с уже понятным процессом.
А вот с AZ-300/AZ-301 очень много нюансов обнаружилось.
- В EPAM, есть 2 основных типа архитекторов: system и solution. Первые выросли из admins/system engineers/it-pro (если уж совсем по старинке называть их), а вторые — из разработчиков. Сертификат же перемешивает вопросы, связанные с разработкой, devops, развёртыванием и конфигурированием, с identity. Я слабо представляю Solution Architect в EPAM, который планировал и разворачивал Active Directory. С другой стороны System Architect, который будет смотреть на схему сообщения из Event Grid или на код интеграции asp.net core web application с azure active directory тоже у меня в голове слабо укладывается.
- Если для сдачи сертификата надо 2 экзамена, в каждом 5-6 модулей, то готовить к нему надо 11 недель (почти 3 месяца), если по модулю в неделю, а держать людей вовлеченными 3 месяца — это искусство.
Другие курсы до конца 2019 года начать мы не успели (да и цели не было), т.к. нужно время. Кроме того, под конец года всегда горячий период для проектов.
В итоге до конца 2019 года через наши учебные программы прошло порядка 800 человек, сдало сотни полторы.
На экзамены вышло не так много инженеров, как я бы хотел, но тому было много причин.
Кто-то пришел поучиться с нуля и с самого начала не планировал сдавать изначально. Кто-то из-за проектной нагрузки решил не идти. Можно перечислить еще много субъективных причин, но статья не об этом.
Offline Certification event в Минске
В ноябре 2019 года, был проведен Certification Event в Минске.
Т.к. у EPAM уже был опыт проведения мероприятий по сертификации Google Cloud Platform, то мы целились в большие числа - порядка 200-300 человек, но все оказалось сложнее.
Чтобы провести мероприятие в офисе EPAM, Google сам привозил свой сертификационный центр, у Microsoft такого нет, все экзамены проводятся на платформе PearsonVue.
В СНГ, насколько мы поняли, есть всего одна компания и в ней 1 аккредитованный специалист, который может проводить сертификацию вне официальных тестовых центров (в офисе EPAM на пример). В итоге, мероприятие мы провели всего человек на 90, т.к. по правилам проведения нельзя было более 15 человек параллельно запускать к одному проктору, сами экзамены длились от 1.5 до 3 часов, а проводить экзамены более 2 дней подряд было тяжело по внутренним причинам.
В СНГ, насколько мы поняли, есть всего одна компания и в ней 1 аккредитованный специалист, который может проводить сертификацию вне официальных тестовых центров (в офисе EPAM на пример). В итоге, мероприятие мы провели всего человек на 90, т.к. по правилам проведения нельзя было более 15 человек параллельно запускать к одному проктору, сами экзамены длились от 1.5 до 3 часов, а проводить экзамены более 2 дней подряд было тяжело по внутренним причинам.
Итого: порядка 80% сдавших, а среди вышедших на экзамен AZ-203 (azure development) вообще 100% сдача была.
Участники позитивно оценили это мероприятие, просили провести, как минимум, в Киеве и Санкт-Петербурге, но в Феврале 2020 года COVID-19 внес свои коррективы
Microsoft пришел второй раз
В конце ноября Microsoft пришла с интересным предложением: если наберете 350 сертификатов в рамках этой программы обучения, то мы сможем вместе сделать кампанию. Хорошо, “challenge accepted”.
В качестве приятного бонуса к этому предложению, мы смогли получить тесты на платформе MeasureUp, которые мы использовали в качестве выходного контроля знаний по окончанию программы.
Развертывание программы на всю компанию.
Между ноябрем и февралем, мы готовились к большому запуску на все локации и одновременно заканчивали с теми, кто был в первом большом запуске. Обновляли контент, согласовывали тексты анонсов, дописывали/переписывали инструкции, планировали в каких городах будем делать offline сдачу. К нам присоединилась Data Practice с курсами для Azure Data Engineer and Data Scientist.
Итоговый список курсов включал: Azure для администраторов, разработчиков, архитекторов, devops, дата инженеров/scientists и fundamentals.
Ваучера для экзаменов по Azure Security, Azure SAP, Azure IoT и Azure AI (Bots&Cognitive Services) тем, кто мог доказать свои знания- мы предоставлял без программ.
Чтобы быть уверенным в качестве подготовительного материала, уровне сложности экзаменов и уверенно отвечать на любые вопросы участников — я решил лично подготовиться и сдать все доступные экзамены по Azure на тот момент.
На это у меня ушло несколько месяцев по вечерам и выходным, но эксперимент подтвердил, что по нашей программе можно подготовиться и сдать любой экзамен.
В итоге мы собрали порядка 2800 человек, с которыми и начали обучение.
На такую аудиторию работать пришлось совсем по-другому. Мы начали по данным за первый запуск,
предсказывать спрос на ваучеры по месяцам
и количество сданных экзаменов на определенную датуЧтобы человек получил ваучер по запросу, его сначала нужно было запросить у Microsoft. Сами ваучеры действовали до COVID-19 всего 90 дней со дня выдачи, Microsoft требовалось порядка недели, чтобы их предоставить. С учетом того, что люди иногда по месяцу забывали назначить экзамен, нужно было предсказывать спрос на 1-2-3 недели вперед.
(выводить наш процент сдачи из этого графика не пытайтесь, т.к. это слепок данных по двум конкретных сертификатам)
И грянул ОН
В марте до нас добрался COVID, а вместе с ним и вся мировая экономическая и психологическая ситуация. Целый месяц наша Azure Certification Org Team работала в режиме оперативного штаба. Пришлось перестраиваться на ходу.
Инженеры расселись по домам
График активных пользователей только к маю начал выправляться
Более ранняя статистика недоступна, но по памяти спад начался именно в марте.
Кроме того, пришлось активно вникать во многие региональные и индивидуальные особенности, часть из них описана в статье.
Понятное дело, мы заморозили планы по проведению мероприятий в офисах, сделали максимально подробные инструкции по сдаче из дома. Часть из советов я привел в этой статье.
Тестовые центры, либо сами закрылись, либо люди не готовы были в них идти, да и EPAM запретил сотрудникам в них сдавать, чтобы люди лишний раз не рисковали своим здоровьем. В итоге, недели 3-4 было потрачено на переназначение экзамена через online proctor.
Сам PearsonVue явно был не готов к этому взрывному росту
Т.к. доступные даты экзаменов сдвинулись на несколько недель (по словам участников), проверки сильно упростились, был всплеск переназначений дат экзамена. Ситуация менялась буквально каждые пару дней.
Одновременно из офиса в Китае приходили вопросы: «а нам-то чего делать, у нас уже все открывается?!»
Под конец апреля, Microsoft сказала, что из-за экономической ситуации вызванной COVID количество циклов по выдаче наборов по 250 ваучеров, стало ограниченным и наш лимит — всего 1000 ваучеров
Только к концу апреля ситуация стабилизировалась. Процессы сдачи онлайн были более-менее отработаны и предсказуемы, нервозность у людей прошла, солнышко выглянуло.
Чтобы еще немного подтолкнуть людей к сдаче экзаменов, мы попросили тех, кто уже сдал — сделать фотографию себя на фоне #CertifyAtHome хештега со своими сертификатами. Чувство юмора некоторых участников, приятно удивило.
Особенности выдачи и подсчета ваучеров
Подсчет сертификатов мы сделали в Excel на PowerQuery, чтобы из 2 источников данных (отчет из Microsoft Partner Center и списка выданных ваучеров, где мы в ручную отмечали сданные экзамены) вычислять полученные сертификаты для разных отчетов(внутренний и для Microsoft), и затем делать join со справочными данными сотрудников, чтобы понимать- сколько каких сертификатов у нас в каждом город/стране.
- Внутренняя статистика, где считали по доверенным источниками данных все сертификаты действующих сотрудников, вне зависимости от того, кто выдал ваучер.
- Статистика для Microsoft, только по ваучерам выданным Microsoft.
Кому интересны причины столь сложного подсчета
Оказалось, что наш и Microsoft способ подсчета очень сильно отличаются. Из-за этого, пришлось поработать в Excel. 
- Мы изначально рассчитывали, что Microsoft будет считать по данным из Microsoft Partner Center, т.к. у нас часть людей сдавали не по ваучерам. Но Microsoft считала только по выданным ваучерам, а кроме того, из Microsoft Partner Center нельзя было получить все сертификаты, т.к. там отображаются только те, которые важны для Gold Competency статуса.
- Microsoft не могла учитывать ситуацию, что сотрудник мог сдать, а потом уйти из компании т.к. данные брались не из Partner Center. Мы же учитывали только действующих сотрудников.
- Microsoft не учитывала сертификаты по Azure IoT и Azure/SAP т.к. эти сертификаты вышли в GA ближе к концу программы.
- У Microsoft была задержка до месяца с актуальностью данных получаемых от сертификационных центров и/или online сдачи. У нас данные тоже были не в real-time, но с задержкой всего пару дней. Для Microsoft это не было проблемой т.к. их интересовал конечный результат, а нас еще и динамика процесса.
Итоги
В конце апреля 2020 года, по методике подсчета сертификатов от Microsoft, мы выполнили наши обязательства перед Microsoft, хотя большая часть наших инженеров еще даже на экзамен не успели выйти. Началась активность по части маркетинга, а мы продолжали программу обучения и сертификации, т.к. ваучеров оставались, а уж переставать учиться — это вообще не правильно.
Особенно приятно, что наш процент успешной сдачи экзаменов- было ~85% от тех, кому были выданы ваучеры. Точную
Для инженеров мы смогли организовать возможность пообщаться со Скотом Хансельманом.
andreyle
Выложить свои курсы в общий доступ не планируете?