Без рекомендуемого 3-х летнего практического опыта

В преддверии старта занятий по курсу «Data Engineer», хотим поделиться с Вами переводом одной очень интересной истории, которая наверняка будет полезна будущим дата инженерам. Поехали!


Худи от Google: надето. Серьезное рабочее выражение лица: присутствует. Фото из видео версии этой статьи на YouTube.

Примечание. Эта статья посвящена сертификационному экзамену Google Cloud Professional Data Engineer до 29 марта 2019 года. После этой даты произошли некоторые изменения. Я включил их в раздел «Дополнительно».

Итак, вы хотите получить новое худи, как у меня на обложке? Или вы задумали получить сертификат Google Cloud Professional Data Engineer и задаетесь вопросом, как это сделать.

В последние несколько месяцев я проходил курсы наряду с использованием Google Cloud для подготовки к экзамену на звание профессионального дата-инженера. Затем я попробовал сдать его и сдал. И через несколько недель было доставлено мое худи. Сертификат пришел быстрее.

В этой статье будет перечислено несколько вещей, которые вы, возможно, хотите узнать, и шаги, которые я предпринял для получения сертификата Google Cloud Professional Data Engineer.

Почему вы бы хотели пройти сертификацию Google Cloud Professional Data Engineer?

Данные повсюду. И знание того, как создавать системы, которые могут обрабатывать и использовать данные, является востребованным. Google Cloud предоставляет инфраструктуру для построения этих систем.

Возможно, у вас уже есть навыки использования Google Cloud, но как вы продемонстрируете это будущему работодателю или клиенту? Есть два способа: портфолио проектов или сертификации.

Сертификат говорит будущим клиентам и работодателям: «У меня есть навыки, и я приложил усилия, чтобы получить аккредитацию».

Краткое описание от Google подводит итог.

Продемонстрируйте свое умение проектировать и создавать системы обработки данных, а так же создавать модели машинного обучения на Google Cloud Platform.

Если у вас еще нет навыков, ознакомление с учебными материалами для сертификации подразумевает, что вы узнаете все о том, как создавать системы обработки данных мирового уровня в Google Cloud.

Кто захотел бы пройти сертификацию Google Cloud Professional Data Engineer?

Вы видели цифры. Облако растет. Оно уже здесь и не собирается никуда деваться. Если вы еще не видели цифры, поверьте, облако растет.

Если вы уже являетесь специалистом по данным, дата-инженером, дата-аналитиком, инженером по машинному обучению или ищете возможность карьерного роста в мире данных, сертификация Google Cloud Professional Data Engineer для вас.

Возможность использования облачных технологий становится требованием для любой позиции, ориентированной на данные.

Нужен ли вам сертификат, чтобы быть хорошим дата-инженером/ дата-саетистом/инженером машинного обучения?

Нет.

Вы все еще можете использовать Google Cloud для работы с решениями по передаче данных без сертификата.

Сертификат является лишь одним из методов подтверждения существующих навыков.

Сколько это стоит?

Стоимость экзамена составляет 200 долларов США. Если вы потерпите неудачу, вам придется опять платить за новую попытку.

Возможны расходы, связанные с подготовительными курсами и использованием самой платформы.

Расходы на платформу — это плата за использование сервисов Google Cloud. Если вы искушенный пользователь, вы и так уже осведомлены об этом. Если нет, и вы только знакомитесь с учебными материалами, описанными в этой статье, вы можете создать новую учетную запись Google Cloud и уложиться в пределах 300 долларов, которые предлагает Google при регистрации.

Мы перейдем к стоимости курса через секунду.

Как долго актуальна сертификация?

2 года. После этого вам нужно будет снова сдавать экзамен.

А поскольку Google Cloud развивается каждый день, вероятно, что то, что требуется для сертификата, изменится (как я выяснил, уже изменилось к моменту, когда я начал писать эту статью).

Что нужно для подготовки к экзамену?

Google рекомендует более 3 лет опыта работы в отрасли и более 1 года разработки и управления решениями с использованием GCP для сертификации на профессиональном уровне.

У меня не было ничего из вышеперечисленного.

От силы по 6 месяцев соответствующего опыта. Чтобы компенсировать нехватку, я использовал комбинацию учебных онлайн ресурсов.

Какие курсы я прошел?

Если вы такой же как я и у вас нет рекомендуемых требований, вы можете пройти некоторые из следующих курсов, чтобы повысить уровень своей квалификации.

Нижеследующие курсы — это то, что я использовал для подготовки к сертификации. Они перечислены в порядке завершения.

Я указал стоимость, сроки и полезность для сдачи сертификационного экзамена для каждого.



Некоторые из замечательных онлайн-ресурсов, которые я использовал для повышения квалификации до экзамена. По порядку: Cloud Guru, Linux Academy и Coursera.

Data Engineering на Google Cloud Platform от Coursera

Стоимость: 49 долларов США в месяц (после 7-дневной бесплатной пробной версии)
Время: 1–2 месяца, 10+ часов в неделю
Полезность: 8/10

Data Engineering на Google Cloud Platform от Coursera создан в сотрудничестве с Google Cloud.

Он разбит на пять подкурсов, каждый из которых занимает около 10 часов в неделю учебного времени.

Если вы не знакомы с обработкой данных в Google Cloud, эта специализация повысит ваш уровень от 0 до 1. Вы пройдете ряд практических упражнений, используя итеративную платформу под названием QwikLabs. До этого будут проводиться лекции практиков Google Cloud о том, как использовать различные сервисы, такие как Google BigQuery, Cloud Dataproc, Dataflow и Bigtable.

Введение Cloud Guru в Google Cloud Platform

Стоимость: бесплатно
Время: 1 неделя, 4–6 часов
Полезность: 4/10

Не считайте низкий балл полезности за показатель бесполезности курса. Это далеко не так. Единственная причина, по которой он получает более низкий балл, заключается в том, что он не сфокусирован на сертификации профессионального дата-инженера (это можно понять из названия).

После прохождения специализации Coursera я воспринял этот курс как переподготовку, потому что я использовал Google Cloud только для нескольких специализированных юзкейсов.

Если вы пришли от другого поставщика облачных услуг или никогда ранее не использовали Google Cloud, возможно, вам бы следовало бы пройти этот курс. Это отличное введение в Google Cloud Platform в целом.

Сертифицированный Google профессиональный дата-инженер от Linux Academy

Стоимость: 49 долларов США в месяц (после 7-дневной бесплатной пробной версии)
Время: 1–4 недели, 4+ часа в неделю
Полезность: 10/10

После завершения экзамена и размышлений о курсах, которые я проходил, наиболее полезным оказался Сертифицированный Google профессиональный дата-инженер от Linux Academy.

Видео, а также электронная книга Data Dossier (отличный бесплатный учебный ресурс, поставляемый вместе с курсом) и практические экзамены сделали этот курс одним из лучших учебных ресурсов, которые я когда-либо использовал.

Я даже рекомендовал его в качестве справочного материала в некоторых заметках в Slack для команды после экзамена.

Заметки в Slack

• Некоторые вещи на экзамене не были на экзаменах ни в Linux Academy, ни в Cloud Guru, ни в Google Cloud Practice (ожидаемо)
• 1 вопрос с графиком из точек данных, о том каким уравнением вам следует их сгруппировать (например, cos(X) или X? + Y?)
• Знание различий между Dataflow, Dataproc, Datastore, Bigtable, BigQuery, Pub/Sub и тем, как их можно использовать, является обязательным.
• Два рабочих примера исследований на экзамене были точно такие же, как и на практических занятиях, хотя я не обращался к этим исследованиям вообще во время экзамена (вопросы дали достаточное понимание).
• Знание базового синтаксиса SQL-запросов очень полезно, особенно для вопросов по BigQuery.
• Практические экзамены, предоставленные Linux Academy и GCP, очень похожи по стилю на экзаменационные вопросы, и я проработаю каждый из них несколько раз и буду их использовать, чтобы выяснить ваши слабые места.
• Небольшая присказка, чтобы помочь с Dataproc: “Dataproc the croc and Hadoop the elephant plan to Spark a fire and cook a Hive of Pigs” {Крокодил Dataproc и слон Hadoop планируют развести костер (Spark — искра, spark a fire — развести костер) и приготовить a рой (Hive) свиней (Pig)} (Dataproc имеет дело с Hadoop, Spark, Hive и Pig)
• «Dataflow is a flowing Beam of light» {Dataflow это текущий луч (Beam) света} (Dataflow имеет дело с Apache Beam)
• «Everyone around the world can relate to a well-made ACID washed Spanner» {Кто угодно во всем мире мог иметь дело с очищенным кислотой (ACID) добротным гаечным ключем (Spanner)} (Cloud Spanner — это БД, предназначенная для поднятия облака с нуля, совместимая с ACID и доступная по всему миру)
• Может пригодиться знание имен классических вариантов реляционных и нереляционных баз данных (например, MongoDB, Cassandra)
• Роли IAM немного различаются для каждой службы, но полезно понимать, как отделять пользователей от возможности видеть данные, не лишая возможности проектировать рабочие процессы (например, роль «Dataflow Worker» может проектировать рабочие процессы, но не видеть данные)

Этого, наверное, пока достаточно. Километраж, вероятно, будет отличаться от экзамена к экзамену. Курс Linux Academy даст 80% знаний.

1-минутные видео Google Cloud

Стоимость: бесплатно
Время: 1-2 часа
Полезность: 5/10

Они были рекомендованы на форумах Cloud Guru. Многие из них не были связаны с сертификацией Professional Data Engineer, однако я отобрал некоторые из них, которые подходят.

Некоторые сервисы могут показаться сложными при прохождении курса, поэтому было приятно послушать, как конкретный сервис описывают за минуту.

Подготовка к экзамену Cloud Professional Data Engineer

Стоимость: 49 долларов США за сертификат или бесплатно (без сертификата)
Время: 1–2 недели, 6+ часов в неделю
Полезность: N/A

Я нашел этот ресурс за день до назначенного экзамена. Я не окончил его из-за временных ограничений, отсюда и отсутствие рейтинга полезности.

Тем не менее, судя по обзорной странице курса, он выглядит как отличный ресурс, чтобы собрать воедино все, что вы узнали о Data Engineering в Google Cloud, и выделить любые слабые места.

Я посоветовал этот курс в качестве ресурса одному из моих коллег, который готовится к сертификации.

Шпаргалка по Google Data Engineering Меверика Лина

Стоимость: бесплатно
Время: N / A
Полезность: N / A

Это был еще один ресурс, на который я наткнулся после экзамена. На мой взгляд, он всеобъемлющ, но в то же время лаконичен. Плюс, он бесплатный. Он может быть использован для чтения между практическими экзаменами или даже после сертификации, чтобы освежить знания.

Что я делал после курсов?

Подойдя ближе к окончанию курсов, я забронировал экзамен с уведомлением за неделю.
Наличие дедлайна — отличная мотивация для укрепления того, что вы узнали.

Я неоднократно проходил практические экзамены от Linux Academy и Google Cloud, пока не был в состоянии завершать их с точностью 95%+ каждый раз.


Сдача практического экзамена Linux Academy на более чем 90% впервые.

Тесты от каждой платформы схожи, но я обнаружил, что, перебирая вопросы, на которые я постоянно отвечал неправильно, и записывая, почему я их неправильно понял, помогло подтянуть мои слабые места.

Экзамен, который я сдал, использовал в качестве темы два примера исследовательских проектов для разработки систем обработки данных в Google Cloud(с 29 марта 2019 года это изменилось). И был с множественным выбором на всем своем протяжении.

Он занял у меня около 2 часов. И был примерно на 20% сложнее, чем любой из экзаменов, которые я сдавал.

Я не могу выразить ценность практических экзаменов в достаточной степени.

Что бы я изменил, если бы пошел снова?

Больше практических экзаменов. Больше практических знаний.

Конечно, всегда есть еще больше подготовки, которую вы бы могли сделать.

В рекомендуемых требованиях указывается более 3 лет использования GCP. Но у меня не было этого, поэтому мне пришлось иметь дело с тем, что у меня было.

Дополнительно

Экзамен был обновлен 29 марта. Материалы, представленные в этой статье, по-прежнему дают хорошую основу, однако важно отметить некоторые изменения.

Различные разделы экзамена Google Cloud Professional Data Engineer (версия 1)

1. Проектирование систем обработки данных
2. Создание и поддержка структур и баз данных.
3. Анализ данных и подключение машинного обучения
4. Моделирование бизнес-процессов для анализа и оптимизации
5. Обеспечение надежности
6. Визуализация данных и поддержка политик
7. Проектирование для безопасности и соответствия

Различные разделы экзамена Google Cloud Professional Data Engineer (версия 2)

1. Проектирование систем обработки данных
2. Построение и эксплуатация систем обработки данных
3. Операционализация моделей машинного обучения (большинство изменений произошло здесь) [НОВАЯ]
4. Обеспечение качества решений

Версия 2 объединила секции 1, 2, 4 и 6 Версии 1 в 1 и 2. Она также объединила секции 5 и 7 из Версии 1 в секцию 4. А секция 3 Версии 2 была расширена, чтобы охватить все новые возможности машинного обучения Google Cloud.

Поскольку эти изменения произошли совсем недавно, многие учебные материалы не имели возможности обновиться.

Однако ознакомления с материалами этой статьи должно быть достаточно, чтобы покрыть 70% того, что вам нужно. Я бы совместил это с некоторыми из ваших собственных исследований по следующим вопросам (они были представлены во второй версии экзамена).

• API машинного обучения (ML — Machine Learning) Google
• Google Cloud Machine Learning Engine
• Google Cloud TPUs (пользовательская часть оборудования, разработанная Google специально для тренировки ML)
• Глоссарий Google по терминам ML

Как вы можете видеть, последнее обновление экзамена было сфокусировано на возможностях ML в Google Cloud.

Обновление 29/04/2019: сообщение от преподавателя курса Linux Academy Метью Уласейна.
Просто для справки, мы планируем обновить курс Data Engineer в Linux Academy, чтобы отразить новые направления, которые начнутся где-то в середине/конце мая.

После экзамена

Когда вы сдадите экзамен, вы получите только успешный или отрицательный результат. Советую стремиться как минимум к 70%, поэтому я нацелился на минимум 90% на практических экзаменах.

После прохождения вы получите код погашения по электронной почте вместе с официальным сертификатом Google Cloud Professional Data Engineer. Поздравляю!

Вы можете использовать код погашения в эксклюзивном магазине Google Cloud Professional Data Engineer, который битком набит свэгом (SWAG). Есть футболки, рюкзаки и худи (они могут отличаться от того, что будет на складе, к тому времени, когда вы туда доберетесь). Я выбрал худи.

Теперь вы сертифицированы, можете продемонстрировать свой набор навыков (официально) и вернуться к тому, что вы делаете лучше всего, к конструированию.

Увидимся через два года, чтобы пройти переаттестацию.

P.S.: Если у вас есть какие-либо вопросы или вы хотите что-то уточнить, вы можете найти меня в Twitter и LinkedIn. На YouTube также есть видео версия этой статьи.
PPS: большое спасибо всем замечательным преподавателям на всех вышеперечисленных курсах и Максу Келсену за предоставление ресурсов и времени для обучения и подготовки к экзамену.

А всех, кто хочет узнать подробнее о программе курса, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения, приглашаем на день открытых дверей, который пройдет уже сегодня в 20.00.