Резюме видео

Рынок дата-инженеров

В своих видео и статьях я ни раз говорил о важности данных, не только потому что я работаю дата-инженером, но и также потому что все привыкли работать с данными.

Также стоит сказать, что в связи с событиями 22-го года часть западных компаний ушла от нас: Oracle, MSSQL, AWS и другие

Но так как компании привыкли работать с данными и понимают их ценность им понадобились дата-инженеры, поэтому спрос на дата-инженеров в течение года не спадал ни на день.

Вилки выросли, запросы конечно тоже выросли, но всё равно вакансий было много и было из чего выбирать.

Менторство

Я занимаюсь менторством, поэтому если вам необходима консультация по дата-инженерии или по рынку данных, то смотрите ссылку внизу.

Также хотел сказать, что когда работал с разными ребятами, то они находили свои работы на хорошие офферы в течение недели-двух, потому что рынок горит и всем нужны дата-инженеры.

Необходимость дата-инженеров

Как я сказал в самом начале дата-инженеры сейчас на коне и всем нужны, давайте кратко разберем почему и под какие задачи:

1. У компании была развёрнута инфраструктура от Oracle, MSSQL (не важно) и нужно мигрировать на российские аналоги или open source.

2. Понимание работы инфраструктуры и потоков данных в целом. Ранее можно было некоторые проблемы решить "закидав" их деньгами, а сейчас это тяжелее, потому что услуги стали дороже или приходится разворачиваться на своих ресурсах и поэтому качественная проработка доставки данных очень важна.

3. Подключение опять же российских аналогов. Ранее маркетинг собирался условно через AppsFlyer, а теперь через другие инструменты, ввиду чего подходы к сбору, очистке, трансформациям изменились.

4. Сервисные и продуктовые компании стали востребованнее из-за ухода конкурентов и поэтому нужно масштабироваться, чтобы оказывать услуги компаниям и не потерять рынок.

5. Ну и также не стоит забывать, что в целом начали появляться новые компании, которые с самого начала хотят собирать данные и работать с ними.

Текущий стек для дата-инженера

В целом, стек особо не поменялся, а если говорить точнее, то не поменялись принципы технологий и инструментов.

Как был в приоритете open source так и остался, но всё равно есть некоторые изменения:

1. Ушли облака (AWS, Azure, GCP) и их инфраструктура, поэтому нужно использовать то, что давно на рынке: GreenPlum, ClickHouse, S3 и его аналоги

2. ClickHouse он мне кажется приобрёл ещё один виток популярности, потому что отвечает на многие потребности бизнеса из-за своей архитектуры и также является условно бесплатным.

3. GreenPlum, с ним конечно сейчас есть трудности, потому что он ушёл из Open Source, но GreenPlum версии 6 ещё доступен для установки. Но в тоже время это некий риск, который компании сейчас учитывают.

4. Весь дата-инженерный Open Source получил распространение и развитие:

   1. Apache Airflow

   2. Apache Kafka

   3. Apache Iceberg

   4. ClickHouse

   5. S3 Minio

   6. и другие инструменты

Также стоит оговориться, что компании стали аккуратнее с западными сервисами,
которые доступны в России. Часть из них ещё можно использовать в России, но всегда есть какой-то запасной аэродром, поэтому задача дата-инженеров прорабатывать такие архитектуры, которые позволят быстро и безболезненно переехать с одного сервиса на другой.

Собесы сломаны

Я сбился со счёту сколько сам прошёл собеседований и сколько собеседований прошли мои ребята.

Но скажу одно – собеседования сломаны.

Вне зависимости от позиции: junior, middle, senior или выше вас всё равно спросят какие-то базовые вещи:

• Что такое индексы в БД.

• Что такое GIL в Python.

• И так далее

Есть компании, которые вовсе не умеют проводить собеседования. Они спрашивают алгоритмы, а сами не пишут никаких сервисов или используют какой-нибудь фреймворк, который даже не предполагает использования алгоритмов.

На рынке собеседований очень мало хороших примеров, на 100 собеседований найдётся 1-2 примера, когда общение задаётся и интересные вопросы появляются.

Я бы выделил четыре вида собеседований:

1. Вопрос-ответ. Вам задают вопрос и вы отвечаете, довольно простой вид собеседования со всех сторон. Довольно просто подготовиться и можно быстро найти работу.

2. Разбор какого-то кейса или технологии, если у вас есть пересечения. Условно вы можете всё интервью общаться про ClickHouse, про его кишки, про движки, распределение данных и прочее.

3. Несколько этапов в собеседовании. На первой встрече софты, потом дата-дизайн, потом алгоритмы, потом лайв-кодинг на sql и потом может быть общение с командой. Количество этапов и их разнообразие зависит только от нанимающей стороны.

4. Этот вид собеседований я называю – "общение на высокие темы". Вы общаетесь про ваш опыт, про ваши кейсы, про ваши технологии, тут могут быть разные вопросы про технологии, решения и про общий кругозор, что есть рядом с данными. Можно сказать, что это полноценное знакомство. Тут сразу проверяется ваша адекватность, ваши навыки, ваши рассуждения и прочее. Для меня это наиболее предпочтительные интервью, потому что ты не зажат в рамки, а можешь напрямую пообщаться с бизнесом

Стоит сразу отметить, что все собеседования – это субъективная оценка. Даже если вы ответите на 100% всех вопросов идеально вас всё равно могут не взять, потому что потому.

На самом деле решение принимает нанимающая сторона и поэтому вам не стоит отчаиваться, если вас не взяли. Просто идите дальше.

Зарплатный рынок дата-инженеров

Если говорить про зарплаты дата-инженеров, то сейчас можно найти хорошее предложение. Я бы ориентировался на такое:

• junior 100+, 140 (верхняя граница)

• middle 220-270+, 300 (верхняя граница)

• senior 300+, (верхней границы нет, ну почти. Я бы сказал что 600к на руки – это потолок)

• t-уровень 500+, (верхней границы нет, ну почти. Я бы сказал что 700к на руки – это потолок)

Если опять же судить по HH, то по поиску "data engineer":

Если посмотреть на getmatch в категории "Data Engineering":

Если смотреть специализированные каналы в tg по поиску работы, то можно найти разные предложения:

Также стоит обратить внимание, что не все вакансии публикуются и вы их не найдете в интернете, но если ваше резюме опубликовано, то HR вас сами найдут и вы уже можете узнавать по вилке, условиям и прочему.

Вот примеры моего общения с HR:

Дата-инженерные офферы

Мои офферы:
Оффер 530к (gross):

Оффер 420к (gross):

Оффер 379к (gross):

Офферы ребят:

Прогнозы

Понятное дело, что делать прогнозы – это дело не благодарное, но хотел бы немного порассуждать

Я буду делать референс на что говорил ранее в пункте "Необходимость дата-инженеров":

1. Кто решил переходить с западного софта на open source или российские аналоги продолжат это делать, поэтому спрос тут не пройдет.

2. Кому нужна оптимизация не закончатся. Поэтому вне зависимости от тенденций рынка оптимизация затрат на обслуживание дата-платформы будет востребована.

3. Интеграция новых источников, улучшение интеграций, а также их поддержка также останется. Потому что источники тоже развиваются и улучшаются и нужно держать всё в актуальном состоянии. Не получится один раз подключить какой-то API и жить на нём вечно.

4. Если обобщить вышесказанное, то рынок аутсорса для интеграций, создания, поддержки и прочего не схлопнется и там будет работа

5. Новые компании всегда будут появляться и тенденция на данные останется, поэтому тут тоже рынок будет расти.

Также если вам необходима консультация/менторство/мок-собеседование и другие вопросы по дата-инженерии, то вы можете обращаться ко мне. Все контакты указаны по ссылке.