Примета времени – бизнес быстро обрастает огромным количеством данных. Если есть big data, то нужна команда, которая с ними разберется. Я Ольга, рекрутер в Clevertec. Наши специалисты развивают корпоративные хранилища данных. На своем опыте расскажу, как мы их находим.
Кто нужен для работы с DWH?
Идеальная схема команды:
Архитектор (методолог)
Бизнес-аналитик
Системный аналитик
Разработчик
Тестировщик
Сколько нужно команд, зависит от хранилища. Архитектор остается ведущим звеном, хранителем концепции. Остальной набор специалистов дублируется для работы на разных участках.
Мы усиливаем команды DWH системными аналитиками, разработчиками и тестировщиками.
Для работы с big data всегда нужны люди с опытом. По резюме обычно прослеживается, как человек начинал работать с обычными базами данных. От проекта к проекту эти БД становились масштабнее и, соответственно, ширился список инструментов и технологий, которые осваивал специалист.
![](https://habrastorage.org/getpro/habr/upload_files/778/bfa/50f/778bfa50f7eb7bbc20e72e76552edb6c.gif)
Вот пример перехода от работы с базами данных к DWH
У меня уже 10 лет опыта работы с базами данных в сфере IT-финтеха, из них пять – с Oracle. Начиная работать с БД, ты постоянно сталкиваешься с проблемами, которые вынуждают перекапывать очень много информации в поисках решения. Ищешь ответы, углубляешься и так нарабатываешь опыт.
Со временем большинство задач на проекте превращается в рутину. У меня был выбор: расширять свой стек и зону ответственности в рамках текущего проекта или попробовать силы в новом. В итоге я перешел с OLTP-систем в DWH.
Под какими именами прячутся специалисты по DWH?
Искать людей для работы с DWH интересно с той точки зрения, насколько по-разному они себя называют. Когда я только начинала заниматься поиском и предварительно исследовала тему, удивилась обилию вариантов.
Системный аналитик баз данных, аналитик DWH, sql-разработчик, ETL-разработчик, data engineer, разработчик/аналитик БД и этот список можно продолжить.
Почему так происходит? Дело в организации работы на проектах и разделении обязанностей. Например, не на всех проектах есть четкая граница между системными аналитиками и разработчиками DWH. Поэтому человек, чьи компетенции нужны бизнесу, в CV называет себя аналитиком БД, но по факту может успешно выполнять задачи разработчика.
Чтобы не споткнуться об эти условности, я всегда веду поиск по сигнальным маячкам. Например, для банковского корпоративного хранилища нужен аналитик. Зная стек проекта, я предварительно ищу людей со связкой SQL+Oracle и обращаю внимание на общий бэкграунд.
А дальше в процессе общения мы вместе выясняем, подходят ли кандидат и вакансия друг другу. Моя задача – найти удачное сочетание hard и soft skills. Нельзя однозначно сказать, что важнее. На самые прокачанные жесткие навыки можно смело закрывать глаза, если человек не находит общий язык с командой и не разделяет ее ценности.
Hard skills для работы с DWH
Каждое хранилище данных уникально. Набор технологий определяют на этапе создания хранилища. Много факторов влияет на конечный результат: какого рода данные, как часто нужно к ним обращаться, какой их объем, какие ресурсы у компании, какие временные рамки для формирование процессов и сколько готова компания тратить на технологии.
Все это и формирует необходимый стек кандидата. Исчерпывающий список must have навыков составить невозможно. Мы обобщили инструменты и технологии, которые чаще всего нужны для нашей команды.
![](https://habrastorage.org/getpro/habr/upload_files/235/1d7/b85/2351d7b858b5a3c7adf31a8789700359.gif)
Разработчик DWH владеет технологиями, которые поддерживают хранилища данных.
Работает с реляционными базами данных (RDBMS) и NoSQL, инструментами ETL – Informatica, языками программирования данных: SQL, PL/SQL, Java, Python и C++. Знает СУБД: Oracle, SQL Server и новые технологии – Hadoop. Могут быть нужны в работе инструменты бизнес-аналитики: Tableau или Power BI.
Системный аналитик DWH понимает архитектуру хранилищ, концепции построения DWH и ETL, но ключевое для него – продвинутый уровень SQL. Большой плюс – понимание многоуровневых архитектур, клиент-серверных и распределенных систем, микросервисной архитектуры, WSDL, базовое знание протокола HTTP, SOAP, опыт работы со связкой Oracle + ETL Informatica, Git.
Где искать кандидатов с нужным опытом?
В описаниях вакансий обычное требование – опыт работы в аналогичной сфере. Для нас это финтех. Банков и других финансовых организаций много, они плотно работают с большими данными, чтобы улучшать бизнес-показатели. Значит и рынок специалистов в этой сфере уже сформирован. При этом DWH-специалистов нельзя назвать "популярными" и предложения для них не сыплются из рога изобилия.
Но и опыт в финтехе не будет решающим фактором выбора.
Сразу очевидно: у подходящего человека совершенно по-своему работает мышление, есть привычка ударно работать и почти никогда не останавливаться. Обычно у них горят глаза, они с огромным интересом погружается в работу, и изучить что-то новое в своей сфере для них не проблема.
Чтобы закрыть вакансию, обычно не приходится пользоваться узкоспециализированными каналами для поиска. Эти специалисты обитают на крупных площадках – hh.ru, Linkedln. Дальше решают только мастерство рекрутера и качественное предложение.
Бывают, конечно, периоды затишья: погода на рынке неблагоприятная, все в стадии ожидания. Но здесь просто нужно набраться терпения и дождаться ту самую “золотую рыбку”, которых, кстати много в нашей команде.
Это был мой опыт поиска нужных людей в команду. В комментариях давайте обсудим ваш взгляд или необычные случаи из практики.
Комментарии (4)
Danhabr
31.07.2024 07:44+1Спасибо за статью) Про то, как называют себя специалисты данной сферы - 100%. Я сам порой отвечал по-разному, даже в рамках одного проекта, т.к. приходилось заниматься разными вещами. Сейчас просто говорю, что разработчик хранилища данных)
olga_nikishina Автор
31.07.2024 07:44Спасибо за мнение)
Буду рада, если в будущем станешь разработчиком в нашей компании)
DaSte
Статью не читал, но очень интересно получилось, время публикации совпадает с временем протухания сертификата на вашем сайте - Wednesday, 31 July 2024 at 10:27:24 Moscow Standard Time
Clevertec_dev
Плюс в карму за внимательность. Мы собрались и все починили)