Отношение к data-инжинирингу и к профильным специалистам со временем меняется. Возможно ли, что в скором времени data-инженеры перестанут быть востребованными? Команда VK Cloud перевела статью о ближайшем будущем для всех тех, кто работает с данными.

Что такое data-инжиниринг

Давно ли работающие с данными компании открыли новую профессиональную область и мы услышали термин «data-инжиниринг»? Лет десять назад. Когда бизнес осознал, насколько полезными могут быть данные, спрос на data-инженеров резко вырос. По данным Google, отмечается экспоненциальный рост интереса к термину «data-инженер», который достиг пика примерно в 2020 году.



Так что же такое data-инжиниринг, столь стремительно набравший обороты и остающийся востребованным вот уже несколько лет?  В традиционном понимании data-инженерами называют людей, занимающихся перемещением, формированием и преобразованием данных из источников с помощью инструментов извлечения аналитических сведений, которые нужны для работы разных отделов компании.

Текущие реалии

Недавно мы стали свидетелями децентрализации современного стека данных и роста популярности облачных хранилищ. Каждый день появляются новые инструменты управления данными, которые работают быстрее и лучше. Например, Snowflake — разработчик облачного хранилища, дебютировавший в сентябре 2020 года с IPO при цене 120 долларов за акцию. В результате компания собрала 3,4 млрд, а ее рыночная стоимость достигла 33 млрд долларов. Это IPO — крупнейшее в истории софтверных компаний — лишний раз подтвердило ценность новых инструментов по работе с данными и проложило дорогу грядущим изменениям информационного ландшафта.

Сегодня благодаря современным инструментам и платформам больше не нужно тратить много времени или писать сложный программный код, чтобы создавать и анализировать стеки данных.
Но в связи с этим возникает вопрос: не придет ли конец data-инжинирингу? Нет. Data-инженеры не ограничены узкой экспертной областью. Они могут извлекать пользу из данных в разных целях, которые со временем корректируются в зависимости от тенденций.

Сейчас data-инжиниринг трансформируется, акцент сместился на разработку и создание решений для получения точных, качественных и надежных данных. Теперь data-инженеры переключились на оптимизацию стека данных, ориентируясь на надежность и производительность. 

В частности, стартапы начали нанимать квалифицированных специалистов, способных не просто выполнять традиционные задачи обработки данных, а сочетать их с навыками и опытом data-инженера, DevOps и data-аналитика, чтобы сохранять лучшее качество данных на всем протяжении их жизненного цикла.

Будущее

Ситуация на современном рынке труда часто меняется, так что в голову неизбежно приходят следующие вопросы: «Не снизится ли спрос на data-инженеров благодаря развитию технологий?», «А можно ли полностью автоматизировать работу data-инженера?».

Эти вопросы мы задали эксперту по работе с данными Игорю Чтивельбанду, бывшему сотруднику SumUp и Intel, чтобы узнать его мнение о будущем data-инжиниринга.

— Как вы считаете, с развитием технологий профессия data-инженера становится более сложной и требующей больше знаний или, наоборот, упрощается?

Игорь: В последние 10–15 лет мы наблюдаем непрерывную демократизацию data-инжиниринга, особенно при работе с большими объемами данных. Вы представьте, S3-бакеты появились только в 2006 году — до этого не было простого решения для хранения значительного количества файлов. Потом появилась технология S3, но какое-то время ушло на разработку Athena и других инструментов, с помощью которых можно направлять запросы к файлам. Даже пять лет назад data-инженеры не могли и мечтать об инструментах, которые у них есть сегодня.

 — Какой вы видите эволюцию профессии data-инженера в следующие пять лет?

Игорь: Я думаю, data-инженеры будут все меньше заниматься тривиальными задачами, такими как репликация данных «как есть» из рабочей базы в хранилище, так как эти задачи возьмут на себя специальные ELT-инструменты, например Fivetran и Stitch. Вместо этого data-инженеры будут больше времени тратить на «инженерную» сторону профессии. В чем-то эта специальность перенимает методологии и приемы, используемые при разработке ПО: проверку кода, CI/CD, модульное тестирование и т. п.

— Как вы считаете, есть ли вероятность, что профессия исчезнет или войдет в другие технические специальности — например, станет частью работы бизнес-аналитика?

Игорь: С трудом себе это представляю. Хотя для типовых бизнес-сценариев инструменты современного стека данных уверенно создают решения без программного кода, всегда будут нетривиальные задачи, оправдывающие существование профессии data-инженера.

— Какие дополнительные навыки нужны data-инженерам, чтобы не отставать от стандартов рынка в ближайшем будущем?

Игорь: Как ни удивительно, это не технические навыки, а скорее отношение к делу. Data-инженеры должны быть открыты новым идеям, проявлять любопытство, постоянно экспериментировать, а иногда терпеть крах в своих начинаниях. Не бывает движения вперед без промахов.

Сейчас никто не знает, как следующие несколько лет будет развиваться экосистема данных. Но мы можем предполагать, что data-инжиниринг адаптируется к новым тенденциям так же, как ему это удавалось в прошлые годы. Data-инжиниринг не сводится к одной функции на одной платформе на базе одной технологии, для которой требуется фиксированный набор навыков. Именно поэтому data-инженерам приходится постоянно адаптироваться к новым тенденциям и вырабатывать новые умения.

Кроме того, по прогнозам экономистов, в ближайшие десятилетия нас ожидает быстрый экономический рост, сопровождающийся цифровизацией экономики. Большинство специалистов сходятся во мнении, что на рынке решений по работе с данными остается еще огромный нераскрытый потенциал. И за реализацией этого потенциала последует повышение качества сбора и обработки данных, а еще принятие новых законов, регулирующих цифровые решения. Без сомнений, это приведет к повышению спроса на квалифицированных специалистов, способных оптимизировать все вышеперечисленные факторы. Так что даже если функции data-инженеров будут быстро меняться, профессию ожидает светлое будущее.

Команда VK Cloud развивает собственные Big Data-решения. Будем признательны, если вы их протестируете и дадите обратную связь. Для тестирования пользователям при регистрации начисляем 3000 бонусных рублей.