Не так давно нам попался материал BBC, в котором авторы рассказывают о том, что российским айтишникам становится трудно найти работу, доходы падают и вообще единственным адекватным выходом из ситуации является релокация за рубеж. Массовая паника, кажется, начала постепенно сходить на “нет”, мы все еще продолжаем работать, поэтому решили пойти “от противного” и рассказать о том, какие IT-специализации сейчас наиболее востребованы в России. Поделитесь своим мнением и расскажите, работаете ли вы сейчас в России в IT-сфере.
Оглавление
Почему инженер-аналитик сместит специалистов по данным с первого места в хит-параде самых привлекательных профессий, и какую роль в этом тренде играет data stack (современное хранилище баз данных)
Представьте себе: сильная снежная буря спутала все карты путешественникам. Обледеневшему самолету, который с пассажирами на борту ждал разрешения на взлет, приказано вернуться к выходу. Некоторым пассажирам и членам экипажа неожиданно может понадобиться гостиница. Другим придется туго: они будут спать на полу, стульях или на том, что есть в терминале. Всё идёт к тому, что каждому придется решать возникшие проблемы самостоятельно. Однако у этой авиакомпании есть суперсила: инженер-аналитик. Без него в сложившейся ситуации недовольные пассажиры должны были бы давиться в очередях и звонить по телефону, чтобы все перебронировать. Но наш инженер-аналитик объединил данные из трёх источников:
Программа лояльности клиентов для идентификации VIP-клиентов и их домашних адресов.
Список пассажиров и членов экипажа.
Отели-партнеры в этом районе с наличием свободных номеров.
Пассажирам и членам экипажа, которые живут не в городе вылета, отправляют текстовые сообщения с информацией о предварительном бронировании отеля.
Звучит невероятно? Такая скорость и гибкость решений становится все более возможной благодаря современной облачной экосистеме и росту значимости инженера-аналитика. Именно эту профессию теперь называют самой «сексуальной» в мире.
Такая тенденция отражает развитие отрасли и обусловлена сочетанием нескольких факторов: навыков персонала, модернизации баз данных и давления со стороны бизнеса.
Охота за талантами
В 2012 году Том Дэвенпорт и Ди Джей Патил впервые назвали специалиста по обработке данных самой «сексуальной» профессией 21-го века в своей статье для HBR. Многие стремились получить навыки в этой области, привлеченные желанием добиться успеха и высокой заработной платы. Университеты и онлайн-школы отреагировали на это созданием программ по изучению данных, но многие из них не смогли удовлетворить потребности бизнеса. Новоиспеченные выпускники преуспели в программировании на Python и R. Но им не хватало деловой хватки, навыков общения и аналитического сторителлинга (умения представить данные и рассказать о них в понятной форме). Эффект оставался едва видимым: по оценкам, 85% проектов в области data science и искусственного интеллекта не смогли обеспечить рентабельность инвестиций.
Кроме того, получение полезных данных может быть очень сложным процессом, отнимающим много времени. Аналитик полностью зависит от команды специалистов по обработке данных, месяцами ожидая загрузки новых данных в централизованное хранилище. С другой стороны, специалист по обработке данных тратит слишком много времени на сбор и очистку самих данных и слишком мало времени на аналитику.
Спрос на навыки обработки данных и их аналитику остается высоким, опережая предложение. Компании знают, что управление данными – это не просто конкурентное преимущество, а ключ к успеху бизнеса в современном цифровом мире. Индустрия обработки данных и аналитики нуждается в современном подходе к максимально быстрому получению нужной информации из всех доступных источников данных для всех заинтересованных пользователей.
Рост современных хранилищ данных
По оценкам Gartner, в 2016 году менее 10% данных хранилось на облачных платформах. Теперь её аналитики прогнозируют, что в этом году на облачные платформы будет приходиться 50% данных. Перенос данных в облако происходит уже много лет с помощью облачных бизнес-приложений. Развивающиеся облачные платформы предлагают дополнительные преимущества по сравнению с локальными платформами обработки данных благодаря гибким вычислениям, совместному использованию данных и скорости работы. Длительные процессы приема и агрегирования данных, вызванные ограничениями локальной пропускной способности – ещё одна причина, по которой принцип работы с данными ETL уступил место принципу ELT. Иными словами – данные загружаются в необработанном формате, что намного увеличивает скорость работы с ними. Это позволяет предприятиям собирать все свои детализированные данные и преобразовывать их в облачной платформе за несколько дней или недель, а не месяцев.
В отрасли могут обсуждаться подходы к проектированию архитектуры управления данными, сетей данных или структур данных. Но ясно одно: предприятиям нужно максимально быстро извлекать пользу из всех своих новых цифровых данных. Концепция data mesh (распределённая архитектура с централизованным управлением) хорошо подходит для роли инженера-аналитика (подробнее об этой тенденции читайте здесь и здесь). Позвольте инженеру-аналитику получить доступ к распределенным данным. Но вместо того, чтобы создавать немасштабируемый одноразовый продукт, используйте такие платформы, как dbt – для создания проверяемой модели в комплекте с документацией. Централизованное хранилище данных может и дальше играть в этом определенную роль, но оно больше не является “бутылочным горлышком” или единственным источником данных.
Например, команда маркетинга решает внедрить платформу SaaS. Раньше в таких случаях инженер-аналитик по маркетингу мог лишь полагаться на специалистов по обработке данных своей компании для предварительной загрузки данных в хранилище. Теперь он может быстро отреагировать на это с помощью новых конвейеров (последовательный набор инструментов обработки данных) и аналитических данных. Кроме того, благодаря большей простоте использования внешних данных и их важности для прогнозирования (еще одна тенденция), тот же инженер-аналитик может задействовать сторонние источники данных – например, по мобильности персонала или демографии клиентов.
Инженер-аналитик будет использовать комбинацию платформ no-code (они позволяют создавать IT-продукты без кода) и low-code (почти без кода) для создания повторно используемого ресурса. Например, он или она может применять dbt в Snowflake или BigQuery для преобразования данных и проводить сложные вычисления, используя язык сценариев аналитической платформы, чтобы разработать аналитическое приложение. Оно будет содержать указатели на модели dbt, включая таблицы Snowflake, и иметь настраиваемые визуализации. Операционная аналитика, которая позволяет получать данные с аналитической платформы (например, список застрявших VIP-пассажиров) и записывать их в операционную систему, также поддерживается облачными и открытыми API. Сочетание облачных приложений и открытых API делает реальностью быстрый переход «от данных к действиям».
Хотя наша история с задержкой рейса была выдумана, американская авиакомпания JetBlue – одна из организаций, использующих современные структуры хранения данных для большей скорости работы с данными и более быстрого принятия решений. Как объясняет Бен Синглтон, директор по науке о данных и аналитике в JetBlue, "устаревшие локальные хранилища данных и инструменты преобразования не были рассчитаны на взрывной рост объема данных, с которым мы столкнулись за последние пять лет. Нам нужно развиваться и инвестировать, чтобы оправдать ожидания наших аналитиков данных и лиц, принимающих решения".
Скорость и гибкость – главное в бизнесе
Организации переходили на цифровые технологии еще до пандемии, она лишь ускорила планы большинства компаний. Но оцифровка – это только первый шаг. Данные нужно правильно использовать, чтобы получать преимущества от «цифрового мира» в реальной жизни.
Рассмотрим бизнес, который стремительно вырос за последние два года: доставка еды. Если вспомнить «аналоговую эпоху» доставки пиццы, ресторан узнавал о потере заказа только после звонка недовольного клиента. Теперь вы можете отслеживать движение вашего заказа в режиме реального времени. Мобильное устройство курьера генерирует данные. Ваш онлайн-заказ генерирует данные. Снятие товара с полки тоже генерирует данные. В результате рестораны и организации, занимающиеся доставкой еды, могут оценить обслуживание каждого клиента, видя наименование доставленных продуктов и время доставки.
Однако за последние два года разрыв между лидерами и аутсайдерами в сфере аналитики еще больше увеличился. По данным Accenture, рост доходов у лидеров в этой сфере в два-три раза больше, чем у отстающих. Исследование Kearny показывает, что отстающие могли бы повысить свою прибыльность на 81%, если бы «подтянули» свою аналитику, став более зрелыми в этой сфере. Эта зрелость отчасти связана с технологической модернизацией и культурой компании.
Еще один важный фактор, определяющий «цифровую зрелость» компании – распространённость и своевременность решений, основанных на данных. Недавний опрос HBR определил аналитику самообслуживания в качестве главного приоритета для расширения возможностей лиц, принимающих решения на переднем крае. Здесь имеется в виду форма бизнес-аналитики, где профессионалы могут самостоятельно запрашивать нужные данные и создавать отчеты на их основе. Статический отчет, основанный на устаревших агрегированных данных, просто недостаточно быстр или подробен, чтобы его можно было эффективно использовать в современной цифровой экономике.
Стать инженером-аналитиком
Знание SQL, экспертиза в предметной области и практика разработки программного обеспечения – вот некоторые из ключевых навыков инженера-аналитика. Такой профессионал может «вырасти» из грамотного специалиста по обработке данных или аналитика данных. Хорошие коммуникативные навыки, способность решать проблемы, а также любознательность будут заложены в их ДНК.
В отличие от разработчиков отчетов в прошлом, сейчас инженеры-аналитики не являются пассивными “получателями заказов” и не заинтересованы в разовых запросах отчетов. Они хотят решать проблемы бизнеса и рассматривают широкий диапазон доступных источников данных, чтобы ответить на вопрос. При этом им нужно добиться масштабируемости решения.
Написание аналитического кода, масштабируемого до миллионов или миллиардов строк (особенно полуструктурированных строк), является сложной задачей. Освоение всех этих нюансов может занять много времени. Современный инженер-аналитик сильно отличается от инженера-аналитика в недавнем прошлом. Самое важное для успешного перехода к этой новой роли – совершенствовать навыки программирования и сохранять терпение во время обучения.
Согласно исследованию заработной платы Harnham 2021, зарплата инженера-аналитика выше, чем у аналитика BI, но ниже, чем у специалиста по обработке данных или инженера по обработке данных. Более высокие зарплаты, возможность внести свой вклад в повышение ценности бизнеса и способность масштабировать результаты – вот три фактора, привлекающие специалистов по обработке данных в эту профессию.
Будущее с инженером-аналитиком
Возвращаемся к нашему “самолету в снежную бурю”. Если бы у авиакомпании не было инженера-аналитика, то аналитику BI пришлось бы создавать отчет или панель мониторинга, чтобы показать, сколько пассажиров нуждаются в помощи. Специалист по обработке данных мог бы предсказать вероятность отмены рейса. Но инженер-аналитик может не просто анализировать данные, но и «превращать» результаты своего анализа в действия.