В 2022 году индустрия больших данных изменилась. И нужно решать, что делать с инфраструктурными вызовами, переходить ли в облако и как продолжать развитие ИТ-решений. Со всем этим компаниям может помочь новая роль в команде — Data Product Manager.

Это статья написана по мотивам выступления на VK Cloud Conf Александра Волынского, Technical Product Manager в VK Cloud. Вы можете посмотреть его целиком в записи.

Главные проблемы и вызовы для индустрии работы с данными в 2022 году

• Инфраструктура и инструменты. Как обеспечить работу систем, построенных на базе ПО вендоров, прекративших продажу лицензий?
  
• Поддержка и развитие решений на базе зарубежного ПО. Как развивать системы и где получить компетенции для технического сопровождения решений, поддержку которых прекратили зарубежные вендоры?
  
• Обеспечение безопасности решений. Обновления, новую функциональность и ключевые патчи для закрытия уязвимостей уже не получить.
  

Учитывая эти проблемы, многие компании решают перейти на Open-Source-инструменты и решения. Но применение этого стека технологий — тоже непростая задача: нужно выбрать решения, запланировать ресурсы, сформировать команду специалистов с нужными компетенциями или найти партнеров по внедрению ПО. И еще понадобится специалист, который все это организует: не всегда в компании может быть достаточно компетенций для реализации таких задач. 

Мы в VK Cloud изначально делали ставку именно на Open-Source-решения и их адаптацию. Поэтому сейчас, используя накопленную экспертизу, можем помогать другим компаниям решать вызовы, возникшие в 2022 году в работе с инструментами для больших данных.

Но даже при использовании Open-Source-решения сохраняются другие вызовы:

• Увеличение стоимости инфраструктуры. С большими данными мы обычно работаем на сложных распределенных кластерах из сотен и даже тысяч машин. Стоимость построения и поддержки такого решения в последние месяцы выросла.
  
• Дефицит комплектующих. Закупать железо, чтобы поддерживать кластер в работоспособном состоянии, стало сложнее. 
  

Миграция в облако как решение

На протяжении последних месяцев мы наблюдаем рост спроса на наши облачные сервисы. Компании, которые хотят оптимизировать затраты, переходят в облако. Но для переноса туда Data-инфраструктуры необходимо учесть ряд факторов.

Данные. 10–100 терабайт перенести не так сложно. А если вы накопили петабайты данных, то для переезда из On-premise в облако понадобится грамотно рассчитать вычислительные мощности и выделить широкие каналы для передачи данных.

Специфика облака. Виртуальные машины, сети и гипервизоры — облачная инфраструктура несколько отличается от физической. При построении высоконагруженной распределенной системы вроде Hadoop эту специфику важно учитывать, чтобы система выдерживала высокие нагрузки. 

Допустим, вы решили протестировать Greenplum в облаке на 10 ТБ данных и тест прошел гладко. Но при большом объеме информации и нагрузке, например в сотни пользователей, придется решать задачи, связанные с хранением больших объемов данных и высокой нагрузкой именно в облаке.  

При построении кластерных высоконагруженных систем нужно учитывать специфику сетей и дисков в облаках. Возможно, стоит использовать выделенные гипервизоры, локальные высокопроизводительные диски, высокопроизводительные CPU. Это важно предусмотреть в начале проекта.

Для миграции в облако важно привлекать экспертов, которые уже разворачивали Data-решения в облаках, понимают их специфику и помогут построить кластерную систему, хранилище или озеро данных так, как нужно. Такие эксперты есть у нас в VK Cloud — мы уже много лет строим подобные системы и помогаем компаниям переносить Data-платформы в облако.

Что стало с процессами и Big Data-командами

Я много беседовал с коллегами из Data-сообщества: найти джунов и мидлов легко, а вот специалистов Senior-уровня сейчас недостает. Дефицит опыта становится еще одним вызовом: командам приходится мигрировать на новые инструменты, а для этого нужны ребята с высоким техническим уровнем, готовые к тому, чтобы оперативно освоить новый технологический стек. 

Например, у компании сейчас есть команда экспертов по Vertica и принято решение переходить на Greenplum. Готовы ли специалисты осваивать новые навыки? Часто нет, потому что думают: «Есть инструмент Х, он лучше всех. Я готов работать только с ним, ни на что другое я не готов. Если мы мигрируем на этот инструмент, то до свидания. Пойду поищу другого работодателя, у которого другие задачи на моем любимом инструменте». Это тоже добавляет сложности в работу с данными в контексте текущих вызовов.

Ряд компаний рассматривают задачу по переходу на новые инструменты как возможность переосмыслить архитектуру действующих решений, исправить узкие места в Data-системах, внедрить новый технологический стек — и в результате получить более эффективное для бизнеса решение по работе с данными.

При построении Data-системы важно учитывать специфику бизнес-процессов компании, источники данных, особенности работы с ними и цели компании. Комплексно решить такую задачу поможет специалист с новой ролью — Data Product Manager.

Data Product Manager — эксперт и в данных, и в отрасли

Это специалист со знанием продукта, экспертизой в предметной области и навыками работы с данными одновременно.

Для того чтобы построить действительно уникальный продукт, который приносит value клиентов и бизнеса, важно, чтобы у команды Data-специалистов была экспертиза в той сфере, в которой компания решает задачи.

Например, если компания делает продукт в области Digital-рекламы, Data-специалист должен быть знаком с онлайн-системами рекламы не как пользователь, а как внутренний разработчик, который понимает специфику сегментации аудитории, идентификации клиентов, формирования таргетов и аудитории по интересам.

Если компания работает в промышленности, то важно найти специалиста по данным, который имеет продуктовое видение и опыт работы над созданием продукта. И при этом понимает специфику отрасли — например, как устроен технологический процесс.

Почему Data Product Manager — это не лишние расходы 

Специалист, погруженный в предметную область, сможет понять ценность и потенциал работы с данными, которые собирает компания. Понять, в чем их специфика, какие ошибки могут быть в этих данных и как их можно улучшить и обогатить. 

Если Data-специалист без знания производственного процесса создает аналитические системы на промышленном предприятии, то с высокой долей вероятности он не сможет увидеть ошибки в данных или слабости текущего пайплайна данных.

Data Product Manager помогает отвечать на вопросы, какими данными располагает компания: в его обязанности входит определение входящих и исходящих потоков данных. Это тоже непростая задача, которая требует понимания специфики отрасли, понимания специфики построения пайплайнов данных. Если мы возьмем в качестве примера крупный промышленный холдинг, то понять, какие данные у нас есть, уже титаническая работа.

Также именно Data Product Manager смотрит, кто и как использует данные внутри компаний.

Часто найти всех внутренних пользователей Data-решений непросто: данные, витрины данных или результаты пайплайнов могут проходить через несколько рук. Легко идентифицировать круг первых потребителей, которые имеют непосредственный доступ к таблицам и отчетам. Но куда сложнее понять, куда данные потом идут и как преобразуются. Здесь закладывается еще один момент про ошибки Data-Quality-процесса. 

Поэтому именно Data Product Manager помогает ответить на вопросы и решать задачи, связанные с упрощением доступа к данным и регуляторными вопросами.

Отличия Data Product Manager от классического Product Manager 

Казалось бы, зачем плодить сущности, если есть продакт-менеджеры, которые уже заняты продуктовыми процессами? Но знать продукт недостаточно: важно понимать специфику работы с данными, особенности построения пайплайнов, функциональность конкретных инструментов и систем для работы с данными. Для этого нужен специалист, который перед этим был на позиции аналитика по данным, Data-инженера или Data Scientist.

Data Product Manager зачастую работает со специфическими пользователями — теми самыми Data Scientist и Data-инженерами. Важно, чтобы он говорил с ними на одном языке. Обычный Product Manager может не иметь для этого достаточной глубины знаний и подготовки.

Какие задачи решает Data Product Manager

• Построение внутренней Data-платформы для различных категорий пользователей по типу SaaS — Self-Service, упрощение доступа к данным и работы с хранилищами для широкого круга пользователей. Это помогает бороться с Data Silos, когда у нас есть разрозненные хранилища данных и нам нужно их объединить в единое или обогащать данные одного хранилища данными из других систем.
  
• Ускорение решения Data-задач — увеличение скорости, с которой мы добавляем новые фичи в Data-продукт.
  
• Повышение эффективности и отдачи от Data-проектов. У многих компаний есть свои хранилища данных, отрасль уже давно существует, о данных кто только не говорил. Но как теперь посчитать возврат инвестиций в эти хранилища? Это очень нетривиальная задача, которую в том числе может взять на себя Data Product Manager.
  

Нужен ли вам Data Product Manager?

Да, если:

• вы хотите построить продукт, сконцентрированный на данных;
  
• вам не хватает набора компетенций традиционного Product Manager;
  
• у вас уже есть хранилище данных, возможно не одно, и множество отделов, которые работают с данными. Но пропасть между ними слишком велика, и вам нужно как-то собрать вместе их наработки и составить единую систему.
  

Мы поддерживаем направление MLOps и активно развиваем ML-платформу в облаке, а также строим Cloud Data Platform. Поэтому, если вам нужно работать с данными, смело приходите к нам. Для теста начисляем пользователям 3000 рублей — можно попробовать сервисы и посмотреть, подойдут ли они вам.