Действительно ли big data – это объективная насущная проблема для бизнеса?
Может быть это лишь красивый маркетинговый ход разработчиков мощных компьютеров и продуктов по хранению и обработке цифровых данных.
Может быть это лишь привлекательная реклама консультантов по исследованию рынков и поведенческих моделей клиентов.
А может это всего лишь модный тренд в сфере тотального наблюдения за субъектами рынка и прогнозирования их реакций.
Возможно и нет никаких «больших» данных, а есть большая иллюзия о том, что удастся каким-то образом собрать настолько огромный массив цифровой информации, обработать его неким волшебным образом и получить ответы на все вопросы, волнующие бизнесмена.
Кадр из к/ф «Особое мнение» (Minority Report) Стивена Спилберга по повести Филипа Дика (2002 — 20th Century Fox, DreamWorks SKG).
Большие данные – это по сути ресурс аналитика. Это ресурс для людей, осуществляющих исследования и подготовку принятия решения. И как любой ресурс, большие данные без умения, знаний и технологий их использования не работают. Кто-то называет такое умение «добычей данных» (data mining) – по аналогии с добычей полезных ископаемых, делая акцент на глубоком проникновении и трудоемкости. Кто-то называет такое умение «интеллектом бизнеса» (business intelligent) – показывая насколько важным является «умственная» составляющая в этом процессе. Кому-то понравиться название «большая аналитика».
Но известно из теории и практики, что даже наличие ресурса в большом количестве не означает его успешное и эффективное использование. Иногда избыточный объем ресурса позволяет строить бизнес-модель, не на глубокой его переработке в определенный набор продуктов, а на простом упаковывании и реализации в сыром виде. Зачем искать дополнительные варианты, когда, можно не прикладывая чрезмерных усилий, просто сбывать необработанный ресурс.
Большие данные, как информационная категория, имеют одну особенность в отличии от материальных ресурсов. Для их применения необходим по-настоящему высокий уровень организации бизнес-объектов и бизнес-процессов компании. Без такого уровня подготовки, без наличия определенной квалификации у бизнеса, покупка (или сбор) больших данных будет отличаться низкой эффективностью. Настолько низкой, что не оправдает вложенные в них средства.
Зачем бизнесу тратить средства на большие данные, если не создан бизнес-слой управления (принятия решений) на основе аналитики? Абсолютно верно – незачем. К этому в той или иной степени приходят те компании, которые начали использование больших данных без принятия в контур управления аналитических технологий, техник принятия подготовленных аналитически решений и которые, по большому счету, не готовы к переменам. Такие субъекты рынка рано или поздно откажутся от больших данных. Особенно вопрос остро встанет при повышенной конкуренции за финансовые ресурсы внутри бизнеса.
Сегодня рынок больших данных сосредоточился на информационных технологиях. Это понятно и приятно, что развиваются инструменты работы с большими данными. Но интенсивный рост информационных сетей и совершенствование информационных технологий снимает барьеры по вычислительным мощностям. Это заставит передовые амбициозные бизнесы пересмотреть своё нынешнее увлечение и сместить акцент в сторону новых эффективных методик, инструментов, технологий менеджмента, базирующихся на знаниях и обучении.
Собственно, когда презентуют большие данные, часто речь идет о возможностях их хранения, транспортировки и обработки. Поисковые технологии гигантов сети Интернет яркий пример того, что бизнесу дают большие данные. Алгоритмы поиска – это мощнейшая обработка гигантских растущих объемов информации. Они постоянно находятся в процессе оптимизации, повышения производительности индексирования и структурирования информации. Но ведь за поисковыми технологиями в сети стоят не только большие данные. За ними стоят команды аналитиков, которые владеют высокотехнологичными знаниями в предметных областях.
Поэтому разумная политика использования больших данных – это построение команды анализа данных, но никак не исключительное выстраивание серверов, облаков, систем добычи данных, машинного обучения и т.п.
Стоит заметить, что не очень показательно само определение «добыча данных». Оно рисует несколько упрощенную картину действительности: есть «бесценные залежи» разнородных и перемешанных данных, а профессионал (или инструмент) берет и «раскапывает» в этих данных именно те, которые при «проникновенном» взгляде менеджера открывают ему глаза на всё происходящее и его вдруг осеняет праведная мысль о скрытых резервах бизнес-модели.
Чудес не бывает и в больших данных тоже. Чтобы добыть ценную информацию из некоторого хранилища, её нужно туда сначала положить, потом извлечь, обработать и визуализировать. Акцент не корректно смещать на извлечение информации из хранилища, оставляя вне фокуса такие вещи как сбор (получение) данных, структурирование данных, упаковывание данных в хранилище, проверку качества данных, организацию процесса анализа данных, проблемы принятия решений на основе анализа больших данных и многое другое.
Кроме того, даже для несложного data mining не помешает корректная постановка цели. Без грамотной постановки цели может выйти всё что угодно, а не осмысленный результат. Пусть эта цель выражена в виде гипотезы или вопросов, в виде проблемной ситуации или числовых показателей.
Любые данные имеют контекст и метаданные, которые существенно ограничивают их использование в определенных ситуациях. Если условие контекста для задачи не задано, аналитик не в состоянии принять решение по добыче данных и о соответствии данных поставленной задачи.
Не смотря на старания бизнеса сократить время от снятия информации о его состоянии до принятия решения об изменении такого состояния существуют объективные причины непреодолимого временного лага.
Задержка между принятием решения и изменением состояния бизнеса в соответствии с принятым решением может быть также весьма существенной. Процессы и объекты перестраиваются, изменяется взаимодействие, корректируется поведения работников, подстраивается окружение. Поэтому любые данные и даже большие данные – это всегда данные о прошлом. Но руководство хочет принимать на их базе решения для будущего. Здесь главное не переоценить возможности больших данных и аналитики.
Одно из заблуждений в отношении больших данных – это то, что они преимущественно внешние по отношению к бизнесу. Считается, что большие данные – это данные о клиентах (их поведении), данные о конкурентах, данные о разных факторах существования бизнеса (политические, социальные, культурные), данные о рынках и потребительских тенденциях, данные об активности других бизнесов. Частично это так.
Но большие данные для бизнеса от внешних источников увязываются с данными о внутреннем состоянии, причем увязываются строго и контекстно. Это крайне необходимо, чтобы совместно оценивать самочувствие бизнес-модели и внешней среды. Внутренние данные также могут быть большими и весомыми для большой эффективной аналитики. Ведь ответ на вопрос что делать менеджменту для исправления ситуации могут дать исключительно внутренние данные.
Ещё одна иллюзия которая способна помешать бизнесу – это то, что профессиональная результативная аналитика основана только на больших данных. Существует реальная возможность и опыт, помноженный на талант некоторых экспертов, предлагать решения в рамках традиционных объёмов внутренних данных, особенно когда речь идет о явных или типичных проблемах в бизнес-модели.
Отрицать огромное значение сбора и анализа больших данных для развития бизнеса невозможно. Особенно важны большие данные для распределённого и информационно-активного бизнеса. Пожалуй, большие данные – единственный эффективный инструмент быть в курсе всех дел для крупных корпораций и объединений с разветвленной сетью бизнес-единиц. Средний и малый бизнес также с учетом некоторых особенностей может оказаться в выигрыше от больших данных, особенно в кооперации с крупными компаниями и сообществами.
Но нельзя подменять большими данными решение насущных проблем. Лучше рассматривать их как направление, которое поддерживает центральную стратегию бизнеса и позволяет быть в курсе произошедшего, происходящего и частично прогнозировать развитие ситуации в будущем. Но если у бизнеса нет вразумительной стратегии и если бизнес-модель видится примитивно и запутанно, то никакие большие данные не в состоянии помочь даже пассивному развитию. Некоторые менеджеры, понимая для себя отсутствие потребности в больших данных и не готовности к переменам, которые они сулят, не пытаются инициировать работу с ними – это тоже пример обоснованного разумного поведения.
Как бы мы ни старались, большие данные не способны решить все проблемы. Никак нельзя с помощью большой аналитики построить эффективную бизнес-модель. Но они все-таки смогут помочь оптимизировать её в рамках выбранной стратегии.
«Волшебство» больших данных, которое несколько остается в стороне от общего внимания заключается в очевидном и обоснованном способе размышлять о бизнесе и искать пути его улучшения. Действительно проект больших данных улучшает бизнес и не столько из-за ценности каких-то массивов информации, а вследствие того, что менеджмент начинает смотреть на свою бизнес-модель с критической точки зрения, в том числе основываясь на заданных информационных показателях и индикаторах.
Если руководство вплотную интересуется большой аналитикой, то значит хочет понимать больше о своей компании и это – начало оптимизации бизнеса.
Вместо больших данных можно выбрать иное средство развития бизнеса, например, маркетинговые исследования, статистические расчеты, экономико-математическое моделирование. Результат получится различным, но работа, нацеленная на «понимание» бизнес-модели, будет начата и несомненно даст какой-то, но чаще — положительный эффект. Если конечно она выполняется объективно, разумно, профессионально и с учетом воздействующих факторов.
Некоторые компании накопили ресурс – данные, а другие разработали мощные программные и аппаратные ИТ-решения. Этот ресурс и эти решения они постараются под тем или иным «маркетинговым соусом подать к столу бизнесменов» и заработать «хорошие чаевые».
В ход пойдет активный сбыт и изощренный маркетинг, вежливые консультанты и веселые клиентские мероприятия богато «приправленные» красивым брендом и впечатляющей терминологией. Они будут говорить о построении надежнейших систем обработки абсолютно не структурированных данных, о великолепных алгоритмах построения многоуровневых графов информации, о быстродействующих выборках на искусственном интеллекте, о самообучающихся нейросетевых механизмах.
Не верьте на слово. Просите разъяснений, пояснений, демонстраций, документацию, независимые экспертные заключения, отзывы клиентов, нагрузочные тесты, разумного пробного бесплатного периода.
Посудите сами, даже бренд «большие данные» выглядит выигрышно.
Во-первых, в названии есть слово «большой», а значит это что-то хорошее, положительное, выгодное, впечатляющее, убедительное, ценное.
Во-вторых, слово «данные», как бы указывает на что-то правильное, интеллектуальное, инновационное, эффективное, упорядоченное.
Сама суть иллюзии больших данных происходит от их названия.
Кажется, имея big data, бизнес решает вопросы наивысшего (большого) порядка на профессиональном (большом) уровне. И чем больше накопить данных, тем эффективней и быстрее будут решаться всё более сложные вопросы.
Не поддавайтесь иллюзиям – большие данные не всегда способны сделать то, о чем мечтает бизнес.
Может быть это лишь красивый маркетинговый ход разработчиков мощных компьютеров и продуктов по хранению и обработке цифровых данных.
Может быть это лишь привлекательная реклама консультантов по исследованию рынков и поведенческих моделей клиентов.
А может это всего лишь модный тренд в сфере тотального наблюдения за субъектами рынка и прогнозирования их реакций.
Возможно и нет никаких «больших» данных, а есть большая иллюзия о том, что удастся каким-то образом собрать настолько огромный массив цифровой информации, обработать его неким волшебным образом и получить ответы на все вопросы, волнующие бизнесмена.
Кадр из к/ф «Особое мнение» (Minority Report) Стивена Спилберга по повести Филипа Дика (2002 — 20th Century Fox, DreamWorks SKG).
… ресурс
Большие данные – это по сути ресурс аналитика. Это ресурс для людей, осуществляющих исследования и подготовку принятия решения. И как любой ресурс, большие данные без умения, знаний и технологий их использования не работают. Кто-то называет такое умение «добычей данных» (data mining) – по аналогии с добычей полезных ископаемых, делая акцент на глубоком проникновении и трудоемкости. Кто-то называет такое умение «интеллектом бизнеса» (business intelligent) – показывая насколько важным является «умственная» составляющая в этом процессе. Кому-то понравиться название «большая аналитика».
Но известно из теории и практики, что даже наличие ресурса в большом количестве не означает его успешное и эффективное использование. Иногда избыточный объем ресурса позволяет строить бизнес-модель, не на глубокой его переработке в определенный набор продуктов, а на простом упаковывании и реализации в сыром виде. Зачем искать дополнительные варианты, когда, можно не прикладывая чрезмерных усилий, просто сбывать необработанный ресурс.
… необходим высокий уровень менеджмента
Большие данные, как информационная категория, имеют одну особенность в отличии от материальных ресурсов. Для их применения необходим по-настоящему высокий уровень организации бизнес-объектов и бизнес-процессов компании. Без такого уровня подготовки, без наличия определенной квалификации у бизнеса, покупка (или сбор) больших данных будет отличаться низкой эффективностью. Настолько низкой, что не оправдает вложенные в них средства.
Зачем бизнесу тратить средства на большие данные, если не создан бизнес-слой управления (принятия решений) на основе аналитики? Абсолютно верно – незачем. К этому в той или иной степени приходят те компании, которые начали использование больших данных без принятия в контур управления аналитических технологий, техник принятия подготовленных аналитически решений и которые, по большому счету, не готовы к переменам. Такие субъекты рынка рано или поздно откажутся от больших данных. Особенно вопрос остро встанет при повышенной конкуренции за финансовые ресурсы внутри бизнеса.
Сегодня рынок больших данных сосредоточился на информационных технологиях. Это понятно и приятно, что развиваются инструменты работы с большими данными. Но интенсивный рост информационных сетей и совершенствование информационных технологий снимает барьеры по вычислительным мощностям. Это заставит передовые амбициозные бизнесы пересмотреть своё нынешнее увлечение и сместить акцент в сторону новых эффективных методик, инструментов, технологий менеджмента, базирующихся на знаниях и обучении.
Собственно, когда презентуют большие данные, часто речь идет о возможностях их хранения, транспортировки и обработки. Поисковые технологии гигантов сети Интернет яркий пример того, что бизнесу дают большие данные. Алгоритмы поиска – это мощнейшая обработка гигантских растущих объемов информации. Они постоянно находятся в процессе оптимизации, повышения производительности индексирования и структурирования информации. Но ведь за поисковыми технологиями в сети стоят не только большие данные. За ними стоят команды аналитиков, которые владеют высокотехнологичными знаниями в предметных областях.
Поэтому разумная политика использования больших данных – это построение команды анализа данных, но никак не исключительное выстраивание серверов, облаков, систем добычи данных, машинного обучения и т.п.
… добыча данных
Стоит заметить, что не очень показательно само определение «добыча данных». Оно рисует несколько упрощенную картину действительности: есть «бесценные залежи» разнородных и перемешанных данных, а профессионал (или инструмент) берет и «раскапывает» в этих данных именно те, которые при «проникновенном» взгляде менеджера открывают ему глаза на всё происходящее и его вдруг осеняет праведная мысль о скрытых резервах бизнес-модели.
Чудес не бывает и в больших данных тоже. Чтобы добыть ценную информацию из некоторого хранилища, её нужно туда сначала положить, потом извлечь, обработать и визуализировать. Акцент не корректно смещать на извлечение информации из хранилища, оставляя вне фокуса такие вещи как сбор (получение) данных, структурирование данных, упаковывание данных в хранилище, проверку качества данных, организацию процесса анализа данных, проблемы принятия решений на основе анализа больших данных и многое другое.
Кроме того, даже для несложного data mining не помешает корректная постановка цели. Без грамотной постановки цели может выйти всё что угодно, а не осмысленный результат. Пусть эта цель выражена в виде гипотезы или вопросов, в виде проблемной ситуации или числовых показателей.
Любые данные имеют контекст и метаданные, которые существенно ограничивают их использование в определенных ситуациях. Если условие контекста для задачи не задано, аналитик не в состоянии принять решение по добыче данных и о соответствии данных поставленной задачи.
… временной лаг
Не смотря на старания бизнеса сократить время от снятия информации о его состоянии до принятия решения об изменении такого состояния существуют объективные причины непреодолимого временного лага.
Задержка между принятием решения и изменением состояния бизнеса в соответствии с принятым решением может быть также весьма существенной. Процессы и объекты перестраиваются, изменяется взаимодействие, корректируется поведения работников, подстраивается окружение. Поэтому любые данные и даже большие данные – это всегда данные о прошлом. Но руководство хочет принимать на их базе решения для будущего. Здесь главное не переоценить возможности больших данных и аналитики.
… внешние и внутренние
Одно из заблуждений в отношении больших данных – это то, что они преимущественно внешние по отношению к бизнесу. Считается, что большие данные – это данные о клиентах (их поведении), данные о конкурентах, данные о разных факторах существования бизнеса (политические, социальные, культурные), данные о рынках и потребительских тенденциях, данные об активности других бизнесов. Частично это так.
Но большие данные для бизнеса от внешних источников увязываются с данными о внутреннем состоянии, причем увязываются строго и контекстно. Это крайне необходимо, чтобы совместно оценивать самочувствие бизнес-модели и внешней среды. Внутренние данные также могут быть большими и весомыми для большой эффективной аналитики. Ведь ответ на вопрос что делать менеджменту для исправления ситуации могут дать исключительно внутренние данные.
… большие или не очень
Ещё одна иллюзия которая способна помешать бизнесу – это то, что профессиональная результативная аналитика основана только на больших данных. Существует реальная возможность и опыт, помноженный на талант некоторых экспертов, предлагать решения в рамках традиционных объёмов внутренних данных, особенно когда речь идет о явных или типичных проблемах в бизнес-модели.
Отрицать огромное значение сбора и анализа больших данных для развития бизнеса невозможно. Особенно важны большие данные для распределённого и информационно-активного бизнеса. Пожалуй, большие данные – единственный эффективный инструмент быть в курсе всех дел для крупных корпораций и объединений с разветвленной сетью бизнес-единиц. Средний и малый бизнес также с учетом некоторых особенностей может оказаться в выигрыше от больших данных, особенно в кооперации с крупными компаниями и сообществами.
Но нельзя подменять большими данными решение насущных проблем. Лучше рассматривать их как направление, которое поддерживает центральную стратегию бизнеса и позволяет быть в курсе произошедшего, происходящего и частично прогнозировать развитие ситуации в будущем. Но если у бизнеса нет вразумительной стратегии и если бизнес-модель видится примитивно и запутанно, то никакие большие данные не в состоянии помочь даже пассивному развитию. Некоторые менеджеры, понимая для себя отсутствие потребности в больших данных и не готовности к переменам, которые они сулят, не пытаются инициировать работу с ними – это тоже пример обоснованного разумного поведения.
… как способ думать
Как бы мы ни старались, большие данные не способны решить все проблемы. Никак нельзя с помощью большой аналитики построить эффективную бизнес-модель. Но они все-таки смогут помочь оптимизировать её в рамках выбранной стратегии.
«Волшебство» больших данных, которое несколько остается в стороне от общего внимания заключается в очевидном и обоснованном способе размышлять о бизнесе и искать пути его улучшения. Действительно проект больших данных улучшает бизнес и не столько из-за ценности каких-то массивов информации, а вследствие того, что менеджмент начинает смотреть на свою бизнес-модель с критической точки зрения, в том числе основываясь на заданных информационных показателях и индикаторах.
Если руководство вплотную интересуется большой аналитикой, то значит хочет понимать больше о своей компании и это – начало оптимизации бизнеса.
Вместо больших данных можно выбрать иное средство развития бизнеса, например, маркетинговые исследования, статистические расчеты, экономико-математическое моделирование. Результат получится различным, но работа, нацеленная на «понимание» бизнес-модели, будет начата и несомненно даст какой-то, но чаще — положительный эффект. Если конечно она выполняется объективно, разумно, профессионально и с учетом воздействующих факторов.
… под брендом «большие данные»
Некоторые компании накопили ресурс – данные, а другие разработали мощные программные и аппаратные ИТ-решения. Этот ресурс и эти решения они постараются под тем или иным «маркетинговым соусом подать к столу бизнесменов» и заработать «хорошие чаевые».
В ход пойдет активный сбыт и изощренный маркетинг, вежливые консультанты и веселые клиентские мероприятия богато «приправленные» красивым брендом и впечатляющей терминологией. Они будут говорить о построении надежнейших систем обработки абсолютно не структурированных данных, о великолепных алгоритмах построения многоуровневых графов информации, о быстродействующих выборках на искусственном интеллекте, о самообучающихся нейросетевых механизмах.
Не верьте на слово. Просите разъяснений, пояснений, демонстраций, документацию, независимые экспертные заключения, отзывы клиентов, нагрузочные тесты, разумного пробного бесплатного периода.
Посудите сами, даже бренд «большие данные» выглядит выигрышно.
Во-первых, в названии есть слово «большой», а значит это что-то хорошее, положительное, выгодное, впечатляющее, убедительное, ценное.
Во-вторых, слово «данные», как бы указывает на что-то правильное, интеллектуальное, инновационное, эффективное, упорядоченное.
Сама суть иллюзии больших данных происходит от их названия.
Кажется, имея big data, бизнес решает вопросы наивысшего (большого) порядка на профессиональном (большом) уровне. И чем больше накопить данных, тем эффективней и быстрее будут решаться всё более сложные вопросы.
Не поддавайтесь иллюзиям – большие данные не всегда способны сделать то, о чем мечтает бизнес.