Данных становится всё больше и больше, поэтому сейчас как никогда важно иметь необходимый инструментарий для анализа данных и принятия решений. Сегодня мы поговорим о пяти популярных аналитических системах.
Содержание
Power Query — это инструмент интеграции данных в Excel из внешних источников.
Power Query позволяет искать и открывать данные из различных источников доступных онлайн и через корпоративные сети. Он умеет загружать в Excel данные разных типов, форматов и структур, а так же из совершенно разных источников:
Подробное описание можно прочитать тут.
Power Query позволяет импортировать внешние (семи)-структурированные источники данных и обрабатывать их в Excel. Пример, ниже показывает крупнейшие города в северной и южной Америках на карте в соответствии с их населением.
(кликабельно)
Так же имеется возможность импортировать письма, как источник данных, и анализировать их в Outlook. Пример ниже демонстрирует импорт почты и создает гистограмму по числу писем от человека, то есть с кем чаще всего происходит переписка.
(кликабельно)
Плюсы: PowerQuery — один из самых сильных инструментов, имеющий с одной стороны широкую функциональность для анализа, с другой стороны достаточно сложен в освоении, и используется в основном аналитиками. Работает как с табличными моделями, так и с многомерными. Умеет подключать дополнительные источники
Минусы: Не годится для «обычных» пользователей, сложен в освоении, достаточно медлителен. Нет возможности разделения доступа, ограничения на размер файлов/записей etc.
Дополнительные материалы
Скачать тут
Power BI — это инструмент создания интерактивных бизнес отчетов с возможностью совместной работы, визуализации и интерактивной работы.
Основные возможности:
Пример отчета, который может быть опубликован в веб и доступен для взаимодействия и исследования другими участниками.
Пример с запросами и объединением источников: комбинирование источников из Нью-Йоркской фондовой биржи и финансового индекса S&P 500.
(кликабельно)
Подробнее можно прочитать тут.
Плюсы: новый современный продукт, дружелюбный интерфейс, легок в освоении, онлайн решение.
Минусы: решение «сырое» (некоторые компоненты могут работать нестабильно), не работает с OLAP кубами, урезанный функционал в сравнении с конкурентами.
Дополнительные материалы:
Pyramid Analytics — облачная платформа бизнес-аналитики; имеет три ключевых компонента:
Примеры отчета с гео-визуализацией и возможностью исследования данных.
Вводное видео:
(youtube-канал Pyramid Analytics)
Платформа обладает возможностью совместной аналитики и моделирования данных, а так же рядом других полезных возможностей:
PyramidAnalytics — самый мощный инструмент из используемых нами.
Плюсы: легок в освоении, работает с огромным количеством источников, очень широкая функциональность.
Минусы: цена.
SQL Сервер позволяет проводить анализ внутри своей экосистемы. У него есть обширный набор компонент и мы сфокусируемся на трех наиболее известных.
Master Data Services — процессы и инструменты управления мастер-данными компании. Подробнее тут.
(Мастер-данные — это данные бизнеса: о клиентах, продуктах, услугах, персонале, технологиях, материалах etc.)
SQL Server Integration Services — миграция и интеграция данных. Подробнее тут.
SQL Server Analysis Services OLAP и data mining внутри SQL сервера. Подробнее тут.
Наверное сложно спутать четыре графика, изображенных ниже. Однако, если бы вместо визуализации, мы бы посчитали среднее значение, вариацию, корреляцию и построили бы регрессию на их основе, то мы бы удивились, получив совершенно одинаковый результат.
(Anscombe's quartet)
Это наглядный пример того, что как бы мы не оптимизировали процесс принятия решения аналитику необходимо проводить исследовательский анализ данных (Exploratory Data Analysis). Для этого ему тоже необходимы инструменты, но уже несколько иного плана. Это прежде всего возможность интерактивной работы и обработки данных, а так же их трансформации и визуализации. Представим краткую выборку доступных инструментов и материалов на примере языка python и работ по визуализации (с указанием типичных ошибок).
Визуализация данных:
Интерактивная работа с данными в python:
В процессе написания статьи Microsoft анонсировала покупку инструмента аналитики от компании Datazen, поэтому будет полезным его кратко упомянуть.
Datazen — это мульти-платформенное решение, позволяющее построить отчетность, независимо от платформы (PC, iOS, Android, Windows Phone). Отличительной чертой продукта является широкая интеграция и возможность полноценной работы аналитической платформы через мобильные устройства.
Плюсы: поддерживает широкий спектр платформ, поддерживается и развивается MS, работает с большим количеством источников.
Минусы: Не работает с OLAP напрямую (необходимо создавать запросы MDX самостоятельно), имеет ряд ограничений (начиная от возможностей интерфейса и заканчивая настройкой функциональности), не продается отдельно, идет в комплекте с MS SQL Enterprise Edition.
В следующей статье мы рассмотрим Datazen и Pyramid Analytics в деталях, а также разберемся как на их основе создавать отчетность.
Содержание
- MS Excel Power Query
- MS Power BI
- Pyramid Analytics
- Компоненты аналитики MS SQL server (MDS, SSIS, SSAS)
- Главный инструмент аналитика
MS Excel Power Query
Power Query — это инструмент интеграции данных в Excel из внешних источников.
Power Query позволяет искать и открывать данные из различных источников доступных онлайн и через корпоративные сети. Он умеет загружать в Excel данные разных типов, форматов и структур, а так же из совершенно разных источников:- Из сети
- Из файла (Excel, CSV, XML, текст или папка с метаданными и ссылками)
- Из файла баз данных (SQL Server, Access, Oracle, IBM DB2, MySQL, PostgreSQL etc)
- Из публичных источников данных и корпоративных репозиториев данных (встроена поддержка ETL)
- Из ряда других источников SharePoint List, OData feed, Active Directory, Facebook etc
Подробное описание можно прочитать тут.
Вики источник
Power Query позволяет импортировать внешние (семи)-структурированные источники данных и обрабатывать их в Excel. Пример, ниже показывает крупнейшие города в северной и южной Америках на карте в соответствии с их населением.
(кликабельно)
Импорт и анализ писем в Outlook
Так же имеется возможность импортировать письма, как источник данных, и анализировать их в Outlook. Пример ниже демонстрирует импорт почты и создает гистограмму по числу писем от человека, то есть с кем чаще всего происходит переписка.
(кликабельно)
Плюсы: PowerQuery — один из самых сильных инструментов, имеющий с одной стороны широкую функциональность для анализа, с другой стороны достаточно сложен в освоении, и используется в основном аналитиками. Работает как с табличными моделями, так и с многомерными. Умеет подключать дополнительные источники
Минусы: Не годится для «обычных» пользователей, сложен в освоении, достаточно медлителен. Нет возможности разделения доступа, ограничения на размер файлов/записей etc.
Дополнительные материалы
- Вводное видео
- Deep Dive into the Query language (видео)
- Подборка видео раз и два
- Подборка статей от Microsoft
Скачать тут
MS Power BI
Power BI — это инструмент создания интерактивных бизнес отчетов с возможностью совместной работы, визуализации и интерактивной работы.
Основные возможности:
- Быстрая разработка информативных бизнес отчетов и панелей (в сети) – с возможностью взаимодействия и исследования данных.
- Автоматическое обновление BI-отчетов и визуализации, при изменении данных
- Поддержка языка запросов, в том числе и Power Query. Возможность взаимодействия между участниками на уровне запросов.
- Создание каталога данных с индексами для поиска.
- Язык запросов близкий к естественному (для бизнес-аналитика) и возможность интерактивной работы.
- Поддержка мобильных устройств
Пример отчета, который может быть опубликован в веб и доступен для взаимодействия и исследования другими участниками.
Пример с запросами и объединением источников: комбинирование источников из Нью-Йоркской фондовой биржи и финансового индекса S&P 500.
(кликабельно)
Подробнее можно прочитать тут.
Плюсы: новый современный продукт, дружелюбный интерфейс, легок в освоении, онлайн решение.
Минусы: решение «сырое» (некоторые компоненты могут работать нестабильно), не работает с OLAP кубами, урезанный функционал в сравнении с конкурентами.
Дополнительные материалы:
- Вводное видео в Power BI
- Онлайн демо
- Пример применения Power BI для финансового анализа
- Обзор возможностей (видео)
- Анализ истории World Cup history с помощью Excel и Power BI
Pyramid Analytics
Pyramid Analytics — облачная платформа бизнес-аналитики; имеет три ключевых компонента:
- Интеллектуальный анализ данных — Data Discovery
- Интерактивная работа с данными и визуализацией — Dashboards
- Представление данных аудитории — Publisher
Примеры отчета с гео-визуализацией и возможностью исследования данных.
Вводное видео:
(youtube-канал Pyramid Analytics)
Платформа обладает возможностью совместной аналитики и моделирования данных, а так же рядом других полезных возможностей:
- Trial версия
- Облачный вариант (SaaS)
- Интеграция с R
- Работа с Big Data
- Интерактивная визуализация данных
PyramidAnalytics — самый мощный инструмент из используемых нами.
Плюсы: легок в освоении, работает с огромным количеством источников, очень широкая функциональность.
Минусы: цена.
Компоненты аналитики MS SQL server (MDS, SSIS, SSAS)
SQL Сервер позволяет проводить анализ внутри своей экосистемы. У него есть обширный набор компонент и мы сфокусируемся на трех наиболее известных.
Master Data Services — процессы и инструменты управления мастер-данными компании. Подробнее тут.
(Мастер-данные — это данные бизнеса: о клиентах, продуктах, услугах, персонале, технологиях, материалах etc.)
SQL Server Integration Services — миграция и интеграция данных. Подробнее тут.
SQL Server Analysis Services OLAP и data mining внутри SQL сервера. Подробнее тут.
Главный инструмент — мозг
Наверное сложно спутать четыре графика, изображенных ниже. Однако, если бы вместо визуализации, мы бы посчитали среднее значение, вариацию, корреляцию и построили бы регрессию на их основе, то мы бы удивились, получив совершенно одинаковый результат.
(Anscombe's quartet)
Это наглядный пример того, что как бы мы не оптимизировали процесс принятия решения аналитику необходимо проводить исследовательский анализ данных (Exploratory Data Analysis). Для этого ему тоже необходимы инструменты, но уже несколько иного плана. Это прежде всего возможность интерактивной работы и обработки данных, а так же их трансформации и визуализации. Представим краткую выборку доступных инструментов и материалов на примере языка python и работ по визуализации (с указанием типичных ошибок).
Визуализация данных:
Интерактивная работа с данными в python:
- Умная интерактивная консоль IPython
- Анализ Pandas
- Визуализация внутри python окружения Matplotlib
- Взаимодействие между R и python R2py
- Интерактивные веб-графики в plotly
Бонус-инструмент
В процессе написания статьи Microsoft анонсировала покупку инструмента аналитики от компании Datazen, поэтому будет полезным его кратко упомянуть.
Datazen — это мульти-платформенное решение, позволяющее построить отчетность, независимо от платформы (PC, iOS, Android, Windows Phone). Отличительной чертой продукта является широкая интеграция и возможность полноценной работы аналитической платформы через мобильные устройства.
Плюсы: поддерживает широкий спектр платформ, поддерживается и развивается MS, работает с большим количеством источников.
Минусы: Не работает с OLAP напрямую (необходимо создавать запросы MDX самостоятельно), имеет ряд ограничений (начиная от возможностей интерфейса и заканчивая настройкой функциональности), не продается отдельно, идет в комплекте с MS SQL Enterprise Edition.
В следующей статье мы рассмотрим Datazen и Pyramid Analytics в деталях, а также разберемся как на их основе создавать отчетность.
KREGI
Еще:
SAP Lumira (http://saplumira.com/), очень похоже на MS Power BI (или наоборот, MS Power BI похож на SAP Lumira).
SAP Lumira, cloud edition (http://go.sap.com/product/analytics/lumira/cloud.html)
SAP Crystal Reports (http://www.sap.com/solution/sme/software/analytics/crystal-bi/index.html)
ivankapcov
Спасибо за информацию, SAP решениями мы не занимается, хоть будем знать конкурентов в лицо :)
Fbist
А до этого вы их не замечали? :-)
Полгода выбираем в компании решение класса BI.
Ловите еще в копилку:
-Oracle bi;
-SAS;
-решение компании IBM;
-решение компании ТЕРН;
-ПРОГНОЗ.
Это по памяти, из того что смотрели.
По большому счету пришли к выводу, что продукты на 90% сходны по функционалу. Отличаются полнотой поддержки статистического аппарата и автоматизации финансового планирования и моделирования.