Задача сбора данных с подразделений актуальна, если у нас нет единой учетной системы, из которой всегда можно получить информацию. Для среднего и крупного бизнеса это могут быть периодические отчеты отправляемые в головную компанию, а для малого бизнеса, например, ежедневные таймшиты или отчеты по проектам.
Как правило, организован этот процесс следующим образом
Есть руководитель, который заинтересован в получении сводной информации по подразделениям. Он ставит задачу своему ближайшему подчиненному (назовем его “аналитик”), о получении этого отчета.
Очевидным решением для аналитика является создание Excel-шаблона, который он рассылает по подразделениям. В подразделениях в свою очередь есть сотрудники, которые владеют этой информацией. Они заполняют шаблоны и присылают файлы обратно аналитику по почте. Половина из них ошибается и присылает исправленный файл на следующий день.
В итоге, аналитик тратит два дня на объединение всех этих файлов в один и подготовку сводного отчета. Руководитель же после просмотра сводного отчета понимает, что в нем не хватает данных, и просит добавить еще один столбец, который аналитик не предусмотрел. И вся цепочка повторяется с начала, рассылаются “шаблоны v2.xls”, отчитывающиеся сотрудники заполняют их и присылают обратно. В итоге у аналитика два набора данных, и понять какие из них актуальны может только он.
А теперь руководителю начинает нравиться этот отчет и он хочет получать его ежемесячно. Через некоторое время, ему захочется смотреть его в динамике и по подразделениям, а это значит, что нашему аналитику надо будет обработать все накопленные файлы за предыдущие периоды, в том числе разобраться в их версиях, слить в новый сводный отчет и т.д. и т.п. Итого, мы получили большой блок полезных данных, которым никто не может пользоваться.
Это типичная ситуация возникновения Excel Hell в отдельно взятой организации.
Рассмотрим основные проблемы в этом процессе.
- Отчитывающиеся вводят данные с ошибками.
В ячейку Excel по умолчанию можно ввести все что угодно. Аналитик получает набор файлов с разными справочниками, форматами времени и чисел и т.п. В крайних случаях отчитывающиеся умудряются склеить ячейки, добавить новые столбцы или вообще прислать совсем другой файл.
- Разные версии данных.
Ошибки и изменения в начальных требованиях ведут к тому, что у аналитика и отчитывающегося копится несколько вариантов одних и тех же отчетов и данных и никто уже не может понять, где последний.
- Аналитик постоянно тратит время на одни и те же действия.
Типовая операция по сведению данных из файлов, полученных от подразделений превращается в основную работу аналитика, а на выходе мы имеем лишь жестко фиксированный отчет, в котором есть агрегированные значения. А исходная информация, на верификацию которой аналитик потратил много времени, теряется.
- Нет доступа к историческим данным.
Аналитик потратил огромное количество времени на сведение и обработку данных, сделал сводный отчет, вероятно даже выложил его в общее хранилище, но как достать оттуда данные? Как проанализировать динамику развития? Нужно опять сводить и обрабатывать данные только уже из сводных отчетов за разные периоды.
- Изменение структуры отчета.
Если руководитель захочет смотреть отчет в другом разрезе или добавить какие-либо данные, которых раньше не было, или просто заменить вид графика на другой — что делать со всеми старыми отчетами? Перестраивать или оставить в “устаревшем” виде?
- Оперативность.
На сбор данных и их сведение расходуется некоторое количество времени, за которое эти данные уже успевают устареть.
Каждая из озвученных проблем, конечно, имеет решение.
Ошибки при заполнении? — можно ограничить доступные значения в ячейках.
Разные версии данных? — завести таблицу в Google Spreadsheet или поставить Sharepoint.
Типовые операции? — написать макрос в Excel.
Исторические данные? — сделать сводную таблицу Excel или разработать свою БД.
Изменение структуры? — обучить аналитика SQL, если на прошлом этапе сделали БД.
Оперативность? — регламентировать процесс и платить премии за соблюдение сроков.
Однако, все эти решения требуют системного подхода, приведения в порядок всех процессов и источников данных, часто еще и внешнего консалтинга. Еще можно за год-полтора внедрить комплексное решение, автоматизирующее все процессы, благодаря которому, теоретически, отпадет необходимость в сборке такого отчета.
Мы думаем, что есть решение, не требующее больших затрат на внедрение и перестройку ваших бизнес процессов, но облегчающее доступ к вашей информации и работу с ней.
Как мы видим правильную организацию такого процесса
Есть набор условий, которые должны соблюдаться в данном процессе.
- Построение шаблона для сбора данных не должно занимать много времени.
Аналитик не хочет тратить много времени на продумывание структуры, задание ограничений на ввод, запрет на редактирование файла и т.п., ведь в начале он еще не осознает насколько это важная информация и что в будущем ему необходимо будет ее обрабатывать.
- Руководитель должен иметь возможность менять требования.
Аппетит приходит во время еды, и до получения первой версии отчета сложно понять, какие данные нам на самом деле нужны. Значит менять и структуру собираемых данных и структуру отчета должно быть можно, при этом без необходимости повторного сбора уже введенной информации.
- Отчитывающимся сотрудникам должно быть просто сдать данные.
С них итак сложно получить нужный отчет вовремя, а лишние проблемы в организации процесса сильно влияют на дисциплину и оперативность.
- Ценность имеет не только сводный отчет, но и исходные данные.
Вероятно, в будущем мы захотим посмотреть на данные в другом разрезе или рассчитать на их основании новые показатели.
- Доступ к данным должны иметь все сотрудники организации.
Все сотрудники должны знать, где можно взять данные и как это сделать.
Теперь постараемся при соблюдении этих условий, избавиться от проблем, описанных выше:
- Отчитывающиеся вводят данные с ошибками.
Нам нужен инструмент, позволяющий быстро настроить шаблон для ввода данных, обладающий базовыми ограничениями на ввод — для числовых, текстовых и справочных данных. При этом, часто отчитывающиеся сотрудники не всегда могут пользоваться внешней системой, а значит нужно давать им возможность пользоваться привычным Excel, и импортировать данные оттуда.
- Разные версии данных.
Все введенные данные должны версионироваться и иметь единственную рабочую версию. Всегда должно быть понятно, кто ввел значение и когда.
- Оперативность.
Введенные значения должны сразу попадать в общее хранилище.
- Трата времени на типовые действия.
Сводные отчеты должны формироваться автоматически, не требовать отдельных процедур формирования.
- Проблема с изменением структуры.
Формирование сводного отчета не должно зависеть от структуры форм ввода, введенные ранее данные не должны теряться при добавлении или изменении столбцов и строк в формы и отчеты.
- Доступ к историческим данным.
Введенные данные не должны храниться в формах и файлах — должны сразу ложиться в структуру, удобную для работы и выборки.
Все это мы постарались реализовать в нашей системе — QuBeQu (Кубеку). Базовой единицей информации является не файл, а показатель с набором аналитических признаков. В QuBeQu есть конструктор форм и отчетов, где пользователь может быстро создать форму определенной структуры, состоящую из набора показателей с указанными признаками. При заполнении формы, данные будут ложиться в единое хранилище, как значения показателя при заданных значениях признаков.
Соответственно, в сводном отчете, автоматически будут доставаться значения этого показателя (либо рассчитываться по формуле). Для простоты заполнения форм, мы поддерживаем импорт из Excel, copy-paste через буфер обмена и клавишную навигацию по таблице. Все данные полностью версионируются. Даже если удалить значение в ячейке, мы можем показать, какое число там было, кто его ввел и кто удалил. Кроме того, для обеспечения прослеживаемости информации, все вычисленные и сагрегированные значения можно раскрыть до исходных данных — вам не понадобится бегать по ячейкам Excel и понимать, что значит та или иная формула. Формулы пишутся не в терминах положения ячеек в таблице, а в терминах показателей и их признаков, т.е. в QuBeQu “Выручка”=”Доход”-”Расход”, а не “A1=B1-C1”.
Вы наверняка скажете, что поддержка такой системы требует затрат, потому что не бывает, чтобы “все само работало”. Но попробуйте сравнить, сколько времени аналитик тратил бы на сведение информации из файлов, со временем, которое он будет тратить на систему. Даже если это значения одного порядка — мы получаем принципиально разный результат.
Все данные, которые мы получили от отчитывающихся сотрудников структурированы, их можно быстро и просто использовать, они не потеряются. Есть единое место хранения информации, и если аналитиков, руководителей и отчитывающихся сотрудников много — там будет копиться большой объем данных, который можно исследовать.
Итог
Мы описали один из возможных вариантов использования QuBeQu. Возможности системы шире, чем описано в данной статье: коннекторы к внешним системам и базам данных, вычисления, версионирование, дашборды и графики.
Комментарии (18)
McKinseyBA
03.04.2015 11:33+1“Выручка”=”Доход”-”Расход”, а не “A1=B1-C1”
Прежде чем критиковать — познайте суть. Именно такая операция стала возможной ещё в 2010 Excel, а может и в 2007. «Диспетчер имен» Вам в помощь.
starbuk Автор
03.04.2015 12:45Мы не пытаемся критиковать, более того, мы представляем возможности Excel — вопрос только в том, как на практике люди им пользуются.
McKinseyBA
03.04.2015 11:54+2Глянул ваши цены — 18 000 р / год против 500 $ у Tableau… Надеюсь, вы понимаете, что вас спасает только курс, т.к. функциональность продуктов не сопоставима.
starbuk Автор
03.04.2015 12:51Да, функциональность не сопоставима, вы правы, однако и решаемые задачи совсем разные. Tableau, насколько я знаю, позиционируется как визуализация и аналитика ваших данных, но не как сбор и сведение. Это отличный продукт, если у вас уже есть единое хранилище (или несколько достаточно структурированных), вам лишь нужно построить внешний репортинг на нем. Или я не прав?
McKinseyBA
03.04.2015 14:08Вы сильно не правы —
свистелки/перделкивизуализация никому не нужна без решения «под ключ», которое включает Tableau engine + десятки (если не сотни) способов интеграции с кучей сторонних хранилищ данных. К тому же я специально привел цену решения online (ваш концепт). Сам я не продаю и не внедряю Tableau, просто не понимаю в чем прелесть именно Вашего продукта перед лидерами рынка, которые ещё и стоят почти как Ваш…
У Вас на сайте нет примеров внедрений — их просто нет на сайте (надо добавить обязательно) или в природе?
PS: не обижайтесь на критику, но по моим соображениям, то о чем Вы пишете в статье можно сделать в Excel (включая сбор данных и предоставление пользователю результата в удобной форме). Подписка на Office 365 стоит 150 руб. в месяц…starbuk Автор
03.04.2015 14:26Я не обижаюсь, собрать комментарии как раз является целью этой статьи.
По теме: то что визуализация сама по себе никому не нужна мы понимаем. Tableu, например внедряется через партнеров, которые на самом деле оказывают консалтинговые услуги, и используют визуализацию как инструмент для реализации какой-то собственной методики. В этом процессе на самом деле ключевым продуктом является методика, а не инструмент. Очень мало компаний покупают Tableau само по себе, без оказания услуг по настройке и консалтингу.
Лично я не видел, чтобы кто-то решал такие задачи сбора данных с сотрудников с помощью office 365 или tableau — а вы? Следующий вопрос — почему? Может быть задача недостаточно критична (иначе бы давно внедрили супер-erp, которая все сама делала), может потому что пользователи этим занимающиеся недостаточно компетентны, а может потому что таких задач вообще нет. Это мы и пытаемся узнать.
Про внедрения: к сожалению они пока недостаточно типичны, чтобы их можно было описывать. Мы ищем нишу, которую могли бы закрыть нашим продуктом. Для этого описываем возможные применения и изучаем реакцию.
JetHedgehog
03.04.2015 14:42Тогда вы конкурируете с продуктами типа KnackHQ и форм-билдерами типа JotForm.
Т.е. формочки сбора данных и работы с ними в таких интерфейсах лепятся на раз-два. И потом например с помощью Tableau и других подобных средств данные из хранилища (например MySQL) легко визуализируются.
Да, у вас преимущество — интегрированное решение. Но настолько ли это большое преимущество с учетом предыдущих пунктов? Допустим, я делаю небольшую custom CRM «под ключ» заказчику из малого бизнеса с аналитикой (это реальный кейс). Могу взять Knack, или другой билдер и быстро это запилить. Потом добавить аналитику с помощью любой внешней системы (вот еще пример — Kipfolio). Получается настраиваемое, модульное, масштабируемое решение. Какой мне резон выбрать для этих целей например QuBeKu?
Конечный пользователь из SMB все равно не будет программировать все это сам, т.е. ваше решение я так думаю все-таки для разработчиков. Или нет?starbuk Автор
03.04.2015 15:10Да, в данном контексте мы видимо с ними и конкурируем. Не знаю возможности KnackHQ — надо будет изучить подробнее. Есть слабая надежда, что пользователь сам сможет строить себе всю структуру и решение будет не для разработчиков, но пока похоже, что этого добиться не получится.
Kipfolio, на первый взгляд очень похож на то, что мы предлагаем, думаю, отличие в деталях — может стоит попробовать и сравнить? Вы знаете примеры использования?
Например, klipfolio не имеет встроенных коннекторов к 1С или битрикс24 — может быть это аргумент для использования QuBeQu. Или нет?
JetHedgehog
03.04.2015 17:51> Есть слабая надежда, что пользователь сам сможет строить себе всю структуру и решение будет не для разработчиков
Тогда это будет Zoho CRM :)
> Kipfolio, на первый взгляд очень похож на то, что мы предлагаем, думаю, отличие в деталях — может стоит попробовать и сравнить? Вы знаете примеры использования?
Пример использования — дашборд на основании моих данных из БД. Пока честно говоря нет мотивации сравнивать это с QuBeQu по обозначенным выше причинам.
> klipfolio не имеет встроенных коннекторов к 1С или битрикс24 — может быть это аргумент для использования QuBeQu
Средней силы аргумент. Написать экспорт из систем с API вовсе несложно. Просто допустим я использую битрикс24… зачем мне тогда QuBeQu? В битриксе уже вся отчетность есть. А если мне нужен конструктор именно своих форм, то тогда не нужен битрикс.
JetHedgehog
03.04.2015 18:02Посмотри еще вот на этот проект. Кажется, вы думаете в одном направлении.
McKinseyBA
03.04.2015 15:21+1задачи сбора данных с сотрудников с помощью office 365 или tableau — а вы?
в одной из моих предыдущих компаний (в качестве ERP выступал SAP) небольшой объем данных, использовавшихся в SAP BI, добывался при помощи Excel+VBA. Но думаю таких примеров каждый может привести десятки. Excel реально удобный инструмент, позволяющий собой заменить почти все. Недавно заменил им MS Project — результат устроил всю проектную команду.
Повторюсь не вижу пока нишы для Вашего продукта — дай бог чтобы я ошибался и вы себя нашли.
ИМХО — пытаясь пнуть святое, в котором ещё «отцы работали» и чему нет альтернатив нужно быть готовым, что покажут много вариантов как с помощью этого святого решить ваши проблемы.starbuk Автор
03.04.2015 15:26Повторюсь не вижу пока нишы для Вашего продукта — дай бог чтобы я ошибался и вы себя нашли.
Спасибо.
Пока мне тоже кажется, что это не совсем типовая задача. Мы также исследуем и другие возможности применения, скорее всего еще опишем их в ближайшее время.
McKinseyBA
03.04.2015 15:26+1Забыл упомянуть про бесплатный MS PowerPivot, который вообще ураган в плане приема информации из разных источников.
JetHedgehog
03.04.2015 17:53+1И еще есть более мощный Power BI, который по оценкам от Gartner уделывает почти все остальные решения по бизнес-аналитике по скорости, цене и простоте внедрения и может подключиться почти к чему угодно. И при этом почти бесплатен.
McKinseyBA
03.04.2015 18:09это суть одно и тоже — просто ссылочки разные)
Но да, за этой штукой похоже будущее.
jasiejames
Добавьте хаб «Я пиарюсь»
MiXaiL27
А еще лучше в корпоративный блог!