У заказчика / покупателя, как у любой открытой системы, есть вход и выход – доходы и расходы. Он ожидает, что расходы на автоматизацию позволят, как минимум, сократить издержки, а в идеале – увеличить доходы, то есть будут эффективны. Чтобы управлять эффективностью, важно уметь ее оценивать.

Перефразируя известный парадокс нобелевского лауреата Роберта Солоу, мы наблюдаем цифровую эру всюду, кроме статистики по производительности труда: ИТ не оправдывают наши ожидания на лучшую экономику. Правда, профессор Стэнфорда Эрик Бриньолфссон предложил еще один парадокс – при всей очевидности, не существует метода прямой и строгой оценки эффекта от внедрения ИТ: лишь время покажет, и порой, увы, не скоро.

Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени, во все известные эпохи, зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но - вспоминаем теорию систем – еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.

Вместе с тем, есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ – от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема примерно такая (см. табл. 1):

• Сначала определяете параметры бизнес-процессов, на величину которых можно влиять: скажем, вы автоматизируете складские операции, одним из параметров может быть скорость инвентаризации.

• Затем выясняете норму улучшения каждого параметра – ищете в открытых источниках данные по аналогичным отраслевым проектам.

• Далее собираете фактические оценки нужных параметров на объекте автоматизации – а если таких фактов нет, то апроксимируете аналогичные данные по рынку.

• Завершаем элементарной арифметикой – умножаем норму улучшения параметра (в%) на факт и получаем значение ожидаемого эффекта от внедрения ИТ в части указанного параметра.

Эта оценка – прогноз, хоть и высоковероятный, при условии качественного анализа нормы улучшения. Необходимы регулярный мониторинг фактических значений параметров в ходе эксплуатации конкретного ИТ-решения – и понимание, что цифровых чудес не бывает, а эффективность организации определяет множество факторов, главный из которых – человеческий.

 Таблица 1 - Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)

 В свою очередь, о результативности проекта автоматизации можно судить по достижению ожидаемых эффектов. Сначала, в соответствии с теорией системного анализа, оцениваем степень достижения каждого из них по следующим критериям:

• адекватность/пригодность (соответствие проекта внедрения АИС ожидаемому эффекту в плане достижения его максимума);

• оптимальность (необходимость и достаточность проектных решений для эффекта);

• превосходство над потенциальными аналогами (насколько решения лучше тех, что есть или могли бы быть вместо).

•  Далее по всем критериям для каждого ожидаемого эффекта необходимо дать оценку по нечеткой шкале:

  • да – 1;

  • почти да – 0,8;

  • больше да, чем нет – 0,6;

  • больше нет, чем да – 0,4;

  • почти нет – 0,2;

  • нет – 0.

Таким образом, по правилам нечеткой арифметики, оценивание результативности ИТ-проекта сводится к расчету среднего арифметического из суммы значений оценок по каждому критерию каждого из эффектов и соотнесения полученного значения с нечеткой шкалой (качественной оценкой).

Также можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.

Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать про более объективные количественные показатели (деньги, продуктивность, тренды), используя их все в совокупности.

Как при этом оценить в целом, насколько хорошо мы автоматизируем те или иные бизнес-процессы? Хорошо и плохо в данном случае – совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя – и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо/плохо невозможно – ее нужно приземлить на семантику цифры.

Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл – число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации "хорошей автоматизации" может стать оценка ее полноты – степени покрытия бизнес-процесса функциональностью информационной системы.

Оценке нужны шкала и критерии – воспользуемся тем фактом, что, в соответствии с теорией вычислительной сложности, наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (см. табл. 2). Этот же принцип используем для соотнесения значений метрик и шкалы.

Таблица 2 – Методика оценки полноты информатизации и автоматизации бизнес-процессов

Сокращения:

• АИС – автоматизированная информационная система

• БП – бизнес-процесс

• ЖЦ – жизненный цикл бизнес-процесса, совокупность этапов его реализации

Тогда для определения полноты автоматизации процесса необходимо посчитать число этапов его жизненного цикла – в реальных кейсах, на основании регламентов и экспертизы из аналогичной практики. Следует также свериться с разработанной ранее функциональной моделью. Далее полноту оцениваем по каждому критерию и выставляем по шкале. Получаем множество из трех оценок – в качестве результирующего берем то значение шкалы, по которому полнота удовлетворяет не менее чем двум критериям.

Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.