Приветственное слово

От переводчика

Всем привет, я Павел. Из 15 лет, отданных ИТ, на протяжении последних 6 лет я работаю в одном из старейших CRM агентств в СНГ на позиции системного архитектора и R&D. Каждый год через меня проходит множество интересных проектов. Некоторые из них добираются до стадии proof of concept, другие закрываются пилотами, третьи стали частью новых компонентов ИТ экосистем или CRM стратегий, идеи, которым повезло меньше, остаются на бумаге. В эти непростые для отрасли времена, мне хочется поделиться с вами опытом, рассказать о проектах и подходах, которые смогут вдохновить вас на реализацию новых продуктов и решений. Возможно через призму моего опыта вам удастся по другому взглянуть на аббревиатуру "CRM" и узнать что-нибудь новое о процессах, которые существуют в большом бизнесе.

Введение

Будучи в авангарде CRM отрасли, можно с уверенностью говорить о росте заинтересованности рынка в Data Driven Marketing, что говорит о востребованности рынка в инструментах, способных помочь компаниям в развитии продуктов и управлении сбытом, в распределении бюджетов и оптимизации рекламных коммуникаций.

Очевидно, что темы Data Governance и CRM обретают взаимное притяжение, хотя многие термины и процессы (например, Data Quality) только-только находят своё место даже в самых крупных компаниях. Об этом говорит отсутствие понятных инструментов и фреймворков, отвечающих на вопрос, - "Как перейти к принятию решений на основе данных?", - а также то, что такие инструменты как BI системы и прочие артефакты диджитальной культуры по прежнему рассматриваются, как инструменты ретроспективного анализа.

Ниже вы можете прочитать мой перевод статьи Эрика Балодиса, на тему о том, какое место в организации занимает Decision Intelligence. Как принимать решения и что делать если вы хотите принимать решения на основе данных, но не знаете с чего начать?

Decision Intelligence

Интерес к аналитике принятия решений (Decision Intelligence, DI) растет уже некоторое время, и предлагаемые императивы для ее внедрения разнообразны - от принципиальных и альтруистических соображений [1] до требований к реализации автоматизации процессов "action-to-outcome" [2] и их комбинации.

С моей точки зрения, существует целый ряд причин для изучения этой области:

• инвестиции в данные с целью "принятия лучших решений" - очень расплывчатая формулировка;

• желание улучшить культуру принятия решений и снизить риски, вызванные неструктурированным или ситуативным принятием решений, основанным в основном на эвристике;

• желание рассматривать Decision Intelligence (DI) как объединяющую дисциплину, учитывающую опыт социальных наук, количественных методов и концепций бизнеса.

Очевидно, что существует множество факторов, побуждающих к внедрению DI (Decision Intelligence – прим. пер.), предположительно зависящих от индивидуального или организационного контекста.

Для тех из нас, кто работает на стыке аналитики и бизнес-стратегии, это, возможно, не станет сюрпризом, но существует целый ряд причин, которые звучат обосновано. Обобщённо они делятся на следующие категории:

• Оптимизация инвестиций в данные и аналитику;

• Оптимизация разработки и повторного использования данных, аналитики, продуктов и артефактов для принятия решений;

• Повышение внимания к деятельности по поддержке принятия решений для реализации бизнес-стратегии и надзора.

Что же дальше?

Разнообразие взглядов

Начнем с отсутствия единой трактовки процесса DI. Существует столько же определений DI, сколько и причин для его внедрения в бизнес. Тем не менее, лидирующие определения в этой области начали формироваться как минимум вокруг трех различных взглядов на DI, которые имеют много общих элементов:

Dr. Lorien Pratt’s "Link" и Causal Decision Diagram

Я с энтузиазмом ждал выхода книги Лориен [1] (книга тут – прим. пер.) в 2019 году и надеялся, что в ней будут собраны все концепции, описания, интерпретации DI. Лориен исследует область DI уже более десяти лет и стала одним из главных спикеров в этой области. Я настоятельно рекомендую вам ознакомиться с некоторыми статьями, блогами, подкастами и видео Лориен, чтобы получить представление о ее взглядах на DI.

Ее книга представляет собой краткое изложение основ DI, представленное наряду с несколькими основными концепциями. В частности, Лориен выступает за использование "диаграммы причинно-следственных решений" (Causal Decision Diagram, CDD).

CDD - это ценный инструмент, который позволяет пользователю "проектировать" решения путем определения трех основных компонентов решения (действия, причинно-следственные связи, результаты) и их совокупного влияния на желаемый результат. Линк приводит несколько примеров и даже представляет методы проектирования CDD, подчеркивая полезность CDD как основы для использования данных, информации, аналитики или моделей ML / AI.

Dr. Cassie Kozyrkov (Chief Decision Scientist, Google)

Еще один важный человек в этой области - главный специалист Google по принятию решений доктор Кэсси Козырьков. Помимо впечатляющего резюме и биографии, Кэсси - очень талантливый оратор и писатель, который активно участвует в жизни сообщества специалистов data science и бизнеса, часто используя анекдотические истории или интернет-мемы, чтобы донести свою мысль. Как и в случае с Лориен, я советую вам ознакомиться с некоторыми статьями и видеороликами Кэсси (например – прим. пер.).

Насколько мне известно, наиболее широкая концепция DI была изложена Кэсси в этой статье [3], в ней искусно сочетаются поведенческая экономика и психология, наука о данных, статистика и наука о принятии решений. Я ценю широту охвата и то, как она одновременно представляет условия, при которых требуется строгость статистики, а также описывает роль жестких и мягких факторов, влияющих на принятие решений в условиях неопределенности. Я думаю, что междисциплинарный взгляд Кэсси на DI приглашает к обсуждению роли предвзятости, эвристики и культуры принятия решений в современном применении данных и аналитики для принятия решений.

Модель "Engineering Decision Intelligence", упомянутая в исследовании Gartner®

Те из вас, кто следит за DI, возможно, заметили, что эта область появилась в "Top Trends in Data and Analytics, 2022" [4], а также в "Gartner® Hype Cycle™ for Analytics and Business Intelligence, 2021" [5].

Поэтому я уверен, что Gartner явно наблюдает за этой темой, они даже разработали собственное определение и рамки для DI. Стоит отметить, что DI были представлены на их виртуальном саммите по данным и аналитике в мае прошлого года (2021-го – прим. пер.).

Gartner определяет Decision Intelligence так:

"Decision Intelligence - практическая дисциплина, используемая для улучшения принятия решений путем четкого понимания и разработки того, как принимаются решения, оцениваются результаты, управляются и улучшаются процессы с помощью обратной связи". [6]

Чтобы узнать больше, вы можете прочитать исследовательские отчеты Gartner (доступные только подписчикам Gartner) (если нагуглите, поделитесь, пожалуйста, в комментариях – прим. пер.).

Чего не хватает?

Несмотря на вышесказанное, в открытых источниках очень трудно найти руководство по внедрению DI в бизнес. Хотя мы знаем, что DI используются в организациях, на данный момент не существует руководства по их применению. Большинство опубликованных материалов в этой области либо слишком теоретические, либо слишком тесно связаны с проприетарными сервисами или фреймворками, и, как правило, в них отсутствует пошаговый подход к "переходу" (к переходу от обычного принятия решений, к DI, в оригинале "getting off the ground" – прим. пер.).

Данная статья не сможет полностью устранить этот пробел, но она делает важный шаг, предлагая открытый фреймворк, описывающий основные группы процессов DI, которая может служить каркасом для внедрения DI в любой компании.

Структура процессов для внедрения Decision Intelligence

Здесь я предлагаю схему, которая описывает основные виды деятельности и факторы, способствующие развитию целостной операционной модели Decision Intelligence и принятия решений. Эта модель, представленная ниже, объединяет концепции из нескольких различных определений DI и наук о решениях и служит руководством для внедрения возможностей DI в организациях:

Эта структура построена вокруг двух основных принципов:

• Основные виды деятельности (Core Activities – прим. пер.), которые включают подгруппы для Decision Design, Decision Support, Decision Optimization, и Decision Review, описывают основные виды деятельности операционной модели DI, созданной в организации;

• Способствующие факторы (Enabling Factors – прим. пер.). (Organizational Capabilities и Decision Culture) описывают компоненты организации, которые усиливают или позволяют осуществлять основную деятельность (Core Activities – прим. пер.).

Следующие разделы в общих чертах описывают каждую из этих областей и призваны дать читателю основу, в виде этой структуры (на которую можно опереться в собственных изысканиях – прим. пер.).

Core Activities — Pre-Decision

Decision Design

Первый набор действий происходит до принятия решения и описывает процесс "проектирования" решения - то есть, принятие первых критических шагов по созданию структуры решения, которая позволит всем последующим шагам опираться на данные изыскания.

Decision Framing

(Определение границ принятия решений – прим. пер.).

Известные психологи Канеман и Тверски определяют границ принятия решения следующим образом:

(Границы решения – прим. пер.) - "... представление лица, принимающего решение, о действиях, результатах и непредвиденных обстоятельствах, связанных с конкретным выбором." [7]

Из этого определения видно, что оно эффективно устанавливает границы решения - каковы мои действия (рычаги), результаты (желаемые или нет) и непредвиденные обстоятельства (риски и внешние факторы)? Далее они показывают, что предпочтение при принятии решения сильно зависит от формулировки - даже если ожидаемые результаты идентичны.

Очевидно, что процесс правильного формулирования решения является ключевым не только для определения границ решения, но и для выработки желаемого процесса принятия решения. Таким образом, они должны отвечать на следующие вопросы:

• Каковы мои желаемые результаты?

• Сколько я готов инвестировать в достижение этих результатов?

• Каковы мои риски? Являются ли они приемлемыми?

Действительно, вы должны знать ответы на эти вопросы до того, как посмотрите на данные, потому что они могут быть опровергнуты в результате изучения данных - даже если вы этого не предполагаете! [8]

Системный подход к определению границ принятия решений является критически важным условием для процессов принятия решений на последующих этапах.

Decision Mapping

(Картографирование процесса принятия решения – прим. пер.).

Доктор Лориен Пратт проделала отличную работу по разъяснению полезности Causal Decision Diagram в своей книге "Link" и соответствующих статьях (как обсуждалось выше). Этот метод очень полезен для отражения действий, причинно-следственных связей и результатов в простом графическом формате, который располагает к обсуждению, вовлечению, прозрачности и структуре.

Существуют аналогичные системы (например, подход Логической модели правительства Канады [9], некоторые интерпретации сбалансированной системы показателей Каплана и Нортона [10] и т.д.), однако они обычно связаны с деятельностью на уровне программы/проекта, а не с действиями в рамках процесса принятия решений (например, входы => действия => результаты).

Основными преимуществами Decision Mapping являются [1]:

• Оно уменьшает количество факторов, которые вы должны "держать в голове", через графическое представление причинно-следственных связей между действиями, участниками и желаемыми результатами;

• Дает возможность значительно расширить круг участников в процессе принятия решений путем "объединения" вокруг CDD;

• Он представляет причинно-следственные связи, которые служат точками интеграции для данных и аналитических продуктов, метрик, информации, прогнозных моделей и т.д. и таким образом организуют многочисленные входы в единое решение;

• Он дает возможность пересмотреть весь процесс принятия решения после принятия решения и обеспечивает повторное использование артефактов решения.

Упрощение Decision Mapping имеет решающее значение для внедрения структурированного принятия решений с помощью CDD или связанных с ними процессов принятия решений.

Decision Augmentation

Деятельность, сгруппированная в разделе "Decision Augmentation", основывается на шагах "Decision Design", оценивая разработанные решения и четко определяя, где есть точки интеграции для данных и/или аналитики. Здесь предлагается провести анализ дизайна решения с целью определения пробелов или проблем, которые могут быть или не быть разрешимыми.

Data and Analytics Integration

Спроектированное решение - например, представляющее серию действий до результата - дает возможность четко определить, где и как данные или аналитика могут поддержать последующие процессы, предшествующие принятию решения (например, моделирование), или как определить, будет ли действие иметь запланированный результат.

Обоснование простое: если у вас есть путь "действие - причинно-следственная связь - результат", то на самом деле перед вами математическая функция. Например, если моим действием является увеличение расходов на рекламу, а результатом или промежуточным звеном - увеличение продаж, то существует математическая функция, которая описывает взаимосвязь между расходами на рекламу и продажами.

Таким образом, для проработки решения в рамках описанной выше схемы мы можем взять подкомпоненты решения, чтобы прикрепить к ним конкретные данные, метрики, аналитику, прогнозные модели и т. д. В равной степени мы можем рассматривать блоки подкомпонентов (например, кластеры "действие - связь - результат" или аналогичные), которые, как известно, имеют взаимосвязи, управляемые одной совокупной взаимосвязью, описывающей действия и результаты. В книге Лориен Пратт "Link" проделана большая работа по представлению Causal Decision Diagram как основы для интеграции данных и аналитики (автор оригинальной статьи видимо очень сильно ждал эту книгу – прим. пер.).

Выявление неопределенности

Все решения принимаются в условиях некоторой степени неопределенности - особенно в контексте современного бизнеса и вдвойне в мире "VUCA" [11].

VUCA означает волатильность (volatility), неопределенность (uncertainty), сложность (complexity) и двусмысленность (ambiguity). Оно описывает деятельность в условиях постоянных, непредсказуемых изменений, которые сегодня являются нормой в некоторых отраслях и сферах.

Независимо от того, являются ли эти источники неопределенности внешними или внутренними, или вызваны проблемами с качеством данных, они представляют собой проблему для лица, принимающего решения. Существует множество подходов и практик для принятия решений в таких условиях - от бизнес-процессов [12] до статистических подходов, основанных на Expected Utility [13].

Expected Utility - экономический термин, обозначающий "пользу", которую, как ожидается, получит организация при любых обстоятельствах. Рассчитывается через средневзвешенное значение всех возможных исходов.

С точки зрения внедрения Decision Intelligence, я думаю, что эта часть процесса заключается в оценке разработанного решения на предмет неопределенности. В частности, несмотря на то, что этот вопрос возник в несколько спорном контексте, полезно оценить неопределенность, используя подход Рамсфельда, который нашел сторонников в других научных областях [14]:

Решение имеющее определенные границы дает возможность рассмотреть контекст решения на верхнем уровне и определить, где у нас есть известные факты, неизвестные и т.д. В равной степени CDD даёт возможность рассмотреть каждую причинно-следственную связь и выявить неопределенности используя подход Рамсфельда (как указано выше), а также (если данные и аналитика интегрированы) с точки зрения статистики, например: какова погрешность, как выглядит качество данных, и т.д.

Что касается этой схемы процесса, то, проактивно выявляя области неопределенности, мы готовимся признать ограничения нашего процесса принятия решений и даем себе шанс выявить систематически неразрешимую неопределенность или области, где мы могли бы снизить уровень неопределенности при принятии решений.

Decision Optimization

Разработанное решение дает нам возможность рассмотреть, есть ли возможности для оптимизации действий с помощью моделирования, и/или согласовать подход к принятию решения с контекстом и его дизайном. Этот набор процессов дает возможность рассмотреть заключительные шаги перед принятием решения.

Modeling

Этот шаг возможен там, где хорошо структурированные решения дают возможность моделировать связи между действиями и результатами в рамках CDD (или логической модели, или аналогичной). Потенциально это позволяет оценить совокупное влияние действий на результаты от принятия решения. Там, где данные не позволяют разработать детализированную модель, и оценка суммарного влияния решения на конкретный или промежуточный результат (например, "больше" или "меньше" результата Х будет получено в результате этого действия) может быть полезным в оценке кумулятивного эффекта на все результаты серии событий.

Очевидно, что это сложный процесс, требующий значительных затрат времени и ресурсов, который может соответствовать или не соответствовать контексту решения. Однако - это потенциально ценный шаг, так как он позволяет оптимизировать решение по отношению к целевым бизнес-результатам.

В более широком смысле мы также можем рассматривать автоматизацию принятия решений как потенциальную цель более широкого набора действий, направленных на оптимизацию связи между действиями и результатами. Компания O'Reilly подробно описала роль, которую играет AI в автоматизации принятия решений, и далее объяснила, что целью применения AI на самом деле должна быть Decision Intelligence [2]!

Независимо от того, решите ли вы моделировать решение или нет, должно быть ясно, что организациям, желающим моделировать и оптимизировать (и автоматизировать - прим. пер.) свои решения, придется привлекать собственных специалистов по анализу данных и/или привлекать внешних поставщиков услуг для поддержки этого процесса.

Подход

Хотя много говорится о подходах к принятию решений, основанных на данных, реальность такова, что во многих обстоятельствах они не являются оптимальными или даже желательными. На недавнем саммите Gartner® Data and Analytics Summit компания Gartner провела несколько сессий, посвященных принятию решений.

В частности, Гарет Хершел, аналитик Gartner, предложил, что "лучшие решения смешанные" (ориг. "“the best decisions are blended” - прим. пер.), и "любой подход имеет сильные и слабые стороны" [16]:

Я бы распространил эту концепцию на части решения, например, связи между действиями и результатами в CDD, с точки зрения этого подхода, также могут иметь сильные и слабые стороны. Например, инстинктивный (т.е. эвристический) подход к оценке того, повлияет ли то или иное действие на результат, может подойти в тех случаях, когда чувствительность результата к данному действию низка или когда сбор данных обходится непомерно дорого. Это также хороший способ адаптировать подход к участникам процесса принятия решения (см. выше).

Оценивая решение (или компоненты решения) на предмет наилучшего подхода, мы также должны учитывать предвзятость в принятии решений [17]. Хотя это не является темой данной статьи, это одна из основных сил в организационной культуре и процессе принятия решений, и существует много дискуссий по этому вопросу.

Для целей данной схемы важно признать, что существует целый ряд подходов, и что часть вашего процесса принятия решения должна учитывать наиболее подходящее сочетание подходов для конкретного контекста принятия решения.

Core Processes — Post Decision

Decision Review

Итак, вы предприняли все возможные шаги для разработки, совершенствования и оптимизации решения - и вот вы уже приняли это решение. Точнее, произошло безвозвратное распределение ресурсов [3], сигнализирующее о том, что решение действительно принято и что вы больше не разрабатываете процесс принятия решения и не оцениваете имеющиеся варианты. Даже если нам кажется, что мы уже закончили, мы все равно можем использовать структуру, которую привносит Decision Intelligence в процесс принятия решений, создавая дополнительную ценность за счет ретроспективного взгляда на наше решение и сохранения артефактов решения.

Decision Retrospective

Существует устоявшееся практика оценивать качество решения по качеству результата. Это известно как предвзятость к результату и является дорогостоящей ошибкой, которую склонно совершать большинство из нас [18]. На самом деле, особенно в организационном контексте, где ресурсы ограничены и есть соблазн быстро двигаться дальше, кажется очевидным, что предвзятость к результату может скрыть важные факты о процессе принятия решения, которые определяют, как мы принимаем решения в дальнейшем.

"Даже самое лучшее решение имеет высокую вероятность оказаться неверным. Даже самое эффективное решение в конечном итоге устаревает".

Peter F. Drucker [19]

Если мы признаем, что Peter F. Drucker прав, что даже лучшее решение может быть ошибочным, тогда мы должны признать, что хорошее решение может иметь плохой результат. Другими словами, качество решения должно оцениваться по достоинствам его процесса.

Ретроспектива решения - это возможность спросить, был ли процесс принятия решения обоснованным, а в случае плохого исхода определить, можно ли было сделать что-то еще. Обратите внимание, что даже при хорошем исходе процесс принятия решения мог быть плохим. Ретроспектива решений дает нам возможность внедрить непрерывное совершенствование в систему принятия решений.

Извлечение Decision Artifacts

Хорошо задокументированное решение, состоящее из четкие ограничения, плана, возможно карты решений связанной с данными и аналитикой, извлеченными уроками и т.д., предоставляет широкие возможности для сохранения и повторного использования всех этих артефактов для будущих решений. Аналогичным образом, субкомпоненты (например, любая информация, которая была предположена и проверена через связь "действие - причинно-следственная связь - результат") могут быть повторно использованы в качестве субкомпонентов будущих карт решений.

Безусловно не все решения будут поддаваться такому типу сохранения знаний, но для тех, которые поддаются, есть возможность сократить объем будущей работы, необходимой для создания аналогично структурированных решений.

Извлечение Decision Artifacts - там, где это применимо - обеспечивает возможность их повторного использования, что может значительно повысить эффективность применения DI к будущим решениям.

Благоприятные факторы

Хотя в приведенных выше разделах описаны процессы, которые могут быть адаптированы для внедрения Decision Intelligence, они вряд ли будут успешными без корпоративной среды, которая позволяет применять методы анализа решений в корпоративном контексте.

Культура принятия решений

Полномочия по принятию решений занимают центральное место в делегировании ответственности в организациях и подкрепляются культурой, которая поддерживает обоснованный - и часто партисипативный - процесс принятия решений. Эта культура напрямую связана с руководством организации и его готовностью создавать такую культуру [20]. Фактически, она может стать конкурентным отличием:

"Лидеры в принятии и исполнении решений почти всегда добиваются лучших финансовых результатов, чем их конкуренты. [...] важнейшим атрибутом компании, ориентированной на принятие решений, который труднее всего развить, но который наиболее важен для долговременного успеха, является культура, способствующая принятию и исполнению отличных решений во всей организации." [21]

Bain and Company

Конечно, культура принятия решений в организации (ценности, стремление к прозрачности принятия решений, культура непрерывного совершенствования и т.д.) является важнейшим фактором, способствующим применению подхода DI к принятию решений.

Некоторые (относительно) недавние исследования компании McKinsey подчеркнули распространенность проблем, связанных с принятием решений, и предложили подход к адаптации практики принятия решений в зависимости от типа рассматриваемого решения [22]. Это отличный пример предложения по формированию культуры принятия решений, которая стремится сделать акцент на процессе принятия решения, а не только на его результате.

Организационные возможности

Давайте рассмотрим возможности организации и их роль в поддержке надежного подхода к принятию решений, использующего принципы DI. Здесь мы обсуждаем "классические" три организационных аспекта - люди, процессы, технологии.

Во-первых, и это самое главное, подход к принятию решений, основанный на данных или фактических данных, требует, чтобы навыки персонала соответствовали этим целям. Отсюда следует, что наряду с навыками, необходимыми для выполнения основной работы, перечень навыков организации, способствующей принятию решений, будет включать роли, ориентированные на данные (аналитика, наука о данных, управление информацией и т.д.), а также навыки, необходимые для поддержки технологической инфраструктуры, обеспечивающей работу с данными.

Во-вторых, организационные процессы могут поддерживать стремление к структурированному принятию решений и анализу. В частности, управление, управление рисками и управление программами/проектами обеспечивают возможность внедрения в корпоративные процессы практик, способствующих принятию решений. Например, часть аттестации льгот для работы, связанной с программой, может включать ретроспективу и анализ решений. Аналогичным образом, снижение операционного или стратегического риска может включать пропаганду подхода к стратегическим решениям, связанного с DI. Хотя эта область зависит от конкретной организации, она предоставляет средства для "жесткой привязки" DI или структурированных процессов принятия решений к работе организации.

В-третьих, технологические возможности и инфраструктура организации имеют решающее значение для обеспечения возможности хранения, преобразования, визуализации, анализа и т.д. активов данных. Аналогичным образом, эти возможности позволяют хранить/извлекать артефакты решений (в оригинале "assets" - прим. пер.), а также предоставляют возможности сотрудничества и инструменты, которые имеют решающее значение для проведения облегченных обсуждений, имеющих решающее значение для принятия решений.

Как применять этот фреймворк?

Применение всех процессов системы требует значительных затрат времени и ресурсов. Поэтому, более рациональное применение этого фреймворка предполагает его адаптацию к конкретным решениям.

Это основная концепция управления проектами, которая обеспечивает аналогичный сценарий, способствующий соответствующему выбору подмножества всех доступных процессов, методов и т.д. [23]

Концепция проста: не все решения требуют всех процессов, при этом более простые или менее влиятельные решения требуют меньшего подмножества, в то время как более сложные решения потенциально требуют большего.

Что дальше?

Эта статья охватывает очень много областей и не очень глубоко. Однако я надеюсь, что она поможет понять набор взаимосвязанных процессов в рамках простой структуры, которая поможет вам внедрить некоторые из основных концепций DI в корпоративный контекст. Я искренне надеюсь, что другие люди, стремящиеся объединить некоторые из этих идей в единую и консолидированную область DI, смогут воспользоваться этой работой, чтобы вдохновиться - даже если эта структура будет отброшена/переделана/адаптирована. Лично я буду внимательно наблюдать за этой областью и смотреть, как мы превращаем DI в "готовую к производству" практику, отвечающую вызовам нашего общего будущего.

Об авторе

Ссылки

Все ссылки в этом спойлере

[1] L. Pratt, Link: How Decision Intelligence Connects Data, Actions, and Outcomes for a Better World, Emerald Group Pub Ltd., 2019.

[2] O’Reilly Media, “AI Orchestration Enables Decision Intelligence,” Medium, 19 January 2021. [Online]. Available: https://medium.com/oreillymedia/ai-orchestration-enables-decision-intelligence-2a88d8306ac9. [Accessed 26th September 2021].

[3] C. Kozyrkov, “Introduction to Decision Intelligence,” Towards Data Science, 2 August 2019. [Online]. Available: https://towardsdatascience.com/introduction-to-decision-intelligence-5d147ddab767. [Accessed 26th September 2021].

[4] Gartner, “Top Trends in Data and Analytics, 2022", Rita Sallam, 11 March 2022. GARTNER is a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved.

[5] Gartner, “Hype Cycle for Analytics and Business Intelligence, 2021”, Austin Kronz, Peter Krensky, 29 July 2021. GARTNER and HYPE CYCLE are a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and are used herein with permission

[6] Gartner,”Decisions — They Are What You Make Them,”G. Herschel, Gartner Data and Analytics Summit, Virtual, 2021.

[7] A. Tversky and D. Kahneman, “The Framing of Decisions and the Psychology of Choice,” Science, vol. 211, no. 30, pp. 453–458, 1981.

[8] C. Kozyrkov, “The First Thing Great Decision Makers Do,” Harvard Business Review, 25 June 2019. [Online]. Available: https://hbr.org/2019/06/the-first-thing-great-decision-makers-do. [Accessed 26 September 2021].

[9] Government of Canada, “Supporting Effective Evaluations: A Guide to Developing Performance Measurement Strategies,” [Online]. Available: https://www.canada.ca/en/treasury-board-secretariat/services/audit-evaluation/centre-excellence-evaluation/guide-developing-performance-measurement-strategies.html#LogicModel. [Accessed 26 September 2021].

[10] R. S. Kaplan and D. P. Norton, “The Balanced Scorecard — Measures that Drive Performance,” Harvard Business Review, January-February 1992.

[11] N. Bennet and G. J. Lemoine, “What VUCA Really Means for You,” Harvard Business Review, January-February 2014.

[12] A. Alexander, A. De Smet and L. Weiss, “Decision Making in Uncertain Times,” McKinsey & Company, 24 March 2020. [Online]. Available: https://www.mckinsey.com/business-functions/organization/our-insights/decision-making-in-uncertain-times. [Accessed 26 September 2021].

[13] J. Chen, “Expected Utility,” Investopedia, 7 May 2021. [Online]. Available: https://www.investopedia.com/terms/e/expectedutility.asp. [Accessed 26 August 2021].

[14] M. Shermer, “Rumsfeld’s Wisdom,” Scientific American, 1 September 2005. [Online]. Available: https://www.scientificamerican.com/article/rumsfelds-wisdom/. [Accessed 26 August 2021].

[15] A. Mantovani, “Known knowns, known unknowns, unknown uknowns, & Leadership,” Medium, 28 April 2020. [Online]. Available: https://medium.com/@andreamantovani/known-knowns-known-unknowns-unknown-unknowns-leadership-367f346b0953. [Accessed 26 August 2021].

[16] Gartner, “Decisions — They Are What You Make Them,” G. Herschel, Gartner Data and Analytics Summit, Virtual, 2021. GARTNER is a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved.

[17] J. B. Soll, K. L. Milkman and J. W. Payne, “Outsmart Your Own Biases,” Harvard Business Review, pp. 64–71, May 2015.

[18] G. Francesca, “What We Miss When We Judge a Decision by the Outcome,” Harvard Business Review, 2 September 2016. [Online]. Available: https://hbr.org/2016/09/what-we-miss-when-we-judge-a-decision-by-the-outcome. [Accessed 2021].

[19] P. F. Drucker, “The Effective Decision,” Harvard Business Review, 1967.

[20] D. Waller, “10 Steps to Creating a Data-Driven Culture,” Harvard Business Review, 6 Feb 2020. [Online]. Available: https://hbr.org/2020/02/10-steps-to-creating-a-data-driven-culture.

[21] M.W. Blenko, P. Rogers and P. Meehan, “Create a decision-focused culture,” Bain & Company, 15 Apr 2011. [Online]. Available: https://www.bain.com/insights/decision-insights-7-create-a-decision-focused-culture/.

[22] A de Smet, G. Jost and L. Weiss, “Three keys to faster, better decisions,” 1 May 2019. [Online]. Available: https://www.mckinsey.com/business-functions/people-and-organizational-performance/our-insights/three-keys-to-faster-better-decisions.

[23] S. Whitaker, “The Benefits of Tailoring: Making a Project Management Methodology Fit,” PMI White Paper, September 2014. [Online]. Available: https://www.pmi.org/learning/library/tailoring-benefits-project-management-methodology-11133.

---

Мои другие публикации на Хабре

Мои

• Как перестать «писать ТЗ» и начать работать?

• Тренды в управлении документами и хранении данных на 2019 год

Переводы

• Обзор AI & ML решений в 2018 году и прогнозы на 2019 год: Часть 1 — NLP, Computer Vision

• Обзор AI & ML решений в 2018 году и прогнозы на 2019 год: Часть 2 — Инструменты и библиотеки, AutoML, RL, этика в AI