ИТ-персонал круглосуточно смотрит на экраны и показатели работы своих ИТ-ресурсов — так проходит типичная рабочая смена в любом в ситуационном центре, SOC (Security Operational Center) или NOC (Network Operational Center). Ресурсы ваших талантливых инженеров можно использовать намного эффективнее, если внедрить интеллектуальную систему, которая будет выполнять такие задачи самостоятельно. Инженеров можно перераспределить на задачи, где человек и его интеллект нужнее — например, на задачи развития и контроля, — а рутину отдать роботам.  Сделать это можно с помощью AIOps, с которым при этом связано много сомнений.

Как рассчитать рентабельность инвестиций в AIOps?

Стоимость очевидна — цена продукта и усилия, затраченные на его развертывание; но будет ли прибыль? Об этом мы поговорим в этой статье, которая будет полезна в первую очередь CDTO, CDO, CIO, рассматривающим AIOps как перспективное направление развития ИТ в компании. Также она будет полезна системным администраторам, SRE и DevOps'ам, которые не боятся перемен, а используют их в своих целях.

Мы как вендор AIOps-решения MONQ часто сталкиваемся с возражениями "Зачем что-то менять, если и так работает?", "Зачем нам еще один ИТ-мониторинг", "Мы еще к этому не готовы", "Это, наверное, очень дорого" и т.д.

Ответ точно понравится финансовому директору. AIOps и сопутствующие процессы изменений в компании приведут к росту продаж и повышению операционной маржинальности. Внедрение AIOps — это инвестиция в ИТ, которая обладает большим положительным ROI.

Почему сложно начать внедрение AIOps?

Опрос от компании OpsRamp (Top Trends In AIOps Adoption: The Future of Digital Operations Management?) объясняет, почему предприятия немного настороженно относятся к AIOps:

• Существует мнение, что инструменты AIOps являются дорогостоящими в реализации, причем более 50% указывают на то, что цена является ключевой проблемой.

• Соотношение времени и ценности (сложность развертывания) и текущие технологические ограничения стека инструментов AIOps создают идеологические проблемы внутри организаций.

Первый факт реально имеет место быть. "Айопс айопсу рознь", как говорится. Внедрение AIOps от CA (Broadcom) или Microfocus стоит от 300 долларов за каждый хост. Если вы крупный бизнес и у вас более 100 000 хостов — стоимость AIOps, действительно, высокая. Но есть совершенно другие системы, например, облачная BigPanda, Moogsoft, LoomSystem или наша система, где внедрение с лицензиями будет редко стоить дороже 30-50 тысяч долларов, просто потому что мы считаем стоимость по количеству обрабатываемых данных. То есть клиент платит только за то, чем реально пользуется.

Второй факт — это необходимость организационных изменений.

Сегодня во многих крупных компаниях поддержка ИТ-инфраструктуры выглядит таким образом:

1. У каждого продукта или части инфраструктуры есть команда поддержки, которая работает сменами

2. Часть сотрудников следит за состояние серверов, например, на экране Zabbix

3. Другая часть сотрудников следит за подами на кубере продуктивного контура

4. Еще часть команды следит за графиками пользовательской активности и анализирует жалобы пользователей на плохую работу

5. Процесс обычно устроен реактивно: что-то сломалось -> пользователи начали ругаться -> начали расследовать -> починили

6. «Монополию» на данные имеет руководитель поддержки инфраструктуры или продукта

С AIOps и его функциями зонтичного мониторинга процесс поддержки будет выглядеть так:

1. Все данные от пользователей, логи, данные из систем мониторинга автоматически собираются AIOps без участия инженеров.

2. Система сама определяет уровень критичности, автоматически выбирает ответственных и запускает цепочку автоустранения, если это возможно.

3. Процесс устроен проактивно: система непрерывно мониторит, анализирует состояние ИТ и сервисов с позиции пользователя -> прогнозирует сбои и оценивает их влияние на бизнес -> в случае стандартных проблем запускает функции автохилинга -> в случае нестандартных проблем автоматически уведомляет ответственные команды с указанием первопричины сбоя.

4. Доступ к данным может быть гибко настроен.

Таким образом, поддержка с AIOps выглядит иначе, и организационных изменений не избежать. Если в организационной культуре предприятия не принято решать проблемы быстро, измерять работу результатами и не принято делиться информацией, то внедрение AIOps может зайти в тупик.

Какие выгоды дает AIOps?

На рынке существует огромный интерес к перспективам и потенциалу AIOps. Но многие пока воспринимают его очередным хайпом. Предиктивная аналитика может ускорить цифровую производительность, разрушая операционные барьеры, устраняя вечное пожаротушение и повышая эффективность ИТ.

В исследовании OpsRamp респонденты ожидают следующие преимущества от использования AIOps:

• 74% опрошенных ждут возможностей автоматизировать рутинные операции

• 67% считают, что AIOps сможет сократить число и продолжительность дорогостоящих сбоев в обслуживании с помощью более быстрого MTTR (Mean-Time-To-Resolve)

• 58% ИТ-специалистов считают, что AIOps может помочь в обнаружении аномалий, предсказывая изменения в нормальном поведении системы в динамических производственных средах

• 48% респондентов считают основным профитом повышение скорости поиска первопричин аварий (Root Cause Analysis)

Что такое ROI для ИТ-директора?

ROI (Return On Investment) – это коэффициент, показывающий экономический эффект (прибыль или убытки) от вложений, по своей сути это коэффициент окупаемости. Он считается по простой формуле:

ROI = (дополнительный доход от вложения – понесенные затраты) / понесенные затраты ? 100 %.

ИТ-поддержка и эксплуатация по самой своей природе – это затраты, которые несет любой бизнес, зависящий от работы ИТ. И чаще всего ИТ-директор оправдывает те или иные вложения в ИТ за счет снижения затрат, а не увеличения доходов. В этом и заключается загвоздка.

AIOps следует рассматривать как многогранную интеллектуальную машину и новый производственный подход. Включение его в ваши процессы дает преимущества, которые можно и нужно сформулировать во многих других аспектах, а не только за счет затрат. Прежде всего это:

1. Продуктивность. Благодаря тому, что машина может обрабатывать на несколько порядков больше данных, чем человек, и гарантированно выполнять предписанные операции, для полностью автоматизированных инцидентов, может быть достигнуто сокращение среднего времени восстановления (MTTR) до 90%. Это радикальное улучшение по сравнению с ручными операциями. Среднее повышение производительности труда в наших кейсах около 60%. То есть, при том же штате специалистов, они смогут обслуживать в 2 раза большую инфраструктуру, вы сможете их переключить на важные и не срочные задачи, снизится уровень стресса и повысится вовлеченность. Одна из ключевых болей ИТ-директоров сейчас – это постоянная нехватка ресурсов, будет решена.

2. Качество обслуживания клиентов. Более гибкие и адаптивные процессы напрямую влияют на качество обслуживания клиентов, особенно в розничных сетях, телекоме, электронных сервисах.

Вот несколько фактов о клиентском опыте (Блэк Морган, Forbes):

• 96% клиентов считают, что обслуживание клиентов играет важную роль в их выборе лояльности к бренду

• Бренды с превосходным качеством обслуживания клиентов приносят в 5,7 раз больше доходов, чем конкуренты, которые отстают в обслуживании клиентов

• 77% потребителей говорят, что неэффективный клиентский опыт снижает качество их жизни

• Смена клиентов из-за плохого обслуживания обходится американским компаниям в 1,6 триллиона долларов

• 68% клиентов считают, что представитель сервисной службы является ключом к положительному опыту обслуживания

• 90% руководителей во всем мире, использующих аналитику данных, сообщают, что они улучшили свои возможности по обеспечению высокого качества обслуживания клиентов

• Клиенты рассказывают о положительном опыте работы с брендом в среднем 9 человек, а об отрицательном – 16 человек 

• Компании, перешедшие на цифровую трансформацию, на 26% прибыльнее своих коллег

• 65% компаний считают, что улучшение анализа данных очень важно для улучшения качества обслуживания клиентов

• Увеличение 2% удержания клиентов это же к прибыли, как сокращение затрат на 10%

А что такое положительный клиентский опыт? Зачастую это продуманный клиентский путь и как часы работающий функционал. Когда вы поймете, что AIOps – это часть процесса улучшения клиентского опыта, все встанет на свои места.

3. Снижение рисков – возможность прогнозирования, основанная на исторических данных об ИТ-инцидентах, значительно снижает риск простоя. Для сравнения, по данным IDC, "средняя стоимость простоя приложений для компаний из ТОП-1000 около 11 000 долларов в минуту. Это около 660 000 долларов в час ".

Прямая прибыль – это определенно экономия затрат за счет освобождения персонала, что может или не может выглядеть «потрясающе» для бизнеса. Далее идет эффективность, достигаемая за счет устранения вероятности человеческой ошибки из-за таких аспектов, как уровень квалификации, усталость, стресс и т.д. Как теперь экстраполировать повышение эффективности задачи на прибыль? Для этого оценка должна выходить за рамки метрик ИТ-операций и соответствовать требованиям ИТ-операций.

Рассматривая ИТ-операции как фактор, способствующий развитию бизнеса, вы должны помнить, какой бизнес-объект (направление деятельности), портфель или домен вы обслуживаете. В чем ценность вашей эффективности для таких бизнес-структур? Гарантировано ли это, что ваши каналы распространения не будут заблокированы, что, в свою очередь, улучшит качество обслуживания клиентов? Если да, то какое значение в деньгах вы придаете своему клиентскому опыту? Если у вас есть такой ответ, в этом заключается ваша рентабельность инвестиций в AIOps.

Почему хороший сисадмин не останется без работы (а кто еще сможет внедрить AIOps)

Чтобы реализовать потенциальные преимущества для бизнеса, компании необходимо начать изменения и адаптироваться к новым способам работы, прежде чем ценность бизнеса может быть осознана и количественно оценена.

С внедрением платформы AIOps создание постоянной группы внедрения становится неизбежным. Типовая группа внедрения состоят из руководителя, 2-3 системных администратора, программист для написания скриптов автоматизации и бизнес-аналитика для совершенствования процессов. И лучше, если это окажутся ваши специалисты, а не консультанты подрядчика. AIOps не является просто системой, которую можно внедрить и забыть. Это новый подход, который состоит из постоянного процесса совершенствования.

Идеологом проекта должен быть CIO или директор по цифровой трансформации, а основными потребителями или выгодополучателями — ответственные за ситуационный центр, за мониторинг и эксплуатацию, те люди, которые вчера все делали руками, а сегодня уже настраивают процессы, чтобы машина делала большую часть работы за них. Создание команды с четко определенными ролями и обязанностями, наряду с правильной структурой управления, имеет решающее значение для реализации потенциальных выгод AIOps. После того, как у вас появится эта основа, следует преобразовать ваши команды ИТ-службы поддержки, которые теперь должны сосуществовать с AIOps для мониторинга, а также постоянного обучения и развития. Чтобы справиться с этим изменением, требуются целенаправленные и чуткие лидерские навыки. Самое главное: AIOps решение следует рассматривать как помощника и сотрудника, а не конкурента.

Начинать лучше постепенно, вовлекая в этот процесс все новые и новые команды, показывая на опыте коллег из соседнего подразделения, что все возможно и надо только начать.

Процесс получения выгод от AIOPs можно проиллюстрировать следующей цепочкой:

1. Выбор и покупка AIOps-решения для пилотирования

2. Определение пилотной зоны и группы внедрения, постановка целей и KPI пилотного проекта

3. Преобразования группы поддержки в пользователей AIOps-решения, подключение источников данных, определение правил корреляции, настройка дашбордов, создание правил и скриптов автоматизации

4. Оценка эффекта от внедрения AIOps на реализованном пилоте, включающий расчёт изменений в MTTD (среднее время обнаружения), MTTR (среднее время решения), TCO (совокупная стоимость владения), сокращения числа сбоев, повышение продуктивности

5. Масштабирование плота и внедрение AIOps в организации

6. Оценка эффекта в операционных показателях сокращения числа жалоб клиентов, повышение NPS, сокращения затрат, сокращения рисков

7. Оценка эффекта в финансовых результатах компании, включающие повышение продаж и маржинальности бизнеса

Как упоминалось ранее, ценность AIOps многогранна. В мире ИТ-директоров непосредственные выгоды будут измеряться как MTTR, MTTD и другие аналогичные метрики на основе обращений и инцидентов. Эти улучшения показателей оказывают прямое и косвенное влияние на бизнес-результаты, такие как улучшение качества обслуживания клиентов, снижение затрат, предотвращение рисков и рост доходов. Все эти результаты можно оценить количественно, и только на этом уровне можно оценить бизнес-ценность внедрения AIOps. Но веха, на которой видны количественно эти результаты, может быть достигнута после проведения пилотного внедрения. А до тех пор это просто расходы для организации.