• Главная
  • Контакты
Подписаться:
  • Twitter
  • Facebook
  • RSS
  • VK
  • PushAll
logo

logo

  • Все
    • Положительные
    • Отрицательные
  • За сегодня
    • Положительные
    • Отрицательные
  • За вчера
    • Положительные
    • Отрицательные
  • За 3 дня
    • Положительные
    • Отрицательные
  • За неделю
    • Положительные
    • Отрицательные
  • За месяц
    • Положительные
    • Отрицательные
  • За год
    • Положительные
    • Отрицательные
  • Сортировка
    • По дате (возр)
    • По дате (убыв)
    • По рейтингу (возр)
    • По рейтингу (убыв)
    • По комментам (возр)
    • По комментам (убыв)
    • По просмотрам (возр)
    • По просмотрам (убыв)
Главная
  • Все
    • Положительные
    • Отрицательные
  • За сегодня
    • Положительные
    • Отрицательные
  • За вчера
    • Положительные
    • Отрицательные
  • За 3 дня
    • Положительные
    • Отрицательные
  • За неделю
    • Положительные
    • Отрицательные
  • За месяц
    • Положительные
    • Отрицательные
  • Главная
  • Управление мощностями ? та ещё задачка

Управление мощностями ? та ещё задачка +5

24.04.2017 16:45
ITSystemsManagement 0 1600 Источник
Серверное администрирование*, Серверная оптимизация*, IT-инфраструктура*, Блог компании Инфосистемы Джет
Отлично, когда ваше ИТ-детище сталкивается с ростом выручки, пользователей, CTR, обрабатываемых документов, кредитных заявок, количества филиалов и прочих приятно почесывающих ЧСВ вещах. Все эти штуки называются бизнес-драйверами, которые в правильной ситуации коррелируют с нагрузкой на ИТ-инфраструктуру, расположенной под вашим сервисом. Правильное планирование мощностей защитит вас от epic fails в чёрную пятницу (чтобы она не стала действительно чёрной ;)) и ваш бюджет во все остальные дни. Сегодня поговорим не о самом процессе управления мощностями, а о технической стороне вопроса. Расскажу, при помощи каких отчетов можно прикидывать тренды и строить корреляционные матрицы. Давайте вкратце расскажу какой опыт мы скопили, а все вопросы задавайте в комментариях или личным сообщением. Поехали!
cost_risk_balance



Первый метод оценки ? временной анализ. Сам по себе он бывает нескольких видов.

1. Производительность во времени (PTA – Performance vs Time analysis) –показывает значения одной или более метрик производительности за выбранный интервал времени. Ещё можно визуализировать несколько метрик, принадлежащих к различным системам в разных масштабах.

Основными задачами этого типа анализа являются:

  • определение наиболее критических ресурсов, для последующего использования в «что-если» анализе;
  • создание пороговых (базовых) уровней производительности для систем, основанных на исторических данных, для:
    • проверки или изменения временных интервалов, которые будут использоваться в дальнейшем анализе,
    • анализа тенденций (линейные, скользящие средние),
    • обнаружения типичного поведения (ежедневно, еженедельно, ежемесячно);
  • определения пиковых нагрузок;
  • определения повторяющихся всплесков и их значений.


pta_analyse

Пример временного анализа с визуализаций 3 метрик – загрузок ЦПУ, оперативной и дисковой памяти

2. Нагрузка во времени (LTA – Load vs Time analysis) – показывает поведение одной или нескольких бизнес-метрик в выбранный интервал времени. Примером является количество сделок в течение определенного периода времени.

Основные задачи LTA:

  • провести анализ и выбрать бизнес-метрики по следующим критериям:
    • значимость приложений,
    • зависимость между бизнес-метриками;

  • проверки или изменения временных интервалов, которые будут использоваться в дальнейшем анализе;
  • анализ тенденций (линейные, скользящие средние);
  • обнаружение типичного поведения (ежедневно, еженедельно, ежемесячно), возможных пиков нагрузок при выполнении периодических заданий;
  • определение повторяющихся всплесков и их значений;
  • определение пороговых значений бизнес-метрик для расчёта средних показателей и дисперсии.


pta_analyse_business_metrics

Пример временного анализа бизнес-метрик

3. Анализ конфигураций (CA — configuration analysis) – показывает исторические значения конфигурации конечных серверов и т.п. за выбранный период времени.

pta_analyse_infrastructure

Пример временного анализа конфигураций аппаратного комплекса

Второй метод оценки — корреляционный анализ.

При анализе данных создаются связки между бизнес-драйверами и технологическими ресурсами в соответствии с коэффициентом корреляции. Коэффициент корреляции ? это такой зверь, который показывает степень взаимосвязи двух метрик и может принимать значения от -100% (полная обратная зависимость) до +100% (полная прямая зависимость). Значение равное 0 (и близкое к нему) показывает отсутствие зависимости между парой метрик.

При построении отчета корреляционный анализ используется для построения корреляционных карт и карт бизнес-метрик. Карты бизнес-метрик ? ключевой компонент при построении отчета, отображающий зависимость бизнес-показателей и используемых ресурсов. К примеру, на рисунке ниже, приведена зависимость бизнес-метрик (количество запросов от веб-клиента и количество отправленных сообщений веб-клиенту) от ресурсов сервера приложений и СУБД, на котором работает приложение.

depending_metrics

Пример зависимостей метрик

На основании этой информации настраиваются карты бизнес-метрик для последующего анализа производительности в разрезе бизнес-нагрузки.

business_metrics_map

Пример карты бизнес-метрик

metrics_correlation

Расчет корреляции значений параметров производительности и бизнес-метрик

В результате выявляется степень загрузки бизнес-метриками конкретных ресурсов на конкретных серверах:

resource_load

Степень загрузки ресурсов нагрузкой бизнес-метрик

Полученные данные позволяют наглядно отразить зависимость бизнес-метрик от выделенных ресурсов и определить точки насыщения и т.п.:

PLA

Зависимость и точка насыщения общего количества запросов в бизнес-системе к загрузке CPU

Также, корреляционный анализ используется для сравнения любых пар метрик в системе. Это могут быть как бизнес-метрики, так и метрики производительности:

LLA

Пример сравнения двух бизнес-метрик (количество заходов на сайт против количества просмотренных страниц

comparison

Пример сравнения метрик производительности

И, наконец, третий тип оценки ? расчет трендов.

Модель прогнозирования будущего поведения (расчет трендов) используется, для определения будущих значений и динамики изменения одного или нескольких показателей производительности (или бизнес-метрик) по историческим данным.

Ниже на рисунке представлена модель возможного использования данного механизма. В систему загружены исторические данные по загрузке исходящего канала связи. Для этого параметра выставлено пороговое значение – 70% загрузки канала от максимально возможного. С помощью механизма экстраполяции автоматически выстраивается тренд динамики роста параметра и определяется время насыщения (достижения порогового значения) – менее 1 календарного месяца.

trend_calculation

Пример использования расчета тренда для определения времени насыщения

Такой инструмент также используется для проведения «что-если» анализа. К примеру, ниже представлен вариант сценария по расчету увеличения общего дискового пространства. На графике зеленым показан выделенный объем и точка увеличения дискового пространства (середина марта). Синим – график использования дискового пространства. Таким образом, построенный тренд и «что-если» анализ (добавление диска) показывают, что точка насыщения не наступит до конца года.

what_if

Вариант сценария по расчету увеличения общего дискового пространства

«Что-если» анализ также используется для расчета показателей работы ИТ-инфраструктуры в зависимости от изменяемых значений бизнес-метрик.

На рисунке ниже приведен пример расчета максимально возможных показателей заходов в систему и количества отправляемых заказов. В первой части таблицы указаны бизнес-метрики (Visits, Orders Received) и их текущие значения (30 000 заходов в час и 1 000 заказов). В графе Target указываются проверяемые значения параметров (120 000 и 5 000). В результате можно рассчитать максимальную нагрузку на инфраструктуру (61 500 и 2 400 соответственно), а также видна точка отказа – производительность CPU (красная точка на таблице внизу).

point_of_failure

Пример расчета максимально возможных показателей заходов в систему и количества отправляемых заказов

Таким образом, можно определить максимальную мощность инфраструктуры, определить узкие места и своевременно принять решение о модернизации.

Пожалуйста, обращайтесь с вопросами в комментариях. А если задача требует чуть более вдумчивого подхода, наш консалтинг – он, как майские праздники, – всегда вас порадует.

В конце поста есть пара опросов, будет здорово, если вы сможете уделить на них пару десятков секунд. Спасибо!

Автор статьи: Антон Касимов, архитектор систем управления, компания «Инфосистемы Джет».
Расскажите, как вы управляете мощностями

Проголосовало 12 человек. Воздержалось 7 человек.

Внедрен ли у вас в компании ITIL-процесс управления мощностями?

Проголосовало 10 человек. Воздержалось 6 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Поделиться с друзьями
-->

Комментарии (0)

МЕТКИ

  • Хабы
  • Теги

Серверное администрирование

Серверная оптимизация

IT-инфраструктура

Блог компании Инфосистемы Джет

ит-инфраструктура

управление мощностями

инфосистемы джет

СЕРВИСЫ
  • logo

    CloudLogs.ru - Облачное логирование

    • Храните логи вашего сервиса или приложения в облаке. Удобно просматривайте и анализируйте их.
Все публикации автора
  • Управление мощностями ? та ещё задачка +5

    • 24.04.2017 16:45

    Удобная памятка и 8 ссылок на документацию по ГОСТ 34 (автоматизированные системы) +8

    • 17.02.2017 03:20

    Gartner выкатил новый магический квадрант для систем мониторинга +8

    • 19.01.2017 12:24

    Декомпиляция Java-методов на продуктивном приложении под нагрузкой – миф или реальность? +7

    • 10.11.2016 07:06

    Тестируем не совсем реальный (или совсем нереальный) мониторинг от New Relic и Appdynamics +7

    • 20.10.2016 16:39

    Как приготовить тосты и заодно визуализировать ИТ-системы +10

    • 03.10.2016 23:20

Подписка


ЛУЧШЕЕ

  • Сегодня
  • Вчера
  • Позавчера
07:00

Куём железо. Чем отличается конструирование электроники от разработки ПО +47

09:01

Очень вероятно, что эти HTML- и CSS-ошибки есть в вашем коде +34

06:32

Звук — хитрый зверь. Пролезает даже через бетон. Я покажу, как мы его останавливаем +31

07:00

Как это сделано: автомойка без персонала +28

09:19

Хакер-легенда HD Moore: от ПК с мусорки до Metasploit Framework +27

08:05

35-ти летний юбилей! Советский «Поиск-1» выходит в Cеть +27

10:52

T-one — открытая русскоязычная потоковая модель для телефонии +26

12:01

Погружение в Go: подборка ресурсов для новичков и продолжающих +25

08:00

Глючная эстетика. Баги как неожиданное искусство в играх +24

07:00

Tiki: как норвежцы строили своё IT +19

19:16

Geely и ECARX, что с вами не так? +18

13:01

Интервью с ИИ: как бы LLM спроектировала ЦОД +18

08:49

IT-рынок в 2025 году: тренды и вызовы. Как искать работу в текущих реалиях? +16

08:33

Проект EWaste: 3D-принтер за 60 долларов +15

06:59

Как смотрели рилсы в XIX веке, и при чём тут инженер из Петербурга +15

12:49

Как хитрый Накамура глупую Рыбку обыграл +14

11:56

pg_dphyp: учим PostgreSQL соединять таблицы по-другому +14

09:00

Как девопсы контейнеризацию с виртуализацией дружили +14

09:00

Как девопсы контейнеризацию с виртуализацией дружили +14

06:50

Бумажный геймдев: как увлечь ребёнка без интернета и гаджетов +14

14:10

Я беру джойстик, лечу в поле и зарабатываю 3,6 млн чистой прибыли за сезон +89

09:01

Инфракрасное сканирование микросхем +67

12:00

Как измеряли расстояние до Луны без компьютера и калькулятора? Открытия древних математиков +51

07:15

Когда VPN душат, в бой идёт SOCKS5: что нового в ProxiFyre 2.0 +51

13:01

Удивительный мир транспортных карт Японии +48

09:15

Джун за неделю или как инфоцыгане ломают найм в IT HR +41

08:35

Следствие вели, или Культура инцидент- и проблем-менеджмента в Ozon +38

16:10

В Китае переместили квартал роботами, построили подземную парковку и вернули все обратно +36

08:00

REST API в облаке: пошаговый гайд на Java + Spring +33

15:01

GitLab CI/CD components: повторно используемый CI как путь к чистому и здоровому GitLab +32

04:53

Нейросетевая аниме-вайфу от Илона Маска, а также штрафы за гуглинг «экстремизма» +23

14:05

Будущее JavaScript: что нас ждет +19

13:39

Как использовать AI-агент Claude Code: советы опытного разработчика +19

15:19

Найм в IT мёртв, а я ещё нет… +17

10:23

Картографический фотопроект «По местам съёмок фильма «Жмурки» +14

09:55

Знакомьтесь: TCP-in-UDP +14

08:26

DIY-стенд для обучения автомобильной электронике, который сделает из новичка CAN-профи +14

08:00

UX и ограничения памяти: как принципы геймдева помогают проектировать интерфейсы +14

12:42

Навайбкодил самый быстрый xlsx editor +13

07:56

Что стоит за мошенническими схемами с доставкой посылок? +13

ОБСУЖДАЕМОЕ

  • Я беру джойстик, лечу в поле и зарабатываю 3,6 млн чистой прибыли за сезон +89

    • 135   104000

    Джун за неделю или как инфоцыгане ломают найм в IT HR +41

    • 116   30000

    Найм в IT мёртв, а я ещё нет… +17

    • 82   6100

    Когда VPN душат, в бой идёт SOCKS5: что нового в ProxiFyre 2.0 +51

    • 65   56000

    UX-рудименты, часть 2: дизайн, который остался жить в 2012-м +4

    • 57   4100

    Удивительный мир транспортных карт Японии +48

    • 37   9800

    Про скорость обмена веществ у людей, он же метаболизм +5

    • 29   2100

    Как это сделано: автомойка без персонала +28

    • 27   2700

    Комментарии vs. самодокументируемый код: что выбрать? +10

    • 26   1400

    IT-рынок в 2025 году: тренды и вызовы. Как искать работу в текущих реалиях? +16

    • 24   1700

    Навайбкодил самый быстрый xlsx editor +13

    • 24   3800

    Как измеряли расстояние до Луны без компьютера и калькулятора? Открытия древних математиков +51

    • 24   9900

    Следствие вели, или Культура инцидент- и проблем-менеджмента в Ozon +38

    • 24   3500

    Когда Redis превращается в тыкву: как один DevOps провел 2 недели в аду и выжил (но какой ценой) +7

    • 23   5300

    Код сквозь хейт: Как продолжать творить, когда сообщество против +1

    • 23   894
  • Главная
  • Контакты
© 2025. Все публикации принадлежат авторам.