Привет, Хабр! Сегодня мы расскажем небольшую историю о том, как можно удобно и эффективно управлять процессами выделения ресурсов. И, по доброй традиции, сделаем это на настоящем примере, который у нас вновь российский и вновь связан с правительственными структурами. В этот раз, правда, поговорим не о тендерах, а о программных решениях.

Итак, заказчиком проекта выступило Правительство Московской области. Условия на старте были таковы: одна небольшая группа администраторов отвечала за всю IT-инфраструктуру, обслуживала все органы государственной власти и обеспечивала работу всех автоматизированных систем. В общей сложности нужно было работать более чем с четырьмя десятками ведомств, из которых постоянно приходят запросы на выделение ресурсов. В какой-то момент стало понятно, что техническому персоналу сложно справляться с нагрузкой, необходимо было придумать хорошее решение, которое не только снизит эту нагрузку, но и позволит эффективнее управлять имеющимися мощностями.

Заказчик сразу точно знал, что будет использоваться всего одна среда виртуализации – остановились на VMware. При этом несколько ЦОД находились в разных географических точках под независимым управлением разных серверов. Помимо необходимости собрать всё это воедино на уровне софта, стояли четыре основных задачи:

  1. Пользователи должны запрашивать ресурсы в системе самообслуживания.
  2. Специалисты органов государственной власти и подрядчиков должны разворачивать нужные сервера в рамках выделенных ресурсов.
  3. Должна быть использована ролевая модель доступа к различным информационным системам.
  4. За центральным IT-подразделением должна сохраняться функция контроля за принципиальным компонентами инфраструктуры и работоспособностью систем.

Решить все эти задачи удалось при помощи платформы Red Hat CloudForms. Получившаяся схема работы СУВР выглядит следующим образом:

Ключевая особенность заключается в том, что всё приведено к одной точке принятия решений. Конфигурации проходят через Service Desk, инженеры второго уровня поддержки подтверждают или отклоняют заявки, могут регулировать запросы пользователей и при этом чётко понимают, что они делают и зачем делают, т.к. видят подробную статистику. Всё, что связано с потреблением ресурсов, абсолютно прозрачно: всегда можно проверить, действительно ли то, что запросили, используется по максимуму и правильно. Если всё же нет, то под рукой есть вся статистика для того, чтобы такие операции оспорить. Возникает сильный аргумент при решении сложных споров о производительности тех или иных систем.

Отчётности, которую даёт CloudForms, оказалось вполне достаточно: это инвентаризация машин и приложений, аналитика потребления ресурсов и утилизации и построение отчётов по состоянию инфраструктуры.

У пользователей есть свой интерфейс с определённым набором простых функций, при помощи которых можно сформировать свои виртуальные машины и назначить им определённые роли. Выйти за пределы запрошенного ресурсного пула система не даёт – для расширения ответственный за информационную систему сотрудник должен доказать, что ему это действительно нужно.

Кроме того, вся инфраструктура была шаблонизирована для того, чтобы исполнителям, которые реализуют системы, было проще и понятнее выбирать заготовки для тех или иных ролей серверов. Хотя возможность установки из кастомных ISO-образов осталась. Но, в случае необходимости работы с последними, сначала проводится проверка. Если оказывается, что в дальнейшем система станет необслуживаемой, то в выделении отказывают.

Дело не обошлось без системы защиты от разъярённого пользователя. Нельзя просто взять и нажать на кнопку «Удалить». Такой запрос тут же попадает на исполнение в Service Desk, и удаление может произойти лишь после подтверждения операции администратором.

Также включена нативная поддержка Active Directory. Чтобы получить доступ к системе, пользователь должен пройти несложный процесс регистрации. Поскольку речь идёт о Правительстве Московской области, то вопросы безопасности и внутреннего понимания того, кто за что отвечает, всё-таки очень важны. Есть несколько пулов, внутри которых пользователь может иметь разные статусы. Управляет всеми пользователями администратор, причём делает это самостоятельно, без обращения к IT-службе, что сильно снижает нагрузку на небольшую команду высокоуровневой поддержки.

На этапе создания консоли управления специалисты Правительства Московской области обратились за помощью к VMware, но от ответного предложения купить vCloud Director пришлось отказаться. Впрочем, найденное решение оказалось очень удобным: всё-таки нашлась возможность вывести консоли виртуальных машин напрямую в браузер, используя чистый HTML 5 и не обращаясь к сторонним плагинам.

Какие у созданной системы есть преимущества? Всё очень просто. Во-первых, заказчик получает весь набор исходных кодов и поэтому в дальнейшем может осуществлять весь процесс сопровождения (или даже доработки) самостоятельно. Во-вторых, подход Red Hat предполагает работу в рамках исторически сложившейся инфраструктуры – создаётся надстройка над системой виртуализации, а основа не меняется и не дополняется без крайней необходимости. И, наконец, Red Hat CloudForms – это удобная витрина для всех, которая снижает нагрузку на администраторов, предоставляет понятный русскоязычный интерфейс пользователям, не требует хранить в памяти несколько логинов/паролей, и при этом дает очень подробную информацию обо всех процессах.

Такая платформа может быть полезна любому крупному федеральному госучреждению с разветвленной, либо географически распределённой структурой IT, где требуется выделение ресурсов, есть системы вроде SAP, ERP и т.п. Опыт показывает, что в подобных случаях помимо «боевых» систем нужны и тестовые среды.

Также CloudForms может быть интересен крупным корпорациям, где есть ферма VMware, включающая в себя более 50 хостов. Здесь, скорее всего, тоже нужна виртуализация, есть деление на production, test и development, а управляющих консолью людей существенно меньше чем тех, кто отправляет им запросы.

Статистика по используемому Правительством Московской области оборудованию на апрель 2015 года выглядела следующим образом: СУВР работала с 27 АИС, 2522 vCPU, 3987 ГБайт RAM и 252 ТБайт на HDD. От себя скромно добавим, что значительная часть этого оборудования – это серверы Lenovo.

Недавно мы расширили линейку наших серверных решений: в продажу поступило новое поколение серверов System x M5, отлично подходящих для работы с «большими данными» и виртуализацией. Например, System x3650 M5 поддерживают до 14 дисков форм-фактора 3,5 дюйма для хранения данных плюс два 2,5-дюймовых диска для операционной системы и софта. Если использовать LFF-накопители с ёмкостью 6 ТБайт и SFF-накопители с ёмкостью 1,8 ТБайт, можно достичь общего объёма в 87,6 ТБайт.



В поколении серверов M5 используются процессоры Intel Xeon E5-2600 v3, максимальный объём оперативной памяти может достигать 1,5 ТБайт, поддерживаются различные варианты ускорения дисковой подсистемы (SSD диски и PCIe SSD адаптеры). Для дополнительной отказоустойчивости гипервизор может быть установлен на две внутренние SD-карты, собранные в массив RAID-1. Кроме этого, в каждом нашем сервере установлена система предсказания сбоев (Predictive Failure Analysis, PFA), которая в автоматическом режиме следит за состоянием аппаратных компонентов сервера: процессорами, модулем питания процессора (VRM), памятью, дисками, вентиляторами и блоками питания. Событие системы PFA является сервисным случаем и позволяет заменить неисправную запчасть по гарантии. Благодаря всем этим функциям поколение серверов М5 является идеальной платформой для построения отказоустойчивых виртуальных сред.

Согласно недавнему исследованию ITIC, серверы Lenovo System x третий год подряд становятся самыми надёжными решениями среди всех серверов x86. Вместе с серверами мы предлагаем программное обеспечение XClarity, которое помогает упростить управление большим кластером благодаря автоматическому обнаружению, инвентаризации и быстрому выделению ресурсов.

Практически все наши актуальные на сегодняшний день машины сертифицированы компанией Red Hat, так что за совместимость и быстродействие ПО можно не переживать. Кроме того, Lenovo давно сотрудничает с Red Hat, так что вместе мы можем реализовывать проекты наподобие описанного выше в достаточно сжатые сроки. При этом есть возможность связать гарантию Lenovo и поддержку Red Hat в один удобный комплекс со сроком действия вплоть до 5 лет с момента покупки серверов и создания СУВР. Кстати, обозначенная в начале материала схема – это, по сути, основа, которую при необходимости несложно расширить. О том, как это делается, мы можем рассказать в других материалах, если у уважаемых читателей Хабра такой интерес возникнет.

Спасибо за внимание!

Комментарии (9)


  1. gotch
    13.10.2015 17:25

    Подскажите код модели System x3650 M5 c 12x3.5" front 2x2.5" back.
    В Standalone Solutions Configuration Tool для всех пишет — 8. Примерно понятно что это ограничение бекплейна, но все же, как сконфигурировать?


    1. navion
      16.10.2015 11:51
      +1

      Как в остальных моделях, добавив вторую корзину: Plus 8x 2.5in HS HDD Assembly Kit. С экспандером или без зависит от шасси.


      1. gotch
        16.10.2015 13:44

        Большое спасибо, ваша подсказка мне очень помогла. Мне подходит единственная модель — 5462D4x


        1. navion
          16.10.2015 14:00
          +1

          Вроде бы у них можно собрать модель на заказ с нужным шасси и набивкой, но срок поставки вырастает до пары месяцев.


  1. occam
    13.10.2015 19:40

    Спасибо, увидел пару полезных моментов, которые не предусмотрел в похожем микропроекте. Вопрос можно, а к аналитике потребления никакой случайно функции прогнозирования роста потребления не прикручено?


    1. Alaniyatm
      13.10.2015 20:24
      +2

      Неа, нам только Ops MGR дает прогноз. Но лучше у ребят из ITDHQ спросите, они знают CF/MIQ вдоль и поперек.


    1. Aviriel
      13.10.2015 21:40
      +2

      Добрый день. В MIQ/CF есть функция прогнозирования роста потребления. В интерфейс портала самообслуживания на данный момент это никак не вынесено, так что искать надо в глубинах отчетов CF. В планах есть вынести этот функционал в раздел аналитики портала, чтобы администраторы могли в 1-2 нажатия кнопок получить прогноз и запланировать закупку оборудования.


    1. mamahtehok
      13.10.2015 22:07
      +1

      Дополню коллег.
      В CF есть фича для прогнозирования.
      Optimization

      CloudForms Management Engines optimization functions allow you to view utilization trends, and identify and project bottlenecks in your environment. In addition, you can predict where you have capacity for additional virtual machines.

      Но у нас сбор данных необходимый для работы этой функции отключен так, как для того чтоб CF не ложился под нашими нагрузками надо было усложнять инфраструктуру CF. Оставили это до лучших времен.


  1. occam
    13.10.2015 20:56

    Вот за ITD — отдельное спасибо, признаться подумал сначала, что HQ — это суффикс от Head Quarter и «курить» придется американский сайт. Уникальные во многом ребята :-) А еще пока материалы сайта смотрел, как-то вспомнил невольно летнее интервью с Сергеем Собяниным, особенно в моменте: «Знаете, что самое сложное в работе мэра столицы? Во-первых, учесть разнонаправленные интересы огромного числа москвичей. И второе – побороть ментальность чиновников. На самом деле, это лишь сервисная служба, которая должна обслуживать рядовых людей. Пытаться вдолбить это в голову чиновникам, изменить их менталитет крайне сложно».

    Почему вспомнил? Не удивился бы подобному материалу feat dit.mos, но от областного правительства согласие на такой аналитический кейс, как кажется, не так просто было бы раньше получить. Спасибо, Lenovo.