Всем привет! На связи mClouds — облачный провайдер. По нашему опыту, компании используют облака по модели аренды, чтобы хранить бэкапы, размещать 1С, работать с VDI или серверами с GPU. Это помогает сократить капитальные затраты на собственную инфраструктуру и перевести их в ежемесячные операционные. Но не каждую потребность можно закрыть с помощью облачной инфраструктуры. С такой ситуацией столкнулся и наш клиент.

Несколько систем, готовых к запуску во внутреннем контуре компании, попали под действие 187-ФЗ как объекты критической информационной инфраструктуры (КИИ). Требования регулятора к КИИ не позволяли использовать имеющиеся системы хранения данных (СХД) и облачные сервисы. По закону сегмент КИИ можно развернуть только на оборудовании российского производства, которое есть в реестре Минпромторга РФ.

Компания, которая часть инфраструктуры размещает у нас в облаке, попросила подобрать подходящее решение из реестра Минпромторга. Да-да, наша команда работает не только с собственным облаком, но и с on-premise инфраструктурой клиентов. Мы помогаем бизнесу спроектировать и настроить IT-решения во внутреннем контуре. Итак, инженеры mClouds собрали технические требования, нашли подходящее решение в реестре Минпромторга и согласовали с клиентом конфигурацию. В итоге остановились на системе хранения данных TATLIN.FLEX.PRO от компании YADRO. В статье покажем процесс сборки и расскажем, какова она в деле.

Монтаж СХД: у нас была пара контроллеров, 2 дисковые полки, 18 дисков, мириады портов и много метров кабелей

YADRO позиционирует серию TATLIN.FLEX как решение начального уровня. Модель PRO — старшая в серии. Это отказоустойчивая система, у нее два контроллера и возможность подключить до четырех дисковых полок. Но главное — система разработана и производится в России, что подтверждено записью в реестре Минпромторга.

Система смонтирована в стойку, в самом верху контроллеры A и Б, ниже — дисковая полка L12, под ней — дисковая полка S24
Система смонтирована в стойку, в самом верху контроллеры A и Б, ниже — дисковая полка L12, под ней — дисковая полка S24

Контроллеры у СХД раздельные: у них нет общего шасси, и каждый занимает по 1U в стойке. В конфигурации, которую мы подобрали для клиента, две дисковые полки:

  • Первая — модель L12. Может вместить 12 SAS-накопителей формфактора 3,5 дюйма.

  • Вторая — модель S24. Рассчитана максимум на 24 SAS-накопителя формфактора 2,5 дюйма.

Также в модельном ряду есть дисковая полка на 78 NL-SAS-накопителей. Это решение для тех, кому нужно хранить огромное количество архивных данных. К счастью, это не про наш кейс, поскольку полностью набитая полка на 78 накопителей может весить до 90 кг.

Роль контроллеров возложена на два сервера 1U с предустановленным программным обеспечением. Каждый контроллер оснащен двумя процессорами с архитектурой x86 и 256 Гб оперативной памяти. Для подключения к сети передачи данных производитель предлагает широкий выбор из плат ввода-вывода:

  • четыре порта Fibre Channel 16 Гбит/с;

  • два порта Fibre Channel 32 Гбит/с;

  • два порта Ethernet 10/25 Гбит/с;

  • два порта 100 Гбит/с Ethernet.

В нашем случае достаточно двух высокоскоростных портов Ethernet на контроллер, способных поддерживать скорость 10/25 Гбит/с. Трансиверы идут в комплекте поставки.

Если внимательно присмотреться к контроллерам, то можно заметить по четыре отсека для 3.5" накопителей в каждом. Эти отсеки не подключены к шине обмена данными. Если вставить в них накопители, они не отобразятся в системе.

Задняя панель контроллеров. На этом этапе мы уже начали коммутацию контроллеров между собой
Задняя панель контроллеров. На этом этапе мы уже начали коммутацию контроллеров между собой

Для межконтроллерного обмена данными подключили два кабеля DAC SFP28 и один медный патчкорд. Все необходимые кабели идут в комплекте к СХД вместе с подробной пошаговой инструкцией.

У каждого контроллера есть выделенный порт RJ-45 с доступом к веб-интерфейсу. Дисковые полки подключаются по интерфейсу mini-SAS, для этого у каждого контроллера по четыре порта. Схема подключения подробно отражена в документации, вопросов на этом этапе не возникло.

Задние панели дисковых полок
Задние панели дисковых полок

В дисковых полках предусмотрено дублирование основных компонентов:

  • модулей ввода-вывода;

  • модулей охлаждения;

  • блоков питания.

Модули ввода-вывода имеют широкий и нетипичный набор интерфейсов. По сути, пользователям нужен только mini-SAS. Остальные порты относятся к сервисным и не предназначены для пользовательской эксплуатации.  

На задней панели есть ряд индикаторов, которые позволяют следить за состоянием модулей охлаждения и питания.

Модуль охлаждения дисковой полки «под прицелом»
Модуль охлаждения дисковой полки «под прицелом»

С аппаратной составляющей СХД TATLIN.FLEX.PRO мы разобрались и можно приступить к ПО, которое в основном и определяет возможности СХД.

Обзор ПО: интерфейс и основные возможности

В 2022 году группа компаний YADRO приобрела 100% доли ООО «Рэйдикс» — разработчика программных продуктов RAIDIX, предназначенных для создания отказоустойчивых и высокопроизводительных систем хранения данных. Компания занимается разработкой ПО уже 15 лет, а ее продукты включены в Реестр российского программного обеспечения.

Все продукты серии TATLIN.FLEX работают под управлением модифицированного программного обеспечения RAIDIX 5.

Начальная страница веб-интерфейса администратора СХД
Начальная страница веб-интерфейса администратора СХД

Скриншоты мы сделали сразу после запуска СХД — до того, как приступили к настройке. Интерфейс показался интуитивно понятным и не перегруженным лишней информацией.

Остановимся подробнее на возможностях управляющего ПО. В нашем распоряжении — возможность создавать RAID уровней 0, 1, 5, 6, 7.3, N+M, 10, 50, 60, 70. Отдельно отметим, что RAID 7.3 позволяет создавать массивы, устойчивые к одновременному выходу из строя до трех дисков. Его рекомендуют использовать в высоконагруженных системах с дисками большого объема и общим объемом массива от 32 Тб. При построении RAID 7.3 на контрольные суммы отводится объем трех накопителей.

Стоит отдельно упомянуть про наличие программных алгоритмов защиты от скрытого повреждения данных, а также механизмов фонового сканирования, которые используются для обеспечения целостности данных.

Есть в TATLIN.FLEX.PRO небольшая, но крайне удобная фишка — кнопка-индикатор контроллеров. Одним щелчком можно проверить статус второго контроллера, еще одним — переключиться между контроллерами. Конечно, для этого можно открыть веб-интерфейс обоих контроллеров в разных вкладках браузера. Но кому хочется перед каждым сохранением новых настроек перепроверять, с каким контроллером вы сейчас работаете?

Это не критически важный элемент управления, а скорее приятный бонус, нам понравился.

Меню с информацией по всем дискам в системе
Меню с информацией по всем дискам в системе

В интерфейсе администратора отображается детальная информация по каждому накопителю в системе, включая атрибуты S.M.A.R.T. Накопители сгруппированы по дисковым полкам с обозначением слота. Если вам нужно вытащить конкретный накопитель, из веб-интерфейса можно включить индивидуальный светодиодный индикатор отсека — тогда точно ничего не перепутаете.

TATLIN.FLEX.PRO предоставляет не только блочный доступ к данным через FC и iSCSI, но и файловый — NFS v3/v4, SMB v3 и FTP, с возможностью выдачи индивидуальных квот каждому пользователю
TATLIN.FLEX.PRO предоставляет не только блочный доступ к данным через FC и iSCSI, но и файловый — NFS v3/v4, SMB v3 и FTP, с возможностью выдачи индивидуальных квот каждому пользователю

Модуль QoSmic — одна из эксклюзивных настроек RAIDIX для СХД YADRO. Он позволяет автоматически анализировать профиль нагрузки на СХД, ассоциировать запросы с приложениями и формировать на основе этих данных политики QoS для приложений. С точки зрения администратора, это удобный инструмент для тонкой настройки СХД: он учитывает индивидуальный характер нагрузок, которые генерируют корпоративные сервисы и пользователи.

QoSmic — запатентованная технология для оптимизации производительности СХД в рамках текущей конфигурации
QoSmic — запатентованная технология для оптимизации производительности СХД в рамках текущей конфигурации

В дополнение к QoSmic для администраторов предусмотрены и более классические инструменты. В веб-интерфейсе можно посмотреть графики по разным метрикам: скорость обмена данными, IOPS и другие. Разные метрики производительности можно собрать в одном окне в меню «Пользовательские графики».

Вкладка «Производительность» со множеством графиков и метрик работы СХД
Вкладка «Производительность» со множеством графиков и метрик работы СХД

Совокупный набор инструментов для мониторинга состояния СХД весьма обширен. Контроллеры и полки буквально обвешаны датчиками температуры и напряжения, тахометрами кулеров. И для каждого из датчиков уже прописаны значения, соответствующие «критическому» и «некритическому» состояниям. Администратор может настроить уведомления о событиях системы по SNMP во вкладке «Оповещения». А с сайта производителя можно скачать готовый шаблон для Zabbix.

Меню с логами и доступом к CLI
Меню с логами и доступом к CLI

И напоследок заглянем в раздел «Поддержка», из которого можно:

  • выгрузить логи с обоих контроллеров одновременно;

  • получить доступ к текстовой консоли;

  • проверить наличие обновлений ПО.

Когда мы монтировали оборудование, версия ПО 5.2.5 была последней. Она и была установлена с завода на наших контроллерах.

У нас есть ряд правил, которых мы всегда придерживаемся в процессе обновления ПО на СХД:

  • Проверять наличие обновлений ПО до ввода СХД в эксплуатацию.

  • Перед обновлением ПО внимательно просматривать список изменений. Обновляться ради обновлений — не лучшая идея. Всегда нужно смотреть на новый функционал и изменения в части безопасности.

  • Не обновлять ПО для СХД, если новая прошивка вышла совсем недавно. Возможно, в ней есть уязвимости, но их еще не успели выявить и исправить. Лучше подождать месяц с момента релиза — без риска для целостности данных.

  • Проводить обновление только после ознакомления с официальной инструкцией.

  • Если СХД не имеет активной поддержки от производителя, перед обновлением лучше ее получить или продлить.

  • Не обновлять ПО во время высокой нагрузки и вечером в пятницу!

Эти правила применимы к любой СХД, независимо от страны происхождения.

Результат

Проверено руками: СХД от YADRO — это не просто серверное оборудование и софт в комплекте, а готовое решение с вендорской поддержкой 24/7, подробными инструкциями по эксплуатации и настройке. Система есть в реестре Минпромторга и соответствует последним требованиям к объектам критической информационной инфраструктуры.

Наша команда усилила свою экспертизу в подборе и внедрении оборудования. Теперь в портфеле mClouds — еще один вендор СХД, проекты по которому мы уже просчитываем и реализуем. Так что, если вам тоже нужна российская система хранения данных из реестра Минпромторга, вы знаете, кому можно доверить эту задачу. Мы с радостью проработаем проект и при необходимости предоставим демо.

Если остались вопросы по СХД TATLIN.FLEX.PRO, ее сборке или настройке, пишите в комментариях.

Комментарии (22)


  1. pechkinkorp
    12.11.2024 06:36

    Резьбовые заклёпки?
    Резьбовые заклёпки?


    1. mClouds_editor Автор
      12.11.2024 06:36

      Коллеги передали, что у этого модуля винты по бокам, а тут это просто заклепки


  1. aborouhin
    12.11.2024 06:36

    "Сделанная в России, что подтверждено Минпромторгом" дисковая полка на 24 диска до боли напоминает AIC J2024-06-35X JBOD. Есть подозрение, что и у остальных компонентов системы найдутся двойники, лень искать дальше :)


    1. mClouds_editor Автор
      12.11.2024 06:36

      OEM комплектующие тоже используются, конечно. Но вносится в реестр сама СХД, как законченное решение, уровень локализации не обязательно должен быть 100%, да и необходимости в этом особо нет.


      1. aborouhin
        12.11.2024 06:36

        Ну да, и собранная из тайваньских полок и чьих-то там зарубежных серверов с американскими процессорами, корейской памятью и т.д. и т.п. (особенно в этом плане интересны прошивки, всякие IME и иже с ними) СХД внезапно становится безопасной для использования в КИИ, а вот все эти компоненты сами по себе - нет, ни в коем случае :) Я понимаю, что Ваш заказчик просто выполняет формальные требования, которые вот таковы, - но здравый смысл тут даже не ночевал.


        1. Linkusik
          12.11.2024 06:36

          Подтверждение минпромторга не является безопасностью для КИИ, потому что Yadro даже нет в списках ПАКов у Минцифры. Тут либо Yadro вносят в список, либо всё равно заменять придётся до 2030 года.


        1. mClouds_editor Автор
          12.11.2024 06:36

          Конечно , тут производитель идет по требованиям регуляторов тоже , безусловно . Спорить об этих требованиях можно бесконечно , а также про процессоры и память ) но таковы реалии . И если нужно им соответствовать с точки зрения реестра минпромторга, то решений работающих хорошо, тем более по схд - очень мало пока еще )


          1. BoogieMan75
            12.11.2024 06:36

            Знаете, мне такие ответы всегда напоминает ситуацию, когда ребёнок рисует какую то каляку маляку, а окружающие восхищаются"как красиво"


            1. mClouds_editor Автор
              12.11.2024 06:36

              Ну мы особого восхищения вроде в статье не высказывали . Реестровые схд сравниваются же между собой в основном . У нас нет цели сказать , что вот надо YADRO вместо Huawei или Pure покупать . Сейчас достаточно большой спрос на такие решения ввиду законодательной базы , приходится соответствовать , вариантов не соответствовать у определенных заказчиков просто нет .


              1. BoogieMan75
                12.11.2024 06:36

                Моргните, если вы находитесь под давлением.

                Я приведу свой ряд.

                BMW собирало машины в РФ. Сервисные центры BMW были в РФ. Делает ли автомобиль BMW российским?


      1. BoogieMan75
        12.11.2024 06:36

        В ту же тему, а почему на российском сервере написано psu и fan, вместо БП и вентилятор?


        1. mClouds_editor Автор
          12.11.2024 06:36

          Ну как минпромторг издаст требования надписей на русском языке на оборудовании , то увидим :) пока таких требований мы не видели , но инструкция на русском есть, там все на русском , не переживайте :)


          1. BoogieMan75
            12.11.2024 06:36

            Про смеяться было выше


      1. BoogieMan75
        12.11.2024 06:36

        Надеюсь что вы смеялись когда это писали:)


  1. ildarz
    12.11.2024 06:36

    какова TATLIN.FLEX.PRO в деле

    И какова же она в деле? Как раз про это в статье ни слова. :(


    1. mClouds_editor Автор
      12.11.2024 06:36

      Мы показали основные элементы СХД на реальном внедрении, а не на маркетинговых материалах ) Если вопрос именно уже про рабочую эксплуатацию в длительном периоде, то наверное, сможем к нему вернуться через полгода или больше, когда пройдет время после внедрения в продуктивный контур заказчика и будет опыт эксплуатации на реальных данных ) или уже будет обзор следующей версии этой СХД к тому времени )


  1. Logoshisha
    12.11.2024 06:36

    Спасибо за материал. Подскажите, что в большей степени отличает TATLIN.FLEX.PRO от аналогов в плане надежности и удобства? Естественно, кроме того, что она отечественная


    1. mClouds_editor Автор
      12.11.2024 06:36

      Например, интересный и полезный функционал QoSmic. Мы его кратко описали в обзоре )


    1. BoogieMan75
      12.11.2024 06:36

      Ничего, тк нет никакого сервера ядро. Есть перелицованный оем, мой новозарегистррованный друг)


      1. mClouds_editor Автор
        12.11.2024 06:36

        Реестровые машины yadro, например R120 G2, не являются OEMом например . Но вашу иронию уловили )


        1. BoogieMan75
          12.11.2024 06:36

          Я увидел в живую продукцию b4com. Там те же проблемы.

          Точнее ещё больше.


        1. BoogieMan75
          12.11.2024 06:36

          Посмотрел на обзор этого сервера. Supermicro классический. Можно какие то доказательства, что он не ОЕМ ?