Привет, меня зовут Иван. Я по-прежнему работаю в Nubes, отвечаю за направление виртуализации и поддержку облачных сервисов. А ещё продолжаю изучать Sangfor — азиатскую альтернативу популярным продуктам HCl (Hyper Converged Infrastructure), которые недавно покинули российский рынок. На Хабре делюсь подробным гайдом по инсталляции и настройке решения.

Предыдущую статью я закончил на этапе установки гипервизоров на хосты. В этот раз расскажу и покажу:

  • все основные моменты развертывания кластера,

  • как добавить лицензию,

  • как подключить внешнюю СХД,

  • как настроить aSAN. 

Дисклеймер: прошлая статья про Sangfor HSI была почти полгода назад. За это время в стенде мы стали использовать сервера иной конфигурации на базе процессоров AMD. И так как стенд разворачивался очень резво, то было совсем не до скриншотов. 

Показывать только готовый развёрнутый стенд — такое себе занятие. Поэтому скриншоты могут немного отличаться по наполнению, ибо взяты с чистой установки... с хостами на базе Intel из первой статьи. Вот такие вышли рокировочки.

Создаём кластер 

Гипервизор установили, а значит можно приступить к развёртыванию кластера.

Проваливаемся через браузер на любой из IP-гипервизоров.

Учётка по умолчанию была указана на последнем этапе установки: admin/admin. Видим стартовый экран:

Наблюдать один грустный хост не очень хочется, поэтому выбираем пункт Add new node. Если же кластера нет, то первым делом нам предложат заполнить данные: указать его имя, адрес и маску. 

Далее мы можем добавлять хосты в кластер по одному или сразу по несколько.

Next, next, next — и визард ругнулся только на отсутствие лицензии. Но это нормально, ею мы займёмся позже.

В настройках кластера мы можем добавлять или удалять ноды, а также изменять время для перевыбора кластер-контроллера.

После всего этого мы переходим по адресу, который указывали как кластерный. Далее управляем всем уже с него. При первом логине платформа потребует сменить пароль от учётки admin на новый.

Также после создания кластера создадим Overlay-сеть. Без неё никак. В своей конфигурации я выбрал пункт Add Multiple VLAN Subinterfaces и добавил три сабинтерфейса.

Переходим на вкладку Overlay Network Interface и добавляем новый IP-пул.

Здесь также можно использовать любую адресацию, так что заполняем поля и двигаемся дальше.

Всё. Настройку Overlay закончили (:

Добавляем лицензию

Предлагаю выйти за рамки ознакомительного функционала и добавить лицензии на наш кластер. Для этого генерируем файл с хостов, по которому коллеги из Sangfor выпишут лицензии.

Лицензия может быть представлена в двух вариантах — в виде USB-ключа или сгенерированного файла с хостов кластера.

Для генерации файлика лицензии необходимо минимум два хоста.

Выбираем два и далее — экспорт.

После получения лицензии в том же меню выбираем пункт «Активировать лицензию».

Так как у меня лицензия Enterprise, то все компоненты лицензированы.

Важно: файл, который мы генерим, будет уникальным, и повторно лицензию использовать нельзя. Даже если переустановите систему на этих же хостах.

Как работает лицензия на базе USB-ключа я не знаю, к сожалению. С ней на практике не сталкивался.

Настраиваем aSAN

Следующим шагом добавим хранилище. Есть два варианта:

  1. aSAN — виртуальное хранилище на локальных дисках сервера (аналог технологии VMware vSAN);

  2. классическое подключение по FC, iSCSI, NFS и с использованием локальных дисков.

aSAN — это решение для распределённого хранения данных от компании Sangfor. Оно разработано на основе распределённой файловой системы GlusterFS. Подробнее коснемся данной технологии в статье про тесты на производительность.

Чтобы собрать виртуальное хранилище, нам придётся соблюсти три требования:

  1. Наличие лицензии, которая позволяет использовать технологию aSAN.

  2. Отдельные физические интерфейсы для трафика.

  3. Настройка Storage Network Interface.

Последний пункт на практике выглядит довольно просто. Сначала выбираем Add Storage Area Network.

Так как в агрегаты я линки не собирал, то выбираю второй пункт — Link aggregation disabled.

Адресация на скриншоте ниже является дефолтной. При желании её можно изменить на свою.

После всех этих манипуляций мы можем собрать виртуальное хранилище. Для этого выбираем Storage — Virtual Storage — New.

В данном окне мы видим все серверы кластера с указанием количества локальных дисков. Выбираем нужные (в нашем случае — все).

И видим список всех доступных дисков на каждом хосте. Список поддерживаемых дисков можно запросить у коллег из Sangfor.

Важно: есть вероятность, что диски в данном меню будут помечены красным как неподдерживаемые. В таком случае следует обратиться в техподдержку.

Далее у нас есть возможность изменить конфигурацию дисковых групп на каждом сервере. Я создал по две дисковые группы на сервер.

В финале вываливаемся в последнее меню и видим общую конфигурацию того, что мы наконфигурили. Если всё ОК, то двигаемся дальше и ждём успешного окончания задачи по созданию виртуального хранилища.

Итог должен быть вот таким :)

Подключаем СХД

Как я уже писал ранее, мы можем добавить внешние СХД по протоколам:

  • FC,

  • iSCSI,

  • NFS.

Перед подключением СХД по iSCSI на моем стенде требовалось добавить сабинтерфейс с сетью, по которой она доступна. Делается это аналогично c Overlay. Выбираем Add Multiple VLAN Interfaces и указываем свои настройки сети. 

Перед подключением LUN нам нужно добавить таргеты.

На СХД видим инициатор в таком формате: iqn.2005-03.org.open-iscsi:host-e8ebd337de1c. 

Презентуем LUN на хосты, затем ресканим и только после этого подключаем LUN:

Выбираем необходимое количество хостов.

Затем указываем имя и некоторые другие параметры.

Подключение по FC выглядит аналогично. С NFS тоже всё просто.

Указываем необходимые данные NFS-сервера, после чего шара появляется в списке доступных. 

На этом сегодня всё. Ухожу писать следующую часть нашего большого гайда. Надеюсь, что вернусь не через полгода, а раньше. Скоро разберу следующие этапы инсталляции и настройки HSI Sangfor. В частности, расскажу, как развернуть и настроить SCP — Sangfor Cloud Platform. 

А пока с удовольствием отвечу на ваши вопросы. Когда есть комментарии, писать следующие статьи как-то веселее :)

Комментарии (6)


  1. vesper-bot
    14.12.2023 10:56

    Вопросы по лицензиям:

    1. Не пробовали сделать "кластер Тесея"? То есть ввести ноду, вывести ноду, и так 10 раз. Отвалится лицензия или нет?

    2. Если сэмулировать выход из строя одного из серверов, на который выписана лицензия, получится ли ввести в кластер новый сервер с тем же именем (и/или IP-адресом), которое было на сдохшем сервере?

    3. Какой уровень лицензии необходим для функциональности aSAN? (Вообще говоря, без aSAN это не гиперконвергентный кластер, а обычный вычислительный кластер. Тот же Nutanix CE без лицензии только ограничивает число хостов в кластере, но storage pool из локальных дисков создает и предоставляет, но там ему он необходим по архитектуре.)

    Потом:
    Какой механизм управления этим aSAN? Процессы Gluster запущены на хосте или ещё где-то? Какой метод виртуализации используется? Где хранятся метаданные ВМ кластера? Или "рано ещё, это будет в следующих частях"? :)


    1. tykm Автор
      14.12.2023 10:56

      Добрый день.

      1. При таких тестах лицензия не отваливается.

      2. Да, есть возможность вывести(удалить) ноду из инвентори и добавить другую при условии, что не собран aSAN. Если собран aSAN, то тут сработает именно замена ноды (хоста), т.е. просто так удалить оффлайн ноду будет нельзя.

      3. Прошу учесть, что я не являюсь официальным представителем компании Sangfor и моя информация может быть не совсем актуальной, но насколько я знаю, есть 3 вида лицензии: Basic, Premium, Enterprise. aSAN доступен начиная со второй. Постараюсь уточнить информацию по лицензиям и вернуться с более актуальной информацией.

      Потом:

      Благодарю за проявленный интерес к данной теме. "рано ещё, это будет в следующих частях" Вы тут оказались правы :) Сделал пометки и обязательно отвечу на Ваши вопросы в статье по aSAN. Ждать полгода её не придется :)


      1. vesper-bot
        14.12.2023 10:56

        Ну если собран aSAN, там операция вывода даже сдохшей ноды должна вызвать полную перестройку избыточности хранимых данных, так что это нормально - как любая технология non-shared storage она должна обеспечивать отказоустойчивость на уровне одного узла. А после перестройки aSAN такая операция уже станет доступна, так как нода будет считаться не хранящей данные и спокойно вылетит из кластера.
        Спасибо за информацию.


  1. viktorrammk
    14.12.2023 10:56

    После дырявости Sangfor NGFW, страшно даже на пушечный выстрел такое подпускать


    1. B1nary23
      14.12.2023 10:56

      Вероятно, вы говорите об уязвимостях, которые были найдены в октябре этого года? Там речь идет об уязвимостях старой версии NGAF (8.0.17 от 2018 года). Сейчас актуальные версии (достаточно давно) — 8.0.47 и 8.0.85, в которых данные уязвимости устранены.

      Вообще, конечно, тема холиварная. Скажу только, что уязвимости находят в продуктах многих вендоров, в том числе и мировых лидеров (например, Fortinet). Да даже Windows каждый месяц закрывает кучу уязвимостей, в том числе zero-day. В общем, обычная практика.

      Главное — что уязвимости закрываются вовремя :)


    1. vesper-bot
      14.12.2023 10:56

      NGFW хотя бы под обстрелом по своей архитектуре, HCI теоретически должна жить в своём влане и не иметь касательства к пользовательским сетям, и её уязвимости могут быть банально недоступны.