Процедура развертывания высокодоступного распределённого хранилища
В данной статье описана процедура развертывания высокодоступного распределённого хранилища для хранения дисков, ISO-образов и резервных копий виртуальных машин на локальных накопителях серверов с использованием кластерной файловой системы GlusterFS в инфраструктуре SpaceVM.
Предлагаемое техническое решение обеспечивает устойчивость к одновременному отказу отдельного сервера в кластере, одиночного жесткого диска внутри репликационного блока («брика») на отдельном узле, а также одного сетевого коммутатора без риска утраты данных и прерывания функционирования виртуальных машин в кластере.
Приведенный пример демонстрирует создание пула данных с доступным объемом около 3,5 Гбайт. В реальных условиях объем можно масштабировать, например, до 3,5 Тбайт полезного пространства.
Планирование серверов и дисков
Организация узлов и дисков в кластере
Данное решение предназначено для функционирования в кластере от трёх узлов. Один или два сервера могут выступать в роли Controller+Node. При настройке репликации назначение ролей Master и Slave контроллеру выполняется в соответствии с разделом.
Для организации хранилища потребуется следующее оборудование:
По десять одинаковых SSD-дисков объёмом от 1 ТБайт каждый — предназначены для хранения данных виртуальных машин.
Два SSD-диска от 128 ГБайт — предназначены для хранения метаданных (для раздела арбитра).
При этом пять дисков подключаются к каждому из двух произвольных узлов кластера, а оставшиеся два диска — к третьему произвольно выбранному узлу.
Планирование сетевой инфраструктуры
Организация сетевой инфраструктуры
В файловой системе GlusterFS одна и та же сеть применяется одновременно для передачи служебной информации, обмена данными между блоками (bricks) тома и доступа клиентов (например, виртуальных машин), если клиентские машины расположены на другом физическом сервере относительно самого хранилища.
Общие рекомендации
Пропускная способность сети для повышения производительности кластера — от 10 Гбит/с.
-
Два от 10G-коммутатора:
основной;
резервный.
-
Два от 1G-коммутатора:
для встроенной сети управления mgmt SpaceVM;
резервный.
-
Дополнительно на основном от 1G-коммутаторе создать:
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Рекомендуемая схема сетевой инфраструктуры

Использование двух 10G-коммутаторов
Возможно использование только двух 10G-коммутаторов (основного и резервного). Но при этом необходимо создать следующие сети:
встроенную сеть управления mgmt в отдельном VLAN;
внешнюю сеть для КТ Gluster в отдельном VLAN;
внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;
внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.
Cоздание агрегированных интерфейсов и внешней сети
Порядок действий
-
Создать на контроллере внешнюю сеть
glusterдля подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса:Перейти в раздел основного меню Сети - Внешние сети Web-интерфейса SpaceVM.
Нажать кнопку Создать.
На первом этапе создания сети указать название сети
glusterи адрес10.0.20.0/24.-
На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.
Второй этап создания внешней сети

На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
-
Создать для каждого сервера внутренний интерфейс во внешней сети
gluster:Перейти на вкладку Подключённые серверы созданной сети
gluster.-
Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой

Окно создания внутреннего интерфейса внешней сети

Созданная внешняя сеть

Cоздание кластерного транспорта Gluster
Порядок действий
Для создания кластерного транспорта необходимо:
-
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Кластерные транспорты Web-интерфейса SpaceVM.
Кластерные транспорты

-
Нажать кнопку Создать.
Создание кластерного транспорта

-
В открывшемся окне заполнить следующие поля:
Название.
-
Тип.
Указать тип файловой системы:
Gluster.
Внимание
В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.
Создание КТ Gluster

-
В меню Хранилища - Кластерные хранилища - Кластерные транспорты проверить правильность создания КТ.
Информация о КТ

Создание zfs-бриков
Порядок действий
На трех узлах необходимо создать три репликационного блока (брика, brick).
Два брика - для полезных данных и один брик - арбитр.
-
Перейти в раздел основного меню Хранилища - ZFS Web-интерфейса SpaceVM, нажать кнопку Добавить ZFS и создать брик для арбитра
zfs_arbiterна первом узле (два диска типаmirrorс полной избыточностью; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
-
Выбрать сервер.
Указать первый узел.
-
Выбрать тип пула.
Установить значение:
mirror. Выбрать локальные устройства.
-
Ввести название.
Название арбитра:
zfs_arbiter. Нажать кнопку ОК.
Пример создания zfs_arbiter

-
-
Нажать кнопку Добавить ZFS и создать основной брик полезных данных
zfs_brick_1на втором узле (два диска типаraidz1по схеме 4+1; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
-
Выбрать сервер.
Указать второй узел.
-
Выбрать тип пула.
Установить значение:
raidz1. Выбрать локальные устройства.
-
Ввести название.
Название брика:
zfs_brick_1. Нажать кнопку ОК.
Пример создания zfs_brick_1

-
-
Нажать кнопку Добавить ZFS и создать дополнительный брик полезных данных для зеркала
zfs_brick_2на третьем узле (два диска типаraidz1по схеме 4+1; отказ одного диска не приведет к отказу брика).В открывшемся окне заполнить поля следующим образом:
-
Выбрать сервер.
Указать третий узел.
-
Выбрать тип пула.
Установить значение:
raidz1. Выбрать локальные устройства.
-
Ввести название.
Название брика:
zfs_brick_2. Нажать кнопку ОК.
Пример создания zfs_brick_2

-
-
Перейти в раздел основного меню Хранилища - ZFS и проверить правильность создания zfs-бриков.
Информация о zfs-бриках

Создание gluster-тома (на примере реплики с арбитром)
Порядок действий
Внимание
Не рекомендуется использование томов типа Dispersed и Distributed Dispersed в связи с потенциальной возможностью потери данных при ограждении узлов SpaceVM.
-
Перейти в раздел основного меню Хранилища - Кластерные хранилища - Тома Web-интерфейса SpaceVM, нажать кнопку Создать и создать gluster-том.
В открывшемся окне заполнить поля следующим образом:
-
Выбрать тип тома.
Установить значение:
Реплицированный. -
Разделы (ZFS пулы).
Выбрать два брика, на которых будут храниться полезные данные. Брик-арбитр не участвует.
-
Размер записи.
Установить значение: 128 Кбайт.
-
Значение репликации тома.
Установить значение: 2.
-
Нажать кнопку ОК.
Пример создания тома

Внимание
Фактически занятое на томе место зависит от типа zpool-бриков, входящих в том, и размера записи тома. Особое внимание требуется при выборе малых размеров записи во время создания томов из бриков (или содержащих хотя бы один брик) с типом raidz, raidz2 (пример в табице ниже).
raidz1, raidz2 из 4 дисков:
Размер записи, Кбайт
Объём полезных данных, Мбайт
Занятый объём, Мбайт
8
500
760
16
500
757
32
500
574
64
500
574
128
500
528
-
-
В разделе основного меню Хранилища - Кластерные хранилища - Тома выбрать созданный том и проверить, что он состоит из двух бриков с репликацией 2.
Информация о томе

Информация о бриках

-
Во вкладке Разделы (ZFS пулы) добавить третий брик на третьем узле в качестве арбитра, нажав кнопку
Добавить раздел.В открывшемся окне заполнить поля следующим образом:
-
Значение репликации тома.
Установить значение: 3.
-
Наличие раздела арбитра в реплицированном томе.
Установить значение: 1.
-
Разделы (ZFS пулы).
Выбрать брик-арбитр.
Нажать кнопку ОК.
Добавление разделов

-
-
Проверить успешность добавления брика. Данный брик предназначен исключительно для хранения метаданных, обеспечивающих защиту хранилищ от эффекта split-brain в случае потери работоспособности одного из узлов с полезными данными.
Информация о разделах

-
Проверить тип бриков. Для этого необходимо во вкладке Разделы (ZFS пулы) нажать кнопку Получение расширенных сведений о томе.
В раскрывающемся списке бриков поочередно выбрать:
-
storages/zfs/zfs_arbiterи проверить тип брика в полеtype.Тип брика zfs_arbiter

Должно быть
Arbiter. -
storages/zfs/zfs_brick_1и проверить тип брика в полеtype.Тип брика zfs_brick_1

Должно быть
Brick.
Аналогично проверить
storages/zfs/zfs_brick_2. -
Добавление gluster-тома в пул ресурсов
Порядок действий
-
Перейти в раздел основного меню Кластеры - Пулы ресурсов - <целевой пул ресурсов> - Пулы данных и нажать кнопку Добавить пул.
Пулы данных

-
В открывшемся окне выбрать созданный
gluster_tomи нажать кнопку ОК.Добавление пула данных

-
Проверить, что пул появился в списке.
Список пулов данных

-
Нажав на пул данных в списке, перейти к подробной информации о пуле
gluster_tom. Проверить, что он доступен на всех узлах кластера.Информация о пуле данных

По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Следите за обновлениями: впереди новые практические руководства по работе со SpaceVM.