Привет Хабр! 

Сегодня познакомимся с ключевыми новинками в версии 5.5 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это универсальное решение, которое представляет собой мультипротокольное программно‑определяемое хранилище и платформу виртуализации в одном продукте. 

Начнем с небольшого обзора основных сценариев использования продукта, а также обсудим, как все устроено на уровне инфраструктуры.

Сценарии использования продукта

Мы выделяем четыре основных сценария использования «Кибер Инфраструктуры»: виртуализация, организация виртуальных рабочих мест, хранение данных и хранение резервных копий.

Виртуализация

В состав Кибер Инфраструктуры входит платформа виртуализации на базе QEMU/KVM с контролем всего жизненного цикла виртуальных машин. Поддерживаются гостевые ОС Windows, а также российские и зарубежные дистрибутивы Linux. Устойчивость к катастрофам обеспечивается за счет использования кластера, растянутого между двумя ЦОД.

Виртуальные рабочие места

При помощи Кибер Инфраструктуры можно создавать виртуальные рабочие места и управлять ими: поддерживается развертывание из образов, предоставление доступа через тонкий клиент или браузер и сохранение состояния виртуального рабочего места. VDI использует платформу виртуализации и программно-определяемое хранилище.

Хранение данных

Продукт позволяет создавать различные виды хранилищ с доступом по протоколам NFS, iSCSI и S3. В рамках одного кластера возможно масштабирование до десятков петабайтов. Линейное масштабирование по производительности достигается путем добавления новых узлов.

Хранение резервных копий

Программно-определяемое хранилище Кибер Инфраструктуры может использоваться в качестве специализированного хранилища резервных копий для продуктов Кибер Бэкап и Кибер Бэкап Облачный.

Гиперконвергентная инфраструктура

Кибер Инфраструктура — это гиперконвергентное решение, которое предоставляет вычислительные и сетевые ресурсы, а также ресурсы хранилища. В основе гиперконвергентной инфраструктуры лежит очень простая идея — берутся серверы (они могут быть от разных производителей, разной конфигурации), они объединяются сетевым интерфейсами, и на серверы, как на голое железо, устанавливается программное обеспечение, которое объединяет их в кластер — надежный, производительный и отказоустойчивый. Все ресурсы, которые есть у этих серверов — вычислительные мощности, память и хранилища, объединяются в единый пул. Ресурсы из этого пула не закреплены за определенными устройствами, являются общими для всего кластера и предоставляются по требованию для решения тех или иных задач. При таком подходе ресурсы используются гораздо эффективнее, а сама система обладает большей надежностью и производительностью.

Кибер Инфраструктура основана на ОС семейства Linux и может быть установлена как на голое железо, так и внутри виртуальных машин (с некоторыми ограничениями). Единый кластер объединенных серверов легко масштабируется путем добавления узлов или отдельных дисков. Управление всем кластером осуществляется из единой веб‑консоли или через интерфейс командной строки.

Наш продукт имеет многолетнюю историю, его основная функциональность проверена не только сотнями заказчиков, но и нами самими — на базе Кибер Инфраструктуры работает наш сервис резервного копирования Кибер Бэкап Облачный, защищающий данные множества компаний различного размера. 

Что нового в версии 5.5

В новой версии Кибер Инфраструктуры представлен ряд новых передовых технологий, таких как DRS (балансировка вычислительных ресурсов виртуальных машин), Auto Tiering (балансировка уровней хранилища для дисков виртуальных машин и томов iSCSI), быстрая сеть DPDK для виртуальных машин, поддержка RDMA для основного распределенного хранилища на сетевых картах Intel и Broadcom, поддержка NVMe Namespaces, поддержка BucketPolicy в объектном хранилище, а также существенно расширенную поддержку сетевого оборудования и контроллеров дисковых массивов.

Новинки в области виртуализации

Балансировка вычислительных ресурсов виртуальных машин

Существенным улучшением в версии 5.5 стало появление возможности балансировки нагрузки (Distributed Resource Scheduler, DRS) по CPU и RAM, которая позволяет автоматически и без остановки перемещать виртуальные машины между серверами виртуализации для повышения производительности ВМ. Балансировка вычислительных ресурсов виртуальных машин происходит на основе статистического анализа и автоматических миграций ВМ с чрезмерно нагруженных серверов виртуализации на менее загруженные узлы кластера.

Доступны расширенные настройки параметров балансировки и мониторинг миграций, несбалансированности и ресурсообеспеченности ВМ. Таким образом, администраторам больше не нужно балансировать нагрузку между узлами вручную — нагрузка балансируется в режиме online, администратор может исключить отдельные виртуальные машины из процесса, ограничивать частоту и график миграции.

Виртуализация рабочих столов (VDI)

В версии 5.5 добавлена возможность развертывания виртуальных рабочих столов в среде виртуализации на основе Кибер Инфраструктуры. Теперь пользователи системы могут развертывать инфраструктуру виртуальных рабочих столов для российских операционных систем Astra Linux 1.7.x, РЕД ОС 7.3, Альт Сервер и Альт рабочая станция 10. Поддерживается подключение клиентов по протоколу RDP и через веб-браузер. 

Повышение производительности сети (DPDK)

В новой версии продукта реализована поддержка Data Plane Development Kit (DPDK) для создания виртуальных машин с быстрой сетью. Ускорение сетевых операций между ВМ достигается за счет «быстрого пути» коммутации через пространство пользователя путем взаимодействия сетевого оборудования напрямую с приложениями, минуя тем самым сетевой стек ядра операционной системы. В этой версии Кибер Инфраструктуры функция DPDK доступна только для сетевых адаптеров Intel.

Новинки в области хранения

Автоматическая балансировка уровней хранилищ

В Кибер Инфраструктуру 5.5 включен инструмент для автоматизации перемещения данных между уровнями хранилища и обеспечения оптимальной производительности, уровня надежности. Теперь в окружениях с несколькими уровнями хранения можно настроить автоматическое перемещение данных между уровнями, чтобы обеспечить оптимальную производительность и надёжность. Доступны расширенные настройки параметров балансировки и мониторинг нагрузки на уровни, заполненности уровней и перемещений томов. Доступны режимы увеличения производительности, уменьшения времени отклика, оптимизации занимаемого пространства и поддержания требуемой избыточности данных.

В результате, в продукте реализованы следующие типы балансировки: уменьшение времени отклика, балансировка по IOPS, оптимизация использования пространства, обеспечение минимальной избыточности — это позволяет устранить дисбаланс по производительности / объему между уровнями хранения.

Пространства имен NVMe

Диски NVMe поддерживают функцию NVMe Namespaces (пространства имен), которая позволяет разделить один физический SSD диск большого объема на несколько логических дисков меньшего размера. С помощью этой функции можно значительно увеличить производительность кластера хранилища данных, разделив диски NVMe на пространства имен и использовав получившиеся логические диски для хранения фрагментов данных. Прирост производительности обуславливается тем, что один и тот же физический диск используется несколькими службами фрагментов данных, хотя при этом кратно возрастает потребление ОЗУ, ядер ЦП и дискового пространства за счет большего количества служб фрагментов данных в расчете на один физический диск. 

В результате, можно использовать до 8 сервисов фрагментов на один физический NVMe диск. Как показывают наши тесты, общий прирост производительности уровней на NVMe дисках может достигать 15%.

RoCE для карт Intel и Broadcom

В версии 5.5 поддерживается удаленный прямой доступ к памяти (RDMA) по протоколам Converged Ethernet (RoCE), InfiniBand (IB) и Internet Wide Area RDMA Protocol (iWARP) для внутренней сети хранения данных. Технология RDMA позволяет серверам в этой сети обмениваться данными в основной памяти без задействования процессоров, кэша или операционных систем, высвобождая тем самым ресурсы и улучшая пропускную способность и производительность. По умолчанию RDMA отключен. Включить RDMA можно в панели администратора или в интерфейсе командной строки. В новой версии продукта расширен перечень оборудования, поддерживающего производительные сети с низкой задержкой с использованием RoCE — добавлены адаптеры Intel и Broadcom. Включение режима RDMA может обеспечить рост производительности хранилища при использовании протокола RoCE до 100% (в зависимости от конфигурации)

В нашей базе знаний в статье «Сравнение производительности хранилища с RDMA и без» приведены результаты тестирования производительности репликации и избыточного кодирования при включенном режиме RDMA и без него.

И еще ...

Для распределенного хранилища также реализованы:

• новые схемы избыточного кодирования «3+3», «5+4», «7+5», «9+6», «11+7» для организации эффективных кластеров из трех ЦОД (или трех стоек) с уменьшенной областью отказа и «1+3», «2+4», «3+5», «4+6», «5+7» для кластеров из двух ЦОД (или двух стоек). Подробнее см. в  статье в базе знаний;

• дополнительные регулярные схемы избыточного кодирования: «9+2», «11+3», «13+3», «15+3». Подробнее см. здесь;

• новые схемы репликации: «3 реплики, макс. доступность», «3 реплики, макс. надежность» и «4 реплики». Подробнее см. в статье в базе знаний;

• регулярный TRIM для SSD‑дисков хранилища для поддержания высокой производительности при длительной эксплуатации;

• возможность настройки минимального времени реагирования на отказ оборудования. Подробнее см. в статье в базе знаний;

• поддержка настройки производительности встроенной ОС и специализированный профиль производительности.

S3: кэширование метаданных на SSD

В версии 5.5 поддерживается возможность построения экономически эффективных хранилищ S3 с быстрым выполнений операций над метаданными — сами объектные хранилище создаются на HDD дисках, а метаданные размещаются на flash уровне. Переместить метаданные на flash можно как для существующих инсталляций, так и для новых — объем метаданных оценочно составляет 1–2% от объема хранилища.

Более подробно об этом см. в статье в базе знаний: «Увеличение производительности объектного хранилища за счет вынесения метаданных на уровень SSD‑дисков»

S3: Политики управления доступом к корзинам

В Кибер Инфраструктуру 5.5 включен функционал политики управления доступом, обеспечивающий гранулярную раздачу прав пользователям при доступе к корзинам (bucket) и объектам внутри них. Поддерживаются все стандартные методы S3, реализованные в Кибер Инфраструктуре, а в качестве дополнительных условий (conditions) доступна проверка на вхождение IP адреса.

Новинки в области хранения резервных копий

Хранение резервных копий, созданных с помощью Кибер Бэкапа и Кибер Бэкапа Облачного является одним из основных сценариев использования нашего продукта. В версии 5.5 мы доработали компонент «Шлюз резервных копий», в результате чего:

• увеличена скорость резервного копирования во внешнее облако S3;

• увеличен до 1 ГБ локальный кэш на дисках;

• возможность подключения локальных хранилищ S3 с методом адресации path‑style;

• в магазине приложений Yandex Cloud Apps доступно приложение «Шлюз резервных копий СРК Кибер Бэкап» для быстрого развертывания отказоустойчивой точки хранения резервных копий. Также приложение подходит для легкого развертывания демо‑стендов Кибер Инфраструктуры.

Более подробно об использовании шлюза резервного копирования с Yandex Cloud мы рассказывали здесь.

Обновление до версии 5.5

Продукт Кибер Инфраструктура версии 5.0 можно обновить до версии 5.5 в разделе Настройки > Обновить. Для завершения обновления требуется перезагрузка. Обновленные узлы будут перезагружаться автоматически, один за другим. Во время перезагрузки служба хранения данных и панель администрирования могут оказаться недоступными на конфигурациях кластера, где не предусмотрено избыточности служб или данных. Отметим, что лицензии от 5.0.1 работают в версии 5.5, правила лицензирования не изменились.

Узнать больше

Недавно мы провели онлайн‑мероприятие, посвященное выпуску Кибер Инфраструктуры 5.5. На нем подробно рассказали и показали основные новинки данного релиза. Запись доступна здесь.