В начале декабря мы выпустили новую версию нашего гиперконвергентного решения Кибер Инфраструктура. В этом релизе перед нами стояли две большие задачи: повышение эффективности системы в целом и объектного хранилища S3 в частности. Кроме того, версия 6.5 стала первым релизом продукта, подготовленным в рамках процесса безопасной разработки.

Про новинки в предыдущих версиях Кибер Инфраструктуры, 6.0 и 5.5, писали здесь и здесь.

Кластер хранения

Практически первое, что необходимо сделать при установке системы на «голое железо» — это развернуть кластер хранения. В процессе развертывания администратор конфигурирует ряд параметров, в частности задает роли дисков, отвечающие за размещение служебной информации и отказоустойчивое хранение данных.

В предыдущих версиях Кибер Инфраструктуры роли дисков, такие как кэширование, сервер метаданных и сервер фрагментов, необходимо было указывать вручную. Этот шаг вызывал много вопросов. Мы начали оптимизировать процесс настройки в версии 6.0, обеспечив возможность массовой настройки ролей дисков вручную. В этом релизе продолжили оптимизацию: теперь роли дисков назначаются автоматически, администратор может подтвердить выбор или внести изменения и продолжить настройку. В результате развертывание кластера хранения ускорилось и стало существенно проще.

По мере развития и роста инфраструктуры к кластеру Кибер Инфраструктуры добавляются новые серверы, старые или вышедшие из строя меняются на новые, и каждый раз возникает задача их настройки. В версии 6.5 мы оптимизировали процесс настройки. Теперь конфигурация существующих узлов копируется на новые узлы и может быть назначена по команде сразу нескольким новым узлам или изменена в процессе их добавления в кластер.

Параллельно с совершенствованием механизмов управления мы серьезно работаем над повышением быстродействия. В версию 6.5 вошел пакет обновлений, который оптимизирует скорость расчета технологических операций, выполняемых при работе распределенного дискового массива в составе Кибер Инфраструктуры. Это позволило заметно увеличить производительность хранилища, работающего в режиме отказоустойчивости с использованием технологии помехоустойчивого кодирования (erasure coding).

На реальных конфигурациях кластера Кибер Инфраструктуры для сервисов хранения данных виртуальных машин, файлового хранилища NFS и блочного хранилища iSCSI удалось получить ускорение до 1,5 раз. Для хранилища S3 удалось получить ускорение до 2,5 раз, что позволяет рекомендовать применение технологии помехоустойчивого кодирования как основной технологии обеспечения отказоустойчивости даже для использования в высоконагруженных решениях.

Объектное хранилище S3

Объектные хранилища S3 чрезвычайно востребованы у наших заказчиков, так как имеют ряд преимуществ над другими распространенными типами хранилищ, например файловыми или блочными. Объектное хранилище хранит объекты в формате «ключ‑значение», что позволяет просто адресовать и находить нужные данные среди миллиардов хранимых объектов. И вдобавок к этому объектное хранилище имеет широчайший набор инструментов для работы с хранимыми объектами, которые позволяют управлять жизненным циклом, гибко настраивать права доступа, гарантировать неизменяемость, перемещать между областями хранения с разной стоимостью и многое другое.

У компании есть два варианта начать использовать объектное хранилище: либо воспользоваться облачными сервисами поставщиков услуг (90% предложений на отечественном рынке), либо развернуть хранилище локально, внутри периметра предприятия (оставшиеся 10% предложений).

Для тех заказчиков, которые выбирают путь развертывания хранилища в локальной инфраструктуре, мы предлагаем собственную реализацию объектного хранилища S3, которая является одной из лучших на рынке и постоянно развивается в направлении расширения функциональности, повышения производительности и эффективности хранения данных.

Давайте посмотрим, что мы сделали в Кибер Инфраструктуре 6.5 в части развития объектного хранилища S3.

Поточная загрузка данных в объектное хранилище

Есть два стандартных способа загрузки объектов в хранилище: объект грузится целиком или предварительно разбивается на части, которые потом загружаются в хранилище и там собираются. Недостатком этих способов является необходимость держать файл объекта целиком на отправляющей стороне. Для устранения этого недостатка появилась технология потоковой загрузки (chunked upload). Потоковая запись подходит, например, для видео, которые пишутся непрерывным потоком, либо резервных копий, либо для файлов с данными, которые формируются на лету и сразу отправляются в хранилище непрерывным потоком. Особенность этой технологии заключается в том, что загрузка объекта начинается до того, как он создан целиком, а это сильно экономит ресурсы на стороне клиента. Для сохранения в хранилище S3 объекта размером 5 ТБ вполне достаточно виртуальной машины, удовлетворяющей минимальным требованиям для работы операционной системы Linux, а это существенно экономит ресурсы.

При сохранении данных объекту может быть присвоен определенный класс хранения, который определяет, с какой производительностью и стоимостью будет сохранен объект в хранилище. т. е. перемещение объекта между классами хранения позволяет изменять стоимость хранения данных. Классы хранения организуются на базе уровней хранения (tier) распределенного дискового хранилища, входящего в состав Кибер Инфраструктуры. Для сохранения объекта с определенным классом хранения используется стандартный заголовок x‑amz‑class‑storage. Объекты, хранящиеся с разными классами обслуживания, могут логически размещаться в одной корзине (bucket). Классы хранения позволяют существенно снижать стоимость хранения данных с большими сроками хранения. Сейчас эта функция для on‑prem решений реализована только в Кибер Инфраструктуре.

Новые возможности управления жизненным циклом данных

Возможность автоматического управления жизненным циклом данных в хранилище является одним из ключевых преимуществ S3-хранилища перед другими технологиями хранения данных. В большинстве случаев данные актуальны в течение ограниченного срока, по истечении которого их можно удалять полностью или удалять старые версии. Автоматизация этого процесса для хранилища, в котором хранятся миллиарды объектов, — первоочередная задача, решение которой обеспечивает автоматическое поддержание актуальности хранилища и позволяет своевременно освобождать место хранения для новых данных.

В Кибер Инфраструктуре 6.5 мы расширили функциональность управления жизненным циклом, внедрив поддержку реализации сложных условий на базе тегов, присваиваемых объектам.

Теги (метки) — это форма метаданных объектов, дополнительные поля, в которые можно писать произвольные данные. Эти данные и становятся критериями формирования правил фильтрации объектов для применения правил управления жизненным циклом.

Статистика S3 по классам хранения

Чтобы получать информативную картину общей производительности, вовремя выявлять инциденты и реагировать на них, управлять ресурсами и стоимостью, вообще в полной мере управлять собственной инфраструктурой, необходим механизм, реализующий осведомленность о работе системы. Кибер Инфраструктура всегда имела расширенные инструменты для получения информации о системе. В версии 6.5 мы добавили возможность выдавать по текстовым или JSON‑запросам через API управления кластером хранения полную статистику операций, выполняемых для разных классов хранения. Раньше статистика предоставлялась в двух разрезах: по корзинам и по пользователям. В Кибер Инфраструктуре 6.5 добавился дополнительный разрез: класс хранения. Так что теперь можно получить статистику, например, только по операциям с объектами в определенной корзине и хранящимся с определенным классом хранения.

Таким образом можно воспроизвести более четкую картину производительности и использования ресурсов. Это повышает общую управляемость объектным хранилищем и оценкой распределения нагрузки по классам хранения.

Новый интерфейс создания и управления объектным хранилищем S3

Развивая взятый курс на упрощение работы с функциями продукта Кибер Инфраструктура, в версии 6.5 мы доработали веб‑интерфейс создания и управления хранилищем S3. Помимо улучшения вида панели управления сервисом, мы добавили панель тонкой настройки сервисов S3-хранилища. Теперь количество служб может быть изменено в соответствии с требованиями к производительности и размеру S3-хранилища прямо в графическом интерфейсе.

Встраиваемость в инфраструктуры заказчиков

С недавнего времени Кибер Инфраструктура перестала быть замкнутой системой. Если раньше в ней могли использоваться только ресурсы распределенного дискового массива, входящего в состав кластера, то в версии 6.0 мы внедрили поддержку использования имеющихся в инфраструктуре заказчиков СХД.

В Кибер Инфраструктуре 6.0 была реализована возможность подключения внешних СХД только по протоколу iSCSI. В версии 6.5 мы расширили поддержку протоколов подключения внешних СХД: теперь подключение можно выполнить с использованием протокола Fibre Channel. Это позволяет расширить перечень СХД, которые могут использоваться для хранения данных виртуальных машин.

Калькулятор производительности хранилища

Говоря о производительности хранилища, следует отметить такой ее аспект как предсказуемость. Очень полезно, когда производительность можно не только измерить, но и предсказать. Для этого мы сделали внутренний веб‑ресурс специально для всех, кто продает Кибер Инфраструктуру. Он позволяет быстро и с приемлемыми погрешностями производить оценочный расчет аппаратных конфигураций, требуемых для решения задач заказчиков.

Пока калькулятор работает в тестовом режиме и мы не отдаем его в широкий доступ, но наши партнеры уже могут использовать его, чтобы выполнить расчеты решений без дополнительного тестирования.

Безопасная разработка

Начиная с этого релиза, разработка Кибер Инфраструктуры ведется в рамках процесса безопасной разработки. Это важный этап развития системы, у которого есть два аспекта: функциональный и регуляторный. Функциональный: процесс безопасной разработки помогает выявлять уязвимости как в собственном коде, так и в сторонних библиотеках. Ряд таких уязвимостей мы выявили и устранили при подготовке релиза. Регуляторный: безопасная разработка открывает нам путь к сертификации ФСТЭК — мы активно работаем над тем, чтобы это произошло как можно скорее.

Другие изменения

В версии 6.5 было сделано много мелких изменений, направленных на улучшение пользовательского опыта и повышение информированности. Среди них новые панели мониторинга в Grafana для мониторинга процесса перекодирования данных при избыточном кодировании, трафика RDMA, состояния бэкенда панели управления и кластера PostgreSQL, кнопка «Копировать в буфер обмена» напротив IP‑адресов ВМ и узлов и многое другое.

Узнать больше

Недавно мы провели онлайн‑мероприятие, посвященное выпуску Кибер Инфраструктуры 6.5. На нем подробно рассказали и показали основные новинки этого релиза. Запись мероприятия доступа здесь.

Попробовать самим

Воспользуйтесь не ограниченной по времени пробной версией Кибер Инфраструктуры с объемом хранилища до 1 ТБ, чтобы оценить все возможности продукта.