В этом обзоре мы познакомимся с новым продуктом компании Киберпротект — Кибер Хранилище. Это простая в эксплуатации универсальная, система хранения данных, работающая на базе стандартного серверного оборудования архитектуры x86–64 с установленными дисками HDD, SSD или NVMe.

Кибер Хранилище поддерживает основные протоколы хранения: iSCSI, NFS и S3, интегрировано с системой резервного копирования Кибер Бэкап и сервисом Кибер Бэкап Облачный, поддерживает возможность неограниченного масштабирования и реализации географически распределенных решений.

История появления продукта

Продукт Кибер Хранилище всегда был вместе с нами, просто он не знал, что так называется. Он был частью продукта Кибер Инфраструктура, где обслуживал различные потребности в хранении данных, работал вместе с продуктами Кибер Бэкап и Кибер Бэкап Облачный — обеспечивал хранение резервных копий как в нашем ЦОДе, так и у значительного числа наших заказчиков, был основой крупных S3 хранилищ в решениях наших партнеров.

И вот в мае 2025 г. мы решили, что настало время представить нового сильного игрока в сфере хранения данных. Сегодня продукт Кибер Хранилище включен в реестр Минцифры и проходит сертификацию ФСТЭК — мы надеемся завершить этот процесс до конца 2025 г.

Кратко о технологиях

Кибер Хранилище — это классический распределенный дисковый массив с равноправными узлами кластера, т. е. для функционирования каких‑либо служб не требуется специально выделять оборудование, все службы могут прекрасно сосуществовать вместе.

В Кибер Хранилище реализован стандартный набор служб хранения данных: iSCSI, NFS и S3. К особенностям реализации службы NFS следует отнести нечувствительность к количеству файлов в папке.

У службы S3 особенностей значительно больше, но об этом мы расскажем чуть ниже.

В дополнение к стандартным функциям, Кибер Хранилище интегрировано с Кибер Бэкапом и Кибер Бэкапом Облачным и может обеспечивать хранение резервных копий или служить шлюзом для сохранения данных во внешних системах хранения.

Кластер Кибер Хранилища легко масштабируется и может обслуживать до 64 Пбайт пользовательских данных.

В кластере может быть организовано до 4 уровней хранения (tier) при настройке через графический интерфейс и до 255 при настройке через командную строку. Уровень хранения — это область, организованная на одном типе дисков (HDD, SATA SSD или NVMe) с использованием гибридной конфигурации или без нее. Уровни хранения позволяют сформировать под задачу пространство хранения с требуемыми показателями производительности и стоимости хранения и исключить влияние нагрузки одного уровня хранения на другие. В случае, если Кибер Хранилище используется для организации S3 хранилища, уровни хранения позволяют организовать классы хранения по образу и подобию реализованных в Amazon и пользоваться стандартными методами для доступа к этим классам.

В продукт включены развитые инструменты обеспечения отказоустойчивости, включая возможность организации метрокластера и обеспечение георепликации для S3 хранилищ и резервных копий.

Как обычно использовалось Кибер Хранилище, пока…

… оно еще не знало, что оно Кибер Хранилище:

1. Как альтернатива классическим СХД и разного рода программным продуктам из числа open source

2. Для внедрения технологии S3

3. Для реализации катастрофоустойчивых решений

Замена классических СХД и open source продуктов

Кибер Хранилище устанавливается на стандартное оборудование, настраивается и управляется через графический интерфейс или командную строку. Это позволяет развернуть продукт и использовать его с минимальной подготовкой и существенно снижает время на установку и администрирование. А если что‑то пошло не так, всегда есть подробная документация и техническая поддержка.

Кибер Хранилище позволяет использовать HDD, SSD и NVMe накопители, но это должны быть накопители enterprise класса. В процессе работы к кластеру всегда можно подключить новые серверы с другим типом дисков для организации уровня хранения с заданными показателями производительности и стоимости хранения.

Сервисы iSCSI, NFS и S3 могут использоваться одновременно в одном кластере Кибер Хранилища и, либо работать на одном общем дисковом пространстве, либо быть разнесенными на разные уровни хранения для исключения взаимного влияния.

В дополнение к поддержке стандартных протоколов хранения Кибер Хранилище интегрировано с продуктами Кибер Бэкап и Кибер Бэкап Облачный. Интеграция реализуется специализированным шлюзом Backup Gateway (BGW), который позволяет сохранять резервные копии на распределенном дисковом массиве Кибер Хранилища или во внешних хранилищах данных — это могут быть файловое хранилище NFS или объектное S3 хранилище.

Возможность реализации растянутого кластера, обеспечивающего катастрофоустойчивость распределенного дискового массива или организации георепликации для сервисов S3 и Backup Gateway дополняют ключевые преимущества Кибер Хранилища при его использовании в качестве замены классическим СХД и open source продуктам.

Внедрение технологии S3

Данных становится очень много и управление ими уже требует автоматизации. Для этого можно воспользоваться технологией S3, которая поддерживает:

• удобный механизм управления политиками доступа (Bucket Policy);

• развитый инструментарий управления жизненным циклом объектов (Object Lifecycle);

• возможность хранение версий (S3 Versioning);

• возможность защиты на определенный срок объектов от удаления (Object Lock)

• хранение вместе с объектами дополнительных метаданных для реализации дополнительных функций автоматизации обработки объектов.

Кибер Хранилище позволяет использовать возможности технологии S3 для большинства имеющихся задач. Это достигается за счет показателей, которые выгодно отличают наш продукт от аналогичных решений, присутствующих на рынке:

• возможность сохранять огромное количество небольших объектов без специальных действий со стороны администратора –10 млрд объектов в одной корзине не приведут к катастрофе;

• производительность одного узла кластера на запись: до 5000 объектов размером 40 КБ в секунду или до 2 ГБ/с для объектов размером от 1 Мбайт;

• реализованная технология классов обслуживания, позволяющая с помощью заголовка x‑amz‑storage‑class определять уровень хранения (тип дисков), на котором будет физически располагаться объект;

• поддержка практически полного спектра методов управления политиками безопасности и жизненного цикла объектов;

• реализация всех методов загрузки объектов, включая потоковую, которая позволяет загружать сверхбольшие объекты по мере их формирования, вместо того чтобы выделять огромное пространство для промежуточного хранения на клиенте;

• поддержка георепликации, доступная из коробки.

Где это обычно применяется? Там, где требуется хранить очень большое количество файлов с информацией, т.е. любая информационная или технологическая система, формирующая большой объем данных.

Еще один вариант использования технологии S3 в Кибер Хранилище — сохранение крупных двоичных объектов баз данных. Ключевым в данном случае является не количество сохраняемых объектов, а скорость, с которой они могут сохраняться. Кластер обычно включает не менее 5 серверов, каждый выдает «на‑гора» 5000 операций в секунду, т. е. суммарно получится 25 000 операций в секунду на кластер минимального размера.

Что в итоге мы получаем: крупный двоичный объект в базе замещается короткой ссылкой на него.

Это приводит к существенному снижению размера базы данных со всеми вытекающими полезными последствиями.

Еще один сценарий использования S3 хранилища — хранение резервных копий, т.к. в последнее время многие приложения научились делать резервные копии напрямую в S3 хранилище. Благодаря возможности быстро писать крупные объекты Кибер Хранилище практически идеально подходит для этой роли.

Вернемся к минимальной конфигурации кластера из пяти серверов. Каждый сервер может записывать поток до 2 ГБ/с, т. е. кластер в минимальной конфигурации будет писать со скоростью до 10 ГБ/с. Это существенно сократит окно резервного копирования крупных СУБД Postgres Pro при использовании утилиты pg_probackup.

И как показано на следующей схеме, в ряде сценариев можно распараллелить задачи резервного копирования баз PostgeSQL и остальной инфраструктуры, получив выигрыш в скорости резервного копирования.

Предлагаемое решение подходит тем, заказчикам, которым не хватает скорости нашей СРК или тем, кто еще не пользуется Кибер Бэкапом.

Реализация катастрофоустойчивых решений

Кибер Хранилище позволяет реализовывать катастрофоустойчивые решения для сервисов S3 и Backup Gateway. Технология основывается на асинхронной репликации данных и доступна из коробки.

Большинство приложений, использующих S3 хранилище, умеют обращаться только к одному доменному имени S3. При организации катасрофоустойчивых решений каждый кластер S3 имеет свое доменное имя, что приводит к необходимости либо дорабатывать приложение, либо использовать чрезвычайно сложные и дорогие глобальные балансировщики. В Кибер Хранилище реализован функционал, который позволит любому приложению обращаться ко всем ресурсам гео‑распределенной инфраструктуры S3 с использованием единого доменного имени.

Попробуйте сами

Во‑первых, продукт очень просто развернуть (но все же рекомендуем хотя бы по диагонали просмотреть on‑line документацию). Во‑вторых, у Кибер Хранилища есть бессрочный пробный период — вы можете протестировать все возможности продукта, но с ограничением в 1 Тб на объем хранилища (если этого не хватит, мы готовы предоставить тестовую лицензию любого размера). У нас на сайте можно скачать пробную версию продукта, а также познакомиться с документацией.

Кибер Хранилище можно развернуть и посмотреть даже на ноутбуке, но для более серьезного знакомства лучше использовать серверные платформы.

Знакомство с возможностями продукта можно начать, развернув его на одном сервере — в этом случае доменом отказа будет диск. Рекомендуемая конфигурация сервера показана ниже.

Минимальная конфигурация

• Процессор: 8+ ядер

• Память: 64+ ГБ

• Сетевая карта: 1-25 GE – для доступа пользователей

• Дисковая подсистема: 

  • 1-2 SSD, 100 ГБ на узел – для операционной системы

  • 1-5 SSD – для хранения данных

  • 1-5 HDD – для хранения данных

При использовании двух типов дисков для хранения, получится посмотреть на организацию уровней хранения и проверить работу классов хранения в S3.

Добавление серверов позволит создать конфигурацию с минимальной отказоустойчивостью и доменом отказа узел. Рекомендуемая конфигурация сервера показана ниже.

Конфигураци с минимальной отказоустойчивостью

• Процессор: 10+ ядер

• Память: 96+ ГБ

• Сетевая карта 1-25 GE – для доступа пользователей

• Сетевая карта 10-25 GE – для сети служебных сервисов

• Дисковая подсистема: 

  • 1-2 SSD, 100 ГБ на узел – для операционной системы

  • 3-24 SSD – для хранения данных

  • 3-12 HDD – для хранения данных

В конфигурациях с 5 и более серверами можно реализовать полную отказоустойчивость с доменами отказа узел. Рекомендуемая конфигурация серверов показана ниже.

Конфигурация с полной отказоустойчивостью

• Процессор: 16+ ядер

• Память: 128+ ГБ

• Сетевая карта 10-25 GE – для доступа пользователей

• Сетевая карта 25-100 GE – для сети служебных сервисов

• Дисковая подсистема: 

  • 1-2 SSD, 100 ГБ на узел – для операционной системы

  • 3-24 SSD – для хранения данных

  • 3-12 HDD – для хранения данных

24 июня 2025 г. мы выпустили обновление Кибер Хранилища - версию 6.7. Ключевые новинки перечислены на странице «Что нового». Там же есть видео с коротким обзором новых возможностей в продукте.

Пользуясь случаем, благодарю Александра Игнатьева и Тимура Гусейнова за помощь в подготовке данного обзора.