Глядя на заголовок статьи, так и хочется сказать словами героя Тома Круза: «Миссия импосибл». Но мы кое-что изучили и протестировали. В данной статье прошлись по верхам - т.е по самому необходимому для работы. И, да, в материале будут и шаблоны ВМ, и тонкие клоны, и свой VDI и DRS и многое другое, что мы рекомендовали бы протестировать. Но обо всем по порядку.
Импортозамещение на 100%?
Ситуация на российском рынке импортозамещения ПО виртуализации довольно неоднозначная. Существует внушительный список производителей ПО, готовых заместить зарубежные продукты. Но при этом практически все они используют одни и те же программные решения.
Основным компонентом ПО виртуализации является гипервизор. У VMware это ESXi, у Microsoft Hyper-v, у Red Hat это KVM. Российское ПО виртуализации почти у всех производителей основано на гипервизоре KVM и API управления с помощью библиотеки Libvirt все компоненты. Вот только степень локализации, интеграции от производителя к производителю может быть разная. Очередным объектом изучения для нас стал продукт от АО НИИ «Масштаб» - Enterprise Cloud Platform Veil или ECP Veil.
О ECP Veil
Корпоративная облачная платформа ЕСР VeiL от АО НИИ «Масштаб» разрабатывается с 2015 г. Актуальная версия на данный момент ЕСР VeiL 5.0.6.
Производитель утверждает, что на базе виртуальных машин ЕСР VeiL могут функционировать практически все распространенные бизнес-приложения, включая межсетевые экраны, маршрутизаторы, IP-АТС, почтовые и прокси-серверы, корпоративные порталы, веб-сайты, ERP, CRM и системы документооборота. ECP Veil поддерживает до 11 различных пулов данных, как файловые, так и блочные.
Типы пулов данных (11 видов)
Название |
Тип |
Документация |
Поддержка тонких клонов |
Особенности |
Ограничения |
local |
файловый, локальный |
+ |
размер блока 4096 байт |
доступность на 1 узле |
|
zfs |
файловый, локальный/сетевой |
+ |
снимки памяти zfs, размер блока 8192 байт, размер записи 131072 байт |
доступность на 1 узле |
|
nfs |
файловый, сетевой |
+ |
- |
- |
|
gluster |
файловый, распределённый (гиперконвергентный) |
+ |
размер блока 8192 байт, размер записи 8192-1048576 байт |
минимум 2 сервера |
|
gfs2 |
файловый, сетевой |
+ |
размер блока 4096 байт |
минимум 2 сервера, крайне желательно наличие ipmi у каждого сервера перед созданием |
|
glusterfs |
файловый, сетевой |
+ |
- |
- |
|
cifs |
файловый, сетевой |
+ |
- |
- |
|
ocfs2 (Deprecated) |
файловый, сетевой |
+ |
- |
минимум 2 сервера |
|
lvm |
блочный, локальный |
- |
- |
нельзя хранить образы и файлы, а также делать снимки ВМ (то есть создавать тонкие клоны) |
|
thinlvm |
блочный, локальный |
- |
- |
нельзя хранить образы и файлы, а также делать снимки ВМ (то есть создавать тонкие клоны) |
|
lvm_shared |
блочный, сетевой |
- |
- |
нельзя хранить образы и файлы, а также делать снимки ВМ (то есть создавать тонкие клоны) |
|
outside |
файловый, сетевой |
- |
только на чтение, создается поверх nfs, cifs, glusterfs сетевого хранилища |
нельзя ничего создавать |
ЕСР VeiL предназначена для создания облачной инфраструктуры на базе универсальных серверных платформ с архитектурой х86-64, позволяя централизованно управлять всей ИТ-инфраструктурой предприятия с помощью дружественного веб-интерфейса VeiL Ui™, который обеспечивает удобную и понятную визуализацию виртуального пространства и мониторинг загрузок всех подсистем (CPU, Mem, Disk, Network).
Среди ключевых преимуществ корпоративной облачной платформы ECP VeiL разработчики отмечают:
Возможность работы на серверах из реестра МПТ (YADRO, KRAFTWAY, AQUARIUS, РАМЭК-ВС, БУЛАТ).
Выполнение требований регуляторов.
Поддержку технологии GRID.
Единый интерфейс управления, мониторинга и журналирования.
ПО изделия внесено в единый реестр российских программ для электронных вычислительных машин и баз данных (ЕРРП).
Наличие исходных кодов и документации в России.
Локализованные в России инфраструктура разработки и сервисная поддержка.
Русскоязычная документация и техподдержка.
У ЕСР VeiL простая и понятная модель лицензирования. Лицензирование идет по хостам виртуализации. Отдельная лицензия необходима на контроллер, при этом если используется механизм репликации контроллера, то покупать еще одну лицензию не нужно.
В экосистеме Veil есть также продукт, закрывающий потребности в виртуальных рабочих столах — это Veil VDI.
Что мы хотели проверить?
Если вы до сегодняшнего дня вы жили в вакууме, то, наверное, пропустили скоропостижный исход VMware vSphere из отечественных широт. К сожалению «изошедшее» ПО приходится на что-то заменить, но это что-то должно иметь как минимум следующий набор функций:
vMotion - это перемещение исполнения ВМ по гипервизорам. При этом текущая работоспособность ВМ сохраняется.
Storage vMotion - тот же принцип что у vMotion, только исполнимые файлы ВМ перемещаются между датасторами.
High Availability - технология кластеризации, созданная для повышения доступности системы, и позволяющая, в случае выхода из строя одного из узлов гипервизора, перезапустить его виртуальные машины на других узлах автоматически, без участия администратора.
Distributed Switch - распределенный виртуальный коммутатор, предоставляющий функции централизованного управления сетевой инфраструктурой через vCenter.
Как мы тестировали?
Тестирование проводилось на трех хостах x86 c использованием вложенной виртуализации в конфигурации: 32 vCPU 64Гб ОЗУ 130Gb SDD + 300Gb SSD.
ECP Veil состоит из Сontroller’a – это аналог vCenter у VMware, и Node – это аналог ESXi гипервизора. В минимальной конфигурации потребуется установить два сервера с ролью Node и один сервер с ролью Controller + Node.
Установка ECP Veil
Сам гипервизор основан на ОС Debian, поэтому проблем с установкой не возникает - размечаем диск, назначаем ip next, next, и попадаем в консоль гипервизора.
Для установки сервера управления достаточно при установке Node выбрать вариант Node+Controller.
Отличительной особенностью хостов виртуализации является то, что консолью можно управлять с помощью специального API.
Заходим по IP адресу или доменному имени в web-панель управления Контроллера. Панель выглядит следующим образом:
Интерфейс управления контроллера у ECP Veil не похож на уже знакомые всем open source продукты с измененной цветовой схемой и российской локализацией.
Первым делом нужно добавить лицензии. Только после этого будет доступно добавление хостов в кластер. Добавляем наши хосты.
Для развертывания отказоустойчивого кластера нам осталось настроить сетевое взаимодействие и организовать общее кластерное хранилище.
В каждом сервере по одному линку 1 GB/s используется для сети хранения и сети управления. Добавляем виртуальный коммутатор. Назначаем его на каждую ноду.
После того как сеть настроена, приступаем к настройке кластерного хранилища. Если с FC, ISCSI и прочими внешними NFS более-менее понятно, то поддержка распределенного хранилища GlusterFS как раз подходит под нашу конфигурацию.
Если сравнивать GlusterFS с похожим решением SDS от VMware - то это vSAN который требует отдельных лицензий и накладывает определенные требования для дисков и контроллеров. Для начала добавляем наши внутренние диски 300gb в ZFS Pool.
Создаем кластерный транспорт GlusterFS, добавляем наши ноды.
Переходим в раздел тома и создаем новый том. Тип тома dispersed, подтверждаем наличие арбитра в томе, значение репликации - 2, добавляем наши диски ZFS, ждем окончания репликации. Итого из наших трех дисков по 300 Гб получилось 288.65 Гб полезной емкости.
Далее разворачиваем виртуальные машины. Мы выбрали для тестирования дистрибутив ROSA Fresh Desktop 12.2. Для установки ОС в виртуальную машину необходимо закачать дистрибутив в раздел «Образы ISO». В разделе «Виртуальные машины» добавляем новую ВМ, назначаем количество CPU, ОЗУ, тип ОС, добавляем диск, монтируем ISO образ.
Процесс установки ОС в виртуальную машину стандартный для любой платформы виртуализации. Консоль ВМ доступна по протоколу SPICE и VNC.
Включаем режим высокой доступности в свойствах кластера по умолчанию, добавляем наши ноды. В итоге у нас имеется кластер высокой доступности из трех нод и общее дисковое хранилище.
Можно переходить к тестированию. Тестируем vMotion - Выделяем нашу ВМ, проверяем, что консоль доступна, запускаем ping до IP адреса ВМ. Отправляем задание на миграцию на соседний хост виртуализации.
ВМ с мигрировала за 53 секунды, не зависла и продолжила работать, были потери только одного ping. Неплохой результат.
Аналогично тестируем Storage vMotion, мигрируя ту же ВМ в другой датастор. ВМ мигрировала уже за 1 минуту 43 секунды. ОС и приложения так же доступны, как и в предыдущем тесте.
Тестируем High Availability – для этого смоделируем недоступность по сети одного из хостов на котором находится ВМ в режиме высокой доступности.
Отключаем полностью сетевой интерфейс первой ноды. Естественно, ВМ стала недоступной, но при этом ошибки в кластере появились только спустя 30 секунд и запустилось задание на восстановление на другом хосте. ВМ восстановилась за 2 минуты 15 секунд с момента выключения сети, перезагрузкой.
Напомним, что High Availability также перезагружает ВМ. Тест пройден, ВМ доступна. Количество попыток и интервал можно регулировать в настройках кластера.
К сожалению, не такой богатый функционал как у vSphere – нет, например, отслеживания состояния сервиса внутри ВМ, но в данном случае высокая доступность отработала и защитила нашу ВМ от сбоя на одной из нод.
Посмотрим, есть ли что-то похожее на Distributed Switch у ECP Veil.
В разделе сети можно создавать виртуальные коммутаторы, настройки этих коммутаторов можно применять на хостах кластера нажав кнопку "Синхронизировать".
Есть также брандмауэр, QoS, зеркалирование портов, агрегация физических портов с поддержкой различных алгоритмов, визуальное отображение структуры сети.
Заключение
Субъективно ECP Veil вызывает приятные впечатления полноценного продукта, достойного сменщика VMware. При первом приближении явного отторжения ПО не вызывает, скорее наоборот, можно говорить о легкой симпатии. В целом нужно тестировать и примерять «новую шкурку» на себя и свой бизнес. Для тестирования вы можете получить бесплатную демо-версию: просто отправьте запрос на infra@syssoft.ru с пометкой “Хабр”.
Комментарии (41)
Sergey-S-Kovalev
18.11.2022 18:16+19100500тый обзор одного и того же но в новом интерфейсе, но как насчет неудобных вопросов? :)
Доступная документация: исчерпывающие мануалы, описания багов и их решения, HCL, официальный форум с реадонли для анонимусов. А где мне посмотреть список портов необходимых для подключения контроллера к нодам, если они находятся в разных защищенных сетях? А можно при этом меня не слать в доки редхата/дебиана/нативных дистрибутивов?
Исчерпывающая документация по API, модули Powershell/питон/етц, фирменные библиотеки для реализации своих автоматизаций? Какие то продукты для обеспечения этой самой заявленной "облачности" есть?
Скорость закрытия уязвимостей дистрибутива? Возможность своего репозитория для нод в закрытых контурах? Обновления то в приделах мажорного релиза хоть без полной переустановки хоста? А где посмотреть список версий/патчей, исправляемых уязвимостей и известных проблем?
EVC, StorageDRS, StorageHeartbeat, TPM+SecureBoot+execInstalledOnly, Security Profile lockdowns. Папочки в дереве представлений есть, что бы я мог сервера команд разделять не только тегами? А теги? А есть описание что будет с HA в кластере, если хост с некластеризованным контроллером будет недоступен?
А есть свои инженеры, которые видели больше 30 нод в проде и двух кластеров больше чем в одном датацентре? А они умеют не делать "эээ" на тех презентациях своего продукта?
А Community Edition есть? А почему нет? Или продукт настолько илитный, что можно использоваться только в кровавейшем энтерпрайзе? А я и есть сотрудник кровавейшего энтепрайза, и хочу такое домой для игор.
А какие системы СРК поддерживают эту виртуализацию и с какой версии?
Mike_Mihalych
19.11.2022 19:57+2Системы "больше 30 нод" только строятся. В следующем году появятся и инженеры, которые их видели. 8о) Размером в десяток-полтора - уже есть.
СРКиВД, которая умеет резервировать машины из-под Veil, и, самое важное, восстанавливать их, пока только одна: Киберпротект. Для ruBackup соответствующий модуль пока в разработке.
Не все сразу. vSphere тоже не сразу строилась - вспомните, например, GSX или резервирование ее ВМ до появления первой версии Veeam Backup. 8о)
sYB-Tyumen
20.11.2022 07:37+1Уже плюс. Есть человек, который отвечает на вопросы.
А в сетевой части достаточно в пользовательском интерфейсе виртуальные сети прописать? Или надо на каждом отдельном хосте ещё и бриджевание ручками настраивать (предполагая, что каждая сеть это отдельный VLAN и аплинк с каждого хоста использует LAG)
MSIVANOV Автор
21.11.2022 12:32Документация есть https://veil.mashtab.org/docs/latest/base/engineer_guide/annotate/
Список портов https://veil.mashtab.org/docs/latest/base/engineer_guide/ports/?h=tcp
API https://veil.mashtab.org/docs/latest/api/
Есть список изменений https://veil.mashtab.org/docs/latest/changelog/5.1.9/
EVC нет, StorageDRS пока нет, StorageHeartbeat нет, TPM есть.
Теги есть папок нет. Для контроллера можно настроить репликацию и для этого не нужно покупать отдельную лицензию.
Community версии нет, но можно взять в тест.
Тестировали с кибер бэкап - работает. Есть встроенный бэкап с сжатием и шифрованием.
oller
18.11.2022 18:22+7Полноценно заменить vmware можно бесплатным proxmox, до которого нашим продуктам ещё мечтать и мечтать, но даже proxmox по качеству сильно уступает vmware, вот прям сильно.
MechanicusJr
18.11.2022 20:32до которого нашим продуктам
Экосистема VeiL включает в себя брокер подключений VeiL VDI, гипервизор KVM, интегрированный в среду, и платформу виртуализации ECP VeiL для централизованного управления виртуальной инфраструктурой
AlexKMK
20.11.2022 10:20А партишенинг GPU? Какой FPS и инпутлаг даёт? На чем основан? Guacamole? Аппаратный видеокодек?
MSIVANOV Автор
21.11.2022 12:39Это нужно тестировать
Есть поддержка GRID вот описание https://veil.mashtab.org/vdi-docs/broker/faq/vm/nvidia/
AlexKMK
21.11.2022 13:27Т.е., вы говорите что у вас есть проброс GPU, при этом, партишенинг (vGPU) это ключевая его часть.
У вас есть VDI а там FPS и инпутлаг ключевые метрики.
И это untested? ????
selivanov_pavel
19.11.2022 22:41Proxmox умеет мигрировать виртуальные машины между нодами? Я его очень очень давно трогал, тогда вроде не умел.
oller
19.11.2022 22:52+2И HA и REPLICATION и CEPH (такой аля vsan) из коробки и многое другое уже года 4-6 точно
А еще своя бесплатная бекапилка PBS (отдельный продукт тоже free), это исключая свою снапшотную, в pbs инкементалки
умеет ставится на zfs raid1 ( в два клика)
lxc на борту
VDI условный конечно, но проброс gpu уверенный без потери скоростей (в отличии от вмварки)
werter_l
20.11.2022 12:08+1Добавлю еще glusterfs, drbd\linstor (привет, @kvaps и спасибо за труд)
VDI:
https://github.com/joshpatten/PVE-VDIClient
https://www.reddit.com/r/Proxmox/comments/c8karr/deploy_deskpool_vdi_on_proxmox/
https://www.deskpool.com/quick-startup/proxmox/
https://github.com/dkmstr/openuds
https://www.kasmweb.com/index.html
Касаемо проброса gpu.
С недавних пор нек-ые десктопные модели gpu от nvidia позволяют на pve проброс
gpu сразу в неск-ко gpu одновременно:
VGpu/Shared GPU in multiple VM setup on proxmox 7.1 https://www.reddit.com/r/Proxmox/comments/v637fn/vgpushared_gpu_in_multiple_vm_setup_on_proxmox_71/
Proxmox 7 vGPU – v2 https://wvthoog.nl/proxmox-7-vgpu-v2/Split GPU into Multiple VMs (vGPU?) https://www.reddit.com/r/Proxmox/comments/tmarrw/split_gpu_into_multiple_vms_vgpu/
Proxmox GPU Virtualization Tutorial with Custom Profiles thanks to vGPU_Unlock-RS https://youtu.be/jTXPMcBqoi8Cloud Gaming Server Tutorials https://www.youtube.com/playlist?list=PLGbfidALQauKNWMqrVXGd63aa9EcevFn9
Cloud Gaming Server Build https://www.youtube.com/playlist?list=PLGbfidALQauLclCL3d4MWZ8F5krtwToZ3
Ava256
18.11.2022 20:20Если сравнить не только с VMware, но и на пример с zVirt, тогда картина будет интересней.Главные вопросы тут конечно в качестве тех. поддержки и документации в первую очередь.Оснавная проблема использования сейчас VMware в РФ это отсутствие тех. поддержки. Да, продукт работает, но если возникнет новая, не известная проблема, то никто не поможет и в гугле тоже ответа не будет.
MechanicusJr
18.11.2022 20:26+2но это что-то должно иметь как минимум следующий набор функций:
Где MPIO и API ?
Distributed Switch - распределенный виртуальный коммутатор
Там еще и стандартный есть, и разница по функциям весьма существенна.
Тестирование проводилось на трех хостах x86 c использованием вложенной виртуализации
Поверх чего?
Если с FC, ISCSI и прочими внешними NFS более-менее понятно, то
Где понятно? Где можно посмотреть настройку IO, блокировок, режима MPIO и работы с active non-optimized (ANO) ? Как отрабатывает APD ?
Можно переходить к тестированию. Тестируем vMotion - Выделяем нашу ВМ, проверяем, что консоль доступна, запускаем ping до IP адреса ВМ. Отправляем задание на миграцию на соседний хост виртуализации.
ВМ с мигрировала за 53 секунды, не зависла и продолжила работать, были потери только одного ping. Неплохой результат.
Пустая не нагруженная VM ?
Отличный результат - "не умерла".
Отключаем полностью сетевой интерфейс первой ноды.
Отключаем контроллер. Результат?
Естественно, ВМ стала недоступной, но при этом ошибки в кластере появились только спустя 30 секунд
Не естественно. Возможны ситуации не потери всей ноды, а потери только менеджмента. Witness как работает ?
В целом нужно тестировать и примерять «новую шкурку» на себя и свой бизнес.
Hands on lab по какому, говорите, адресу?
MSIVANOV Автор
21.11.2022 12:54Есть и MPIO https://veil.mashtab.org/docs/latest/base/operator_guide/storage/block_level/?h=multi#multipath
и API https://veil.mashtab.org/docs/latest/api/
Функционал у Виртуального коммутатора ближе к Distributed Switch. (port mirroring, Firewall итд.)
Тестировали функционал при первом приближении. Некоторые системы выдают совершенно неожиданные результаты даже без нагрузок ))
Hands on lab нет, но можно отправить запрос на infra@syssoft.ru с пометкой “Хабр”
select26
19.11.2022 10:58+1Да, этерпрайз он такой. Нужно научиться отвечать на такие неудобные вопросы и иметь CE Edition - для продвижения это помогает намного лучше, чем рекламные статьи.
В общем, здорово что новые решения появляются, но соответствовать конкурентам они должны не только в техническом плане, но и в плане поддержки.
AlexKMK
20.11.2022 09:16+2Было бы честно сказать, что-то вроде "мы взяли за основу - proxmox, openshift и так далее. Чуть допилили напильником и предоставляем вам техподдержку и кастомдев, а так же бумажки Минсвязи/ФСБ/ФСТЭК".
Довольно часто Русские продукты - это именно перелицованный опенсорс, который имеет местную гос. Сертификацию.
Для того, чтоб сделать продукт уровня да хотя бы прокса - нужно быть компанией размера veeam или подразделения Yandex Cloud. Но, что-то я про Сиссофт ничего не слышал.
Пока не начнём признавать, что мы форкнули что-то готовое (это не плохо), то отношение будет как к живопыркам и обманщиками которые банально сидят на бюджетах тех, кто вынужден использовать решения имеющие сертификацию ФСТЭК. Ну и на Хабре про такие решения писать смысла нет. Те, кто вынужден их использовать - они про них и так знают.
Вот, мы, например, честно признаём - у нас (GFN.RU) нвидиевское решение. Нвидия его разрабатывает. Мы обеспечиваем местную инфраструктуру и местный екоммерс.
По стечению обстоятельств мы смотрим для нашего екомма решение виртуализации под кроватью, но смотрим в сторону прокса/openshift а не в сторону непонятных перелицовок.
Floyd54
20.11.2022 12:01По сути альтернативы VMware особо и нет получается. А если у тебя несколько распределённых ЦОДов, несколько vcenter, виртуалок тыщи полторы, а то и больше, больше сотни нод, больше десятка СХД по FC, NASы всякие, виртуальный коммутатор, всякие штуки типа бэкапирования на ленту, то на что переходить, чтобы весь этот зоопарк нормально работал и не хуже, чем есть сейчас?
werter_l
20.11.2022 12:16Proxmox, ceph, zfs, pfsense и все-все-все - часть 2 https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/6
TimKorDev
А сравнение по цене есть где-то? И, кстати, если вендор ушел, пользоваться же по идее можно пока не обновился или подписка не закончилась?
fedorborovitsky
Наши дешевле по идее, если сравнивать по ERP.
Thomas_Hanniball
Лицензия на VMware vSphere бессрочная, т.е. можно использовать хоть вечность, но в рамках конкретной мажорной версии, т.е. ключи от VMware vSphere 6 подходят для 6.0, 6.5 и 6.7 версий, но не подходят для версий 7.0 и 8.0.
rionnagel
Ещё у вмвари подписка на саппорт такая, что если хочешь её возобновить (например пару лет не платил) в рамках текущих лицензий, то придётся оплачивать весь неоплаченный промежуток, либо покупать новые лицензии. Ну и обновления прекращаются, когда не платишь.
ilkman
Как и citrix
grossws
Вы ещё Oracle вспомните ,)
MSIVANOV Автор
Да, они это аргументируют тем что за этот промежуток времени им о системе не было ничего известно.
grossws
И иногда это бывает чистой правдой. Пользователь мог так порешать возникавшие проблемы, что теперь нужно потратить кучу времени на правильное поддерживаемое решение.
MechanicusJr
Если правильно помню, то вы имеете право использовать версию до последней вышедшей на момент оплаты / конца договора. То есть, если у вас была лицензия до 01 марта 2021, то ваш легальный максимум - ESXi 6.7 EP 18 и ESXi 7.0 Update 1e , а не "до последней версии 6.7 включительно".
MSIVANOV Автор
Да, все верно. Только вот тех. поддержки у вас не будет.
FotoHunter
Тут нюансик ввлез - попытался зайти на сайт vmware, не нужно было vCenter из бэкапа поднять(поломался), так обнаружил, что мою учётку и учётку моего коллеги заблокировали. Так что модно смело поднимать "весёлого Роджера" и идти в группу поддержи vmware в телеграм - мне там помогли скинув нужную версию vCenter (то что бэкапы оказались битыми и чисто поднять не удалось другое дело).
Ну или велком ту рутрэкер, там есть 6.7, 7.0.3, 8 vmware и кейген к ним. Поставил 7.0.3 vCenter (vcsa) и теперь восстанавливаю руками dSvitch, так же скачал ESXi 7.0.3 под мои Lenovo сервера.
Так что пока не придёт предписание об обязательном переезде на отечественную виртуализацию поживём на пиратской vmware.
MSIVANOV Автор
Да, но если вы попадаете под 187 ФЗ как объект критической информационной инфраструктуры то вам придется заменить на отечественное до 2024 года.
AlexKMK
ну вот и настоящая бизнес-модель вылезла с УТП :)
FotoHunter
У нас орган гос. власти, но не КИ ????