В современном мире облачных технологий производительность инфраструктуры напрямую влияет на качество услуг и удовлетворенность клиентов. Когда перед нами встала задача миграции клиентов Serverspace с устаревшего кластера в DataSpace на новую площадку в IXcellerate, мы решили не просто обновить оборудование, а создать решение, которое задаст новый стандарт производительности для российского рынка.

Почему понадобился новый кластер

Наш предыдущий кластер, построенный несколько лет назад на базе процессоров Intel Xeon Scalable второго поколения, в течение всего срока эксплуатации стабильно обслуживал тысячи виртуальных машин клиентов. Но технологии не стоят на месте — современные приложения требуют все больше IOPS, меньшей задержки и более высокой пропускной способности сети. Процессоры Intel Xeon предыдущих поколений обеспечивали стабильную работу, но их архитектура ограничивала возможности масштабирования, увеличения плотности ВМ и эффективного использования ресурсов при высоких нагрузках.

Анализ метрик показал, что дальнейшее развитие ограничивалось дисковой подсистемой: при пиковых нагрузках время отклика приближалось к верхним допустимым значениям. Для задач с базами данных и высоконагруженными веб-приложениями особенно важно снизить задержку и повысить производительность.

Выбор железа: почему ITPOD

Мы выбрали сервера ITPOD-SL201-D24R-NV-G4, так как их архитектура и характеристики наилучшим образом соответствовали требованиям к производительности и масштабируемости.

Конфигурация каждой ноды

Главная особенность платформы — прямое подключение NVMe-дисков к материнской плате без промежуточных контроллеров. Это критически важно для software-defined storage слоя, где каждая микросекунда задержки влияет на общую производительность кластера.

Архитектура решения на базе vStack

В основе развернутого кластера лежит платформа vStack HCP, обеспечивающая единую платформу для хранения данных, вычислительных ресурсов и сетевой инфраструктуры.

Такая связка позволяет заказчику оперировать единым комплексом ресурсов вместо отдельных систем. Даже при резком увеличении нагрузки в большинстве случаев не происходит деградации производительности.

Вычислительные ресурсы предоставлены серверами ITPOD. Серверы подобраны с учетом высокой плотности нагрузки и требований к масштабируемости.  Производительность процессоров и NVMe-диски позволяют поддерживать стабильную работу приложений, а конфигурация серверов упрощает масштабирование по мере роста нагрузки.

Сеть встроена в платформу и управляется средствами vStack HCP. Это снимает лишние сложности с маршрутизацией и балансировкой трафика, позволяя держать отказоустойчивость и производительность на одном уровне без привлечения сторонних решений.

Миграция виртуальной инфраструктуры

После развертывания нового кластера в IXcellerate следующим этапом стала миграция виртуальной инфраструктуры Serverspace. 

Перенос виртуальных машин выполнялся между различными средами виртуализации — как с внешних платформ на vStack, так и между кластерами vStack.

При переносе на уровне данных приложений мы разворачивали идентичную информационную систему, но без пользовательских данных. Для этого применялся подход Infrastructure as Code (IaC), что позволяло выполнить развертывание достаточно быстро. После подготовки инфраструктуры приложение останавливалось в исходной среде, его данные копировались, и система запускалась уже на новой площадке.

Процесс также включал создание новых ВМ в целевой среде, развертывание на них необходимого ПО с нуля и интеграцию узлов в существующий кластер. После того как новый узел стабильно функционировал, происходил поэтапный вывод узлов из исходной инфраструктуры, обеспечивая полную миграцию без остановки работы системы.

Преимущественно именно второй и третий подходы стали для нас основными.

Тестирование

Архитектура кластера изначально рассчитана на бесперебойную работу даже в случае выхода из строя отдельных узлов. 

Чтобы убедиться, что новая инфраструктура работает в заявленных параметрах, ITGLOBAL.COM выполнил серию нагрузочных тестов и отработали сценарии отказа.

Проверка отказоустойчивости

Мы провели краш-тесты отказоустойчивости — от отключения одного узла до последовательного выхода из строя двух серверов. В обоих случаях система сохранила доступность данных и обеспечила автоматический перезапуск виртуальных машин. Результаты подтвердили надежность платформы vStack.

Сценарий 1: Выход из строя одного узла

Во время активной нагрузки (запись 100MB/s, чтение 300MB/s) жестко выключили один сервер, имитируя полный отказ оборудования.

Что произошло:

• через 8 секунд сработал механизм fencing, узел был исключен из кластера;

• автоматически активировался процесс failover — пул виртуальных машин, работавших на отказавшем узле, перезапустился на других нодах.

Деградации производительности SDS зафиксировано не было. Благодаря записи сразу на все доступные диски пула и равномерному распределению нагрузки между узлами оставшиеся шесть узлов полностью компенсировали выбывший.

Сценарий 2: Последовательный выход двух узлов

Это более сложный тест отказоустойчивости. После того как первый узел вышел из строя и система начала автоматически восстанавливать его нагрузку, мы дополнительно отключили второй сервер, чтобы проверить реакцию кластера на последовательные сбои.

Результаты:

• система корректно обработала двойной сбой;

• сохранилась доступность сервисов и данных;

• производительность снизилась менее чем на 15% во время перебалансировки.

После завершения перебалансировки, которая составила около 20 минут показатели восстановились до 100%.

Сетевая архитектура: почему 25Gb и зачем два адаптера

Многие спрашивают, зачем нам 25-гигабитные адаптеры, если большинство клиентов не генерирует такой трафик. Ответ кроется в архитектуре vStack HCP. В отличие от классической схемы с выделенной СХД, где есть отдельные коммутаторы/свитчи. Серверы объединены в единую сеть по принципу общего транка, разделённого по портам и типам нагрузки. В такой архитектуре через Ethernet проходят разные типы трафика:

• клиентский трафик — данные, которые генерируют виртуальные машины;

• storage-трафик — запись и распределение данных в пуле между узлами;

• трафик миграции VM — перенос виртуальных машин между узлами кластера;

• управляющий трафик — взаимодействие компонентов vStack.

При интенсивной записи каждый гигабайт данных генерирует дополнительный сетевой трафик, а перенос VM с десятками гигабайт RAM создает отдельную нагрузку. Поэтому 10Gb уже недостаточно.

Два сетевых адаптера, подключенные к разным CPU socket, обеспечивают не только отказоустойчивость, но и оптимальное распределение нагрузки с учетом NUMA-архитектуры современных процессоров.

Опыт эксплуатации похожих кластеров

ITGLOBAL.COM эксплуатирует vStack-кластеры уже более 5 лет на различных площадках — от Москвы до Казахстана. За это время мы накопили огромный опыт и выработали четкий протокол запуска новых инсталляций:

Этап 1: Подготовка железа Проверка совместимости компонентов, обновление firmware, настройка BIOS для оптимальной производительности.

Этап 2: Развертывание vStack Установка гипервизора, создание кластера, настройка сетей и storage policies.

Этап 3: Тестирование Функциональные тесты, нагрузочное тестирование, проверка отказоустойчивости.

Этап 4: Миграция Постепенный перенос продуктивных нагрузок с мониторингом ключевых метрик.

Экономика вопроса

Новый кластер дает заметный прирост производительности и эффективности:

• дисковая подсистема работает в 3 раза быстрее;

• в два раза больше ядер CPU на узел при том же энергопотреблении;

• стоимость владения в пересчете на одну виртуальную машину снизилась на 35%, благодаря возможности разместить больше виртуальных машин на том же железе.

Одним из ключевых факторов здесь является поддержка overcommit — механизм, позволяющий выделять виртуальным машинам больше ресурсов, чем фактически есть в физическом оборудовании. Это позволяет «уплотнять» инфраструктуру, запускать больше виртуальных машин на меньшем количестве серверов и значительно увеличивать общую вычислительную мощность кластера без необходимости приобретать новое железо.

В итоге клиенты получают высокую производительность и больше ресурсов без увеличения физической инфраструктуры.

Планы на будущее: гибридная архитектура

Сейчас мы прорабатываем расширение архитектуры за счет добавления классической СХД ITPOD Storage с HDD-дисками. Это позволит создать tiered storage — горячие данные на NVMe, холодные на HDD.

Такой подход откроет новые сценарии использования:

• долгосрочное хранение бэкапов с vStack Backup;

• S3-совместимые хранилища для неструктурированных данных;

• файловые шары для корпоративных клиентов;

• экономичные Dev/Test среды.

При этом управление всей виртуализацией останется единым через vStack HCP, что критически важно для операционной эффективности.

Выводы

Запуск нового кластера — это всегда вызов, особенно когда речь идет о миграции продуктивных нагрузок. Но правильный выбор оборудования, проверенное ПО и накопленная экспертиза позволили нам не просто обновить инфраструктуру, а создать решение, которое обеспечит рост бизнеса на годы вперед.

Ключевые достижения проекта:

1. Троекратный рост производительности при увеличении стоимости всего на 15%;

2. Подтвержденная отказоустойчивость даже при множественных сбоях;

3. Готовность к дальнейшему масштабированию и развитию.

В итоге заказчик получил платформу, готовую к масштабированию, с гарантированной отказоустойчивостью, высокой производительностью и контролем всех уровней инфраструктуры на базе российских решений — vStack и ITPOD.