Для создания программно-определяемого центра обработки данных можно использовать предлагаемые вендорами референсные архитектуры. Ниже рассказывается о построении VMware Software Defined Data Center с помощью узлов Lenovo ThinkAgile VX.

Что такое SDDC?


Итак, что же такое программно-определяемый (или программно-конфигурируемый) ЦОД (Software Defined Data Center, SDDC)? Прежде всего, это центр обработки данных с высокой степенью автоматизации, практически не требующий физического вмешательства. Все компоненты инфраструктуры такого ЦОД виртуализированы, а управление им полностью автоматизировано с помощью программного обеспечения. В случае VMware SDDC это программное обеспечение vSphere. VMware vSphere обеспечивает виртуализацию на каждом уровне, включая уровни вычислительных, сетевых ресурсов и ресурсов хранения данных.


SDDC позволяет гибко предоставлять пользователям вычислительные, сетевые сервисы и сервисы хранения данных.

В программно-определяемом центре обработки данных автоматизация на основе политик обеспечивает выделение ресурсов и управление ими. Результат — гибкость и эффективность ИТ, поддержки разного рода оборудования и приложений. На сегодня SDDC — проверенный архитектурный подход, основанный на виртуализации и автоматизации, а внедрять его можно поэтапно, не заменяя сразу существующую инфраструктуру ИТ.


В программно-определяемом центре обработки данных вся инфраструктура виртуализирована, а управление автоматизировано с помощью программного обеспечения. Компания VMware продвигает концепцию SDDC с 2012 года.

Для чего это нужно?


С увеличением сложности ИТ становится труднее управлять ИТ-инфраструктурой в центре обработки данных, предвидеть последствия изменений. На инфраструктурные проблемы накладываются требования бизнеса: снижение затрат, более гибкое использование приложений, способных удовлетворить требования пользователей по стабильности работы, производительности, уровню доступности и легкости обновления.


VMware SDDC включает в себя все программное обеспечение, необходимое для построения корпоративной инфраструктуры.

Продукты VMware SDDC включают в себя ПО виртуализации вычислений VMware vSphere, виртуализации хранилищ VMware vSphere и VMware vSAN, виртуализации сети VMware NSX, а также облачную платформу управления VMware vRealize и интегрированную систему VMware EVO.

Цель — получить гибкую, простую в управлении инфраструктуру ИТ, адаптируемую к меняющимся потребностям. Благодаря виртуализации вычислений, хранилищ и сетей SDDC меньше зависит от физического оборудования, базовой аппаратной платформы. Конфигурирование на основе политик и предоставление ресурсов ИТ по требованию упрощает управление ЦОД, расширение и обновление его инфраструктуры.

Результат создания SDDC — высокая эффективность и низкие затраты. Виртуализированные ИТ-сервисы и автоматизированное управление операциями открывают новые возможности использования ресурсов и повышения производительности персонала. Конфигурирование на основе политик позволяет быстро развертывать рабочие нагрузки, а использование ресурсов автоматически настраивается в соответствии с меняющимися потребностями. Автоматизация функций обеспечения безопасности с учетом виртуализации увеличивает время бесперебойной работы.

Вендоры предлагают несколько вариантов конфигураций оборудования и ПО для развертывания SDDC, включая гиперконвергентные решения «под ключ» — интегрированные аппаратные и программные системы, а также референсные, эталонные аархитектуры. Они предназначены для широкого спектра приложений и рабочих нагрузок.

Ниже мы представим референсную архитектуру для создания программно-определяемого ЦОД VMware с использованием сертифицированных узлов и устройств Lenovo ThinkAgile VX, а также рассмотрим компоненты для интеграции локального облака VMware vRealize с облаком Amazon AWS.

SDDC на базе Lenovo ThinkAgile VX


Эта архитектура охватывает следующие программные продукты VMware:

Продукт Назначение
vsphere 6.7u1 (и vsphere 6.5 u2) виртуализация вычислительных ресурсов.
vsan 6.7u1 программно-определяемое хранилище (sds).
nsx для vsphere 6.4.4 виртуализация сети с помощью sdn и интеграция со шлюзами.
vcloud suite 7.5 частное облако на основе vmware vsphere с использованием vrealize suite
и дополнительных продуктов vsphere data protection and availability.
vrealize suite 7.5 управление облаком для частных, публичных и гибридных облачных сред с
поддержкой нескольких гипервизоров.
aws server migration service connector 1.0.12.50 миграция виртуальных машин из локального облака vsphere в публичное
облако aws.
vmware vcf 4.5 быстрое развертывание и эффективное управление инфраструктурой sddc.

Ниже некоторые компоненты VMware SDDC описаны подробнее.

Архитектура Lenovo для VMware SDDC предоставляет предприятиям облачное решение для управления всеми виртуализированными рабочими нагрузками. Эта референсная архитектура создана на основе серверных узлов Lenovo ThinkAgile VX и сетевого оборудования, предоставляет готовые к развертыванию и проверенные конфигурации.

Узлы Lenovo ThinkAgile VX предназначены для развертывания гиперконвергентного программного обеспечения (Hyper-Converged Infrastructure, HCI) от VMware. Они поставляют собой проверенное и интегрированное аппаратное и программное обеспечение Lenovo с гипервизором VMware ESXi. Это решение сертифицировано для работы с программным обеспечением VMware и отвечает функциональным требованиям к SDDC. Его цель — упростить развертывание, обеспечить быструю окупаемость инвестиций и снизить затраты на ИТ.

Функциональные требования к SDDC
Требование Описание
Виртуализация Обеспечивает виртуализацию вычислений, систем хранения и сети.
Мониторинг, управление событиями и планирование Мониторинг работоспособности облачной инфраструктуры, сбор и обработка
событий, планирование мощности.
Автоматизация и самообслуживание Обеспечивает загрузку, предоставление и управление сервисами и виртуальными
машинами из каталога сервисов.
Обработка заявок Утверждение, изменение, отклонение и делегирование запросов на
обслуживание.
Администрирование Функции администрирования облачной среды, такие как добавление емкости
или вычислительных ресурсов в пул.
Управление образами ВМ Создание виртуальных машин, управления версиями, поиск и сравнение
образов ВМ, их удаление из репозитория шаблонов ВМ.
Управление сервисами Создание сервисов, контроль версий, поиск и удаление сервисов из
каталога шаблонов сервисов.
Контроль доступа и авторизация Создание пользователей и групп, их авторизация для выполнения
определенных функций в облаке.
Миграция ВМ Миграция приложений, виртуальных машин и шаблонов ВМ между частными и
публичными облаками.
Миграция политик безопасности Миграция сетевых политик и политик безопасности в публичное облако и
обратно.


Архитектура VMware SDDC. Разделение функций на кластеры упрощает масштабирование. Кластер управления обеспечивает изоляцию ресурсов.

Компоненты VMware SDDC



Основные компоненты VMware SDDC.

VMware SDDC содержит следующие компоненты:
Компонент Назначение
Гипервизор ESXi Обеспечивает виртуализацию серверов и включает vSan для
гиперконвергентных хранилищ.
vCenter Server Централизованная платформа для управления vSphere, включает репликацию и
защиту данных vSphere.
Контроллер платформенных сервисов (PSC) Предоставляет набор общих сервисов инфраструктуры, которые включают
единый вход (SSO), лицензирование и центр сертификации (CA).
vRealize Suite Lifecycle Manager Предоставляет такие параметры развертывания, как установка, настройка,
импорт и обновление сред vRealize suite, а также анализ и просмотр состояния
этих сред.
vRealize automation Предоставляет каталог ИТ-услуг и сервисов приложений с самообслуживанием
с поддержкой политик для развертывания и предоставления релевантных для бизнеса
облачных сервисов в частных и публичных облаках, физической инфраструктуре,
гипервизорах и провайдерах общедоступных облаков.
vRealize operations Набор компонентов для автоматизации операций.
vCenter Site Recovery Manager (SRM) Предоставляет возможности аварийного восстановления.
vRealize orchestrator Позволяет создавать рабочие процессы, которые автоматизируют такие
действия как подготовка виртуальной машины, выполнение планового обслуживания и
резервного копирования.
NSX Обеспечивает виртуализацию сетей.
VMware integrated openstack (VIO) Предоставляет дистрибутив OpenStack, поддерживаемый vmware.

Остановимся на некоторых компонентах подробнее.

VMware vSAN


VMware vSAN — это решение с программно-определяемой системой хранения (SDS), интегрированное с гипервизорои ESXi. VMware vSAN объединяет кэш на флэш-памяти диски на трех или более серверах, подключенных по 10GbE, в одно общее хранилище данных. Согласно исследованию Gartner, в ближайшие пять лет доля программно-определяемых СХД на мировом рынке вырастет до 50%.


VMware vSAN можно масштабировать до 64 серверов, причем каждый сервер поддерживает до пяти групп накопителей. Группа включает твердотельные накопители (SSD) и до семи жестких дисков (HDD). Производительность и емкость хранилища можно легко увеличить, добавив диски, флэш-память или серверы. Кэш-память используется для ускорения чтения и записи.

Основные нагрузки, размещаемые на vSAN. 64% составляют критичные для бизнеса приложения (по данным опроса VMware).

VMware vSAN использует распределенную архитектуру RAID: данные распределены по кластеру. Используется метод RAID-0, RAID-1 или RAID-5/6. В этом решении применяется управления на основе политик хранения (SPBM). Ресурсы хранения выделяются динамически на основе запрошенной политики, а не заранее, как во многих традиционных решениях.

Особенности VMware vSAN.

Виртуализация сети передачи данных


VMware NSX Data Center — это решение SDN, позволяющее создавать оверлейные сети с теми же возможностями, которые доступны в физической сети. VMware NSX можно использовать с гипервизором VMware vSphere, а также с несколькими другими гипервизорами. По сути, VMware NSX представляет собой набор виртуальных машин, которые совместно работают для поддержки оверлейной сети. Эти компоненты распределены по нескольким хостам или кластерам.

Компоненты NSX
Компонент Описание
NSX manager Предоставляет единую точку управления SDN.
NSX controller Содержит информацию об оверлейной сети, такие как логические
коммутаторы, VXLAN и виртуальные машины.
Интерфейс VTEP VMkernel Создается менеджером NSX во время начальной подготовки хоста ESXi к
участию в оверлейной сети.
Шлюз Edge services Предоставляет доступ ко всем сервисам NSX edge, таким как брандмауэр,
NAT, DHCP, VPN, балансирование нагрузки и высокая доступность.
Логический коммутатор Каждому логическому коммутатору назначается VXLAN. Логические
коммутаторы создаются и настраиваются NSX manager.
Логический (распределенный) маршрутизатор Периферийный сервис, который обрабатывает трафик «восток-запад», чтобы
уменьшить объем трафика, получаемого периферийными шлюзами. Также называется
логическим распределенным маршрутизатором (LDR).
Физический маршрутизатор Маршрутизатор, который логически связан с каждым хостом ESXi в центре
обработки данных.

Платформа VMware NSX помогает получить готовую сетевую среду для центров обработки данных, физическую и виртуальную, обеспечить централизованное управление, упростить ИТ-операции и сократить время на запуск новых приложений.

Она позволяет отказаться от проприетарных решений ради открытых, гибких, простых и экономичных сетевых технологий, ускорить работу сетей и сократить время запуска сервисов, сократить время внедрения новых приложений, воспользоваться сетевой виртуализацией, технологиями изоляции и сегментации сетей, подключать к виртуальным сетям физические рабочие нагрузки. Кроме того, можно повысить производительность и качество сервисов за счет автоматического определения и изолирования потоков приложений. В целях безопасности ЦОД используют микросегментацию.

VMware NSX позволяет создавать виртуальные сети, отличающиеся способностью очень быстро развертывать безопасную среду для новых приложений из пула сетевых ресурсов. Виртуальная сеть может устранить ограничения, диктуемые физической инфраструктурой. Кроме того, благодаря сетевой виртуализации виртуальная сеть отдельного приложения приобретает мобильность и независимость от конкретной физической инфраструктуры.

Сертифицированные узлы Lenovo ThinkAgile VX


Сертифицированные узлы Lenovo ThinkAgile VX на основе двухсокетных серверов Lenovo ThinkSystem SR630 в корпусе 1U подойдут для работы с широким спектром рабочих нагрузок, таких как базы данных, виртуализация и облачные вычисления, инфраструктура VDI, корпоративные приложения, приложения для совместной работы и электронная почта, потоковая передача мультимедиа, HPC и др.

Узел ThinkAgile содержит до 12 2,5-дюймовых жестких дисков SAS/SATA (SFF) с возможностью горячей замены или SSD-накопителей или четыре 3,5-дюймовых накопителя (LFF) с возможностью горячей замены, а также поддерживает до 10 накопителей SFF U.2 NVMe PCIe с горячей заменой.


Сертифицированный узел Lenovo ThinkAgile VX 1U с 4 отсеками для накопителей LFF или 10x SFF.

Сертифицированные узлы Lenovo ThinkAgile VX 2U на основе серверов Lenovo ThinkSystem SR650 аналогичны ThinkAgile VX 1U, но имеют форм-фактор 2U.


Сертифицированные узлы Lenovo ThinkAgile VX 2U с 16 отсеками для накопителей SFF, 12 LFF или 24 SFF.

Основные отличия такого варианте от сертифицированных узлов VX 1U заключаются в большем количестве слотов расширения и шасси с поддержкой до 24 2,5-дюймовых накопителей с горячей заменой или 14 3,5-дюймовых накопителей SAS/SATA с возможностью горячей замены, либо накопителей SAS и 8 на SSD-накопителями U.2 NVMe PCIe. ThinkAgile VX 2U также поддерживает до двух графических адаптеров NVIDIA.

Сертифицированные узлы Lenovo ThinkAgile VX 2U4N на основе Lenovo ThinkSystem SD530 — это сверхплотный двухпроцессорный сервер с форм-фактором 0,5U. С четырьмя узлами ThinkAgile VX 2U4N, установленными в корпус ThinkSystem D2 Enclosure, либо в ThinkSystem Modular, вы получите платформу высокой плотности 2U для корпоративных и облачных рабочих нагрузок.
ThinkAgile VX 2U4N может содержать до шести 2,5-дюймовых накопителей SAS/SATA с возможностью горячей замены и до четырех твердотельных накопителей PCIe U.2 NVMe.


Сертифицированные узлы Lenovo Think Agile VX 2U4N.

Системы ThinkAgile VX Series можно настраивать для любого сценария использования. Они поставляются с VMware ESXi и настроены для работы с vSAN.

Для сегмента SMB компания предлагает платформы Lenovo ThinkAgile серии VX2000 и VX3000:

  • Lenovo ThinkAgile VX2320 1U (4 LFF-накопителя с возможностью горячей замены).
  • Lenovo ThinkAgile VX3000 Series — универсальные платформы 1U, 2U с 1 узлом и 2U с 4 узлами, подходящие для нагрузок VDI. Эти модели поддерживают GPU.
  • Lenovo ThinkAgile VX3320 (1U, 10 SFF с возможностью горячей замены).
  • Lenovo ThinkAgile VX3520-G (2U, 16 2,5-дюймовых дисков с возможностью горячей замены, два NVIDIA PCIe GPU).
  • Lenovo ThinkAgile VX3720 (2U, 4 узла, 6 SFF, 2,5-дюймовые накопители с горячей заменой).
  • Lenovo ThinkAgile VX5520 (1U, 12 LFF с возможностью горячей замены — 2,5-дюймовые твердотельные накопители в 3,5-дюймовых слотах или 3,5 дюймовые диски).
  • Lenovo ThinkAgile VX7320-N (1U, 10 SFF U.2 NVMe PCIe).
  • Lenovo ThinkAgile VX7520 (2U, 24 SFF с возможностью горячей замены).

Стандартная сеть для SDDC — 10GbE. Рекомендуется использовать коммутатор Lenovo 10GbE ToR RackSwitch G8272.


Lenovo System Networking RackSwitch G8052 — это коммутатор Ethernet, разработанный для центра обработки данных. Он предлагает до 48 портов GbE и до 4 портов 10GbE, предусматривает резервные блоки питания, вентиляторы и различные функции высокой доступности.

Конфигурация сервера

Поскольку в общем кластере размещаются рабочие нагрузки клиентов, сервисы NSX и периферийные сервисы, рекомендуется следующая конфигурация узла:

  • 2 процессора Intel Xeon Gold 6130 (2,10 ГГц, 16 ядер).
  • 384 ГБ системной памяти.
  • Двухпортовая сетевая карта 10GbE.
  • 1 х 430-8i HBA.
  • 2 x 400 ГБ SSD.
  • 6 x 1,2 ТБ 10 HDD.
  • Двойные загрузочные накопители M.2 для ESXi.
  • ESXi 6,7.

Балансирование нагрузки и защита

Важной частью инфраструктуры является балансирование нагрузки виртуальных машин сервера и распознавание ситуации, когда сервер не работает, и нужно переключиться на второй сервер. Для подключенного к интернету кластера также важно обеспечить защиту от внешних угроз. Существует много способов решения этих проблем, таких как использование пограничного шлюза F5 Big-IP или виртуальной машины. Подробности можно найти в документах Lenovo.

Гиперконвергентное хранилище с использованием vSAN

Общая емкость для виртуальных машин кластера управления составляет 9 ТБ. Это при условии наличия двух виртуальных машин в режиме высокой доступности. Добавим 50% для потенциального роста. Это означает, что необходимо 13 ТБ. Большая часть данной емкости используется некоторыми виртуальными машинами SQL-сервера и зависит от среды заказчика. Для кластера управления требуется в общей сложности до 26 ТБ. Эту емкость можно получить, используя четыре сервера с двумя группами дисков на сервер. Каждая группа дисков состоит из одного 400 ГБ SSD и трех жестких дисков по 1,2 ТБ. Общее количество жестких дисков составляет 3 x 2 x 4 = 24, что дает емкость 26,2 ТБ.

Кластер управления: конфигурация сервера

Кластер управления должен включать как минимум четыре хоста для обеспечения высокой
доступности. Для большого количества виртуальных машин управления, которые можно использовать в кластере управления, для каждого сервера рекомендуется следующая конфигурация:

  • 2 процессора Intel Xeon Gold 6130 (2,10 ГГц, 16 ядер).
  • 384 ГБ системной памяти.
  • Двухпортовая сетевая карта 10GbE.
  • 1 х 430-8i HBA.
  • 2 x 400 ГБ SSD.
  • 6 x 1,2 ТБ HDD.
  • Двойные загрузочные накопители M.2 для ESXi.
  • ESXi 6,7.

Тест Yahoo (YCSB): результаты узлов Lenovo


Этот тест используется для указания относительной производительности хранилища для различных вычислительных нагрузок кластера. YCSB — платформа для тестирования NoSQL. Тест содержит различные нагрузки для выполнения операций чтения, вставки, обновления, удаления и сканирования, что дает возможность оценить нагрузку при работе с базами данных NoSQL и производительность систем ввода-вывода. Он поддерживает настройку рабочих нагрузок с различным соотношением операций чтения и записи.

Тест YCSB был запущен на виртуальных машинах Ubuntu 16.04.4 LTS с mongodb v3.6.3 и механизмом хранения «WiredTiger». Каждая виртуальная машина имела 2 виртуальных ЦП, 4 ГБ памяти и 50 ГБ памяти.

Тест был выполнен с 48 и 96 виртуальными машинами. Кроме того, четыре другие виртуальные машины Ubuntu 16.04.4 LTS с клиентами YCSB использовались для моделирования нагрузки на виртуальные машины mongodb. Чтобы оценить систему ввода/вывода, для достижения целевой скорости 5000 операций с базой данных в секунду использовались 125 одновременных потоков.
Были протестированы три разные рабочие нагрузки, каждая с разным соотношением операций чтения и записи. Использованы следующие рабочие нагрузки:

  • Рабочая нагрузка A — Загрузка (100% записи) — создание 10 миллионов записей


Сравнение производительности для рабочей нагрузки со 100% записью.

Сравнение производительности для рабочей нагрузки при 50% операций чтения и 50% операций записи.


Сравнение производительности для рабочей нагрузки при 80% операций чтения и 20% операций записи.

Тест YCSB выполнялся на четырех сертифицированных узлах Lenovo ThinkAgile 1U. Узлы, использованные для тестирования ESXi 6.7, были оснащены 2 процессорами x 6130 (16 ядер, 2,1 ГГц) и 384 ГБ системной памяти, а узлы для ESXi 6.7u1 — 2 процессорами Intel Xeon Scalable Gen2 2 x 6230 (20 ядер, 2,10 ГГц). и 384 ГБ памяти. Виртуальные машины были равномерно распределены по четырем машинам. Для теста YCSB 48 ВМ используют 9,8 ТБ, а 96 ВМ — 19,6 ТБ емкости.

Для гибридного массива vSAN каждый из четырех серверов использовал две группы накопителей, каждая включала твердотельный накопитель емкостью 800 ГБ и три жестких диска емкостью 1,2 ТБ, то есть всего 8 кэш-накопителей и 24 жестких диска емкостью с общей емкостью хранения 27 ТБ. Для флэш-массива vSAN каждый из четырех серверов использовал две группы, каждая включала твердотельный накопитель емкостью 800 ГБ и два твердотельных накопителя емкостью 3,84 ТБ, то есть всего 8 SSD под кэш и 16 SSD-накопителей общей емкостью 43 ТБ.

Результаты для 48 виртуальных машин показывают лишь незначительное улучшение при работе с флэш-памятью. Результаты для 96 виртуальных машин демонстрируют заметно лучшую производительность для 96 виртуальных машин при работе с флэш-памятью (all-flash) по сравнению с гибридной системой. Это доказывает, что флэш-память гораздо быстрее при больших нагрузках ввода-вывода, как и ожидалось.

VMware Cloud Foundation


VMware Cloud Foundation (VCF) — это единая гибридная платформа для развертывания VMware SDDC как частного облака и для интеграции с публичными облаками. Это решение предоставляет программно-определяемые сервисы для управления вычислениями, хранением, сетями и облаком для различных рабочих нагрузок. Оно упрощает установку, обновление и компонентов SDDC благодаря управлению их жизненным циклом.

Возможности автоматизации обеспечивает новый компонент VMware SDDC Manager. ПО SDDC Manager автоматизирует установку и управление жизненным циклом vSphere, vSAN и NSX — от запуска и настройки до обновления, а также установку и настройку ПО vRealize Log Insight, vRealize Operations и vRealize Automation.

Cloud Foundation объединяет VMware vSphere (вычислительные ресурсы), vSAN (хранилище) и виртуализацию NSX (сеть) в один стандартный интегрированный пакет. Cloud Foundation можно развернуть в локальном частном облаке или использовать как сервис публичного облака.
VCF поставляется либо в виде интегрированного аппаратного стека, либо в виде пакета программного обеспечения для установке на оборудовании заказчика. VCF поддерживает развертывание компонентов SDDC на широком спектре физических серверов (vSAN Ready Nodes) и сетевых коммутаторов, формируя гибкую гетерогенную инфраструктуру для поддержки различных рабочих нагрузок. В частности, VCF можно установить на сертифицированных узлах Lenovo ThinkAgile VX.

Решение протестировано, валидировано и поддерживается вендором. Клиенты получают все необходимые компоненты «из одного окна», что облегчает процесс заказа и поддержки. Готовые референсные архитектуры значительно упрощают внедрение и эксплуатацию таких комплексов.

Проверенные архитектуры Validated Design

Комплексные и тщательно протестированные схемы для разработки и эксплуатации программного ЦОД

Проверенная архитектура VMware Validated Design предоставляет комплексные, прошедшие всестороннее тестирование схемы для разработки и эксплуатации программного ЦОД.

Архитектуры VMware Validated Design — это комплексные архитектуры для развертывания и настройки полноценного программного ЦОД VMware в широком спектре сценариев с подробными рекомендациями по эффективной эксплуатации.

Комментарии (6)