Центральным звеном любой ИТ-инфраструктуры, коммерческой организации, гос.компании или облачного хостинг-провайдера является сетевая инфраструктура. Основными TOR коммутаторами в нашей инфраструктуре являются коммутаторы Huawei CloudEngine 6800.

Команда проекта mClouds.ru имеет достаточно серьёзный опыт в технологиях, тем не менее, именно их практическое применение, в качестве конечного эксплуататора, имеет свои особенности. Поэтому, накопив опыт, спустя год мы запустили свой блог на Хабре, дабы делиться своим опытом и практиками в процессе работы.

Запуская проект по предоставлению в аренду виртуальных ресурсов, мы применяли актуальные дизайн гайды от различных вендоров, включая Huawei NDG (Network-Design Guide) и CVD (Cisco Validated Design Program), которые являются руководством по построению оптимальных и защищённых сетей уровня дата-центр.

Краткая информация о CloudEngine



Минутка маркетинга: В 2012 компанией Huawei была представлена линейка коммутаторов CloudEngine (далее CE), которая разработана для центров обработки данных и высокопроизводительных кампусных сетей. Флагманом в этой линейке является CE 12800 с одной из самой высокой в мире производительностью

Линейка	Максимальная пропускная способность	Тип порта	Количество портов
CE 12800	до 1032 Тбит/с	100GE	до 36 портов на карту
		40GE	до 36 портов на карту
		10GE	до 48 портов на карту
		1GE	до 84 портов на карту
CE 8800	до 6.4 Тбит/с	100GE	до 32 портов
		40GE	до 64 портов
		25/10GE	до 128 портов
CE 7800	до 2.56 Тбит/с	40GE	32 порта
CE 6800	до 1.6 Тбит/с	100GE	до 8 портов
		40GE	до 8 портов
		25/10GE	до 48 портов
		1/10GE	до 48 портов
CE 5800	до 336 Гбит/с	40GE	до 2 портов
		10GE	до 4 портов
		1GE	до 48 порта

Краткая информация по портам в линейке CE

Ключевой компонент в линейке, это решения для ЦОД Huawei Cloud Fabric Solutions. Это платформа для построения SDN (software-defined networking) DC (datacenter) с возможностью интеграции со средой VMware по протоколу OVSDB (Open vSwitch Database, RFC 7047). Данная интеграция позволяет сократить эксплуатационные расходы и трудозатраты, связанные с управлением и развертыванием услуг и сервисов на платформе виртуализации VMware. Подробнее про Cloud Fabric вы можете прочитать в блоге Huawei на Хабре.

Облачный движок

В качестве коммутаторов доступа мы используем Huawei CloudEngine 6800 (CE6810-48S4Q-LI), которые обеспечивают высокую плотность портов 10GE (48 x 10 GE SFP+) с возможностью стекирования и подключения к ядру сети с помощью портов 40GE (4 x 40 GE QSFP+).

Параметр	Характеристика
SFP+	48
QSFP+	4
Матрица коммутации	1.28 ТБит/c
Скорость обработки	960 Mpps
Виртуализация устройста	iStack Super Virtual Fabric
Сетевая виртуализация	M-LAG
Network Convergence	FCOE DCBX, PFC, ETS
Маршрутизация	IPv4 routing protocols, such as RIP, OSPF, BGP, and IS-IS

Краткие характеристики CE6810

Краткая информация о различиях версиях коммутаторов EI и LI.

	EI	LI
TRILL	+	—
ECMP	+	—
FCF	+	—
NPV	+	—
GRE	+	—
IPv6	+	—
Multicast (за исключением IGMP Snooping)	+	—
DHCP Server	+	—
VLANIF	1K	64
ARP	4K	1.5K
VRF	128	2
IPv4 FIB	16K	1.5K

Подробные характеристики доступны по следующей ссылке: huawei.com

iStack

В качестве примера, хотели бы продемонстрировать конфигурацию iStack на базе Huawei CE6810. При использовании iStack возможно объединение в стек до 16 коммутаторов (поддерживаемые прошивки V100R003C10 и позднее) c помощью портов 10GE, 40GE и 100GE. Дополнительное лицензирование iStack не требуется.

Преимущества технологии iStack

1. Упрощенное управление и конфигурирование: устройства в стеке являются одним логическим устройством. Управление коммутаторами возможно с любого участника стека.

2. Резервирование Control Plane: каждый коммутатор оснащён двумя MPU, где master обрабатывает запросы, а standby работает, как резервная копия master, и постоянно выполняет синхронизацию с ним. В случае выхода из строя master, standby становится основным и продолжает обрабатывать сервисные пакеты. Технология iStack реализует избыточность 1:1. В стеке один главный коммутатор обрабатывает сервисные пакеты, а один standby коммутатор функционирует как резервная копия master коммутатора и синхронизирует информацию с ним. Другие коммутаторы в стеке являются slave, когда master выходит из строя, standby становится master, а из slave выбирается новый standby коммутатор. Данная схема с slave коммутаторами позволяет дополнительно повысить надёжность системы.


Путь трафика через до и после смены Master

3. Резервирование uplink и downlink



4. Резервирование линков и интерфейсов: в кольцевой топологии при падении линка топология становится последовательной, а агрегация нескольких интерфейсов позволяет повысить отказоустойчивость и увеличить общую пропускную способность интерфейсов.


Отказоустойчивость стек-портов и интерфейсов

Основные понятия

Роли коммутаторов – коммутаторы в стеке классифицируются следующими ролями:
— Master – главный коммутатор в стеке. Один на стек.
— Standby – резервный коммутатор. В стеке может быть только один standby.
— Slave – подчинённый коммутатор, максимальное количество: N-2, где N – максимальное количество коммутаторов в стеке.
Stack domain – область в которой коммутаторы объединены в одно логическое устройство. Несколько доменов могут быть объединены.



Stack ID – идентификатор для определения коммуаторов, иначе member ID, данные ID являются уникальными в стеке.
Stack priority – приоритет коммутатора, один из параметров на основе которого производится выбор ролей коммуатора.
Physical member interface – физические порты, которые задействуются в стеке между коммутаторами.
Stack interface – логический интерфейс, который объединяет физические порты в виртуальный интерфейс, именуются как stack-port N/1, stack-port N/2.

Топологии

Стекирование возможно с помощью двух топологий: последовательное (chain) и кольцо (ring).


Топология chain

Преимущества последовательного соединения это стекирование коммутаторов на больших расстояниях (до 16 коммутаторов). Из минусов можно отметить недостаточную надёжность и низкую эффективность использования полосы пропускания.


Топология ring

Плюсы топологии кольца — это высокая надежность и высокая пропускная способность стека.

Определение master коммутатора

Выбор мастера происходит по следующему сценарию:

1. Running status: первый коммутатор, который был запущен и добавлен в iStack становится Master
2. Stack priority: коммутатор с наивысшим приоритетом становится Master
3. Software version: коммутатор с новейшей прошивкой становится Master
4. Mac: коммутатор с наименьшим MAC-адресом становится Master

Добавление и удаление коммутатора из стека

Добавление нового коммутатора в стек:

1. Если коммутатор не задействован в каком-либо другом стеке (нет уникальной метки stack ID), то он становится slave.
2. Если коммутатор ранее был в стеке A, то master выбирается из двух коммутаторов с ролями master в стеках A и B. Коммутатор получивший роль master, например, из стека B, синхронизирует коммутаторы из стека A (выполняется перезагрузка и синхронизация данных с новым стеком), остальные роли остаются неизменны.

Отключение коммутатора:

1. Если master коммутатор отключается, то standby становится master. Обновляется топология и выбирается новый standby
2. Если standby коммутатор отключается, происходит обновление топологии и выбирается новый standby
3. Если slave коммутатор отключается, то обновляется стек топология
4. Если master и slave коммутаторы отключаются, то все коммутаторы перезагружаются и образуют новый стек

Конфигурирование

Настройка стека происходит в несколько этапов:

0. Проверка совместимости ПО и коммутаторов
1. Предварительная настройка участников стека
2. Настройка портов входящих в стек интерфейс
3. Проверка конфигурации
4. Сохранение конфигурации и перезагрузка
5. Подключение физических кабелей
6. Включение коммутаторов

Для демонстрации технологии iStack на тестовом стенде мы используем два коммутатора линейки CE6810.

0. Перед конфигурированием рекомендуем обратиться к iStack Assistant для получения информации по требуемым версиям прошивок и возможностям стекирования.

Примечание: в случае, если master имеет новую версию прошивки, то slave коммутаторы автоматически синхронизируют версию ПО, выполнят перезагрузку и после будут добавлены в стек.

1. Установка параметров стека на коммутаторах
a. Конфигурация коммутатора SW01

> system-view
[~HUAWEI] sysname SW01
[*HUAWEI] commit
[~SW01] stack
[~SW01-stack] stack member 1 priority 150
[*SW01-stack] stack member 1 domain 100
[*SW01-stack] quit
[*SW01] commit  

b. Конфигурация коммутатора SW02

> system-view
[~HUAWEI] sysname SW02
[*HUAWEI] commit
[~SW02] stack
[~SW02-stack] stack member 1 renumber 2 inherit-config
Warning: The stack configuration of member ID 1 will be inherited to member ID 2 after the device resets. Continue? [Y/N]: y
[*SW02-stack] stack member 1 domain 100
[*SW02-stack] quit
[*SW02] commit  

После стекирования устройств потребуется перезагрузка. Описание команд:

system-view — переход в привилегированный режим
sysname — указание hostname коммутатора
commit — применение внесенных изменений
stack — переход в режим конфигурации стека
stack member priority <1-255>- установка приоритета для коммутатора
stack member domain <1-65535>- установка domain_ID
stack member renumber inherit-config — добавление коммутатора с уникальным member_ID. Указание inherit-config наследует исходную конфигурацию стека после рестарта, иначе будет скачана конфигурация с Master коммутатор.

Примечание: если коммутатор с ролью slave будет иметь одинаковый ID с master, то master назначит коммутатору уникальный ID.

2. Конфигурация стек-портов



a. Конфигурация портов на коммутаторе SW01

[SW01]interface stack-port 1/1 
[SW01-stack-port1/1]port member-group interface 40GE 1/0/1 to 40GE 1/0/2

b. Конфигурация портов на коммутаторе SW02

[SW02]interface stack-port 1/1 
[SW02-stack-port1/1]port member-group interface 40GE 1/0/1 to 40GE 1/0/2

Описание команд:

interface stack-port /<1-2> — создание группы стек-портов
port member-group interface 40GE to 40GE — добавление портов коммутатора в стек-порт

3. Проверка конфигурации

[SW01]display stack config
Oper          : Operation 
Conf          : Configuration 
*             : Offline configuration 

Attribute Configuration:
-----------------------------------------
MemberID      Domain         Priority    
Oper(Conf)   Oper(Conf)      Oper(Conf)  
-----------------------------------------
1(1)         --(100)           100(150)    
-----------------------------------------

Stack-Port Configuration:
------------------------------------------
Stack-Port      Member Ports              
------------------------------------------
Stack-Port1/1   40GE1/0/1           40GE/1/0/2
-----------------------------------------

4. Сохранение конфигурации и перезагрузка устройств

> save
Warning: The current configuration will be written to the device. Continue? [Y/N]: y
> reboot
Warning: The system will reboot. Continue? [Y/N]: y

5. Физическое подключение кабелей стекирования
Так как в нашей конфигурации мы используем два коммутатора, выполняем подключение согласно топологии Chain.

6. Проверка конфигурации

> display stack
--------------------------------------------------------------------------------
MemberID Role MAC Priority DeviceType Description
--------------------------------------------------------------------------------
+1 Master 0004-yyyy-yyyy 150 CE6810-48S4Q-LI
2 Standby 0004-xxxx-xxxx 100 CE6810-48S4Q-LI
--------------------------------------------------------------------------------
+ indicates the device through which the user logs in.  

Кошководам

Для создания окружения а-ля «IOS like» предусмотрена возможность создания алиасов (псеводним). С помощью псевдонимов возможно сделать удобное окружение, сэкономить на времени ввода команды для часто используемых команд.

Формат команды alias
alias [ parameter ] command ""

• name — название алиаса
• parameter — список параметров
• command — указание команды для алиаса

Список используемых нами алиасов

] command alias
-cmdalias] alias show command "display"
-cmdalias] alias exit command "quit"
-cmdalias] alias no command "undo"
-cmdalias] alias write command "save"
-cmdalias] alias config command "system-view"

Просмотр созданных алиасов:

] display command alias

Удаление неиспользуемых алиасов:

] command alias
-cmdalias] undo alias %alias

Сравнение с Cisco

Один из самых интересных пунктов выбора, а какие отличие от других? С помощью Analyze Product Advantages от Huawei мы можем узнать, что коммутатор CE6810 компания Huawei может сравнивать со следующими моделями:

• Cisco Nexus 2K (N2K-C2348UPQ)
• Cisco Nexus (NEXUS 2248PQ)

К сожалению данные модели являются Fabric Extenders, которыми возможно управлять с Cisco Nexus 5K и 7K, поэтому не брать рассматривать, а возьмём в расчёт Nexus 3K (Nexus 3172PQ), который является аналогом Huawei CE6851-48S6Q-HI.

Параметр	Nexus 3172PQ	Huawei CE6851-48S6Q-HI
Switching Capacity	1.4 Тбит/с	2.56 Тбит/с
Forwarding Performance	до 1000 Mpps	1080 Mpps
10GE	48 + 24 (QSFP+ to SFP+)	48
40GE	6	6
L3	+	+
MAC	288K	288K
VLAN	4K	4k
IPv4 FIB	16K/16K	16K/128K
IPv6 FIB	+	+
FCoE	—	+
VXLAN	—	+
Стоимость	от $20 000 GPL	от $16 000 RPL

Заключение

За продолжительное время работы у инженерного подразделения команды VPS и IaaS провайдера mCloduds.ru сложилось положительное мнение о линейке Huawei CloudEngine:

многофункциональность, оперативная работа службы технической поддержки, подразделение которой присутствует на территории России, простота управления и многое другое. Это позволяет обеспечивать высокую доступность к вычислительной среде наших клиентов.

Для получения дополнительной информации по линейке Huawei CloudEngine и другим решениям, вы можете обратиться к нам по электронной почте info[at]mclouds.ru, будем рады вам помочь :)