Центральным звеном любой ИТ-инфраструктуры, коммерческой организации, гос.компании или облачного хостинг-провайдера является сетевая инфраструктура. Основными TOR коммутаторами в нашей инфраструктуре являются коммутаторы Huawei CloudEngine 6800.

Команда проекта mClouds.ru имеет достаточно серьёзный опыт в технологиях, тем не менее, именно их практическое применение, в качестве конечного эксплуататора, имеет свои особенности. Поэтому, накопив опыт, спустя год мы запустили свой блог на Хабре, дабы делиться своим опытом и практиками в процессе работы.

Запуская проект по предоставлению в аренду виртуальных ресурсов, мы применяли актуальные дизайн гайды от различных вендоров, включая Huawei NDG (Network-Design Guide) и CVD (Cisco Validated Design Program), которые являются руководством по построению оптимальных и защищённых сетей уровня дата-центр.

Краткая информация о CloudEngine



Минутка маркетинга: В 2012 компанией Huawei была представлена линейка коммутаторов CloudEngine (далее CE), которая разработана для центров обработки данных и высокопроизводительных кампусных сетей. Флагманом в этой линейке является CE 12800 с одной из самой высокой в мире производительностью

Линейка


Максимальная пропускная способность


Тип порта


Количество портов


CE 12800


до 1032 Тбит/с


100GE


до 36 портов на карту


40GE


до 36 портов на карту


10GE


до 48 портов на карту


1GE


до 84 портов на карту


CE 8800


до 6.4 Тбит/с


100GE


до 32 портов


40GE


до 64 портов


25/10GE


до 128 портов


CE 7800


до 2.56 Тбит/с


40GE


32 порта


CE 6800


до 1.6 Тбит/с


100GE


до 8 портов


40GE


до 8 портов


25/10GE


до 48 портов


1/10GE


до 48 портов


CE 5800


до 336 Гбит/с


40GE


до 2 портов


10GE


до 4 портов


1GE


до 48 порта



Краткая информация по портам в линейке CE

Ключевой компонент в линейке, это решения для ЦОД Huawei Cloud Fabric Solutions. Это платформа для построения SDN (software-defined networking) DC (datacenter) с возможностью интеграции со средой VMware по протоколу OVSDB (Open vSwitch Database, RFC 7047). Данная интеграция позволяет сократить эксплуатационные расходы и трудозатраты, связанные с управлением и развертыванием услуг и сервисов на платформе виртуализации VMware. Подробнее про Cloud Fabric вы можете прочитать в блоге Huawei на Хабре.

Облачный движок

В качестве коммутаторов доступа мы используем Huawei CloudEngine 6800 (CE6810-48S4Q-LI), которые обеспечивают высокую плотность портов 10GE (48 x 10 GE SFP+) с возможностью стекирования и подключения к ядру сети с помощью портов 40GE (4 x 40 GE QSFP+).



Параметр


Характеристика


SFP+


48


QSFP+


4


Матрица коммутации


1.28 ТБит/c


Скорость обработки


960 Mpps


Виртуализация устройста


iStack


Super Virtual Fabric


Сетевая виртуализация


M-LAG


Network Convergence


FCOE


DCBX, PFC, ETS


Маршрутизация


IPv4 routing protocols, such as RIP, OSPF, BGP, and IS-IS



Краткие характеристики CE6810

Краткая информация о различиях версиях коммутаторов EI и LI.

EI


LI


TRILL


+



ECMP


+



FCF


+



NPV


+



GRE


+



IPv6


+



Multicast (за исключением IGMP Snooping)


+



DHCP Server


+



VLANIF


1K


64


ARP


4K


1.5K


VRF


128


2


IPv4 FIB


16K


1.5K



Подробные характеристики доступны по следующей ссылке: huawei.com

iStack

В качестве примера, хотели бы продемонстрировать конфигурацию iStack на базе Huawei CE6810. При использовании iStack возможно объединение в стек до 16 коммутаторов (поддерживаемые прошивки V100R003C10 и позднее) c помощью портов 10GE, 40GE и 100GE. Дополнительное лицензирование iStack не требуется.

Преимущества технологии iStack

1. Упрощенное управление и конфигурирование: устройства в стеке являются одним логическим устройством. Управление коммутаторами возможно с любого участника стека.

2. Резервирование Control Plane: каждый коммутатор оснащён двумя MPU, где master обрабатывает запросы, а standby работает, как резервная копия master, и постоянно выполняет синхронизацию с ним. В случае выхода из строя master, standby становится основным и продолжает обрабатывать сервисные пакеты. Технология iStack реализует избыточность 1:1. В стеке один главный коммутатор обрабатывает сервисные пакеты, а один standby коммутатор функционирует как резервная копия master коммутатора и синхронизирует информацию с ним. Другие коммутаторы в стеке являются slave, когда master выходит из строя, standby становится master, а из slave выбирается новый standby коммутатор. Данная схема с slave коммутаторами позволяет дополнительно повысить надёжность системы.


Путь трафика через до и после смены Master

3. Резервирование uplink и downlink



4. Резервирование линков и интерфейсов: в кольцевой топологии при падении линка топология становится последовательной, а агрегация нескольких интерфейсов позволяет повысить отказоустойчивость и увеличить общую пропускную способность интерфейсов.


Отказоустойчивость стек-портов и интерфейсов

Основные понятия

Роли коммутаторов – коммутаторы в стеке классифицируются следующими ролями:
— Master – главный коммутатор в стеке. Один на стек.
— Standby – резервный коммутатор. В стеке может быть только один standby.
— Slave – подчинённый коммутатор, максимальное количество: N-2, где N – максимальное количество коммутаторов в стеке.
Stack domain – область в которой коммутаторы объединены в одно логическое устройство. Несколько доменов могут быть объединены.



Stack ID – идентификатор для определения коммуаторов, иначе member ID, данные ID являются уникальными в стеке.
Stack priority – приоритет коммутатора, один из параметров на основе которого производится выбор ролей коммуатора.
Physical member interface – физические порты, которые задействуются в стеке между коммутаторами.
Stack interface – логический интерфейс, который объединяет физические порты в виртуальный интерфейс, именуются как stack-port N/1, stack-port N/2.

Топологии

Стекирование возможно с помощью двух топологий: последовательное (chain) и кольцо (ring).


Топология chain

Преимущества последовательного соединения это стекирование коммутаторов на больших расстояниях (до 16 коммутаторов). Из минусов можно отметить недостаточную надёжность и низкую эффективность использования полосы пропускания.


Топология ring

Плюсы топологии кольца — это высокая надежность и высокая пропускная способность стека.

Определение master коммутатора

Выбор мастера происходит по следующему сценарию:

1. Running status: первый коммутатор, который был запущен и добавлен в iStack становится Master
2. Stack priority: коммутатор с наивысшим приоритетом становится Master
3. Software version: коммутатор с новейшей прошивкой становится Master
4. Mac: коммутатор с наименьшим MAC-адресом становится Master

Добавление и удаление коммутатора из стека

Добавление нового коммутатора в стек:

1. Если коммутатор не задействован в каком-либо другом стеке (нет уникальной метки stack ID), то он становится slave.
2. Если коммутатор ранее был в стеке A, то master выбирается из двух коммутаторов с ролями master в стеках A и B. Коммутатор получивший роль master, например, из стека B, синхронизирует коммутаторы из стека A (выполняется перезагрузка и синхронизация данных с новым стеком), остальные роли остаются неизменны.

Отключение коммутатора:

1. Если master коммутатор отключается, то standby становится master. Обновляется топология и выбирается новый standby
2. Если standby коммутатор отключается, происходит обновление топологии и выбирается новый standby
3. Если slave коммутатор отключается, то обновляется стек топология
4. Если master и slave коммутаторы отключаются, то все коммутаторы перезагружаются и образуют новый стек

Конфигурирование

Настройка стека происходит в несколько этапов:

0. Проверка совместимости ПО и коммутаторов
1. Предварительная настройка участников стека
2. Настройка портов входящих в стек интерфейс
3. Проверка конфигурации
4. Сохранение конфигурации и перезагрузка
5. Подключение физических кабелей
6. Включение коммутаторов

Для демонстрации технологии iStack на тестовом стенде мы используем два коммутатора линейки CE6810.

0. Перед конфигурированием рекомендуем обратиться к iStack Assistant для получения информации по требуемым версиям прошивок и возможностям стекирования.

Примечание: в случае, если master имеет новую версию прошивки, то slave коммутаторы автоматически синхронизируют версию ПО, выполнят перезагрузку и после будут добавлены в стек.

1. Установка параметров стека на коммутаторах
a. Конфигурация коммутатора SW01

> system-view
[~HUAWEI] sysname SW01
[*HUAWEI] commit
[~SW01] stack
[~SW01-stack] stack member 1 priority 150
[*SW01-stack] stack member 1 domain 100
[*SW01-stack] quit
[*SW01] commit  

b. Конфигурация коммутатора SW02

> system-view
[~HUAWEI] sysname SW02
[*HUAWEI] commit
[~SW02] stack
[~SW02-stack] stack member 1 renumber 2 inherit-config
Warning: The stack configuration of member ID 1 will be inherited to member ID 2 after the device resets. Continue? [Y/N]: y
[*SW02-stack] stack member 1 domain 100
[*SW02-stack] quit
[*SW02] commit  

После стекирования устройств потребуется перезагрузка. Описание команд:

system-view — переход в привилегированный режим
sysname — указание hostname коммутатора
commit — применение внесенных изменений
stack — переход в режим конфигурации стека
stack member priority <1-255>- установка приоритета для коммутатора
stack member domain <1-65535>- установка domain_ID
stack member renumber inherit-config — добавление коммутатора с уникальным member_ID. Указание inherit-config наследует исходную конфигурацию стека после рестарта, иначе будет скачана конфигурация с Master коммутатор.

Примечание: если коммутатор с ролью slave будет иметь одинаковый ID с master, то master назначит коммутатору уникальный ID.

2. Конфигурация стек-портов



a. Конфигурация портов на коммутаторе SW01

[SW01]interface stack-port 1/1 
[SW01-stack-port1/1]port member-group interface 40GE 1/0/1 to 40GE 1/0/2

b. Конфигурация портов на коммутаторе SW02

[SW02]interface stack-port 1/1 
[SW02-stack-port1/1]port member-group interface 40GE 1/0/1 to 40GE 1/0/2

Описание команд:

interface stack-port /<1-2> — создание группы стек-портов
port member-group interface 40GE to 40GE — добавление портов коммутатора в стек-порт

3. Проверка конфигурации

[SW01]display stack config
Oper          : Operation 
Conf          : Configuration 
*             : Offline configuration 

Attribute Configuration:
-----------------------------------------
MemberID      Domain         Priority    
Oper(Conf)   Oper(Conf)      Oper(Conf)  
-----------------------------------------
1(1)         --(100)           100(150)    
-----------------------------------------

Stack-Port Configuration:
------------------------------------------
Stack-Port      Member Ports              
------------------------------------------
Stack-Port1/1   40GE1/0/1           40GE/1/0/2
-----------------------------------------

4. Сохранение конфигурации и перезагрузка устройств

> save
Warning: The current configuration will be written to the device. Continue? [Y/N]: y
> reboot
Warning: The system will reboot. Continue? [Y/N]: y

5. Физическое подключение кабелей стекирования
Так как в нашей конфигурации мы используем два коммутатора, выполняем подключение согласно топологии Chain.

6. Проверка конфигурации

> display stack
--------------------------------------------------------------------------------
MemberID Role MAC Priority DeviceType Description
--------------------------------------------------------------------------------
+1 Master 0004-yyyy-yyyy 150 CE6810-48S4Q-LI
2 Standby 0004-xxxx-xxxx 100 CE6810-48S4Q-LI
--------------------------------------------------------------------------------
+ indicates the device through which the user logs in.  

Кошководам

Для создания окружения а-ля «IOS like» предусмотрена возможность создания алиасов (псеводним). С помощью псевдонимов возможно сделать удобное окружение, сэкономить на времени ввода команды для часто используемых команд.

Формат команды alias
alias [ parameter ] command ""

  • name — название алиаса
  • parameter — список параметров
  • command — указание команды для алиаса

Список используемых нами алиасов

] command alias
-cmdalias] alias show command "display"
-cmdalias] alias exit command "quit"
-cmdalias] alias no command "undo"
-cmdalias] alias write command "save"
-cmdalias] alias config command "system-view"

Просмотр созданных алиасов:

] display command alias

Удаление неиспользуемых алиасов:

] command alias
-cmdalias] undo alias %alias

Сравнение с Cisco

Один из самых интересных пунктов выбора, а какие отличие от других? С помощью Analyze Product Advantages от Huawei мы можем узнать, что коммутатор CE6810 компания Huawei может сравнивать со следующими моделями:

  • Cisco Nexus 2K (N2K-C2348UPQ)
  • Cisco Nexus (NEXUS 2248PQ)

К сожалению данные модели являются Fabric Extenders, которыми возможно управлять с Cisco Nexus 5K и 7K, поэтому не брать рассматривать, а возьмём в расчёт Nexus 3K (Nexus 3172PQ), который является аналогом Huawei CE6851-48S6Q-HI.

Параметр


Nexus 3172PQ


Huawei CE6851-48S6Q-HI


Switching Capacity


1.4 Тбит/с


2.56 Тбит/с


Forwarding Performance


до 1000 Mpps


1080 Mpps


10GE


48 + 24 (QSFP+ to SFP+)


48


40GE


6


6


L3


+


+


MAC


288K


288K


VLAN


4K


4k


IPv4 FIB


16K/16K


16K/128K


IPv6 FIB


+


+


FCoE



+


VXLAN



+


Стоимость


от $20 000 GPL


от $16 000 RPL



Заключение

За продолжительное время работы у инженерного подразделения команды VPS и IaaS провайдера mCloduds.ru сложилось положительное мнение о линейке Huawei CloudEngine:

многофункциональность, оперативная работа службы технической поддержки, подразделение которой присутствует на территории России, простота управления и многое другое. Это позволяет обеспечивать высокую доступность к вычислительной среде наших клиентов.

Для получения дополнительной информации по линейке Huawei CloudEngine и другим решениям, вы можете обратиться к нам по электронной почте info[at]mclouds.ru, будем рады вам помочь :)
Поделиться с друзьями
-->

Комментарии (5)


  1. ksg222
    20.04.2017 15:19

    В Nexus 3172 префиксы IPv6 хранятся в FIB. Поэтому прочерк не очень понятен.

    Если сравнивать Huawei с Cisco, стоит смотреть на линейку 9200 или 9300. По цене сравнимо с 3100, но будет поддержка бОльшего спектра технологий (в том числе VXLAN, FCoE (для 9300)) и лучшие цифры по производительности.

    А что есть «GPL» в прайс-листе Huawei? Под этим Вы подразумеваете RPL?


    1. mclouds
      20.04.2017 16:42

      ksg222, спасибо за замечания, актуализировали информацию по IPv6 и подпись по ценам Huawei изменили на RPL (Recommended Price List).


  1. Karroplan
    20.04.2017 15:27

    лучше сравните с Nexus 93180YC-EX и честно скажите, какую скидку можно ожидать с GPL, если буду покупать, допустим 20 свичтей?


    1. mclouds
      20.04.2017 16:54

      Karroplan, уровень скидки зависит от самого проекта, рассчитывается индивидуально. Если интересно, то можете написать нам в почту, которая указана в конце поста и предоставим вам расчёт.


  1. Ruddymetor
    24.04.2017 09:57

    Спасибо за сравнение, есть пища для размышлений при расчетах