Сегодня мы хотели бы рассказать об оборудовании 1cloud, которое «урчит» в стойках ЦОД уровня Tier III в Санкт-Петербурге (SDN) и в Москве (Dataspace).
Начнем наше знакомство с серверов Dell PowerEdge R810, на которых организован базовый пул ресурсов. PowerEdge R810 выполнен на основе процессоров Intel и имеет 32 DIMM-слота, в которые можно установить до 512 ГБ оперативной памяти.
PowerEdge R810
Сервер R810 отлично подходит для решения задач виртуализации – на всех этих машинах установлены аппаратные гипервизоры vSphere ESXi, которые разделяют серверы на несколько виртуальных машин.
Отличительной особенностью PowerEdge R810 является их надежность, которая достигается за счет использования встроенных функций управления и диагностики системы и внутренних модулей SD, обеспечивающих восстановление после сбоя на уровне гипервизора.
Cisco UCS 5108 Chassis и Cisco UCS B200 M3
А это шасси, которые входят в комплекс Cisco UCS. В них разместились блейд-серверы UCS B200 M3, обладающие двумя процессорами семейства Intel Xeon E5-2690 v2. Эта система представляет собой высокопроизводительный пул вычислительных ресурсов.
Вообще свою унифицированную вычислительную систему UCS компания Cisco запустила в 2009 году и интегрировала в неё механизмы поддержки виртуализации и автоматизации. Cisco UCS является одной из лучших платформ для построения облачных сред, поскольку обладает единой системой управления набором аппаратных компонентов, автоматическим распознаванием добавляемых «лезвий» и открытыми интерфейсами Cisco UCS API, позволяющими заниматься собственными программными разработками.
Так выглядит Cisco UCS 5108 Chassis сзади. На второй фотографии – извлеченные блоки системы охлаждения; чтобы вытащить блок, нужно отжать защелку и потянуть за ручку
Рельса для установки шасси в стойку
Cisco UCS 6248UP Fabric Interconnect
Здесь вы видите Cisco UCS 6248UP Fabric Interconnect, который пока не подключен. В нашем случае это модель с 32 портами и возможностью добавления 16-портового модуля. Коммутатор управляет системой Cisco UCS, то есть соединяет шасси с сетевыми свитчами.
Архитектура Fabric Interconnect предусматривает коммутацию на скоростях до 10 Гбит/с, без потерь пакетов и с крайне малой латентностью – каждый порт коммутатора является универсальным и поддерживает технологии Ethernet и FC. Более того, устройство может одновременно обрабатывать сетевые потоки в сетях LAN и SAN
А это уже подключенные комплект Cisco UCS и Cisco UCS 6248UP Fabric Interconnect
NetApp DS2246
На фотографии выше представлены полки расширения дискового пространства для системы хранения данных NetApp. По сути это множество дисков, объединенных в логические RAID-группы. Конкретно в DS2246 используются два типа дисков – это SSD и SAS.
В связи с этим у нас имеются «быстрые» хранилища, построенные на твердотельных накопителях, и «обычные» – построенные на SAS. Также имеются «медленные» SATA-диски. Они установлены в полках DS4246 и в основном отведены под хранение бэкапов, однако, если того пожелает клиент, он сможет подключить их в качестве дополнительных дисков для VDS. Количество имеющихся запоминающих устройств делится в таких пропорциях: SAS – 70%, SSD – 22%, SATA – 8%.
FAS 8040
Виртуальные серверы 1cloud размещаются на дисковых массивах NetApp V6240/FAS8040. На фото выше представлен контроллер системы хранения данных NetApp – FAS 8040. Серия FAS8000 оснащена мультипроцессорными чипсетами Intel и использует высокопроизводительную память и NVRAM, что ускоряет производимые операции записи.
FAS8000 гарантируют уровень доступности не ниже 99,999%. В каждом контроллере имеется интегрированный служебный процессор, изолированный от логики главного контроллера, который сохранит свою работоспособность даже в случае выхода из строя оставшейся части платы.
Стоит добавить, что у нас имеются и другие контроллеры разных уровней и моделей, среди них: FAS8040, V6240, FAS2554, FAS2552, FAS2240. Стойки с контроллерами сформированы таким образом, чтобы рядом с ними могли разместиться прикрепленные к ним массивы СХД.
P.S. Дополнительные материалы о нашей работе:
- Как мы создавали систему отслеживания нагрузки на серверы пользователей
- Как мы делали свою систему управления DNS на основе продукта ANS
- Высокая производительность и хостинг-инфраструктура: Опыт 1cloud
- О разных типах дисков на одной виртуальной машине
varnav
Аппаратные гипервизоры ESXi?
ftarasenko
А что не так? Он точно не программный.