![](https://habrastorage.org/files/5b1/1da/08e/5b11da08e49944e2b140f7120763520d.png)
Сегодня мы хотели бы рассказать об оборудовании 1cloud, которое «урчит» в стойках ЦОД уровня Tier III в Санкт-Петербурге (SDN) и в Москве (Dataspace).
Начнем наше знакомство с серверов Dell PowerEdge R810, на которых организован базовый пул ресурсов. PowerEdge R810 выполнен на основе процессоров Intel и имеет 32 DIMM-слота, в которые можно установить до 512 ГБ оперативной памяти.
![](https://habrastorage.org/files/492/550/bfa/492550bfaaca448986995d4005bb3946.jpeg)
PowerEdge R810
Сервер R810 отлично подходит для решения задач виртуализации – на всех этих машинах установлены аппаратные гипервизоры vSphere ESXi, которые разделяют серверы на несколько виртуальных машин.
Отличительной особенностью PowerEdge R810 является их надежность, которая достигается за счет использования встроенных функций управления и диагностики системы и внутренних модулей SD, обеспечивающих восстановление после сбоя на уровне гипервизора.
![](https://habrastorage.org/files/197/0f3/4bf/1970f34bfe8b4f68b3dcbac93199b352.jpeg)
![](https://habrastorage.org/files/142/dd6/fed/142dd6fed1f4422db4c7cb914acd036b.jpeg)
Cisco UCS 5108 Chassis и Cisco UCS B200 M3
А это шасси, которые входят в комплекс Cisco UCS. В них разместились блейд-серверы UCS B200 M3, обладающие двумя процессорами семейства Intel Xeon E5-2690 v2. Эта система представляет собой высокопроизводительный пул вычислительных ресурсов.
Вообще свою унифицированную вычислительную систему UCS компания Cisco запустила в 2009 году и интегрировала в неё механизмы поддержки виртуализации и автоматизации. Cisco UCS является одной из лучших платформ для построения облачных сред, поскольку обладает единой системой управления набором аппаратных компонентов, автоматическим распознаванием добавляемых «лезвий» и открытыми интерфейсами Cisco UCS API, позволяющими заниматься собственными программными разработками.
![](https://habrastorage.org/files/fd7/91e/a0f/fd791ea0f25b45bf99d94662dc21944a.jpg)
![](https://habrastorage.org/files/5d4/7ff/fa6/5d47fffa6a194b198efe5abb9544b4c7.jpg)
Так выглядит Cisco UCS 5108 Chassis сзади. На второй фотографии – извлеченные блоки системы охлаждения; чтобы вытащить блок, нужно отжать защелку и потянуть за ручку
![](https://habrastorage.org/files/e63/f5b/798/e63f5b7981994cb1ad6d60c0be2cb635.jpg)
Рельса для установки шасси в стойку
![](https://habrastorage.org/files/c2f/1c2/1e8/c2f1c21e88834b6eb09b4a70a21bcf64.jpeg)
![](https://habrastorage.org/files/9af/3c3/507/9af3c35071df4a65888ca308bb979399.jpg)
Cisco UCS 6248UP Fabric Interconnect
Здесь вы видите Cisco UCS 6248UP Fabric Interconnect, который пока не подключен. В нашем случае это модель с 32 портами и возможностью добавления 16-портового модуля. Коммутатор управляет системой Cisco UCS, то есть соединяет шасси с сетевыми свитчами.
Архитектура Fabric Interconnect предусматривает коммутацию на скоростях до 10 Гбит/с, без потерь пакетов и с крайне малой латентностью – каждый порт коммутатора является универсальным и поддерживает технологии Ethernet и FC. Более того, устройство может одновременно обрабатывать сетевые потоки в сетях LAN и SAN
![](https://habrastorage.org/files/79f/3c9/74d/79f3c974dbc64fe594fd54a0dea180ae.png)
А это уже подключенные комплект Cisco UCS и Cisco UCS 6248UP Fabric Interconnect
![](https://habrastorage.org/files/4a8/995/3ec/4a89953ecf3241f19c4a3dadc1f2f6ca.jpeg)
NetApp DS2246
На фотографии выше представлены полки расширения дискового пространства для системы хранения данных NetApp. По сути это множество дисков, объединенных в логические RAID-группы. Конкретно в DS2246 используются два типа дисков – это SSD и SAS.
В связи с этим у нас имеются «быстрые» хранилища, построенные на твердотельных накопителях, и «обычные» – построенные на SAS. Также имеются «медленные» SATA-диски. Они установлены в полках DS4246 и в основном отведены под хранение бэкапов, однако, если того пожелает клиент, он сможет подключить их в качестве дополнительных дисков для VDS. Количество имеющихся запоминающих устройств делится в таких пропорциях: SAS – 70%, SSD – 22%, SATA – 8%.
![](https://habrastorage.org/files/8df/179/7c6/8df1797c66334a57a58d701254e17661.jpeg)
![](https://habrastorage.org/files/0a6/fba/69b/0a6fba69b59c400ab8a497b42d864e97.jpg)
FAS 8040
Виртуальные серверы 1cloud размещаются на дисковых массивах NetApp V6240/FAS8040. На фото выше представлен контроллер системы хранения данных NetApp – FAS 8040. Серия FAS8000 оснащена мультипроцессорными чипсетами Intel и использует высокопроизводительную память и NVRAM, что ускоряет производимые операции записи.
FAS8000 гарантируют уровень доступности не ниже 99,999%. В каждом контроллере имеется интегрированный служебный процессор, изолированный от логики главного контроллера, который сохранит свою работоспособность даже в случае выхода из строя оставшейся части платы.
Стоит добавить, что у нас имеются и другие контроллеры разных уровней и моделей, среди них: FAS8040, V6240, FAS2554, FAS2552, FAS2240. Стойки с контроллерами сформированы таким образом, чтобы рядом с ними могли разместиться прикрепленные к ним массивы СХД.
P.S. Дополнительные материалы о нашей работе:
- Как мы создавали систему отслеживания нагрузки на серверы пользователей
- Как мы делали свою систему управления DNS на основе продукта ANS
- Высокая производительность и хостинг-инфраструктура: Опыт 1cloud
- О разных типах дисков на одной виртуальной машине
varnav
Аппаратные гипервизоры ESXi?
ftarasenko
А что не так? Он точно не программный.