Привет, Хабр! Меня зовут Виталий, я дежурный системный инженер дата-центра в Selectel. Давным‑давно мы рассказывали про собственную разработку корпуса. С тех пор прошло немало времени, линейка серверов ChipCore значительно эволюционировала.

В прошлой статье речь шла о корпусах 1  и 1.5  ревизии. Расположение серверов на обычном складском стеллаже не позволяло полноценно охлаждать платформы. Единственный выход был — модернизация и монтаж в серверные стойки. В этой статье расскажу, как мы пришли к корпусам 2 и 3 ревизии.

Используйте навигацию, если не хотите читать текст целиком:

→ Несколько слов о ChipCore
→ ChipCore 2.0: базовый уровень плотности
→ ChipCore 3.0: смена парадигмы

Несколько слов о ChipCore

При выборе оборудования для многих клиентов ключевой, а порой и решающий фактор — стоимость. Как правило, ChipCore используют для проектов ограниченным бюджетом. Яркий пример — стартапы. Они ищут наиболее экономичные варианты без потери базовой функциональности. И даже незначительная разница в стоимости становится причиной выбора. Такие заказчики тщательно анализируют прайс-листы, сравнивают предложения, ищут акции, скидки или специальные условия, чтобы минимизировать свои затраты.

Чтобы сформировать для них привлекательное предложение, приходится решать много технологических вопросов. Один из них — максимальная плотность размещения оборудования в стойках, выделенных для экономных потребителей. Также в серии Chipcore основа платформы — не серверные, а стандартные десктоп-комплекты.

Представьте, что нужно упаковать чемодан для долгой поездки или организовать пространство на крохотной кухне. Главная задача — уместить максимум полезных вещей в небольшом объеме. В дата-центрах инженеры решают схожую проблему. Здесь «пространство» — это серверные стойки, ограниченный и очень дорогой ресурс.

ChipCore 2.0: базовый уровень плотности

Основой для узлов послужили стандартные комплектующие для настольных ПК — главным образом процессоры Intel Core i5−i7 8−12 поколений. Каждый узел оснащался 32 ГБ оперативной памяти и двумя твердотельными накопителями (SSD) по 480 ГБ.

Теплораспределение потребовало своих особенностей конструкции. Блок питания (БП) разместился в передней части корпуса. Такое нестандартное расположение хорошо сказалось на воздушных потоках и улучшило охлаждение в условиях плотной компоновки.


Сервер Chipcore 2.0 в разработанном корпусе.

Следующим этапом стало создание особых стоечных конструкций. В архитектуре тогда предпочли горизонтальную компоновку и форм-фактор 2U. Ключевой особенностью стала уникальная стальная подложка, на которой размещались два независимых серверных узла, что позволяло устанавливать два сервера на одной панели столь небольшого объема.



3D-макет полки для двух серверов.

Получившаяся плотность позволяла разместить 34 платформы в обычной серверной стойке! (68 серверов — ориентировочная плотность на стеллаж.)

Сложности не заканчивались. Сказывалось отсутствие поддержки IPMI (Intelligent Platform Management Interface) — стандартного способа удаленного управления серверами. Решением стала технология IP-KVM, позволяющая легко получать доступ к каждому серверу через виртуальные консоли.

IP-KVM (Keyboard, Video, Mouse over IP) — это аппаратно-реализованная технология, которая захватывает сигналы устройств — таких, как видеокарты, клавиатуры, мыши, — оцифровывает их и передает по стандартной IP-сети. Так, администратор взаимодействует с сервером, как если бы он физически находился перед ним.

IPMI (Intelligent Platform Management Interface) — стандартный протокол для управления и мониторинга аппаратной части сервера или другого устройства, независимо от операционной системы.

KVM‑консоль в разработанном нами корпусе для удобства.

Важнейшей особенностью платформы ChipCore стала ее модульность. Появилась возможность относительно легко добавить дополнительную сетевую карту или оптический интерфейс. Серверы становились настоящими универсалами. Все проделанные изменения сделали платформу крайне привлекательной для клиентов, которым требовалась максимальная эффективность при минимальных затратах.


Монтаж сервера в стойку.

Для понимания среды, в которой работают серверы, отвлечемся на небольшое техническое описание методологии горячих и холодных коридоров. При таком подходе стойки стоят плотными рядами. Их передние панели смотрят друг на друга и образуют «холодный коридор». Задние части также обращены друг к другу и формируют «горячий коридор».

Через перфорированные плиты фальшпола или из потолочных воздуховодов охлажденный воздух подается в холодный коридор. Затем он разбирается вентиляторами систем охлаждения серверов и проходит через компоненты оборудования. Наконец, отобравший тепло воздух выбрасывается в изолированный горячий коридор. Оттуда поток возвращается к прецизионным кондиционерам для охлаждения и повторения цикла.

Основная цель данной технологии — предотвратить смешивание горячих и холодных воздушных потоков. Такое разделение резко повышает эффективность системы охлаждения, снижает энергопотребление и позволяет поддерживать более высокую плотность мощности на стойку.


Вид стойки с горячего коридора.


Вид стойки с холодного коридора.

ChipCore 3.0: смена парадигмы

В процессе внедрения и эксплуатации выявился существенный недостаток: неэффективное использование внутреннего пространства стоек. Команда инженеров вновь задумалась над изменениями.

Преодоление ограничений предыдущего поколения привело не просто к модернизации, а к полному пересмотру концепции. В основу ChipCore 3.0 легла принципиально новая архитектура — с вертикальным и двусторонним размещением узлов. Серверы теперь устанавливаются стоймя — как с передней, так и с задней стороны.



Чертеж самодельного корпуса и полки.

Тепловая конструкция лучше спроектирована для работы в ЦОД с организацией «горячих» и «холодных» коридоров. Вертикальное расположение узлов и продуманная компоновка создают прямой и беспрепятственный воздушный поток через нагретые компоненты из холодного коридора в горячий. Центральное расположение БП также способствует более эффективному отводу тепла.


Сервер Chipcore 3.0 в разработанном корпусе.


Монтаж сервера в стойку.

Еще одним существенным ограничением предыдущей ревизии была невозможность поддержки процессоров с TDP выше 120 Вт, что делало платформу неконкурентоспособной для задач следующего поколения.

Для проектирования любой системы охлаждения требуется точное определение параметра TDP (Thermal Design Power). Именно такую тепловую мощность (в ваттах) система охлаждения должна рассеивать при работе под «сложной нагрузкой» на базовой тактовой частоте полупроводникового компонента.

Важно понимать, что TDP — не показатель электрического энергопотребления. Хотя эти величины связаны, фактическое энергопотребление процессора может кратковременно превышать его TDP — например, в режиме Turbo Boost. Кроме того, различные производители рассчитывают TDP по‑своему, поэтому нельзя по этому показателю сравнивать процессоры разных брендов напрямую.

Платформа ChipCore 3.0 была спроектирована таким образом, чтобы поддерживать более производительные процессоры Intel 13−15 поколений с TDP до 180 Вт, что на 50% превышает возможности ChipCore 2.0. Платформа стала хорошо подходить для ресурсоемких приложений и задач с высоким энергопотреблением.

В результате новая ревизия позволила размещать до 60 серверов в одной двусторонней стойке (ориентировочно 120 серверов на стеллаж), что означает увеличение плотности примерно на 76% по сравнению с Chipcore 2.0.

Система питания построена на связке автоматического ввода резерва (АВР) и блоков распределения питания (PDU). Подобные блоки выглядят как ряд обычных розеток, при этом они бывают управляемые и неуправляемые. На всех стойках линейки ChipCore мы используем только первый тип, чтобы иметь возможность перезагрузить сервер при необходимости.

Автоматический ввод резерва — первая линия защиты от сбоев в электроснабжении, ключевой компонент систем высокой доступности. Его главная функция — непрерывный мониторинг основного источника питания. В случае обнаружения сбоя или отклонения параметров от номинальных происходит практически мгновенное переключение нагрузки на резервный источник — например, независимый фидер от другой подстанции или дизель-генераторная установка (ДГУ).

Для удаленного контроля по‑прежнему используется внешние IP-KVM.

Инженеры предусмотрели варианты подключения различных типов сетевых интерфейсов — от простых локальных сетей до волоконно-оптических линий связи. Кабель-менеджмент устроен таким образом, что все провода аккуратно уложены в органайзеры. Это позволяет обслужить один сервер без отключения других: достаточно отсоединить несколько кабелей, и модуль легко извлекается со всеми компонентами (см. фото выше).

В высокоплотной среде аккуратная прокладка кабелей перестает быть вопросом эстетики и становится функциональной необходимостью. Многократное увеличение количества силовых и информационных кабелей в стойке без методичного подхода быстро приводит к образованию «кабельных спагетти».

Спутанные провода блокируют прохождение воздуха, возникают «горячие точки». Также техническим специалистам требуется больше времени для трассировки и доступа к компонентам, что увеличивает операционные расходы.

Вид стойки с горячего коридора.


Вид стойки с холодного коридора.

В этой статье мы проследили увлекательную историю проектирования оригинального корпуса сервера. Разработанный нашими инженерами вариант оказался удачным. В двух традиционных стойках 21" нашли место до 120 серверных платформ вместо прежних 72-х, которые когда‑то размещались на стеллаже.

Эволюция от Chipcore 2.0 к 3.0 — не просто количественный рост, а качественный скачок. Переход от горизонтального, самодостаточного шасси к вертикальной, интегрированной в стойку конструкции стал результатом смены философии проектирования: от отдельного сервера к стоечной экосистеме.

Chipcore 2.0 был попыткой оптимизировать сервер в рамках стандартной стойки. В то же время, конструкция Chipcore 3.0 теряет смысл вне контекста взаимодействия со средой ЦОД — горячими и холодными коридорами. Подобный опыт показывает, что за определенным порогом плотности и TDP проектирование серверов и инфраструктуры ЦОД больше не может рассматриваться как две отдельные дисциплины; они должны разрабатываться совместно. Серверный узел становится компонентом в более крупном вычислительно-тепловом модуле — стойке.

Для наглядности ключевые технические различия между всеми поколениями платформы сведены в таблицу.Третья ревизия успешно решила задачу повышения вычислительной плотности и тепловой мощности. Получилась надежная и масштабируемая основа для интенсивных рабочих нагрузок при минимальной стоимости. Напомним, что в ChipCore используются обычные десктопные компоненты, а не серверные.

Интересно, какие изменения произойдут в будущем? По мере того, как TDP процессоров будет превышать 180 Вт, воздушное охлаждение достигнет своих физических пределов. Потребуется ли переход на жидкостное? Возникнет ли необходимость снова конструировать серверные компоненты? Мы обязательно обо всем расскажем.