В прошлом месяце довелось побывать с научно-образовательной миссией в одном из современных ЦОДов, находящемся в московской промзоне. Там уже функционирует один большой корпус, ещё несколько на разных этапах строительства. 

В этой статье хочется поделиться своими впечатлениями и привести несколько, на мой взгляд, интересных фактов.

Центр обработки данных – это сложное многокомпонентное инженерное сооружение. Если в 90-е и нулевые годы серверной можно было назвать любую кладовку с открытым окном и стоящими системниками, то сейчас объёмы данных и запросов к современным системам таковы, что требуется не только специальное серверное оборудование в качестве вычислительных мощностей, но и разные сложные системы коммуникаций: охлаждение (воздушное или жидкостное), склады топлива, генераторы, модули бесперебойной работы, станции пожаротушения (в том числе газовые). За всем этим надо следить, так что кроме обычных камер видеонаблюдений используются специальные мониторинговые системы, которые с помощью датчиков отслеживают и записывают параметры воздуха и оборудования: температуру, влажность, наличие следов определенных газов (задымление), напряжение и ток, любые другие полезные характеристики. Дальше постараюсь рассказать о каждом компоненте отдельно.

Территория

ЦОД расположен в старой промзоне на месте бывшего производства. Территория вдали от жилых массивов, со своими линиями ЛЭПа. Ввели в эксплуатацию больше 4 лет назад, то есть достаточно новый и современный проект. Территория большая – около 14 гектаров (как 20 футбольных полей). Возможно, это одна из крупнейших таких площадок в Европе. В то же время в США дата-центров намного больше, их раньше начали строить, и самые известные из них в десятки раз больше. Например, дата-центр Майкрософт больше в 20 раз, Google – в 30, а у Амазона (в сумме) – почти в 60 раз больше. Пока даже китайцы обгоняют: дата-центры Алибабы примерно в 17 раз больше. Но эти сравнения именно по площади, если говорить о потребляемой электроэнергии – то мощности сравнимы или будут сравнимы в обозримом будущем. У нас застройка более компактная. 

Сейчас в полную мощность работает один корпус – большое промышленное здание площадью 18 тысяч квадратов. По размеру это как достаточно крупный торговый центр с высокими потолками под 10 метров. Если говорить про суммарную вычислительную мощность, то она сравнима с новейшими дата-центрами Франции и даже немного опережает таковые в Великобритании.

Естественно, территория под усиленной охраной – это режимный объект. Некоторые помещения защищены от нелегального доступа биометрией. Весь персонал носит специальную яркую спецодежду, посетители – спецодежду другого цвета. Всё серьёзно.

Охлаждение (чиллерные)

Чиллерная — это техническое помещение, где расположены чиллеры (промышленные холодильные машины). Чиллеры охлаждают газ или жидкость, которая затем циркулирует по системе и забирает тепло от серверных стоек. Без чиллерной современный ЦОД не сможет отводить десятки мегаватт тепла. По сути, это сердце системы кондиционирования дата-центра. В современных дата-центрах она может быть как в отдельном помещении, так и встроена в здание дата-центра, например, занимая технический этаж.

Всё это охлаждение нужно – в первую очередь – для стоек, специальных шкафов с вычислительным оборудованием (говоря проще материнскими платами), в некоторых ЦОДах могут также использовать мощные видеокарты, например, NVIDIA серий Hopper, Ampere. Видеокарты могут использоваться не только для майнинга криптовалют, но и для размещения т.н. искусственного интеллекта (больших языковых моделей, LLM) и для аренды людям под видеоигры. В этом случае "тяжелая" игра запускается на хорошем оборудовании в облаке, а пользователю транслируется картинка на тонкий клиент. В мире это постепенно развивается, даже, судя по рекламе, дошло до нашей страны. 

Чаще всего ЦОДы охлаждаются воздухом, как правило, это более простая технология, и для сравнительно небольшой вычислительной плотности её бывает достаточно. Однако если в машинном зале стоят более современные и более мощные по энергопотреблению стойки, воздушного охлаждения не хватит. Так, например, стойки для размещения LLM могут по мощности как минимум раз в 5 превосходить более распространённые. Они будут монтироваться иначе, и для их размещения подойдет не всякий машинный зал или дата-центр. В этом случае чиллерная может быть сложнее, и для охлаждения особо мощных стоек применяют специальную смесь воды и этиленгликоля (или других добавок). Это позволяет и повысить эффективность системы охлаждения за счёт повышенной теплоёмкости воды, а за счёт добавок предотвратить замерзание труб, если они проходят по улице.

Сейчас существующий корпус и новый построенный, который оснащают, охлаждается воздухом, но проектируется ещё один корпус, в котором половина залов будет под ИИ, а значит – с жидкостным охлаждением. Для России это не самая распространённая технология.

Более того, чиллерные можно построить так, чтобы нагретый из машинного зала воздух передавался в другие здания для обогрева. Например, один корпус ЦОДа выделяет столько тепла, что  с большим запасом хватит на обогрев трехэтажного административного здания зимой. В случае с воздушным охлаждением – горячий воздух через специальный теплообменник передаёт тепло воде, которая уже обогревает другие здания.

Чиллерные работают без остановки круглосуточно, это довольно шумные помещения с большим количеством труб, уходящими под потолок на высоту больше 5 метров. Самые тонкие трубы толще ноги, в большие трубы, думаю, запросто поместится небольшой отряд спецназа.

Генераторы

Генераторные станции необходимы для обеспечения бесперебойной работы всей инфраструктуры при любых неполадках на линии электропередач. Используются крупные промышленные генераторы, зачастую совместно с большим хранилищем топлива.

Поскольку сам ЦОД – довольно дорогостоящий проект (десятки миллиардов рублей), есть практика постепенного, поэтапного строительства и ввода в эксплуатацию. В процессе могут пересматриваться отдельные элементы, происходить подстройка под изменяющиеся тренды и появляющиеся ограничения. В московском дата-центре, например, используются несколько видов генераторов.

В первую очередь строительства были поставлены в отдельно стоящем небольшом здании два огромных высоковольтных генератора от знаменитого международного концерна Schneider Electric. Двигатели в них тоже импортные, Mitsubishi. Они генерируют ток с силой 2.5 кА и напряжением до 10 кВ. Мало того, им требуется отдельный большой резервуар с топливом, так при работе они настолько шумные, что находиться с ними рядом невозможно. Также они сильно греются, и здание оборудовано специальным автоматизированным шлюзом воздухозаборника: это буквально ворота, закрытые металлическим роллставнем, который открывается при включении генераторов. Это достаточно редкая в нашей стране система, накладывающая специфические требования при обслуживании: например, персонал должен иметь 4 группу допуска по электробезопасности, системы пожаротушения должны монтироваться особым образом, чтобы при срабатывании не повредить дорогостоящие комплектующие. 

Эти генераторы могут потреблять топливо из подземного хранилища. Примерно такие же хранилища есть на АЗС. Это большой подземный резервуар, находящийся на определенной глубине, ниже точки промерзания грунта. Его размер выбирается с учетом многократного превышения необходимого объёма, чтобы уменьшить любые риски. При непрерывной работе этих генераторов запаса топлива может хватить на несколько дней. Вообще, в такие хранилища может закачиваться как летнее, так и зимнее топливо, отличающееся присадками и возможными условиями эксплуатации. При замене топлива остатки предыдущего требуется выжигать генераторами, так как разные виды топлива смешивать нельзя. Для простоты можно закупать более дорогое зимнее топливо, которое не портится зимой и не требует замены: его можно подливать в хранилище по мере необходимости, улучшая тем самым качество давно хранящегося топлива.

Более интересными оказались генераторы поздних очередей строительства ЦОДа. Когда я проходил по улице – дошёл до ряда темных металлических контейнеров, примерно из таких же в 90-е строили вещевые рынки. Здесь это дизель-генераторы мощностью 3.5 МВт. Это большие цифры: сходное потребление имеет небольшой завод или несколько сотен частных домов, что соизмеримо с целым районом подмосковного города. Каждый такой дизель-генератор имеет хорошую дверь с биометрическим замком. Внутри сам генератор, система очистки топлива, бак для топлива (объёмом около 3 м³). При аварии на центральных линиях электроснабжения все генераторы должны быть запущены в течение пары минут, а значит каждый из них должен быть и полностью работоспособен, и иметь годное топливо в баке. 99.9% времени генераторы находятся в stand-by режиме. Это не значит, что они выключены. Они обеспечивают непрерывную циркуляцию и смешивание топлива, так как при долгом хранении всякое топливо начинает разлагаться, и бензин, и дизельное. Попадание такого испорченного топлива в генератор приведет к денежным тратам и рискам для ЦОДа. Эти генераторы называют корабельными, каждый из них автономное и полноценное устройство. Дополнительно для них есть склад топлива, заправляются они индивидуально.

Все эти генераторы могут питать весь корпус ЦОДа, обеспечивая выходную мощность 64 МВт. Столько может потреблять небольшой город с населением пару сотен тысяч человек. С учетом подземных хранилищ и топливных складов – ЦОД на собственном электричестве может работать достаточно долго.

Энергоцентр и power pod (модули бесперебойной работы)

В этом ЦОДе есть несколько вариантов энергоцентров. Это отдельное здание или выделенная зона внутри ЦОДа, где сосредоточено всё высоковольтное оборудование: трансформаторы, распределительные устройства и системы бесперебойного питания. Дизель-генераторные установки находятся на улице. Сюда, в энергоцентр, приходит электричество от внешней сети, здесь оно понижается и распределяется по машинным залам. Отказ энергоцентра парализует весь дата-центр.

С энергоцентром тесно связаны такие компоненты как power pod. Это модульная архитектурная единица, «вычислительный район» внутри ЦОДа. Power Pod объединяет определённое количество серверных стоек (обычно от 50 до 200) вместе со своей локальной системой охлаждения, распределения электропитания и ИБП. Подход позволяет масштабировать ЦОД независимыми блоками — запустил один pod, потом добавил второй, третий. Это как этажи в небоскрёбе: каждый pod живёт своей инженерной жизнью, но пользуется общей инфраструктурой здания.

Энергомодуль — это готовый заводской блок (контейнер или модульное здание), внутри которого интегрированы все компоненты энергоснабжения: трансформатор, распределительный щит, ИБП, дизель-генератор и даже система охлаждения этого оборудования. В отличие от энергоцентра, который строят на месте, энергомодуль привозят, ставят на фундамент и подключают — как «батарейку» для ЦОДа. Это ускоряет запуск в 3–5 раз и упрощает расширение: нужно больше мощности — добавили ещё один модуль. Именно из таких модулей часто собирают современные Power Pod'ы.

Очень интересное решение используется в этом ЦОДе: машинные залы разделены на несколько сегментов, каждый питается отдельным "лучом" с энергомодулем. Модули находятся в отдельной части помещения основного корпуса, поближе к вычислительному и сетевому оборудованию. Энергомодуль в виде металлического грузового контейнера, с мощными дверьми, запирающимися на замок с биометрией. Внутри большое количество литиевых аккумуляторов. На каждом датчики, отслеживающие и ток, и температуру. Например, при нагреве батареи до 70°C автоматика исключает эту батарею и сигнализирует об возможной аварии. Это позволяет обесточивать часть модуля до того, как литий нагреется до критической температуры, и химическая реакция станет неуправляемой. При 80°C литий уже горит, и это фактически означает потерю модуля. Такие ситуации необходимо отслеживать и предотвращать. Все сигналы уходят в систему мониторинга, их обрабатывает специальный отдел.

Такой изолированный формат энергомодулей, в "уличном" исполнении существенно уменьшают риски при авариях: в случае если электронная защита не сработала и произошло возгорание – риск выгорания внутренностей ровно одного модуля, на соседние огонь не перекинется. Риски для остального оборудования минимальны – даже может не сработать общая система  пожаротушения. У каждого модуля снаружи есть большая кнопка отключения и блокировки модуля. Это необходимо, если аварийную ситуацию персонал обнаружит раньше автоматики.

Машинный зал

Существующий корпус размещает в себе порядка полутора десятков машинных залов. Это большие помещения с высокими потолками, отдельным вводом питания. Большую часть зала занимают поставленные шеренгами шкафы (стойки) с сетевым и вычислительным оборудованием. Большинство стоек мощностью 6-12 кВт, но от клиентов уже есть запросы на стойки 20 кВт и даже до 45 кВт. Стойки мощностью более 45 кВт уже могут использоваться для размещения LLM. Однако, в существующих корпусах это реализовать технически невозможно из-за того, что там воздушное охлаждение, а оно обычно работает со стойками не мощнее 40 кВт.

Чаще всего стойки в машинных залах группируются по два соседних ряда длиной в десятки метров. Между стойками одной группы формируется т.н. горячий или холодный коридор, с торцов коридор закрыт дверьми. В этом ЦОДе организация машинного зала по принципу "холодные стены - горячие коридоры": чиллерные охлаждают все помещения корпуса, воздух температурой примерно до 18°C задувается в коридоры и залы. Для всего оборудования, не включённого в стойки,  работает пассивное охлаждение. Вычислительное оборудование имеет горячие коридоры. Воздух с одной стороны стоек охлаждает оборудование, на нём небольшие куллеры (вентиляторы), которые загоняют нагретый воздух в коридор. Этот горячий коридор ограждён с двух сторон стеклянными дверьми, мешающими теплообмену. Воздух поднимается вверх до фальшпотолка. Над горячими зонами есть технологические отверстия (или нет фальшпотолка), воздух самотоком поднимается выше уровня помещения, откуда попадает в чиллерные. Просто физика с минимумом движущихся частей. 

Сами горячие коридоры на контрасте с прохладными "внешними" помещениями действительно дуют тёплым балийским воздухом. В замкнутом коридоре заметно шумно от работающих вентиляторов. Они кстати, подбираются сотрудниками машинного зала так, чтоб никакое оборудование, имея более мощный кулер, не перегоняло горячий воздух на другое оборудование. Баланс мощностей кулеров тут очень важен. Также важен способ укладки кабелей и блокировки свободных ячеек в стойках: ничто не должно мешать двигаться горячему воздуху вверх. В противном случае могут нагреваться как кабели, так и элементы оборудования, или вообще происходить потери тепла из горячих коридоров в машзал, что критически недопустимо.

Возможен и другой способ охлаждения – "холодные коридоры". В этом случае чиллерные подают охлаждение под полом сразу в холодные коридоры, воздух проходит через оборудование и попадает в теплый машинный зал. Заодно нагревая остальную электронику в корпусе.

Сам ЦОД потребляет огромные мощности, например, сейчас линии электропередач могут снабжать до 190 МВт, но суммарная потребляемая мощность уже 130 МВт. После ввода в эксплуатацию двух строящихся и одного запланированного корпуса энергопотребление может вырасти до колоссальных 300 МВт. Это сравнимо с энергопотреблением не самого мелкого города: Химок, Мытищ, Подольска.

Станция пожаротушения

В современных ЦОД используются такие технологии: система тонкораспыленной воды (ТРВ) высокого давления и газовое пожаротушение на основе фторкетона и азота. Причем в одном дата-центре они могут применяться вместе — например, в этом ЦОДе реализована гибридная схема. Разные машинные залы могут иметь разные системы пожаротушения в зависимости от требований клиентов.

Система ТРВ высокого давления («мелкобрызговая») – распыляет дистиллированную воду под высоким давлением (50 бар) через специальные спринклеры, превращая ее в мелкодисперсный туман (капли размером менее 100 мкм). Этот туман быстро испаряется в очаге пожара, отводя тепло и вытесняя кислород, что позволяет тушить огонь без повреждения оборудования. Для такой системы крайне важна высокая степень очистки воды: только дистиллированная вода является изолятором, любые примеси превращают в проводник и не позволяют тушить электрику. Именно поэтому на станции пожаротушения есть собственная система дистилляции воды, которая хоть и стоит определённых денег, но может почти в неограниченных количествах производить воду для тушения. Её можно затем перевозить в другие кластеры дата-центров. На станции пожаротушения всегда есть произведенная с запасом вода в баке 21м³.

Система ТРВ работает по двухступенчатой схеме: вода не поступает в трубы, пока два датчика (дымовой и тепловой) не подтвердят пожар. Это исключает ложные срабатывания . Кроме того, возможен мониторинг ситуации и с других датчиков и камер, чтобы предсказывать аномалии до того, как они приведут к возгоранию. Это ответственность отдела мониторинга.

Газовая система (фторкетон + азот) более сложна. Использует жидкий фторкетон, который хранится в баллонах под давлением азота. При аварии электроника подаёт сигнал на пиропатроны, они детонируют, разрушая мембрану между баллоном и магистралью. Газ под высоким давлением очень быстро по трубам достигает нужного помещения, интенсивно охлаждает очаг возгорания и химически подавляет реакцию горения. После тушения вещество полностью испаряется, не оставляя следов и не повреждая электронику . Это достаточно продвинутая технология, тушение неудушающей газовой смесью. Такая смесь дорога  – под сотню тысяч зелёных рублей за большой баллон, а их требуется сотни. Большое преимущество – газовая смесь абсолютно безопасна и для электроники, и для человека и не требует эвакуации персонала.

Мониторинг

ЦОД имеет особое подразделение по наблюдению за производством – отдел мониторинга. Все промышленные помещения оборудованы сотнями датчиков. Часть наблюдают за атмосферой (температура, влажность, давление, дым, частички загрязнений в воздухе, содержание вредных веществ), часть встроена в оборудование (температура, ток, напряжение). Наблюдаются не только машинные залы, но и чиллерные, генераторные, энергомодули. Все эти данные собирает и анализирует особая система ПО от Schneider Electric. На больших экранах, занимающих всю стену помещения, выводятся не только графики показателей, но и схематические диаграммы помещений и оборудование с подсветкой определённых частей при выявлении аномалий. Таким образом, даже до аварии, а только при возникновении подозрительной ситуации сразу видно на какой части оборудования и в каком сегменте ЦОДа наблюдаются неожиданные показания какого-то из датчиков, что может сигнализировать о нештатной работе.

Заключение

Хотя несколько лет строю облако, до этого дня максимальные вычислительные мощности видел только у MSI Vector. Гуляющие по сети промо-сайты со сгенерированным кандинским картинками дата-центров не в счёт. Очень полезной оказалась поездка: действительно важно видеть, как и где работает разработанная тобой система. Повезло, что пресс-служба ЦОДа организовала хорошую экскурсию. Прогулка по ЦОДу заняла около 3 часов, были интересные рассказы от моего коллеги, который непосредственно работает с железом, и одного из руководителей ЦОДа. Без них и не было таких интересных фактов и сравнений в статье. 

Визуалам

Поиск картинок без вмешательства LLM или NDA – дело долгое. Верю, что позже они тут появятся.