Системы рядного охлаждения применяют в ЦОДах уже более 10 лет, но даже у специалистов осталось ряд заблуждений относительно их работы. Ниже мы рассмотрим распространенные заблуждения, а попутно поясним, как отводится нагретый воздух, и каковы основные принципы проектирования, делающие эти системы максимально эффективными.
Пространство серверных залов в ЦОДах, как правило, разделяют на зоны. Зона (pod в английской терминологии) – это группа шкафов, объединенных общей инфраструктурой электропитания и охлаждения. Чаще всего одна зона состоит из двух рядов шкафов, между которыми сформирован «горячий» коридор.
Рядное охлаждение предусматривает установку кондиционеров непосредственно в ряду стоек. При этом часто такие кондиционеры, как, впрочем, и другие типы кондиционеров, рассматривают как систему «снабжения (ИТ-оборудования) холодным воздухом». Именно из-за этого возникают многие заблуждения. В действительности же главное – обеспечить «отвод нагретого воздуха» от ИТ-оборудования без смешения с воздухом в помещении.
Ниже приведены три распространенных заблуждения о функционировании систем рядного охлаждения.
Действие рядного кондиционера ограничено пределами зоны Многие считают, что рядные кондиционеры способны обслуживать нагрузку только в пределах своих зон, а наращивание мощности системы охлаждения в одной из зон никак не помогает отводу тепла из других.
Прежде чем приступить к развенчиванию мифов, поговорим об общих принципах работы и проектирования систем охлаждения ЦОДов. Основная задача любой такой системы – отвод тепла, выделяемого ИТ-оборудованием. Мера эффективности сбора горячего воздуха в таких системах (или подвода холодного), называется коэффициентом изоляции отработанного воздуха (КИОВ). Этот коэффициент рассчитывается постоечно, исходя из схемы воздушных потоков. Высокие значения соответствуют лучшей работе системы охлаждения.
КИОВ определяется как доля отработанного воздуха (нагретого ИТ-оборудованием), поступающая напрямую к теплообменникам рядных кондиционеров в той же зоне. Это базовая метрика для оценки эффективности рядного охлаждения.
Результаты аэродинамического моделирования процесса сбора отработанного воздуха (центральный проход служит «горячим» коридором; синим помечены рядные кондиционеры).
В идеале желательно, чтобы весь нагретый воздух направлялся на теплообменники охлаждающих устройств, не повышая температуру в помещении. В этом случае КИОВ будет равным 100%. Достичь уровня 90% и превзойти его помогают следующие приемы проектирования.
Рядные кондиционеры обычно забирают воздух с тыльной стороны и выбрасывают через переднюю. Они согласуются по габаритам со шкафами для ИТ-оборудования (имеют такую же или половинную ширину). Максимальное расстояние между воздухозаборниками кондиционера и вентиляционными отверстиями ИТ-оборудования обычно не должно превышать 3 м. Когда «выхлоп» стойки оказывается «за пределами досягаемости» ближайшего кондиционера в своем ряду, большая его часть достается кондиционеру из противоположного ряда.
Рядный кондиционер с вертикальной линейкой вентиляторов, «прогоняющих» воздуха от задней панели к передней
Если весь нагретый воздух в зоне нейтрализуется расположенными в ней же кондиционерами (т. е. КИОВ = 100%), то зон локального перегрева возникать не может по определению.
Пример расстановки кондиционеров. Их число и расположение определяются, исходя из энергопотребления стоек и длины коридора
Современные рядные кондиционеры оснащаются вентиляторами с электронной коммутацией, что позволяет управлять скоростью вращения лопастей, а значит, интенсивностью воздушного потока и холодопроизводительностью в соответствии с тепловой нагрузкой. Для управления работой таких устройств производится автоматическое измерение температуры на воздухозаборниках устройств в близлежащих стойках или по всему помещению.
Теперь, вооружившись знаниями принципов работы и проектирования рядных систем охлаждения, приступив к развенчиванию мифов.
Миф 1: Рядные кондиционеры нуждаются в специальных приспособлениях для создания направленных воздушных потоков
Если 100% отработанного (горячего) воздуха изолируется к горячих коридорах, то весь остальной объем помещения серверной комнаты ЦОДа превращается в резервуар холодного воздуха. Поэтому не имеет значения, каким путем он поступает от рядного кондиционера. Главное, чтобы нагретый (ИТ-оборудованием) воздух полностью собирался и нейтрализовывался.
Различные дефлекторы и отражатели применяются некоторыми производителями для направления холодного воздуха на ближайшие стойки. Но, скорее, это говорит о непонимании принципов сбора отработанного воздуха. Установка отражателей не только увеличивает расходы, но и создает сложности с организацией воздушных потоков. Направленный поток воздуха от кондиционера имеет более высокую скорость, чем воздушный поток, входящий в близлежащие стойки, и перпендикулярен ему. Он может создавать зоны разрежения перед стойками, нарушающие расчетные потоки.
Формируемые отражателями мощные воздушные струи могут блокировать воздухозаборники и создавать значительную неравномерность условий охлаждения от стойки к стойке. Применение поворотных отражателей сопряжено с созданием значительного перепада давления, что требует дополнительного расхода энергии на работу вентиляторов.
Миф 2. Рядные кондиционеры необходимо устанавливать в каждом ряду
Из описанных принципов проектирования вытекает, что если удается обеспечить высокие значения КИОВ, то не имеет значения, как кондиционеры распределены между рядами зоны. Численное моделирование и примеры из практики показывают, что кондиционеры, расположенные в одном из рядов зоны, достаточно эффективно обеспечивают охлаждение оборудования в обоих.
Результат моделирования потока воздуха в серверном зале, когда рядные кондиционеры установлены только в одном ряду стоек
Миф 3. Действие рядного кондиционера ограничено пределами зоны, в которой он установлен
Согласно этому мифу, рядные кондиционеры предназначаются исключительно для локального охлаждения выделенных зон, не подходят для охлаждения стоек в других зонах, а также отдельно стоящего оборудования (например, ленточных накопителей), располагающихся по периметру помещения.
Самый предсказуемый способ охлаждения отдельно стоящего ИТ-оборудования – размещение рядом с ним кондиционера и создание мини-зоны с высоким КИОВ. А что если при отдельно стоящем оборудовании нет выделенного рядного кондиционера? Окажет ли изоляция «горячего» коридора отрицательное влияние на охлаждение такого оборудования?
Для ответа на эти вопросы давайте рассмотри два идентичных серверных зала (в каждом 65 стоек, 235 кВт ИТ-нагрузки, два отдельно стоящих ИТ-устройствами), но в одном выполнена изоляция «горячего» коридора, в другая – нет.
Ниже представлены результаты расчетов температуры в залах при использовании 14-ти кондиционеров, равномерно распределенными по ним. На каждой стойке указан КИОВ. В случае отсутствия изоляции горячих коридоров средняя температура на воздухозаборниках отдельно стоящего оборудования составляет 22?C.
Результат моделирования ЦОДа с рядными кондиционерами без изоляции горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При изоляции «горячих» коридоров для большинства стоек КИОВ составляет 100%. Средняя температура на воздухозаборниках обоих отдельно стоящих устройств — 21?C.
Результат моделирования ЦОДа с рядными кондиционерами и изоляцией горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При установке отдельно стоящего оборудования температура в помещении сначала повышается. Затем ближайшие кондиционеры обнаруживают это и увеличивают свою холодопроизводительность. После достижения нового состояния равновесия все показатели далее остаются на постоянном уровне.
Такой процесс «подхвата новой вспомогательной нагрузки» имеет место и при наличии систем изоляции «горячих» коридоров. В любом случае следует иметь в виду, что отдельно стоящее ИТ-оборудование будет работать при более высоких температурах (по сравнению с оборудованием, установленным в стойки зон с кондиционерами), и чем дальше оборудование располагается от кондиционеров, тем выше будет температура на его воздухозаборниках. Но при грамотном проектировании эта температура будет приемлемой для его надежной работы.
В свое время компания Schneider Electric была пионером по разработке рядных систем охлаждения для ИТ-комнат. Сегодня такие системы уже стали индустриальным стандартом, но компания сохраняет первенство в этой области. В ее портфеле решений – «внутрирядники», работающие как на охлажденной воде (InRow Chilled Water), так и фреоновые системы (InRow Direct Expansion). Заказчик может выбрать кондиционеры шириной 30 или 60 см и использовать наиболее удобную в конкретном проекте схему подвода труб (сверху или снизу). Устройства InRow оснащены датчиками температуры и влажности для автоматизации процедур регулирования режима работы. Они совместимы с системами изоляции Hot Aisle Containment и Rack Air Containment, повышающими эффективность функционирования систем охлаждения.
Системы InRow установлены и успешно эксплуатируются во многих российских ЦОДах, причем и в корпоративных, и в коммерческих центрах. Это эффективное и экономичное решение для создания оптимального климата для работы ИТ-оборудования.
Пространство серверных залов в ЦОДах, как правило, разделяют на зоны. Зона (pod в английской терминологии) – это группа шкафов, объединенных общей инфраструктурой электропитания и охлаждения. Чаще всего одна зона состоит из двух рядов шкафов, между которыми сформирован «горячий» коридор.
Рядное охлаждение предусматривает установку кондиционеров непосредственно в ряду стоек. При этом часто такие кондиционеры, как, впрочем, и другие типы кондиционеров, рассматривают как систему «снабжения (ИТ-оборудования) холодным воздухом». Именно из-за этого возникают многие заблуждения. В действительности же главное – обеспечить «отвод нагретого воздуха» от ИТ-оборудования без смешения с воздухом в помещении.
Ниже приведены три распространенных заблуждения о функционировании систем рядного охлаждения.
Действие рядного кондиционера ограничено пределами зоны Многие считают, что рядные кондиционеры способны обслуживать нагрузку только в пределах своих зон, а наращивание мощности системы охлаждения в одной из зон никак не помогает отводу тепла из других.
Прежде чем приступить к развенчиванию мифов, поговорим об общих принципах работы и проектирования систем охлаждения ЦОДов. Основная задача любой такой системы – отвод тепла, выделяемого ИТ-оборудованием. Мера эффективности сбора горячего воздуха в таких системах (или подвода холодного), называется коэффициентом изоляции отработанного воздуха (КИОВ). Этот коэффициент рассчитывается постоечно, исходя из схемы воздушных потоков. Высокие значения соответствуют лучшей работе системы охлаждения.
КИОВ определяется как доля отработанного воздуха (нагретого ИТ-оборудованием), поступающая напрямую к теплообменникам рядных кондиционеров в той же зоне. Это базовая метрика для оценки эффективности рядного охлаждения.
Результаты аэродинамического моделирования процесса сбора отработанного воздуха (центральный проход служит «горячим» коридором; синим помечены рядные кондиционеры).
В идеале желательно, чтобы весь нагретый воздух направлялся на теплообменники охлаждающих устройств, не повышая температуру в помещении. В этом случае КИОВ будет равным 100%. Достичь уровня 90% и превзойти его помогают следующие приемы проектирования.
Рядные кондиционеры обычно забирают воздух с тыльной стороны и выбрасывают через переднюю. Они согласуются по габаритам со шкафами для ИТ-оборудования (имеют такую же или половинную ширину). Максимальное расстояние между воздухозаборниками кондиционера и вентиляционными отверстиями ИТ-оборудования обычно не должно превышать 3 м. Когда «выхлоп» стойки оказывается «за пределами досягаемости» ближайшего кондиционера в своем ряду, большая его часть достается кондиционеру из противоположного ряда.
Рядный кондиционер с вертикальной линейкой вентиляторов, «прогоняющих» воздуха от задней панели к передней
Если весь нагретый воздух в зоне нейтрализуется расположенными в ней же кондиционерами (т. е. КИОВ = 100%), то зон локального перегрева возникать не может по определению.
Пример расстановки кондиционеров. Их число и расположение определяются, исходя из энергопотребления стоек и длины коридора
Современные рядные кондиционеры оснащаются вентиляторами с электронной коммутацией, что позволяет управлять скоростью вращения лопастей, а значит, интенсивностью воздушного потока и холодопроизводительностью в соответствии с тепловой нагрузкой. Для управления работой таких устройств производится автоматическое измерение температуры на воздухозаборниках устройств в близлежащих стойках или по всему помещению.
Теперь, вооружившись знаниями принципов работы и проектирования рядных систем охлаждения, приступив к развенчиванию мифов.
Миф 1: Рядные кондиционеры нуждаются в специальных приспособлениях для создания направленных воздушных потоков
Если 100% отработанного (горячего) воздуха изолируется к горячих коридорах, то весь остальной объем помещения серверной комнаты ЦОДа превращается в резервуар холодного воздуха. Поэтому не имеет значения, каким путем он поступает от рядного кондиционера. Главное, чтобы нагретый (ИТ-оборудованием) воздух полностью собирался и нейтрализовывался.
Различные дефлекторы и отражатели применяются некоторыми производителями для направления холодного воздуха на ближайшие стойки. Но, скорее, это говорит о непонимании принципов сбора отработанного воздуха. Установка отражателей не только увеличивает расходы, но и создает сложности с организацией воздушных потоков. Направленный поток воздуха от кондиционера имеет более высокую скорость, чем воздушный поток, входящий в близлежащие стойки, и перпендикулярен ему. Он может создавать зоны разрежения перед стойками, нарушающие расчетные потоки.
Формируемые отражателями мощные воздушные струи могут блокировать воздухозаборники и создавать значительную неравномерность условий охлаждения от стойки к стойке. Применение поворотных отражателей сопряжено с созданием значительного перепада давления, что требует дополнительного расхода энергии на работу вентиляторов.
Миф 2. Рядные кондиционеры необходимо устанавливать в каждом ряду
Из описанных принципов проектирования вытекает, что если удается обеспечить высокие значения КИОВ, то не имеет значения, как кондиционеры распределены между рядами зоны. Численное моделирование и примеры из практики показывают, что кондиционеры, расположенные в одном из рядов зоны, достаточно эффективно обеспечивают охлаждение оборудования в обоих.
Результат моделирования потока воздуха в серверном зале, когда рядные кондиционеры установлены только в одном ряду стоек
Миф 3. Действие рядного кондиционера ограничено пределами зоны, в которой он установлен
Согласно этому мифу, рядные кондиционеры предназначаются исключительно для локального охлаждения выделенных зон, не подходят для охлаждения стоек в других зонах, а также отдельно стоящего оборудования (например, ленточных накопителей), располагающихся по периметру помещения.
Самый предсказуемый способ охлаждения отдельно стоящего ИТ-оборудования – размещение рядом с ним кондиционера и создание мини-зоны с высоким КИОВ. А что если при отдельно стоящем оборудовании нет выделенного рядного кондиционера? Окажет ли изоляция «горячего» коридора отрицательное влияние на охлаждение такого оборудования?
Для ответа на эти вопросы давайте рассмотри два идентичных серверных зала (в каждом 65 стоек, 235 кВт ИТ-нагрузки, два отдельно стоящих ИТ-устройствами), но в одном выполнена изоляция «горячего» коридора, в другая – нет.
Ниже представлены результаты расчетов температуры в залах при использовании 14-ти кондиционеров, равномерно распределенными по ним. На каждой стойке указан КИОВ. В случае отсутствия изоляции горячих коридоров средняя температура на воздухозаборниках отдельно стоящего оборудования составляет 22?C.
Результат моделирования ЦОДа с рядными кондиционерами без изоляции горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При изоляции «горячих» коридоров для большинства стоек КИОВ составляет 100%. Средняя температура на воздухозаборниках обоих отдельно стоящих устройств — 21?C.
Результат моделирования ЦОДа с рядными кондиционерами и изоляцией горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При установке отдельно стоящего оборудования температура в помещении сначала повышается. Затем ближайшие кондиционеры обнаруживают это и увеличивают свою холодопроизводительность. После достижения нового состояния равновесия все показатели далее остаются на постоянном уровне.
Такой процесс «подхвата новой вспомогательной нагрузки» имеет место и при наличии систем изоляции «горячих» коридоров. В любом случае следует иметь в виду, что отдельно стоящее ИТ-оборудование будет работать при более высоких температурах (по сравнению с оборудованием, установленным в стойки зон с кондиционерами), и чем дальше оборудование располагается от кондиционеров, тем выше будет температура на его воздухозаборниках. Но при грамотном проектировании эта температура будет приемлемой для его надежной работы.
В свое время компания Schneider Electric была пионером по разработке рядных систем охлаждения для ИТ-комнат. Сегодня такие системы уже стали индустриальным стандартом, но компания сохраняет первенство в этой области. В ее портфеле решений – «внутрирядники», работающие как на охлажденной воде (InRow Chilled Water), так и фреоновые системы (InRow Direct Expansion). Заказчик может выбрать кондиционеры шириной 30 или 60 см и использовать наиболее удобную в конкретном проекте схему подвода труб (сверху или снизу). Устройства InRow оснащены датчиками температуры и влажности для автоматизации процедур регулирования режима работы. Они совместимы с системами изоляции Hot Aisle Containment и Rack Air Containment, повышающими эффективность функционирования систем охлаждения.
Системы InRow установлены и успешно эксплуатируются во многих российских ЦОДах, причем и в корпоративных, и в коммерческих центрах. Это эффективное и экономичное решение для создания оптимального климата для работы ИТ-оборудования.
evseev
Рядники — интересная штука. Но что меня в них всегда смущало, что они находятся в непосредственной близости от оборудования. А значит обслуживающий их персонал будет обслуживать их там-же. И тут уже очень сильно зависит от того, кто это будет делать. Скажу честно. Часть наших подрядчиков я бы даже в ЛАЦ не пустил. А не то что б к оборудованию.
Ну и с рядниками есть еще вопрос как их использовать если оборудование не предполагает использование холодного-горячего коридора? Например коммутационное оборудование Ericsson забирает воздух с лицевой стороны и выбрасывает его вверх.
Но больше всего мне не нравится, что нужно подводить трубки от внешнего блока через ряды с оборудованием. Оптика и сигнальные кабели с медными трубками — плохие соседи. Как показывает практика как бы хорошо ты не планировал трассы все равно будут исключения. И как потом обслуживать магистрали кондиционеров среди оптических патчкордов? А если случится протечка? Ну и отельный разговор по поводу того как расширять оборудование. Далеко не всегда закупается все оборудование сразу. Допустим купили часть, сделали кабелировку, запустили. Подвели хладоген. Все работает. А потом нужно доставить еще часть стоек. Как проходить трассу через работающее под трафиком оборудование? Не знаю как вам, а мне больше нравится когда мухи отдельно, котлеты отдельно.