Обычно компании воспринимают собственные дата-центры как неизбежную статью расходов, но это не всегда так. Особенно сейчас, когда рынок испытывает острый дефицит мощностей.

Многие корпоративные ЦОДы недозагружены и поэтому получают билет в лучшую жизнь – простаивающие мощности можно сдавать в аренду и получать заметную прибыль. Но переход к коммерческому формату требует серьезной модернизации. В статье разберем, какой именно – с точки зрения лучших практик современной инженерной инфраструктуры.

Почему сейчас самое время

На сегодняшний день сложились три фактора, которые создают если не идеальные, то близкие к ним условия для частичной коммерциализации корпоративных ЦОД.

Первое – дефицит свободных мощностей под услугу colocation в Москве и Санкт-Петербурге, где сосредоточено 85% дата-центров. Быстро решить проблему не получится, потому что темпы строительства новых площадей снизились, а почти все, что сдали в прошлом году и начале этого, уже арендовано.

Второе – спрос на облачные сервисы. Компании постепенно разворачиваются в сторону собственных ЦОД, но говорить об отказе от сервисных моделей очень рано. Даже наоборот: прогнозируют, что к 2029 году объем потребления облачных сервисов в России вырастет более чем вдвое.

Третье – расширение инфраструктуры под ИИ. Оборудование для искусственного интеллекта требует минимум 30-120 кВт на стойку вместо стандартных 10 - 15 кВт. Аналитики не исключают, что необходимый объем мощностей ЦОД к 2030 году вырастет больше чем в 5 раз – с 146 до 790 МВт.

Какие услуги можно предлагать

Спектр коммерческих услуг достаточно широк: аренда сервера, colocation, cloud, GPUaaS, dedicated GPU.

Перепрофилирование рентабельно даже для небольших дата-центров на 5-10 стоек. С увеличением масштабов экономика становится более привлекательной. Выделение 250 стоек под IaaS принесет около 15 млн рублей ежегодно с учетом всех налогов и операционных расходов.

PUE — главный показатель рентабельности

PUE (Power Usage Effectiveness) показывает, насколько эффективно ЦОД использует электроэнергию. От него напрямую зависит рентабельность: чем ниже показатель, тем меньше операционных расходов съедают выручку.

Идеальный PUE = 1.0. На практике часть энергии уходит на охлаждение, освещение, ИБП и другие системы. Реальные показатели варьируются от 1.15 в современных ЦОД до 2.5 в старых. Оптимальный диапазон: 1.2-1.6.

Россия обладает конкурентным преимуществом, поскольку средняя стоимость электроэнергии у нас почти вдвое ниже мирового уровня. Но корпоративные ЦОД с PUE выше 1.8 теряют это преимущество из-за неоптимальной инфраструктуры.

Зачем нужен аудит и где найти скрытые резервы

Часто можно услышать фразу: «У нас нет мощностей», но в 9 случаев из 10 это не так. Полный аудит всех систем – загрузка вычислительных мощностей, библиотек, размещение оборудования, питание, охлаждение, состояние кабельной инфраструктуры – это самый первый и важный шаг. Он поможет найти «потенциал модернизации»: скрытые резервы, которые есть почти у всех корпоративных дата-центров.

Типичная ситуация: недостаток мощностей по питанию и охлаждению, отсутствие свободных юнитов в стойке, оборудование занимает больше места, чем нужно, и используется на 20-30% от своей максимальной производительности. В таких случаях оптимизация существующей инфраструктуры будет выгоднее добавления новых стоек.

Как оно бывает, или кейс компании «А»

В корпоративных мини-ЦОД часто бывает так: ряды 19" шкафов с обдувом из-под фальшпола и потолочными вентиляторами, стеклянные двери и глухие задние, простые дешевые ПДУ. Охлаждение – сплит-системы на весь объем помещения, нет контроля влажности, отсутствует газовое пожаротушение. Оборудование заземлено частично или вообще не заземлено.

Сплошные двери не обеспечивают должного теплообмена. При установке глубокого оборудования потолочные вентиляторы и обдув из-под фальшпола становятся неэффективны – пространство перекрыто оборудованием, происходит рециркуляция воздушных потоков, горячий воздух попадает на лицевые панели, что ведет к перегреву. В попытке что-то исправить двери шкафов держат всегда открытыми, подручными средствами пытаются охладить «железо», которое загружено больше остального.

Еще одна проблема: до боли знакомый клубок «змей» из патч-кордов. Беспорядочные пучки блокируют воздушные потоки и создают зоны перегрева. Замена одного кабеля превращается в многочасовой процесс, поиск неисправности растягивается на день. Сами кабели занимают лишнее место в стойках. Медные и оптические линии уложены без контроля радиуса изгиба, что ухудшает каналы связи вплоть до пропажи сигнала.

Удивительно, но в корпоративных серверных или мини-ЦОДах до сих пор можно встретить крайне дорогое активное оборудование на много миллионов не наших денег и совершенно не сопоставимую, не продуманную, максимально дешевую инженерию, которая не способна обеспечить даже его жизнеспособность, не говоря про энергоэффективность и удобство эксплуатации.

В серверной компании «А» видны все проблемы, которые характерны для большинства корпоративных серверных: неэффективное охлаждение, зачастую без резервирования; несбалансированная загрузка мощностей и отсутствие управления питанием; хаотичная кабельная инфраструктура.

Каждая из этих проблем решаема, но подходы различаются в зависимости от масштаба задач, доступного бюджета и главное – от волевого решения руководства. Начнем с самого энергоемкого элемента.

Охлаждение

Выбор системы охлаждения напрямую зависит от плотности нагрузки на стойку. Чем она выше, тем сложнее и дороже решение.

Небольшим серверным помещениям или машзалам с типовой нагрузкой до 10-15 кВт на стойку стоит обратить внимание на герметичное разделение холодных и горячих потоков воздуха. Есть две типовые схемы: холодный коридор и горячий коридор. В первом случае шкафы стоят лицом друг к другу, холодный воздух подается в изолированный коридор между ними. Во втором – шкафы тыльной стороной друг к другу, горячий выхлоп собирается в изолированный коридор и направляется к межрядным кондиционерам.

Если потребности выше (например, снимать охлаждение до 20 кВт на стойку), но пространство в серверной сильно ограничено, подойдут шкафы с закрытым контуром охлаждения. Холодные и горячие зоны создаются внутри шкафа, а прецизионные кондиционеры монтируются внутри или по бокам. Критический момент – качество герметизации и исключение «паразитных» потоков воздуха. Помогают панели-заглушки, герморукава и шторки.

Для работы с ИИ придется задуматься о прямом водяном охлаждении оборудования, когда хладагент подводится непосредственно к источнику тепла без воздушной прослойки. Это самый затратный способ, поскольку нужны весьма дорогие насосы, фильтры, трубопроводы, датчики, системы управления. Зато инвестиции возвращаются в 3-4 раза быстрее.

Шкафы

Серверные, сетевые или гибридные решения ЦОД требуют установки напольных перфорированных шкафов с нагрузкой не менее 1500 кг. Шкафы шириной 600-700 мм используются для серверов и СХД, шириной 800 мм – для сетевых приложений и кабельной коммутации.

Если позволяет пространство помещения, лучшим выбором станут шкафы глубиной 1200 мм. Такая глубина позволяет разместить практически любое активное оборудование вместе с вертикальными блоками розеток, будет хватать места для аппаратных и силовых кабелей, станет проще решать вопросы по дальнейшему расширению и эксплуатации в целом.

Полезно обратить внимание на дополнительные «фишки»: все кабельные вводы, вертикальные кабельные организаторы, ПДУ должны размещаться вне 19" пространства; съемная модульная верхняя крыша с кабельным лотком создает магистраль на крыше шкафов и позволяет завести большое количество кабелей, при этом съемная секция дает возможность произвести замену ПДУ, не снимая крыши; усиленные ролики обеспечивают перемещение шкафа в загруженном виде, а регулируемые ножки легко регулируются изнутри шкафа.

В случае острой нехватки места в помещении или в стойке иногда можно решиться на частичную децентрализацию системы и часть вторичных сегментов вынести за пределы напольного шкафа. Как вариант, существуют решения для сверхплоского настенного монтажа, где оборудование размещается вертикально.

Настенный шкаф вмещает традиционное IT-оборудование глубиной до 900 мм в низкопрофильной вертикальной конфигурации (на стене), где предусмотрены места для коммутационных панелей, оптических компонентов, сетевого POE оборудования, устройств контроля, мониторинга, ИБП, а также серверов. При тестировании вариант на 9U/9U показал, что при внешней температуре 22°C можно отвести тепла: до 6 POE коммутаторов – 2,5 кВт, до 8 серверов по 1U – 4 кВт. Такое решение доступно в 3 конфигурациях: 3U/3U глубиной 241 мм, 6U/6U глубиной 375 мм, 9U/9U глубиной 508 мм соответственно.

Кабельная инфраструктура

Инфраструктура должна поддерживать быстрый переход с Gigabit Ethernet на 10, 40 или 100 Gigabit Ethernet, допускать активацию новых кабельных трактов и иметь резерв по портам. Лучше использовать модульные патч-панели, в которых можно одновременно устанавливать модули разных типов и менять один тип разъема на другой.

Для экономии полезных юнитов в стойке имеет смысл размещать промежуточные кроссы отдельно от серверных стоек – под фальшполом, под потолком или на кабельнесущих конструкциях.

При модернизации главных кроссов стоит уходить от горизонтальных кабельных организаторов и патч-панелей со стандартной плотностью портов. Устаревшие 110-кроссы лучше заменить на современные решения: кабельное хозяйство укладывать в вертикальные лотки-организаторы, использовать патч-панели с плотностью 48, 96 или 144 портов на 1U, желательно углового исполнения. Применение медных патч-кордов малого диаметра (22-26 AWG) существенно экономит место и улучшает обдув внутри шкафа.

Источники бесперебойного питания

Распространенная ошибка при выборе ИБП – ориентироваться только на мощность без учета времени автономной работы. Для коммерческого ЦОД критически важно обеспечить достаточный запас времени, чтобы переключиться на резервные генераторы или корректно завершить работу систем. Обычно закладывают минимум 15-20 минут автономии, предусматривая место для расширения батарейных кабинетов по мере роста нагрузки.

До сих пор встречаются инсталляции, где ИБП «живет» в одной стойке с активным оборудованием – это большая ошибка. ИБП (да еще и со свинцовыми аккумуляторами) занимают место серверов, нагреваются и требуют дополнительного охлаждения. Все это повышает PUE и затраты на электроэнергию.

Системы мониторинга

Современные ЦОД используют интеллектуальные блоки розеток PDU. Они измеряют параметры питания, обеспечивают защиту от случайного отключения, управляют розетками и поддерживают подключение периферийных устройств, например, датчиков окружающей среды, протечки и контроля доступа на уровне шкафа.

Сотрудники дата-центра могут отслеживать энергопотребление каждой стойки, замечать перегрузки и управлять системой удаленно. Фактически, измерять и контролировать PUE, от которого зависит рентабельность всего проекта.

Системы мониторинга помогают выявить проблемы вроде перекоса фаз, когда нагрузка распределена неравномерно между фазами электросети, что приводит к перегреву проводки и потерям электроэнергии.

Что сказать напоследок

Модернизация корпоративного ЦОД требует системного подхода и реалистичной оценки возможностей. Российский рынок предоставляет уникальные преимущества – низкие тарифы на электроэнергию и растущий спрос на услуги дата-центров, но эти факторы работают только при грамотной технической реализации.

Начинайте с базовых шагов: аудит всех систем, используйте сборник лучших практик в области повышения эффективности дата-центров, оптимизируйте свое активное оборудование, решайте вопрос с эффективным охлаждением, применяйте высокоплотную кабельную инфраструктуру, максимальный мониторинг всех подсистем, продумайте сбалансированное энергоснабжение с учетом резервирования, проведите бюджетную оценку всех изменений, создайте план модернизации. Эти шаги позволят получить максимальную отдачу и оптимизировать затраты на инвестиции.