Желание оптимизировать расходы на построение ЦОД и быстрее ввести его в эксплуатацию, получить адаптируемую и расширяемую инфраструктуру в период так называемой цифровой трансформации, привело к росту популярности модульных инфраструктурных решений. Одно из направлений в эволюции таких решений — микро- и мини-ЦОД. Эти компактные решения особенно привлекательны для малого и среднего бизнеса, где зачастую нет помещений даже под обычную серверную. Поэтому некоторые производители, в том числе и российские (например, компании Depo Computers, РСК, GreenMDC и др.), стали выпускать шкафы со всем необходимым дополнительным оборудованием, которые они продвигают на рынке как мини- или микро-ЦОД.

Что такое мини-ЦОД?

Микро- (мини-) ЦОД — это комплекс в составе одной (микро-ЦОД) или нескольких объединенных между собой (мини-ЦОД) стоек, обеспеченных всей необходимой для работы ИТ-оборудования инфраструктурой и предварительно собранное и протестированное производителем.
Эти ЦОД в основном предназначены для размещения вычислительных мощностей и телекоммуникационного оборудования в неподготовленных помещениях, таких как офисы, склады, подсобные или производственные помещения. По данным вендоров, сроки монтажа при их применении уменьшаются до 60-70% по сравнению с классическим решением.


«Микро-ЦОД в контейнере» за последнее десятилетие разработали ведущие зарубежные производители (в основном поставщики серверного оборудования) и ряд отечественных системных интеграторов.

К преимуществам микро-ЦОД, многие из которых могут размещаться в небольшом шкафу, производители относят также гибкость конфигурации, обычно понимая под этим возможность создания кастомизированного решения под требования заказчика, минимальные сроки изготовления и доставки. Это комплексный продукт, решение «из одних рук»: все необходимые для установки элементы входят в комплект поставки, что исключает сложности при монтаже, пуско-наладке и интеграции. Оборудование от одного производителя (или партнеров) обеспечивает высокую степень интеграции систем. К тому же такой комплект проходит предварительное тестирование систем перед отправкой заказчику.

Драйверы роста

Тенденции развития мирового рынка мини-ЦОД (по данным агентства MarketsandMarkets). Прогнозируемый рост рынка — до 6,3 млрд. долл. в 2020 году. Темпы роста — до 29,8% в год. Крупнейшие рынки: Северная Америка, Китай, Индия, Бразилия.

За рубежом данное направление считают вполне перспективным. Как утверждается, такие комплексы пользуются большим спросом на Западе. Так, учитывая прогресс в области интернета вещей (IoT), микро-ЦОД становятся интересным инструментом обработки данных, генерируемых IoT-решениями. Размещение микро-ЦОД рядом с источником данных уменьшает задержки при передаче и требования к полосе пропускания сети, что важно при быстром росте числа подключенных к сети устройств.


Платформы граничных вычислений, роль которых могут играть микро-ЦОД, позволяют распределить нагрузку и приблизить вычислительные мощности к источнику данных, уменьшить задержку в сети.

Микро-ЦОД предназначены для минимизации капитальных затрат, оптимизации использования площадей ЦОД и потребления энергии, увеличения скорости развертывания. К такой архитектуре привели несколько тенденций:

• Повышение плотности оборудования: виртуализованное ИТ-оборудование в облачных архитектурах, которым раньше требовалось 10 стоек, теперь может вписаться в одну.
• Конвергенция и интеграция: серверы, хранилища данных, сетевое оборудование и программное обеспечение интегрируются и валидируются вендором, поставляются как готовое решение «из коробки».
• Задержки в сети: потребность в сокращении задержки при обмене между центрами обработки данных (например, облаком) и приложениями.
• Скорость развертывания: сокращение времени развертывания решения иногда дает возможность получить конкурентное преимущество.
• Снижение издержек: во многих случаях микро-ЦОД могут использовать избыточную мощность, которая по той или иной причине не используется. Такое недоиспользование является распространенной проблемой в корпоративных центрах обработки данных.
• Оптимизация облачных сервисов: микро-ЦОД играют ключевую роль в оптимизации производительности и полезности мобильных и других сетевых устройств при доступе в облако.

Как это устроено?

Часто микро-ЦОД комплектуются встроенными источниками бесперебойного питания (ИБП) и комплектами программного обеспечения для управления инфраструктурой (DCIM). Это решения могут быть развернуты как в обычных офисах, так и в более агрессивных средах.


Микро- и мини-ЦОД относятся к категории малых систем.

Обычно в состав каждого из них входит сам шкаф, а также системы охлаждения, мониторинга, пожаротушения, управления питанием и защиты. Это своего рода автономный ЦОД, отличающийся высоким уровнем безопасности и достаточной охлаждающей способностью. А благодаря легкой конструкции такой мини-ЦОД можно устанавливать в местах с низкой несущей способностью перекрытий.


Основные элементы микро- (мини-) ЦОД (по данным Huawei): пожаротушение, охлаждение, мониторинг, ИБП, подсистема распределение питания, ввода-вывода, безопасности.

Микро-ЦОД также может содержать: систему распределения электропитания с «интеллектуальными» PDU (помимо собственно измерения энергопотребления они могут поддерживать датчики контроля температуры и влажности в стойке), автоматическую систему газового пожаротушения, систему контроля и управления доступом (СКУД) и другие системы (в зависимости от поставщика).

Исполнение может быть разным. Например, модульные микро-ЦОД от Rittal — настоящие сейфы. Они защищают от огня, жидкостей, пыли, взлома и коррозийных газов. Сейф снабжается установленной на заводе системой кондиционирования, опционально поставляется система на базе инверторной технологии, которая позволяет экономить до 40% энергии путем регулировки мощности в соответствии с потребностью. При необходимости сейф может быть дополнительно оснащен системами сигнализации, пожаротушения, бесперебойного питания, мониторинга и др.


Модульный микро-ЦОД от Rittal. К его преимуществам разработчики относят следующее:

1. Экономия затрат и времени (нет необходимости оснащать доступное пространство в здании до уровня серверной комнаты);
2. Гибкость (модульная компоновка, подходящая даже для труднодоступных объектов).
3. Долгосрочные инвестиции (возможности повторной сборки и перевозки);
4. Физическая защита (решение обеспечивает защиту от огня, воды, пыли, дыма и внешнего доступа);
5. Эффективное охлаждение с продуманной маршрутизацией потоков воздуха и регулированием температуры на входе в сервер, регулируемая инвертором регулировка выходной мощности);
6. Пожарная сигнализация и активное пожаротушение в серверной стойке;
7. Надежный мониторинг.

Небольшой ЦОД может собираться и из серии шкафов, на базе которых легко организовать серверную, микро-ЦОД для небольшой компании, и мини-ЦОД для средней организации.
Поскольку на базе микро-ЦОД можно развернуть критически важные ИТ-сервисы, обеспечить высокий уровень отказоустойчивости, в частности, все основные инженерные системы (электропитание, охлаждение) могут резервироваться по схеме N+1 (и выше). Офисный комплекс, где развертывают микро-ЦОД, может быть не оборудован резервным ДГУ, поэтому микро-ЦОД должен обеспечивать автономное питание в случае аварии в течение 10-30 минут.


Микро-центр обработки данных — это автономная, безопасная вычислительная система, собранная и протестированная в заводских условиях. Такие дата-центры поставляются включают в себя все необходимое оборудование для обеспечения питания, охлаждения, безопасности и средства управления (DCIM).

Разработчики микро-ЦОД применяют разные технологии охлаждения. Обычно они исходят из условия минимизации занимаемой системой охлаждения площади, а также снижения совокупной стоимости владения и повышения энергоэффективности.


Основные мировые производители мини- и микро-ЦОД (по данным агентства MarketsandMarkets).

Чтобы решение конструктивно выглядело единым комплексом, инженерное оборудование микро-ЦОД обычно размещают в таких же стойках, что и ИТ-системы. Возможна также установка элементов инженерной инфраструктуры, например ИБП, в одних стойках с ИТ-оборудованием. При этом проектировщики стремятся минимизировать пространство, занимаемое инженерными системами, включая ИБП, АКБ, системы охлаждения.

Преимущества и недостатки микро- и мини-ЦОД

В число преимуществ рассматриваемых решений входят масштабируемость, компактность и энергоэффективность, быстрое развертывание, простое управление, безопасность. Это стандартизированное решение, экономичное решение.

Важное достоинство микро-ЦОД — возможность развертывания дополнительных вычислительных мощностей в обычных офисах и на других площадках без специализированной вспомогательной инфраструктуры. Это позволяет сократить капитальные расходы, связанные с расширением существующих дата-центров.

Перечислим основные плюсы минусы подобных решений (по информации Huawei).

Достоинства	Недостатки
Возможность установки в неподготовленных помещениях	Необходимость обслуживания и поддержания работоспособности
Возможность размещения оборудования в регионах, где отсутствуют необходимые мощности ЦОД	Необходимость наличия ИТ-персонала
Сравнительно низкая стоимость	Первоначальные затраты выше, чем размещение в арендованном коммерческом ЦОД
Высокая скорость развертывания	Срок производства и монтажа выше, чем переход на арендованные мощности ЦОД
Возможность перемещения на другую площадку	Ограниченные возможности расширения
Минимальная занимаемая площадь	Меньшая гибкость, чем в традиционных решениях

Микро-ЦОД можно доставить на место эксплуатации со стойками, ИБП, системой распределения энергии, охлаждения и управления в предустановленном виде и готовыми к развертыванию.

Примеры решений

На российском рынке за последнее десятилетие был представлен целый ряд интересных разработок в области мини- и микро-ЦОД.


Микро-ЦОД российского производства — разработка ETegro Technologies, «Связь Инжиниринг» и «Утилекс».

Например, микро-ЦОД ETegro построен базе модульного решения DataStone+ и объединяет шкафы с 19-дюймовыми стойками и встроенные системы кондиционирования Clever Breeze производства компании «Утилекс». Типовое решение микро-ЦОД представляет собой два шумоизолированных герметичных шкафа 42U с расположенными между ними внутрирядными прецизионными кондиционерами.

Это замкнутый герметичным шумоизолированный комплекс с классом защиты IP65.

ИТ-инфраструктура — серверы ETegro Hyperion, системы хранения ETegro Fastor и коммутаторы ETegro Eos. В системе применяются ИБП двойного преобразования компании «Связь Инжиниринг», время автономной работы — 15 мин. Уровень резервирования системы N+1. Данное решение анонсировано в 2015 году как эффективный и экономичный способ создания частного облака или готовой ИТ-инфраструктуры небольших предприятий, филиалов и представительств территориально-распределенных компаний. Как обещали создатели, создание полностью готовой к эксплуатации инфраструктуры в любой точке России потребует не более 12 недель.

В последующие годы на основе опыта разработки этого типового микро-ЦОД компания Utilex создала целую линейку мини- и микро-ЦОД. В основном это модульные системы с возможностью дальнейшего расширения. В их числе — «супермикро-ЦОД» DataStone Mini, предназначенный для размещения любого 19-дюймового ИТ-оборудования до 27U и мощностью до 2,5 кВт. Он имеет класс защиты — IP54, шумоизоляцию (18 dBA), а система охлаждения реализована на базе встроенных вентиляторов с противопылевыми фильтрами. Есть и возможность установки системы удаленного мониторинга через TCP/IP, SNMP, RS485 (Modbus RTU).


Области применения DataStone Mini — замена серверных комнат, инфраструктура частного облака.

К преимуществам данного решения разработчики относят экономию капитальных затрат, сжатые сроки создания ЦОД, высокую отказоустойчивость, возможность его перемещения и удаленное управление.


Модульный Микро-ЦОД Utilex DataStone+ предназначен для размещения и обеспечения требуемой готовности вычислительного, сетевого оборудования, систем хранения, а также любого активного и пассивного оборудования. Решение с классом защиты IP65 имеет закрытую систему охлаждения (есть возможность построения системы охлаждения с полным резервированием 2N) и поддерживает до 30 кВт ИТ-нагрузки на один шкаф.

Мини-ЦОД «РСК Торнадо» также включает все необходимые структурные компоненты: 1-2 вычислительных стойки (с процессорами Intel, интерконнектом Infiniband), систему охлаждения и электропитания, коммуникационную подсистему, управляющий сервер и систему индикации (в соседнем шкафу размещается насосная станция, станция водоподготовки, сетевое оборудование и СХД). Такие системы развернуты в «Росгидромете», МФТИ. Подготовка помещения для них не требуется.


В архитектуре «РСК Торнадо» применяется жидкостное охлаждение для стандартных серверных плат Intel, изначально предназначенных для систем с воздушным обдувом. Благодаря жидкостному охлаждению достигается высокий показатель энергоэффективности (PUE) — на охлаждение тратится не более 20% потребляемой энергии. Жидкостное охлаждение делает систему тише и значительно компактнее: мини-ЦОД помещается в двух монтажных шкафах, занимающих площадь около 2 кв. м. Воздушное охлаждение оставлено лишь для тех компонентов, где жидкостное экономически нецелесообразно. Аналогичную систему с несколько меньшим числом узлов РСК запустили в «Росгидромете».


Компания РСК выпускает несколько линеек оборудования на базе своего комплекса «РСК Торнадо» — для микро-ЦОД (16-64 сервера), мини-ЦОД (64-256 серверов) и для масштабных ЦОД на сотни серверов.

Китайская Huawei разработала целую линейку микро- и мини-ЦОД.


Конвергентный мини-ЦОД Huawei FusionModule 500 включает в себя 1–2 шкафа для размещения оборудования до 4 кВт на стойку, ИБП с возможностью резервирования, рассчитанные на автономная работу в течение 15–240 мин, интегрированные системы мониторинга и распределения питания, а также систему удаленного контроля батарей.

Например, Huawei FusionModule 500 можно применять для размещения оборудования небольших офисов, организации коммуникационных узлов удаленных офисов, филиалов и представительств, создания коммутационных центров, диспетчерских и центров мониторинга, ситуационных центров и узлов связи. Есть и более мощный вариант — Huawei FusionModule 800.


Huawei FusionModule 800 — типовое решение из 1–8 шкафов (до 15 кВт на стойку) с ИБП (с возможностью резервирования N+N), интегрированными системами мониторинга и распределения питания, системой удаленного контроля батарей и системой кондиционирования с возможностью работы при 10% нагрузке (и резервирования N+N).

Softline в партнерстве с GreenMDC предложила услугу «Модульный ЦОД как сервис» от компании Softline предполагает производство модульного дата-центра под потребности клиента, его поставку, установку и подключение на площадке заказчика с последующим техническим сопровождением на условиях ежемесячной арендной платы. Клиент в течение 4-5 месяцев получает готовое решение. Услуга предполагает несколько вариантов конфигураций модульных ЦОД от GreenMDC: от 6 до 10 шкафов и мини-ЦОД с количеством стоек от 1 до 6.


Линейка Micro Data Center Xpress от Schneider Electric.

Насколько миниатюрным может быть ЦОД? Австралийская Zellabox представила микро-ЦОД Cubb в конструктиве 12U. Разработчики заявляют, что такое решение заинтересует компании, решающие задачи миграции данных в облако, и компании, которым необходимо хранить данные на своей площадке и/или иметь возможность временно «переносить» их в облако.


Zellabox Cubb отвечает за электропитание, качество воздуха и температуру. Кроме того, он обеспечивает безопасность с помощью системы мониторинга 24/7, которая работает даже в случае отказа сети. Модульное решение позволяет объединить несколько таких микро-ЦОД в единый комплекс.

МикроЦОД Zellabox опередил по компактности решение Schneider Electric 23U SmartBunker и The System от Rittal на 15U.

Rittal предлагает варианты компактного микро-ЦОД с фреоновым охлаждением и компонентом LCU (Liquid Cooling Unit) DX, вариант с фреоновым или водяным охлаждением LCP (Liquid Cooling Package) и модульные сейфы со всей инфраструктурой внутри.


HPE Micro Datacenter — решение средней плотности, обеспечивающее мощность и холодопроизводительность 8 кВт.

HPE Micro Datacenter предоставляет собой интегрированное решение с референсной программной архитектурой Helion Cloud. Он включает в себя вычислительную, сетевую инраструктуру, хранилище, средства управления, DCIM. В основе решения — Schneider Electric StruxureWare. ПО HPE OneView обеспечивает интегрированную автоматизированную среду управления ИТ.

Примеры использования мини-ЦОД

Использование мини-ЦОД может быть оправдано не только в малых компаниях нередко нет профессиональных специалистов, но и в государственных структурах и в крупном бизнесе, где информация — один из самых ценных активов. Типовое применение микро-ЦОД — замена серверных комнат, инфраструктура частного облака.



Примеры развертывания микро-ЦОД Schneider Elecrtic в филиале компани\в SMB и на предприятии.

Есть и достаточно уникальные решения. Так, РСК мини-ЦОД с жидкостным охлаждением позволил создать вычислительный кластер «Росгидромета», который обладает низким уровнем энергопотребления в сочетании с высоким показателем эффективности использования электроэнергии и большой вычислительной эффективностью.


РСК мини-ЦОД в МФТИ.

Между тем области применения мини-ЦОД  очень широки. Например, мини-ЦОД Huawei FusionModule 500 использовались для информатизации начального образования в провинции Синьцзян (КНР) — построения новой информационной платформы для обучения в более 60 учебных заведений. Это позволило быстро развернуть большое количество систем до начала учебного года при отсутствии на местах квалифицированного персонала.

Союз сельских кредитных кооперативов Китая, насчитывающий более 3000 отделений, с помощью мини-ЦОД FusionModule 500 реализовал централизованный мониторинг и управление для снижения стоимости эксплуатации системы. А крупная сеть супермаркетов во Франции обеспечила централизованный мониторинг и единое управление узлами, расположенными в более чем 1500 супермаркетов.


Модульный мини-ЦОД от Schneider Electric, созданный по индивидуальным требованиям заказчика, установлен в соборе Святого Семейства в Барселоне. Создание мини-ЦОД потребовало минимального монтажа на месте эксплуатации, что позволили избежать помех для посетителей и строительства. Микроцентр обработки данных отвечает требованиям к портативности и адаптируемости и не доставляет неудобств туристам, а также не препятствует строительству и работе здания в качестве действующей церкви. Этот микро-ЦОД получил награду DatacenterDynamics.

В 2016 году компания «Юлмарт» построила фулфилмент-центр нового формата в Санкт-Петербурге. Объект общей площадью 52 000 кв.м. объединяет складской комплекс и зону для обслуживания клиентов. В рамках этого проекта специалистами российской компании GreenMDC был установлен мини-ЦОД CUBiC, предназначенный для установки одной стойки с энергопотреблением до 5 кВт. CUBiC работал в Центре исполнения заказов как основной дата-центр в течение трех месяцев. На начальных этапах этой мощности было достаточно. Позднее, после запуска в эксплуатацию модульного ЦОД TelecomOutdoor NGm, в CUBiC размещено вспомогательное оборудование, и он продолжает выполнять свою роль как мини-ЦОД.

Кому это нужно?

Использование мини-ЦОД может быть оправдано не только в малых компаниях, где нередко нет профессиональных специалистов, но и в государственных структурах и в крупном бизнесе, где информация — один из самых ценных активов. Проектами создания микро-ЦОД интересуются многие заказчики. Стоимость проектирования, поставки и пуско-наладки такого дата-центра сопоставимы с организацией ЦОД в существующем помещении. Микро-ЦОД можно разместить на складе или непосредственно в цехе, снизить зависимость от сетей передачи данных с предприятий заводов или из внешних интернет-каналов.



Сферы применения микро- и мини-ЦОД (по данным Schneider Electric).

Этим быстро развертываемым интегрированным решениям не суждено было совершить революцию в строительстве ЦОД: их применении осталось нишевым. Реализации микро- и мини-ЦОД в нашей стране единичны. Однако цифровая информация, интернет вещей и граничные вычисления, интерес к модульным конвергентным/гиперконвергентным платформам и облакам — все это может дать данному направлению новые стимулы для развития.