Введение
Наша компания RDP, вендор телекоммуникационных продуктов операторского класса, в прошлом году наконец перебралась в новый просторный офис. Одной из главных задач было размещение масштабной ИТ-инфраструктуры и испытательной лаборатории так, чтобы можно было эксплуатировать их максимально эффективно, удобно и безопасно.
Встал вопрос – либо арендовать серверные стойки в непосредственной близости от офиса, либо построить собственную серверную с учетом последних достижений инженерной мысли. Руководство решило, что нам нужна своя серверная. Но как построить ее самостоятельно, если мы специализируемся совсем в другой области? В итоге мы запустили проект, который продлился около 7 с небольшим месяцев и привел нас к достойному, как мы считаем, результату.
Предлагаем вам оценить наши усилия.
«Инженерные хроники»
В начале августа прошлого года решено было построить серверную комнату со следующими базовыми параметрами: 6 стоек по 5 кВт: 3 под нужды ИТ-инфраструктуры + 3 для лаборатории. В серверной должны быть все необходимые инженерные системы для круглогодичной бесперебойной работы на половину заданной мощности в случае кратковременных перерывов электроснабжения.
Появилась проектная команда: РП (руководитель проекта) со стороны RDP, приглашенный на позицию ГАПа (главного архитектора проекта) на время проекта отраслевой специалист, подрядчик, специализирующийся на инженерных инфраструктурных проектах из контура ГК РТК.
Спустя месяц определили технические требования к серверной: при общей ИТ-нагрузке в 30 кВт обеспечить резервирование по холоду 1 + 1; резерв по питанию: ИБП – на часть нагрузки (под ИТ-инфраструктуру) на полчаса при полном отключении питания; обеспечить разгрузку веса оборудования на площадь помещения серверной в соответствии с разрешенной нагрузкой на перекрытия здания.
В октябре согласовали дизайн-проект серверной, сформулировав укрупненное техническое решение и обосновав выбор производителя основного оборудования.
После переговоров с будущим подрядчиком, поставщиком и производителем оборудования и согласования технических и ценовых параметров сделки началась работа по проектированию и уточнению технических решений. Велись переговоры с арендодателем и управляющей компанией бизнес-центра, изучение исполнительной документации по архитектурной части, предварительное согласование ВСЕХ критичных работ, подсистем, решений, затрагивающих вопросы безопасности здания в целом, а также помещений и пространств общего пользования.
Был согласован подвод дополнительной мощности, получение разрешения на подключение к 2 дополнительным автоматам номиналом 25 и 50 А. По результатам эскизного проектирования прошло согласование дизайн-проекта с владельцами помещения и управляющей компанией.
В декабре завершилось рабочее проектирование и проект перешел в новую стадию – строительство, которое велось на протяжении последующих двух месяцев. В середине февраля мы получили основное технологическое оборудование (система кондиционирования, серверные стойки), за исключением системы электроснабжения.
В начале марта приехали источники бесперебойного питания и аккумуляторные батареи.
Наконец, после проведения внутреннего тестирования отдельных подсистем, комплексного тестирования на комиссию и длительного нагрузочного тестирования (72 часа на эмулированной тепловыми пушками нагрузке ~24 кВт) мы ввели серверную в эксплуатацию.
Любопытные факты
Серверная организована в бывшем помещении водительской, ранее не оснащенной никакими инженерными системами, которые можно было бы задействовать в будущем.
Были демонтированы: фальшпол, освещение, бытовые электрические и сетевые розетки, внутренние блоки системы централизованного (летнего) кондиционирования; заглушены спринклеры системы пожаротушения здания, демонтирована небольшая перегородка, перпендикулярная оконному проему, утепленной перегородкой заделано окно, вырезан дополнительный дверной проем.
Организована разгрузочная рама, которая позволила разместить удельную расчетную нагрузку стоек (более чем 1100 кг/м2) на перекрытие со значительно меньшей проектной несущей способностью.
После проведения первичного косметического ремонта и строительных работ технологическое оборудование, установленное в ряд (6 стоек, 2 шкафа межрядных кондиционеров, 1 шкаф ИБП) образовало естественное разделение серверной на горячий и холодный коридор. Дополнительную изоляцию коридоров организовали посредством продольной перегородки, смонтированной от потолка до центральной линии верней части ряда шкафов. Вход в каждый коридор оснащен отдельной дверью.
Система пожаротушения – газовая, действующий газ – хладон.
Дополнительный шкаф с аккумуляторными батареями размещен в холодном коридоре, расположенном дальше от входной двери углу помещения. По этой же стене напротив ряда шкафов размещены электрические распределительные щиты.
Блок автоматики газового пожаротушения и баллон хладона помещены в горячем коридоре, также в дальнем углу.
При входе в серверную организован небольшой уклон фальшпола для комфортного заноса тяжелого ИТ-оборудования.
Внешние блоки кондиционирования выведены на необслуживаемую кровлю двумя этажами выше серверной.
Все кабельные линии от новой выделенной мощности также проложены в рамках проекта в существующих закладных в полном соответствии с планами и на основании проведенного предпроектного обследования.
Кондиционеры подключены к действующим системам водоснабжения (организован осмос) и дренажа, находящимся в помещениях через коридор напротив серверной.
ВСЕ (!!!) коммуникации проложены под фальшполом офиса так, что никаких последствий строительного вмешательства в других помещениях не осталось.
Вишенка на торте: участники проектной группы, будучи приверженцами технической эстетики, подобрали цветовые решения, которые не только помогли сделать серверную безопасной, технически удобной и эффективной с точки зрения производительности, но и комфортной в эмоциональном плане.
Концепт был такой:
черный цвет потолка, скрывающий все потолочные инженерные коммуникации;
поликарбонатные, в черном обрамлении, перегородки над серверными стойками;
шкафы: серверные, кондиционирования, ИБП и аккумуляторных батарей, – также выполнены в черном, что смотрится очень стильно с размещенными на них электронными мониторами с сенсорным управлением;
подвесное освещение на светодиодных панелях, мягкое, но достаточно интенсивное;
-
светло-серый цвет стен, с одной стороны компенсирующий светопоглощение верхней (черной) частью помещения серверной и шкафами с оборудованием, с другой – гармонирующий с другими элементами дизайна в сером исполнении, такими как электрические щитки, фальшпол и двери.
И, кстати, отдельным нашим достижением считаем экстерьер блоков кондиционирования, не видимый персоналу (за исключением случаев регламентного обслуживания): похожий удивительный марсоход, прибывший на место постоянного пребывания.
Вместо эпилога
Ближе к концу проекта мы, затаив дыхание, ждали и надеялись, что все технологическое оборудование доедет до нас без потерь, несмотря на известные события. Финальную поставку мы получили лишь 1 марта. Как оказалось, это была чуть ли не последняя партия оборудования, которая в этом году нашла своего счастливого заказчика – тут, мы считаем, нам реально повезло.
Омрачить итог могло то, что дважды проект ставили на паузу из-за «сложной эпидемиологической обстановки» у нашего подрядчика, он пережил 3 праздничных цикла (новогодние праздники, 23 февраля и 8 Марта), но несмотря ни на что усилиями всех участников был завершен точно в срок.
Опыт создания собственной серверной помог нам поверить в то, что нет ничего невозможного, если грамотно подходить к вопросу планирования и просчитывать возможные негативные факторы, которые могут привести к срыву сроков. Работая над проектом, мы в первую очередь думали о наших заказчиках и о том, что не можем подвести их, ибо выход новых продуктов и усовершенствование уже имеющихся напрямую зависят от качественной ИТ-инфраструктуры. Конечно же, мы продолжим плотно работать над апгрейдом нашей серверной и будем рады поделиться с читателями Хабра своим опытом.
А сейчас мы готовы ответить на все вопросы читателей Хабра:) Задавайте их в комментариях.
Комментарии (15)
wmgeek
07.06.2022 21:30Баллон с хладоном у вас игрушечный, точных параметров не знаю, но если предположить что используется хладон 23 с нормативной огнетушашей концентрацией 14% и объем помещения порядка 300 кубов, нужно не менее 150кг, а у вас на вид не более 20. Для кого вы делали все эти газовые сложности и не проще ли было некоторое колличество хороших воздушно-эмульсионных баллонов или шаров самосрабатыващих поставить?
Solda_Integra Автор
07.06.2022 23:21+1Спасибо за Ваш комментарий, он претендует на более или менее строгий технический ответ. Приведу выдержку из РД:
"Документацией предусмотрена автономная система газового пожаротушения, в основе
которой применён прибор приемно-контрольный С2000-АСПТ «БОЛИД» и модуль газового
пожаротушения МПТХ2 (65-50-32) «Пожарная автоматика». Распределение газового
огнетушащего вещества Хладон 227еа (ГОТВ) выполняется посредством 4-х потолочных
насадков, по два в каждом коридоре. Расчетный объем ГОТВ - 35кг, расчетное время подачи ГОТВ – 9,98с, огнетушащая концентрация - 7,2%, масса ГОТВ для создания огнетушащей концентрации - 32,6кг, остаток ГОТВ в трубопроводе 0,2кг"Мы в проекте применили достаточно стандартное для таких случаев решение. Сложностей особых при этом не возникло - сварить между собой несколько кусков трубы и закрепить их под потолком - было самым сложным в части пожарки. А качественная АУГПТ - непременный атрибут любой серверной. На ней мы точно экономить не планировали. Если честно, возможность применения в серерной воздушно-эмульсионных баллонов нам в голову не приходила.
Evgeny_G
08.06.2022 10:50Любая система подобная система пожаротушения, продается дистрибутором в инжиниринговую компанию только после согласованного газодинамического расчета.
В данном расчете учитываются температура, кубатура, тип защищаемого имущества и т.д.
На фото представлен типовой такой проект для небольшой серверной.
Баллон с 125 или 223 хладоном.
Принцип тушения следующий:
1. Сработка датчиков, далее работа АСПТ по алгоритму.
2. Прокол мембраны на баллоне.
3. Хладон согласно установленного расчетного времени выпускается через форсунки.
4. Формируется облаков высотой до 60 см в горизонтальном сечении помещения.
5. Облако опускается от перекрытия до перекрытия и тушит вытеснением окислителя и понижением температуры.Само собой есть еще куча нюансов.
cofein51
07.06.2022 22:27Пока читал, подумал что сервера надо в каждый дом....
Частично компенсировать горячую воду и отопление можно.
Даже так, есть цтп только по ГВС ориентированные, вы могли бы прям на цтп компенсировать им часть затрат отопления (теплоносителя который греет им воду), а они вам.
Отдельно стоящее здание типа насосной - тоже не бесшумное.....
Кстати, покрасить потолок в черный (или белый) и сделать освещение ниже на пол метра - многие делают,особенно в торговых центрах и прочим.
У нас в легкоатлетическом манеже на потолке и инфракрасный обогрев и куча всего, но оно выше чем освещение...
В ТРК есть и черным крашенные и белым. Но на черном пыль видна, а белый удобнее рассматривать крашенные трубы и вентиляцию с гофрами кабельными.
horon
08.06.2022 01:17+1а у меня серверная в бомбоубежище списанном. Советская инженерка + современная АГПТ + ИБП и проблем нет. тьфу тьфу.
AKudinov
08.06.2022 08:05заглушены спринклеры системы пожаротушения здания
Я правильно понимаю, что стальная труба водяной системы пожаротушения здания физически осталась под потолком? При срабатывании и/или проверке системы может выясниться, что коррозия проела стенку трубы насквозь, и будет сюрприз?
Solda_Integra Автор
08.06.2022 09:49Да, трубу водяного пожаротушения, к сожалению, отрезать не получилось, так как она была проходной, и собственник помещения не позволил бы это сделать из соображений противопожарной безопасности.
Однако, при срабатывании/проверке обычно давление наоборот понижается, так как включаются спринклеры, а в исходном состоянии система стоит под рабочим давлением.
Сюрприз случится вряд ли, так как управляющие компании как правило очень тщательно следят за такими ключевыми инженерными системами здания. Так что уровень опасений у нас в этом вопросе не высокий)
wazzard
08.06.2022 08:13подскажите, какие аккумуляторные батареи выбрали, кислотные или литиевые? Как рассчитывали среднюю силовую нагрузку на шкаф? По фотографиям не разобрал, где кондиционеры в серверной, которые создают теплый\холодный коридор.
Организована разгрузочная рама, которая позволила разместить удельную расчетную нагрузку стоек (более чем 1100 кг/м2) на перекрытие со значительно меньшей проектной несущей способностью.
можете поделиться тех.решением или подсказать в какую сторону копать, тоже строим серверную, но у нас проектная несущая способность 1000кг/м2, вроде бы укладываемся, но запасной план хочется иметь.
Solda_Integra Автор
08.06.2022 10:07Аккумулятоные батареи - литиевые. Могу ошибаться, но, как мне кажется, кислотные уже не используют в современных решениях для ЦОД.
ИТ-нагрузку рассчитывали просто - оценили пиковое энергопотребление оборудования, количество юнитов в стойках и умножили одно на другое. К тому же 5КВт на стойку согласно бенчмарку - вполне нормальная мощность для ИТ, если не майнить и не использовать какие-нибудь супервычислительные мощности. Другой вопрос - где взять требуемую выделенную мощность? В некоторых случаях рекомендуется плясать именно от этого. В нашем случае уравнение, к счастью, сошлось с обеих сторон.
По разгрузочной раме - техрешение очень простое: представляет собой сваренные металлические профили (внизу поперечные, сверху - продольные - см. картинку в статье), распределяющие нагрузку по всей площади комнаты. Но здесь необходим проектный расчет и архитектурная часть - без нее рассчитать частоту сетки и толщину рамы весьма затруднительно. Помимо разгрузочной функции наша рама также является опорой для шкафов, которые стоят именно на ней, а не на фальшполе - еще один респект нашему ГИПу за решение!
Кондиционеры у нас межрядные. Другие было просто не применить, а эти подошли идеально, как по теплоотводу, потребляемой мощности, так и по габаритам. На картинке, что под разгрузочной рамой, их довольно хорошо видно: вторая дверь спереди, после шакафа, и далее - еще через три шкафа. Кондиционеры чуть ниже шкафов по высоте, по этому их легко распознать благодаря проставке над дверью.
wazzard
08.06.2022 15:43На сколько я помню, для сертификации серверной как ЦОДа, нужна и соответствующая АПТ, на которую нужен сертификат, подтверждающий ее способность потушить литивые аккумуляторы. В России сейчас очень мало кто готов дать такие бумаги. Мы как раз в раздумьях, ставить кислотные и сертифицировать, или отказаться от этой идеи и поставить литивые. Склоняемся ко второму варианту, так-как для нас это не критичный момент, но обладание такой бумагой соблазнительно.
Кондиционеры у нас межрядные.
Мы тоже в эту сторону смотрим. У вас получается 3шт. на 6 шкафов - это с запасом по охлаждающей мощности?
Solda_Integra Автор
08.06.2022 16:22Пара уточняющих вопросов с Вашего позволения:
Вы планируете Сетифицировать на что и как? По Uptime? Хотите сертифицировать проект/ объект/ операционную деятельность? Вопрос очень не простой, а в настоящее время я вообще не представляю, как это реализуемо.
С какой целью планируете сертифицировать? Если ЦОД собственных нужд, это вообще особо не нужн; если собираетесь предоставлять какие-то услуги через него, в целом может иметь значение, но совсем не обязательно.
У нас два межрядника обеспечивают резервирование на все 6 стоек в режиме 1 + 1.
ipodovalov
Зима близко. Марсоходу сосули и снег не повредят?
Solda_Integra Автор
Марсоход, как любой космический аппарат, оснащен системой (зимнего) подогрева ????.
Evgeny_G
Рядные прецезионные кондиционеры Хуавей NetColl, входящие в поставку вашего Fusion Module в вашем случае оснащены, так называемой системой зимней эксплуатации.
Это не про нагрев. Это дополнительная емкость (синего цвета), которая позволяет фреону (R410) накапливаться, когда он расширен, и наоборот. Буфер так сказать.
Так же дополнительно стоит упомянуть, что компрессор в прецезионниках установлен во внутреннем блоке.
А так у вас все красиво и по делу.
Модуль пожаротушения в ЛиОН ИБП Хуавей заправили? От дистриба он сухой приходит.
Solda_Integra Автор
Да, Евгений, все точно и верно подмечено, спасибо.
Но подрядчики уверяли, что подогрев также включен в зимний комплект в этой модели. Именно поэтому им пришлось тянуть дополнительную электрическую нитку наверх. При случае поднимусь на кровлю и уточню этот вопрос.
Заправили.