Поэтому мы решили поставить дата-центр на «пружины», изолировав его от земли.
Точнее, модель выглядит так: есть большой бассейн, в него налита вода, а там, как уточка, плавает дата-центр. Только вместо воды будут специальные сейсмоизолирующие опоры, которые и поведут себя подобно маловязкой жидкости. Вот один из таких элементов:
Если собрать из них кластер, то получится как раз почти жидкость.
Такой тип сейсмозащиты с подвижными опорами давно известен, но массово его не используют — дорого. В стране, где мы работали, ЦОДов-то строят не много, а в применении такой технологии, тем более для дата-центра, опыта практически нет. Поэтому нам надо было как-то протестировать всё это до начала работ. Настоящего землетрясения надо ждать довольно долго, и потому — дело за проверкой отдельных частей сооружения.
Итак, предполагается, что подвижная опора сильно уменьшает нагрузки, что предупреждает деформацию конструкций здания:
Важный вопрос был — насколько всё это нежно сработает. Потому что внутри — ИТ-оборудование, и оно стоит в несколько раз больше, чем само здание с территорией, а информация на нём вертится ещё на порядки дороже оборудования. Такую информацию сохранять очень критично.
Доставка и монтаж ДДИБП Hitec
В итоге пришли к тому, что, благодаря использованию сейсмоизоляторов, мы выполняем требования заказчика и уменьшаем нагрузки на здание при землетрясении в 10 раз. Это нежнее, чем вы кладёте ребёнка в люльку. И даже нежнее, чем вы вынимаете процессор за тысячу долларов из материнской платы.
Сейсмоизоляторы тестировались на вибростендах. По результатам этих испытаний и на основании архитектурного и строительного дизайна известная инженерная компания ARUP сделала независимую оценку наших документов. Они подтвердили, что заявленные требования к сейсмоустойчивости и продолжению функционирования объекта выполняются.
Сам тест: изолятор устанавливают на вибростол, нагружают, как на реальном здании, и смотрят, выдержит ли он амплитуду и усилия сдвига, которые предполагаются по MCE (Maximum Considered Earthquake).
MCE и проект
При расчёте реакции этого здания на сейсмические воздействия использовался специфический показатель MCE, потому что он лучше характеризует реальные нагрузки. Согласно этому параметру, ЦОД должен выдержать самое крупное землетрясение, которое в принципе может произойти в данной точке за ближайшие 2500 лет. Именно с такими расчётами мы и строили здание — и да, если город (в 30 километрах от ЦОДа) разрушится полностью, наш ЦОД продолжит работать (хотя, скорее всего, придётся подвозить топливо — электрический кабель может перебить). Говоря языком стандартов, это “Operational” Level при Maximum considered Earthquake по FEMA 356.
Связь сделана сейчас по нескольким независимым лучам — в стране есть практика быстрого (час-два) перекидывания трассы после землетрясений, плюс для критичных вещей есть возможность поставить on-Air-решения, включая спутниковые.
Ещё одна особенность проекта — мы не старались облегчить дата-центр. С одной стороны, мы были зажаты противопожарными нормами данной локали, а с другой, конечно же, старались использовать минимум материалов для оптимизации расходов. И именно поэтому никаких космических сплавов в дата-центре нет, просто снизу стоят те самые виброопоры.
Вот, смотрите: бетонная плита — это та самая штука, которая «плавает» в «бассейне» на виброопорах:
А вот единичная опора:
Строили по проекту, естественно, не мы лично. На нас был HLD-проект, контроль над LLD-проектом (это реализация конкретных узлов, например), авторский надзор, приёмка и испытания. Строили местные строители. Мы, кстати, помогли заказчику значительно оптимизировать расходы: углубили BIM-модель до состояния между LoD-300 и LoD-400 и просто показывали её строителям каждый раз на переговорах. Они очень быстро поняли, что перезакладывают бюджет и объёмы. Недовольства было много, но мы отстояли ключевые моменты.
Практика в России
Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:
Итог
- 16 мегаватт потребления.
- Чуть больше 15 тысяч квадратных метров помещений.
- 8 машзалов, итого 2112 стоек, до 30 кВт на стойку.
- Tier III certified by Uptime Institute (пока проект, идёт сертификация как объекта).
- Два независимых луча питания городской сети, 2N-питание.
- N+1 охлаждение (гликоль 20%).
- 24-часовой запас топлива, можно грузить больше, обычная загрузка чуть меньше 72 часов, запас дизельного топлива и 4 внешних бака по 60 кубов.
- Сейсмическая изоляция для ЦОДа и инфраструктуры, одноэтажный ЦОД с двухэтажным АБК.
- Чистая крыша — никаких жидкостей над ИТ-оборудованием, над машзалом кровля, под ней ещё слой гидроизоляции.
- Защита от затопления.
- Выделенная зона для подземных топливных баков на безопасном удалении.
- Усиленная физическая безопасность — досмотровые зоны для автомобилей и людей, высокий забор, видеонаблюдение и круглосуточная охрана.
Отдельно отмечу систему охлаждения с очень высокой эффективностью. Это наша собственная разработка, созданная четыре года назад. Среднегодовое значение PUE составляет 1,25–1,3 на высокоэффективных чиллерах, пиковое — менее 1,5. Подобных результатов удалось добиться путём глубокой оптимизации классической системы охлаждения схемы «чиллер-фанкойл». Бесперебойное питание ЦОДа было построено на оборудовании Hitec, их мощные машины хорошо зарекомендовали себя на многих наших проектах. В результате в этом сейсмоустойчивом ЦОДе будут инсталлированы 24 машины — по 1670 кВА каждая.
Моя почта PVashkevitch@croc.ru
Комментарии (29)
Loki3000
13.12.2017 10:54+1Про опоры что-то совсем не рассказали: что они из себя представляют? какую нагрузку способны нести? какой у них срок службы? Как заменяются/обслуживаются? и прочие подробности.
Pvashkevich Автор
13.12.2017 12:151. Полностью стальная конструкция (см. изображение) с полимерным антифрикционным покрытием.
2. Точно нагрузку не скажу (нет спецификаций под рукой), примерно 500 тонн на 1 опору. На разные опоры нагрузка разная, но порядок такой.
3. Срок службы равен сроку службы здания, но, конечно, зависит от интенсивности землетрясений. Если землетрясений не будет вовсе, то переживут наш обьект. Если тряхнет с максимальной расчетной силой, то потребуется инспекция и, возможно, замена. Гарантия 15 лет без каких либо профилактических работ. Требуется только контролировать целостность эластичных уплотнителей, защищающих внутренности от грязи (это простейшая резиновая сменяемая мембрана)
4. Заменяются только с частичным разрушением опорных конструкций. Т.е. в принципе возможно, но в реальности не требуется и никто этим заниматься не планируетLoki3000
13.12.2017 12:40Спасибо.
Правильно ли я трактую чертеж: за то, чтобы вернуть верхнюю плоскость на место отвечает ~10-12" слайдер в центре конструкции? Или его посадочное место (articulated slider) тоже является подвижным внутри внешней «раковины»? На какое примерно расстояние допускает горизонтальное смещение эта конструкция?Pvashkevich Автор
13.12.2017 14:27- За возвращение отвечает вогнутые профили скользящих поверхностей и гравитация.
- Все подвижно. Наружная обойма не подвижна. Внутренняя подвижна относительно наружной, слайдер подвижен внутри внутренней.
- Смещение до метра, в любую сторону.
mikaakim
14.12.2017 10:15А как будет осуществляться замена этих блоков под установленными плитами?
Pvashkevich Автор
14.12.2017 14:10Частичным разрушением опор — это если штучно. Если много менять, то здание можно вывесить на домкратах. Но это теоретически. Практически — на это серьезно не закладываются. Опоры должны разрушиться последними. Т.е. если они сломались, то здание уже в руинах.
Rumlin
13.12.2017 12:51Вероятно резино-металлическая опора с опорным свинцовым сердечником.
raee.su/File/SSBS_2014-03_p18-21.pdf
ppt-online.org/46262
iskik.elcos-design.ru/info/ciss/lssims/93
P.S. пока искал картинки, ответили.
KirEv
13.12.2017 11:34+1интересно, но не понятно, как на эти опоры осуществляется монтаж основы здания,
расстояние между опорами — не маленькое, как понимают, бетонные плиты от вибраций «порвутся» на стыках и развалятся, создается металлическая платформа с ребрами жесткости чтобы не прогнулась под десятками тонн (наверное) веса здания?..
самое интересное не раскрыто, если, конечно, это не секрет фирмы :)Pvashkevich Автор
13.12.2017 12:22Плита считается на эти нагрузки. В этом основная работа ребят из ARUP состояла в том числе — контроль верности расчетных нагрузок и предлагаемой конструкции. Например, они настояли на резьбовом равнопрочном соединении арматуры (ее размер 32 мм). Резьба там не простая, сертифицированные муфты пришлось везти из США. В Турции таких не нашлось. Т.е. арматура фактически сплошная на всю ширину здания. Армирование очень серьезное. Бетон тоже не простой. Отгружать бетон такого качества и с таким жестким контролем (а это десятки тысяч тонн) согласился только один завод в этом регионе. В отливаемые конструкции внедрялись температурные датчики, которыми контролировалась температурная динамика отливки по всей глубине. Использовался бетон, аналогичный нашим М800-М1000
aamonster
13.12.2017 13:10Очень интересно.
А насколько "защищённое" здание получается дороже аналогичного "незащищённого"?Pvashkevich Автор
13.12.2017 14:29В среднем, примерно на 20-25%. Но это довольно индивидуальная величина в зависимости от параметров и назначения здания. Думаю, что возможный диапазон увеличения стоимости 10-30% – это на круг для всего проекта. Если же говорить только по архитектурно-строительной (без инженерии и другой технологии) части, то увеличение на 40-70% вполне реально.
electronus
13.12.2017 13:14От Hitec установили DRUPS-ы? Если да, то можно было бы вскользь упомянуть, что этот подход помогает исключить классические UPS-rooms и головную боль с ними ассоциированную
Pvashkevich Автор
13.12.2017 14:30Да. У нас есть многолетний положительный опыт по использованию этих машин в наших собственных ЦОДах в России. КРОК был первой Российской компанией, запустившей в работу оборудование Hitec в нашей стране. В России у нас есть 3 собственных ЦОДа, мощностью от 600 кВА до 8 МВА. Средний из них (2 МВА) как раз собран на Hitec. Есть что с чем сравнивать. По многим аспектам ДДИБП для нас являются предпочтительными. В ближайшее время (опять же первыми в России) нам предстоит плановая замена подшипников накопителя — посмотрим, не изменится ли наше мнение о технологии после этой процедуры. Пока нас все устраивает. Свои ЦОДы проектируем на этом оборудовании и заказчикам тоже смело рекомендуем. Нужно понимать, что мы не только проектируем и продаем это оборудование, но и сами его эксплуатируем, в том числе на своих собственных объектах. Поэтому вправе давать объективную оценку. По классическим системам тоже все не плохо, но ДДИБП по комплексу параметров нас устраивают больше.
Igor_O
14.12.2017 01:28У дизель-динамических систем есть свои особенности и фишки… Производители часто забывают упомянуть про охлаждение в режиме работы от сети. А начинаешь считать вентустановку для обеспечения работы и все необходимые воздуховоды — волосы дыбом встают. А 97% КПД на полной нагрузке у ДРИБП — легко превращаются в 90-92% при половинной нагрузке. (про КПД могу много рассказывать… там куча хитростей и умолчаний у всех производителей).
Часто, говоря про то, что не нужно менять аккумуляторы, производители ДРИБП как бы невзначай упускают четыре нехилых стартерных аккумулятора со сроком службы 2-5 лет и кинетический модуль со сроком службы 8-10 лет. А резервный ДГУ можно закопать в подвал на 30-40 лет…
В общем, считать, считать и считать. А для классики сейчас появились литий-ионные батарейки с заявляемым сроком службы 30 лет, компактные и легкие.
Я это все к тому, что правильный UPS-room головную боль вызывать не умеет. Как и любое правильное инженерное решение. И если накосячить при проектировании и монтаже, на ДРИБП можно получить радостей на всю жизнь. А еще ДДИБП, чисто формально, ферро-резонансный офф-лайн (некоторые модели можно натянуть на линейно-интерактивность, но диапазон напряжений без перехода на дизель — очень узкий). А у ферро-резонансных схем есть свои особенности и косяки, которые нужно не забыть учесть при проектировании.
И да, почти всегда ДГУ+ИБП с соответствующей щитовухой занимает не больше места, чем ДРИБП, а стоит дешевле.
И да, все выше сказанное, это просто немного наблюдений за жизнью. И вывод, он простой, но длинный: Нужно анализировать сценарии, запрашивать стоимость ТО и годовой расход топлива на обслуживание, смотреть на стоимость полного решения со всеми системами вентиляции и кондиционирования, помещениями и сопутствующей щитовухой, смотреть КПД на нагрузке, которая у вас реально будет. И в результате — иногда лучше ДРИБП, иногда — ДГУ+ИБП, иногда — вообще просто стабилизатор напряжения.
vazir
13.12.2017 15:41А как насчет вертикально (ну или значительно диагонально) направленных толчков?
Pvashkevich Автор
13.12.2017 18:42Здание выдержит все, что вероятно по критерию MCE. Но вертикальную составляющую компенсировать не сможем, поэтому IT-оборудование может пострадать. В то же время вероятность того, что эпицентр будет совсем близко к DC мала. К сожалению, полностью универсального решения за разумные деньги нет. Как вариант — плавучий ЦОД (на барже). Но там свои проблемы возможны — может утонуть нечаянно, например. Защита от землетрясений, как, например, и молниезащита, носит вероятностный характер. Можно снизить вероятность критических повреждений до разумного (приемлемого) уровня, но 100% гарантию дать нельзя.
Mirdin
13.12.2017 16:09+1Есть ещё интересный вопрос коммуникаций. Если здание сдвинется на метр, то трубы явно не выдержат. Вопрос решается шлангами для воды\канализации? Резиновые шланги имеют свойство дубеть и трескаться. Эту часть как часто придётся обслуживать?
Pvashkevich Автор
13.12.2017 17:52Для разных систем — разные решения. Гибкие кабели U-образной формы, металлические гофрированные гибкие рукава для части жидкостей. Специальные шарнирные сочленения для высоконапорных труб.
arheops
13.12.2017 18:40А стоят ли на подвижных опорах баки с горючим для независимого питания?
Pvashkevich Автор
13.12.2017 19:03Расходные да. Большой емкости закопаны в индивидуальных бетонных саркофагах и подключены гибкими двустенными трубами.
AbstractGaze
13.12.2017 19:30Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:
Сижу и представляю целесообразность строить Дата центр в наиболее сейсмоопасных районах. При огромном наличии альтернатив. Хотя я даже знаю кому это было бы интересно.
VolCh
13.12.2017 21:13С альтернативами беда — скорость света пока превысить не получается. Где альтернатива дата-центру в Петропавловске-Камчатском? Сколько пинга эта альтернатива добавит?
AbstractGaze
13.12.2017 21:20Мне просто интересно, зачем строить дата центра на полуострове, пара милисекунд стоит этого? Что может быть за необходимость строить именно там?
VolCh
14.12.2017 10:57Например, принятие закона о хранении персональных данных жителей Камчатки на территории Камчатки :) Да и не пара милисекунд там, почти 1000 км по прямой вообще до ближайшего "центра цивилизации" с не факт, что с заметно меньшей сейсмичностью. Это даже в теории 6 мс лишних, по факту будет больше (кабель по прямой вряд ли бросят, плюс коммутация). Да и ближайшие крупные дата-центры российские расположены вроде в Хабаровсе и Владивостоке (которые в целом тоже сейсмоопасны, пускай и не так сильно), это 1700-2300 км, то есть в идеале 15 мс задержки, а по факту пинги по России 500мс и более, если ничего не изменилось за последние годы (в новостях не встречалось, что кабель проложили, значит всё ещё спутник).
На Камчатке есть свои хостинги, но скорее к ним можно применить слова "серверная оператора/провайдера", чем "дата-центр". И вряд ли они расположены в зданиях с особой сейсмозащитой, скорее при достаточном сильном толчке вероятность разрушения здания близка к остальным зданиям, а вот аппаратура выйдет из строя при значительно меньших амплитудах. И это может, в частности, спровоцировать панику.
VolCh
13.12.2017 21:15Какое из известных землетрясений в итоге выдержало бы, при разумных допущениях по расстоянию до эпицентра?
Pvashkevich Автор
14.12.2017 14:14Любое, из когда-либо наблюдавшихся в этом регионе. Измитское землетрясение, например. 17.08.1999
achekalin
Спасибо! Интересно почитать!