Лето 2017 года выдалось богатым на ураганы. А вот у нас тоже был случай. Ровно 7 лет назад наш первый дата-центр на Боровой пережил ураган, который похоронил чиллеры под слоем 10 тонн железа, прилетевшего с соседней крыши. Душещипательные фотографии искореженных чиллеров разошлись по интернету уже давно, а история про восстановление ЦОДа, оставшегося без холода, никогда не публиковалась. Решил поднять архивы и восполнить пробел.


В 2010 году DataLine был начинающим оператором дата-центров. На площадке OST успели запустить только три зала на 360 стоек, на севере Москвы (NORD) был один корпус с одним залом на 147 стоек.



Вот как изменились масштабы нашей инфраструктуры с 2010 года.


Хотя мы сами проектировали и строили, тогда у нас не было выделенной службы эксплуатации. Не было, как сейчас, отдельных специалистов по ДГУ, кондиционерам, электриков – отдавали все по максимуму подрядчикам. Объемы инфраструктуры были небольшие, как, впрочем, и наш опыт. За инженерку тогда отвечали директор по производству, главный энергетик и я, технический директор. На подхвате были еще дежурные инженеры (трое в смене), но они занимались клиентскими запросами и мониторингом.



Один из первых залов дата-центра OST-1 в конце 2009 года.



Так выглядят новые залы в OST сегодня.


Три зала на Боровой были заполнены только наполовину. Клиентов было немного, для пересчета хватило бы пальцев одной руки.


На площадке работала чиллерная схема на этиленгликоле с тремя чиллерами Emicon в схеме резервирования 2+1. Надо сказать, эти чиллеры так и не вышли на заявленную производителем мощность, но, поскольку нагрузка была небольшая, одного чиллера почти хватало на все три зала.


День первый


20 июля стояла жара за тридцать. В такую погоду чиллерам было плохо, поэтому, когда ближе к концу рабочего дня пошел дождь, я обрадовался, надеясь, что чиллерам полегчает. Вместе с дождем поднялся сильный ветер, и вот я из окна своего кабинета вижу, как мимо пролетают листы металла. Вышел на улицу, а на другой стороне дороги валяются куски крыши. Удивительно, но ни одна из машин сотрудников, запаркованных рядом с ЦОД, сильно не пострадала.



Кровельное железо свисало с проводов, как белье.


Тут я подумал, что надо бы проверить чиллеры, потому что металл летел с их стороны. Вместе с коллегами залезли на крышу и увидели жуткую картину: все три чиллера завалены железными балками и листами.






По записи системы видеонаблюдения видно, что все железо прилетело за один мощный порыв ветра. Вот что мы потом увидели c записи одной из камер:



На видео часы отстают. Когда все произошло, было уже 18.18.


Масштабы бедствия оказались внушительными. У одного чиллера прилетевшее железо пробило теплообменник фрикулинга (внешний контур чиллера), у второго повреждены вентиляторы, у третьего, помимо всего перечисленного, вращающиеся искореженные вентиляторы успели задеть и порубить фреоновые трубки внутри чиллера. К тому моменту, как мы оказались на крыше, два чиллера из трех уже остановились.



Поврежденная рама и теплообменник фрикулинга первого чиллера. Теплообменник представляет собой “бутерброд”: снаружи рубашка фрикулинга, внутри, с зазором сантиметров пять, такой же на вид теплообменник фреонового конденсатора.



Искореженные вентиляторы одного из чиллеров.


Из пробитых теплообменников фрикулинга хлестал гликоль. Давление в системе холодоснабжения резко упало. Насосы остановились по защите от сухого хода, вырубился последний рабочий чиллер, и вся система холодоснабжения встала (времени было 18:32, две минуты как закончился рабочий день). Несколько секунд мы пребывали в ступоре и не знали, что делать. Потом позвонили подрядчику по холодоснабжению и вызвали аварийную бригаду. По телефону подрядчик посоветовал перекрыть внешний контур, объяснил, где находятся нужные вентили и краны системы подпитки. Мы перекрыли вентили, питающие внешние теплообменники, гликоль перестал течь.


В холодных коридорах машинных залов становилось жарко. Осознав, что быстро восстановить холодоснабжение мы не сможем, в 19:10 начали звонить клиентам уже не просто с оповещением об аварии, а с просьбой отключить вычислительное оборудование, чтобы избежать его выхода из строя. Иного варианта мы не видели. Некоторые клиенты отказались выключаться и взяли риски на себя. Некоторые привезли на площадку переносные кондиционеры для своих стоек.


В 18:51 начали дозаправлять гликолевые контуры водопроводной водой и постепенно довели давление в системе до рабочего.
В 19.45 приехала аварийная бригада.
В 19.53 насосы запустились, но заработал только один чиллер из трех. У другого были повреждены вентиляторы, а у третьего – еще и фреоновый контур.


Пока мы проделывали все эти упражнения, температура гликоля успела вырасти с рабочих значений (7–12° С) до 20 градусов. Один живой чиллер работал с перегрузкой, и периодически один из двух его контуров останавливался по ошибке. После этого нужно было вручную сбросить ошибку на пульте, и через пять минут (защитный интервал) компрессор запускался. Или не запускался. Тогда помогало полное обесточивание чиллера с перезагрузкой.


Все, кто был в этот момент в офисе, участвовали в освобождении чиллеров от “летающего” металлолома и помогали подъехавшей аварийной бригаде собрать из двух убитых чиллеров еще один рабочий.



Директор по капитальному строительству тогда сорвал спину, скидывая стальные балки с чиллеров.


С чиллера с пробитыми фреоновыми трубками сняли вентиляторы. Не обошлось без пауэрлифтинга – каждый вентилятор весит под 30 кг. К 23:00 худо-бедно собрали и запустили второй чиллер, и температура в залах начала медленно опускаться.


К тому времени стемнело, но самое интересное только начиналось. Чиллеры стало вышибать по защите из-за перегрева компрессоров: температура гликоля по-прежнему была высокой несмотря на отключение большей части клиентов.


Начальник производства съездил и купил керхеры, шланги и налобные фонари, чтобы можно было работать ночью. Мы поливали компрессоры чиллеров холодной водой, но это не очень помогало, так как компрессор – это кусок железа весом больше тонны и быстро его не охладить. Теперь, когда чиллер останавливался по ошибке, вместо пяти минут приходилось ждать несколько десятков минут, пока компрессор остынет и ошибка Compressor Overload пропадет.



Сообщение об ошибке, которое нам по очереди показывали то один, то другой чиллер.


Глубокой ночью случилось то, чего мы боялись: по аварии одновременно остановились оба чиллера и завести их вместе больше не удавалось. Из четырех юнитов первого и второго чиллеров работало один-два, остальные по очереди пребывали в коматозном состоянии по случаю перегрузки. Температура в залах остановилась на уровне около 30 градусов. Все двери в машинные залы были открыты. Это позволяло хоть как-то избавиться от накопившегося тепла.


Мы вместе с подрядчиками пошли изучать схемы чиллеров. После долгих и тяжких раздумий они предложили под нашу ответственность сделать то, чего делать нельзя: обойти защиту, поставив перемычки, т.е. накоротко замкнуть реле тепловой защиты. Это был прямой путь к тому, чтобы окончательно убить компрессоры, но других вариантов не было. В три часа ночи чиллеры завелись и больше не останавливались. Температура в холодных коридорах начала приходить в соответствие с SLA.



Изменение температуры в холодных коридорах с начала аварии и до ее устранения.
1 — время первой остановки всех чиллеров; 2 — время запуска первого чиллера; 3 — время запуска второго чиллера; 4 — повторная остановка чиллеров; 5 — запуск чиллеров с отключенной тепловой защитой.


С начала этого безобразия у нас впервые появилась возможность перевести дыхание и в чуть более спокойном режиме подумать, что делать дальше. По прогнозам завтра снова обещали жаркий день, а у нас два чиллера, работающих на честном слове.


День второй


Утро следующего дня застало нас за монтажом самодельной системы орошения: на крышу подвели трубы с водой и прокололи в садовом шланге дырки.


Гидрометцентр не обманул: снова пекло под 30° С. Из этой собранной на коленке системы и керхеров мы практически без остановки поливали чиллеры, которые продолжали работать с отключенной тепловой защитой.



А вот исторический кадр: чиллеры спасает дежурный сетевой инженер Григорий Атрепьев, ныне руководитель отдела комплексных проектов.


Температуру гликоля удалось вернуть в норму. В общей сложности в таком режиме проработали дня три, после чего восстановили тепловую защиту компрессоров. В течение пары дней запаяли пробитые фреоновые трубки третьего чиллера, вакуумировали и заправили фреоном. Пока ждали поставки вентиляторов взамен разбитых, работала только половина третьего чиллера.



Замена вентиляторов на третьем чиллере. Чиллер Emicon RAH1252F с опцией фрикулинга (свободного охлаждения) состоит из двух модулей, в каждом из которых стоит 8 осевых вентиляторов и компрессор Bitzer.









Заправка фреоном.



Вид на задний двор на следующий день. Еще долго вывозили металлолом.


Что было дальше


Чиллеры. Повреждения были серьезными, и мы потратили еще какое-то время на ремонт. Компрессоры после пережитого издевательства прослужили около года, после чего начали выходить из строя: для двух чиллеров сказалась работа без защиты, в третьем чиллере мы, похоже, поторопились с заправкой фреонового контура (недостаточно хорошо вакуумировали, оставив следы влаги). Пробы масла, взятые из еще живых фреоновых контуров, показывали высокий уровень кислотности, предвещавший скорый конец обмотки электродвигателя. В течение второго года после аварии мы заменили почти все компрессоры пострадавших машин. Пробовали починить один из компрессоров, отдав его в перемотку, но после ремонта он протянул считанные месяцы и снова сгорел, так что мы сочли за благо в дальнейшем покупать новые.


Вода, которой мы дозаправили гликолевый контур, не повлияла на морозоустойчивость системы. Замеры показали, что концентрация этиленгликоля осталась на достаточном уровне.


Поскольку чиллеры так и не выдавали заявленной холодильной мощности (а ИТ-нагрузка росла по мере заполнения ЦОДа), приходилось и дальше поливать их в жару. Теплообменники не пережили водных процедур: с годами они обросли известковыми отложениями, а в зазор между теплообменником фрикулинга и фреоновым конденсатором набилась всякая грязь, удалить которую конструкция не позволяла. Через несколько лет мы планово заменили два из трех чиллеров (про это тоже будет увлекательная история, на этот раз без жертв), а на оставшемся срезали теплообменники фрикулинга. Сейчас на площадке OST работает 4 чиллера: два Stulz, Hiref (добавился, когда дата-центр подрос) и один старый Emicon.



Чиллеры на площадке OST в 2017 году.


Клиенты. Несмотря на этот кошмар эксплуататора, клиенты отнеслись с нашей беде с пониманием и даже никто от нас не съехал.


Запомнилось, что для получения страховки на чиллеры и для отчета перед пострадавшими клиентами долго добывали у Гидрометцентра справку о локальному урагане.


Оргвыводы


К таким форс-мажорам сложно подготовиться заранее, но важно из любой аварии сделать правильные выводы. Наши, добытые потом и кровью, были такими:


  1. В Москве тоже бывают ураганы. Это сейчас что ни день, то штормовое предупреждение, а тогда это было в новинку. После той аварии при выборе площадки или готового здания под ЦОД особенно тщательно смотрим, нет ли в опасной близости условных сараев и прочих хлипких строений. Конечно, крышу, которая прилетела на наши чиллеры, соседи перекрывали уже под нашим чутким контролем.


  2. Мы стали сами закупать ЗИП (вентиляторы, компрессоры, запас фреона и пр.) и хранить его у себя. Восстановление прошло бы быстрее, если бы у нас на площадке были хотя бы запасные вентиляторы. В тот раз поставку нужного количества пришлось ждать несколько недель.


  3. Волей-неволей разобрались в устройстве чиллеров, они перестали быть для нас “черными ящиками”. Это нам пригодилось впоследствии, потому что замечательные холодильные машины не перестали ломаться.


  4. Провели на крышу воду. Для новых дата-центров делаем это по умолчанию. Вода пригодится для промывки чиллеров или внешних блоков от грязи, скопившейся за осень-зиму, поможет отбиться от тополиного пуха летом и облегчит жизнь системе холодоснабжения в условиях аномальной жары.


  5. Прокачали мониторинг и стали измерять все, что можно: давление в нескольких точках, состояние насосов, температуру прямого и обратного гликоля, электропотребление чиллеров и т.д. В той ситуации оповещения помогли бы нам обнаружить проблему раньше и начать действовать быстрее.


  6. Настроили удаленное управление чиллерами из центра мониторинга.


  7. Синхронизировали часы на всех системах, чтобы при разборах аварий иметь понятную картину развития событий.


  8. Стали очень внимательно, даже скептично смотреть на цифры, которые заявляют производители оборудования. Мощность чиллера – не просто число, она сложным образом зависит от температуры уличного воздуха и холодоносителя и, как водится, она ниже всего в жару, когда более всего нужна.

Еще мы с особым тщанием занялись проработкой всех ключевых процессов, задокументировали и сопроводили схемами все, до чего смогли дотянуться, и ввели регулярные боевые учения. И если завтра случится какой-нибудь армагеддон, наши ЦОДы будут спасать не 3,5 человека в жанре импровизации, а большая и опытная служба эксплуатации с четкими, отработанными инструкциями. Это позволяет нам не только управлять постоянно растущей сетью из семи дата-центров, но и успешно проходить аудиты и сертификации самых уважаемых и строгих организаций вроде Uptime institute.


А какие стихийные бедствия пришлось пережить вашей серверной/дата-центру и какие полезные выводы вы для себя сделали?

Поделиться с друзьями
-->

Комментарии (38)


  1. Ascott
    20.07.2017 12:49
    +4

    А не рассматривали вариант в будущем «посадить» чиллеры в клетки из арматуры или что-то около того (с трудом представляю, как всё это работает, поэтому сильно не пинайте, если вопрос глупый)


    1. dataline
      20.07.2017 14:45
      +3

      Не вижу в этом большого смысла. Ту крышу починили и она уже просто так не прилетит. В округе мы больше не обнаружили чего-то потенциально летающего. Если ветер будет такой силы, что принесет что-то издалека, то боюсь, что никакие клетки тут уже не спасут.


      1. ZayDen
        20.07.2017 15:42
        +2

        Тогда ждём ещё одну подобную статью через год.


        1. dataline
          20.07.2017 15:49

          Ну можно и подождать, а вообще уже 7 лет с того момента без «клеток» живем.


  1. SloN1
    20.07.2017 13:00
    +3

    1. Как обычно: для правильного обслуживания и на случай аварий нужен свой подготовленный персонал и ЗИП на своём складе.
    2. С учётом всего, того что летает в городах во время штормов, я бы Ваши охладители еще бы закрыл крышей (под 45 градусов) из толстого профнастила — он и кирпич отразить сможет и лист того же профнастила сдержит.


    1. mickvav
      20.07.2017 14:47
      +1

      Главное — крыша должна быть на достаточном расстоянии, чтобы не мешать штатной работе чиллеров.


    1. bearkoff
      21.07.2017 09:56

      Как обычно: для правильного обслуживания и на случай аварий нужен свой подготовленный персонал и ЗИП на своём складе.


      Больной вопрос для меня, как для поставщика.

      Не представляете, какая это глобальная проблема большинства предприятий в РФ. Предприятия ссылаются на то, что если собирать оборудование по запчастям, то оно стоит в несколько раз дороже, чем если купить оборудование в сборе. Поэтому, запчасти покупают постепенно, по мере необходимости. А когда выясняется что срок поставки может доходить до года, то начинаются танцы с бубном, увольнения, подбор и монтаж костылей… В конечном итоге, выгоднее купить очень дорогие запчасти, чем нести убытки из-за простоя оборудования.


      1. Dmitry_5
        21.07.2017 12:42

        Выгоднее держать еще один резервный кулер


        1. bearkoff
          21.07.2017 13:52

          Наврное, но если в кулере вышел из строя двигатель, то дешевле заменить только его, чем весь кулер целиком.


  1. Tom617
    20.07.2017 13:00
    +2

    Замечательный материал. Очень интересно и познавательно.


    1. super-guest
      20.07.2017 19:16
      -2

      Согласен, спасибо!


  1. Ipeacocks
    20.07.2017 13:58
    -12

    Без фотографирования, а просто с вашей помощью, может быть, и быстрее бы все восстановили. :)


    1. dataline
      20.07.2017 18:00
      +9

      А с чего вы решили, что кто-то стоял в стороне?
      Вообще фотофиксация в таких ситуациях обязательна. Например, фотографии незаменимы при общении со страховой компанией. И когда разбираешь агрегат, лишние фото другой раз очень помогают его собрать обратно.


      1. cbone
        20.07.2017 23:02

        Экшн камеру на лоб и вперёд устранять последствия. Вот интересная документалочка получится )


  1. mickvav
    20.07.2017 14:45
    +2

    Лично тушил горящий генератор. Который при этом ещё и работал — блок управления был недоступен.


    1. JerleShannara
      20.07.2017 17:29

      Да, весёленькое занятие. Сам наблюдал последствие «шутки» электриков (шо, фаза и ноль, та пофик, две фазы лучше!), маленький UPS горел, орал, но работал от батарей


  1. fapsi
    20.07.2017 14:45
    +1

    Как директор по кап.строительству? Спину залечил?


    1. dataline
      20.07.2017 14:47
      +2

      Ага, жив, здоров. С тех пор построил еще 6 дата-центров :)


      1. J_o_k_e_R
        21.07.2017 01:33
        +1

        Тоже подумал поинтересоваться как после такой ситуации здоровье ответственных\участвовавших? У меня сравнимых катаклизмов было пара в жизни, один закончился нервным срывом ответственного, другой сердечным приступом руководителя (откачали вроде без последствий). У вас кроме спины директора по кап. строительству жертв не было?


  1. m0hn
    20.07.2017 15:09
    +2

    У меня был случай печальный.
    Производственное предприятие находилось на арендованных площадях, переезд был близок. Я только первые 6 месяцев на этом рабочем месте. Импровезированная серверная на холодильнике, почти под потолком. Весна. Выпал снег ночью, а утром жара и все это дело начало таять. Протекла крыша.
    Картина маслом: вода хлещет на серваки, коммутатор и ИБП.
    Обошлось окислением контакта между батареей и ИБП.
    Теперь думаю о датчике протечки :)


    1. Prous
      20.07.2017 17:20
      +4

      Протечки случались наверное у всех. И самое гнусное, это когда ты не имеешь возможности починить крышу в арендованном помещении, а владельцу здания твои проблемы неинтересны. Один раз месяц закрывал серверную стойку и кучу видеооборудования полиэтиленом из-за треснувшей плиты в крыше здания. Это было здорово, съёмочный павильон и стоят тазики, вода кап-кап, эфирная аппаратная всё в полиэтилене и тоже тазы и вёдра. Потом пришёл мэр города и сказал что надо покрасить коридор, а то он весь в протечках. Минут двадцать ушло на то чтобы объяснить ему что его выступление в телеэфире может не состоятся при капающей на аппаратуру воде. Крышу тогда починили, ровно те 20кв. метров, остальное так и течёт уже много лет.

      Я вполне понимаю бредовость ситуации для инженеров крупных компаний. Но у маленьких компаний любая проблема — это жуткий геморрой, потому как нет финансирования.


  1. persona
    20.07.2017 15:30
    +3

    У меня глупый вопрос. Чиллеры стоят под открытым солнцем. А если их поставить в тень (сделать навес), это не повысит эффективность охлаждения?


    1. dataline
      20.07.2017 17:22

      Тень действительно помогает, но навес не должен мешать воздухообмену. Это значит, он должен быть достаточно далеко, значит, быть большим (солнце на месте не стоит), значит, иметь большую парусность. А тут, сами понимаете, ураганы. Ну и дорого, и места в городе не в избытке…
      В общем, практика установки навесов над чиллерами не выглядит распространенной. Вот если существующие здания или деревья дают тень в жаркие часы – это плюс при размещении. В то же время ставить чиллеры к деревьям ближе высоты деревьев – наступать на наши грабли)


      1. ZyXI
        24.07.2017 01:52

        А если не «далеко», а поставить дырявый навес — в несколько удалённых друг от друга слоёв можно не пропускать солнце совсем, но и одного слоя достаточно, чтобы снизить освещённость (и, соответственно, нагрев)? Условно взять лист (из чего там делают навесы) и насверлить дырок до достаточной степени «немешания воздухообмену». «Условно» т.к. снизится прочность и с этим, возможно, придётся что?то делать — к примеру, не делают ли такие изначально дырявые навесы?


    1. kharlashkin
      25.07.2017 11:51

      Уже второй вопрос такого плана в комментариях. И мне непонятно, почему никто правильно не ответил до сих пор.
      В инструкциях по установке подобного оборудования есть все необходимые размеры и ограничения ограждающих конструкций (как для защиты от прямых солнечных лучей, так и для защиты «окружающего мира» от звука компрессоров/вентиляторов). И если для защиты от звукового давления подобные ограждения целесообразны и обязательны при нахождении охлаждающего оборудования в жилой зоне, то относительно защиты от солнечной радиации всё очень неоднозначно — проще заложить резерв по максимальной температуре для климатической зоны, чем городить вентилируемое здание вокруг оборудования (ограждения могут не помочь).
      К тому же нужно учитывать, что солнечная радиация не греет теплообменники, а только защитный наружный корпус. Дополнительно мы понимаем, что прокачиваемое количество наружного воздуха через теплообменники и корпуса вентиляторами, практически полностью убирают теплопритоки от нагрева корпуса солнечной радиацией.


  1. KonstantinSerov
    20.07.2017 16:02

    Хорошо еще, что ЦОД находится не в сейсмически опасной зоне


  1. m0nstermind
    20.07.2017 17:56
    +4

    Некоторые привезли на площадку переносные кондиционеры для своих стоек.

    Если это можно назвать кондиционерами ;-)
    Как то так это выглядело
    image


    1. eoffsock
      21.07.2017 10:15

      Немного не в тему, но вспомнил. Был у меня ноутбук какой-то нонейм от Прагмы, штук пять таких в городе, больше нет. Внутри — нормальный десктопный P4 с соответствующим тепловыделением вместо мобильного, четверть площади — теплообменник с трубками и радиатором, который постоянно забивался пылью.

      В какой-то момент ноутбук нужен «прямо сейчас», времени чистить нет, не чистить нельзя — перегревается минут через 10, а запущенные процессы прерывать тоже нельзя. В итоге он работал на самодельной подставке, а под ним настольный вентилятор. Жив до сих пор, только кулер найти не могу, нестандартный по размерам и питанию.


    1. dataline
      21.07.2017 13:01

      Напольные кондиционеры тоже были. Выглядели примерно так. Хотя вентиляторы тоже пользовались заслуженной популярностью. Каждый спасался, как мог.
      В сложившейся ситуации напольный кондиционер действительно позволяет локально снизить температуру, хотя в целом в зале, естественно, повышает, поскольку гофрированный хобот и близко не дотягивается до двери и дует горячим воздухом… туда, куда его направили.
      Но вообще напольные кондиционеры – это какое-то техническое недоразумение. В штатном режиме он сбрасывает горячий вохдух через хобот, скажем, в окно. Легко догадаться, что равное (и немалое) количество воздуха неизбежно засасывается в помещение снаружи, а то получился бы вакуум. Воздух этот в летнее время обычно жаркий и пыльный. Получается не кондиционер, а сто рублей убытка. Наверно, можно было бы сделать ему два хобота, один на всос, другой на выдув, тогда баланс воздуха в помещении не будет затронут, но вход и выход надо разносить во избежание короткого замыкания по воздуху, а входящий воздух, наверно, фильтровать, чтобы теплообменник конденсатора не зарос грязью… Сложно получается.


  1. Dageron
    20.07.2017 18:22
    +1

    Прекрасный рассказ! История действительно выдалась весьма неприятная, хорошо лишь то, что в критической ситуации команда смогла отработать на максимуме своих возможностей. Форс-мажор заставил вовремя проявить расчетливость и холодность ума, подойти к ситуации конструктивно, все время прорабатывая разные варианты действий (это, к сожалению, не всем людям удается в таком форс-мажоре).

    Больше всего впечатлила цитата: «после долгих и тяжких раздумий они предложили под нашу ответственность сделать то, чего делать нельзя: обойти защиту, поставив перемычки, т.е. накоротко замкнуть реле тепловой защиты».

    Невольно задумался, что где-нибудь в ЕС такое людям бы и в голову не пришло, в следствие чего аппаратура могла запросто пострадать.


    1. DjPhoeniX
      20.07.2017 19:51

      Это называется «риски». Когда шансы угрохать оборудование на сотню тысяч выше шансов «влететь» на несколько лимонов (по тем или иным причинам) — понятно что выберет здравомыслящий человек.

      С другой стороны (как я понял из статьи), клиенты к тому времени уже были оповещены об аварии и либо отключили оборудование, либо взяли ответственность на себя — так что тут уже особого риска не было. В таком случае уже вопрос «насколько хочется остаться на плаву и не отключать *вообще* всех».


    1. bozar
      21.07.2017 08:02

      Не только в ЕС.

      В.Асмолов. Случай на станции Фукусима
      <в аварийной ситуации> главное — решение поставленной задачи. В этой ситуации ее надо решать немедленно. Пусть кувалдой! Всем, что есть под рукой.
      Электричества не было на станции — но в 6 км было! Что делали бы мы — катушка кабеля и бегом. У них <т. е. японцев> это невозможно.
      Когда проложили кабель — разъемы для соединения не подошли. Так они их заказали на заводе. Хорошо, что еще тендер не объявили.


    1. kisaa
      21.07.2017 08:02
      +1

      Вот в Фукусиме в голову и не пришло, что можно подключить насосы охлаждения каким-то нештатным кабелем «на скрутках». В результате — расплавление корпуса реактора и имеем то, что имеем.


  1. cbone
    20.07.2017 23:06
    +1

    У вас чиллеры для всех конутров находятся рядом? Как вариант — разносить на разные части крыши разные контуры, чтобы исключить вариант повреждения одним предметом сразу нескольких чиллеров с разных контуров охлаждения? Или тут какие-то ограничения и так делать нельзя?


  1. js605451
    21.07.2017 02:01
    -5

    В этой статье слово "чиллер" и производные от него встречаются не менее 60 раз.


  1. ndv79
    21.07.2017 08:02

    А пожарная вентилляция не помогла бы?


    1. dataline
      21.07.2017 10:29

      И дымоудаление, и общеобменная приточно-вытяжная вентиляция обеспечивают слишком маленький расход воздуха, чтобы снять значительное количество тепла (иначе сечение воздуховодов было бы нереальным и они не поместились бы в обыкновенное здание). Люди, умудренные опытом, действительно советуют проектировать систему аварийного продува на случай отказа холодоснабжения. В отличие от дымоудаления и общеобменной вентиляции она может быть примитивной – клапаны и осевые вентиляторы, без воздуховодов и фильтров (роль воздуховода при аварии может выполнять технический коридор или просто проем на улицу). Свидетели испытаний таких систем жаловались на тучи пыли. Мы в своей практике обходимся без них.


  1. Ruddymetor
    26.07.2017 08:58

    Сочувствую. Какой урон по деньгам был?