В прошлом году авиакомпания Delta потеряла более $150 млн. Причина убытков — сбой в работе дата-центра Delta, о чем мы в свое время писали. Речь о компании Delta Air Lines, многие тысячи пассажиров которой не смогли никуда улететь из-за сбоя в ДЦ, расположенном в Атланте, США. Как и у практически любой компании, в дата-центрах Delta Air Lines есть дублирующие системы, которые начинают работать, если что-то идет не так. В резервные системы были вложены десятки миллионов долларов США, но в нужное время они просто не сработали должным образом.
Тогда не было произведено переключение с основной энергосистемы на вспомогательный генератор, и сервера просто отключились после разрядки UPS. Это происшествие повлияло на работоспособность ДЦ компании. Случившееся уже в этом месяце, почти год спустя, подверг анализу вице-президент Amazon Web Services Джон Хамильтон. В частности, он рассказал, что проблема возникла из-за нескольких идущих подряд друг за другом редких сбоев. Но, по его словам, подобное случается гораздо чаще, чем принято думать.
То самое редкое стечение обстоятельств в его карьере случалось уже дважды, а случай в Delta — уже третий. Причем именно этот случай — максимально показательный. Во-первых, его негативный эффект довольно высок. Во-вторых, случившееся уже проанализировано и разобрано по полочкам, в-третьих, все это действительно случается не так часто, так что мало кто успевает подготовиться к наступлению «часа икс».
Для начала стоит вспомнить, что Delta пришлось отменить сразу 1000 полетов в один день, 775 — на следующий день и 90 — еще через день. Как уже говорилось выше, компания потеряла около $150 млн, хотя авиакомпании и так имеют не слишком высокую прибыльность, так что восполнить убыток можно будет только в течение нескольких лет.
Кстати, проблемы в дата-центрах случаются гораздо чаще, чем о них говорят. Просто в этом конкретном случае все вышло наружу, авиакомпания при всем желании ничего не могла утаить.
Но что вообще случилось? В отчете говорилось, что «механизм переключения основного питания на аварийное дал сбой, в результате чего резервная система так и не включилась». Для того, чтобы лучше понять природу проблемы, стоит вспомнить, какое оборудование обычно используется для переключения.
В обычной ситуации электричество поступает в ДЦ через трансформаторы среднего напряжения и автоматику к бесперебойникам, которые и являются конечным источником питания для критического оборудования вроде серверов, хранилищ данных и сетевого оборудования. В той же обычной ситуации автоматика обычно лишь отслеживает качество поставляемой энергии.
Служащий Delta Airlines помогает пассажиру, чей рейс отменили, разобраться в ситуации
Если автоматика фиксирует сбой, она ждет несколько секунд (в большинстве случаев) нормализации ситуации. Если энергии нет или ее параметры не те, что требуется, в работу вступают аварийные генераторы. Для ввода в работу генератора тоже хватит нескольких секунд. Как только он входит в оптимальный режим, а все параметры вырабатываемой энергии соответствуют заданным, сеть переключается на генератор, отключаясь от основного источника питания. В ходе этих нескольких секунд, которые нужны автоматике для оценки ситуация и дальнейших действий, нужный ток дают бесперебойные элементы питания — без них в таком случае никак не обойтись. Как только «приходит в себя» основной источник, идет обратное переключиение.
В большинстве случаев, все идет так, как надо. Проблемы случаются настолько редко, что подавляющее большинство компаний никогда не сталкивается с отказом автоматики в энергетической инфраструктуре. Но если автоматика подводит, тогда компания может столкнуться с проблемами и убытками, как в случае Delta. Как она может подвести? Дело в том, что производители генераторов используют специальное ПО, которое ведет мониторинг напряжения в сети во время сбоя. Если оно слишком высокое или автоматике «не нравится» еще что-то, то генератор просто не включается. Дело в том, что стоимость его может достигать миллиона долларов или даже выше, и производитель оборудования считает, что лучший выход — это не рисковать генератором.
Но в некоторых случаях миллион долларов — это ничто по сравнению с общими убытками от сбоя, поэтому инженеры дата-центров могут предпочесть запустить генератор, хотя бы и с вероятностью его порчи. В случае с Delta Airlines техники ничего не смогли сделать, поскольку автоматика приняла решение блокировать дорогостоящий генератор (в начале не зря говорилось, что в резервную систему вложено несколько десятков миллионов долларов США). 5-10 минут, и UPS разряжаются, сервера и прочее оборудование отключается. У Delta еще и пожар случился.
Причем здесь Amazon? Дело в том, что вице-президент этой компании как-то столкнулся с аналогичной проблемой. Он выехал из дата-центра, отдалившись на приличное расстояние. И тут ему одно за другим стали приходить сообщения об отключениях UPS. Вернувшись, он понял, что именно случилось — ситуация была аналогична той, что произошла в дата-центре Delta, только без пожара. Удивительным было то, что производитель автоматики отказался помочь снять блок с генератора и запустить его, несмотря на то, что команда дата-центра была готова пойти на риск порчи оборудования. В результате Amazon тоже потерпела убытки, хотя и не такие значительные, как Delta. В случае с Amazon был налажен контакт с производителем автоматики и создано кастомное ПО, которое включало генератор в любых проблемных случаях, если того требовала обстановка.
В большинстве случаев генератор будет работать в нормальном режиме, хотя возможна и нагрузка немного выше нормы. Сохранять его в условиях отключения электричества в дата-центре нет смысла, это неправильный приоритет. Когда речь идет о сотнях миллионах долларов США, то потеря еще нескольких сотен тысяч или миллиона играет не слишком большую роль. В случае Delta блокирование генератора привело к уже описанным последствиям и потере даже не сотни, а полутора сотен миллионов долларов США.
Комментарии (45)
ProRunner
12.04.2017 15:00+7Я так и не понял, почему генератор не включился у Дельты
производители генераторов используют специальное ПО, которое ведет мониторинг напряжения в сети во время сбоя. Если оно слишком высокое или автоматике «не нравится» еще что-то, то генератор просто не включается.
Что именно «не понравилось» автоматике?
JerleShannara
12.04.2017 15:46+3Тот-же самый вопрос: каким раком тут высокое напряжение в сети? Стартер генератора запускается от внешней сети а не от своих аккумуляторов? Тут простите идиотизм получается. Генератор какого-то черта мониторит напряжение ввода? На кой ляд ему это надо, автоматика отключила ввод, техника на UPS, генератору должно быть пофигу, 0 вольт там или 1000.
Pakos
12.04.2017 15:52(просто мысли) Экономия? побережём ресурс своей батареи, если есть внешнее напряжение, то пускаемся от него (для тестовых прогонов, например), а если нет — от акка. Напряжение внешнее есть? Есть. Переход к ветке пуска от внешней сети. Напряжение устривает? Нет. Какого… ну не запускаемся значит.
Это всё, конечно, если статья не про учёного маньяка-журнолистофила.
monah_tuk
13.04.2017 07:21+1Не в тему, но генератор должен включаться в сеть синфазно. Так что должна быть автоматика для синхронизации сети и генератора. При включении в противофазе получаются большие динамические нагрузки, которые часто значительно превосходят запас прочности электрической машины: http://www.induction.ru/library/book_002/glava6/6-9.html. За время учёбы упоминали два случая: один на электростанции, какой уж не помню, там включение в противофазе привело к разрушению блока турбина-генератор, второй на БПК пр.1155 — привело к разрушению генератора. В обоих случаях синхронизация была ручная. На лабораторных работах нам позволяли включать генератор при нахождении немного вне зоны допуска, прочувствовать биения, желания включить в противофазе сразу пропало :)
Но при чём тут напряжение я тоже затрудняюсь ответить. Более того, как оно может быть больше при питании от АКБ/инверторов?
Скорее всего тут несколько другой набор параметров, а для журналистов сказали "как проще". Например — сложности синхронизации при наличии большого числа искажений от импульсных источников (преобразователей/выпрямителей/итп).
Frankenstine
13.04.2017 09:31Для генератора питания ДЦ никакой синфазности с питающей сетью не нужно, так как сначала идёт отключение ДЦ от питающей сети (либо она сама пропадает), затем включение генератора (если сеть не нормализовалась за несколько секунд), и затем подключение генератора к ДЦ.
monah_tuk
13.04.2017 14:01Это только при условии, что ДЦ не является большой нагрузкой и генерацией. Что тоже относительно. А генерация в этой сети так же существует: инверторы на ИБП. Так что эти две генерации: ИБП и генераторы, могут существовать вместе в какой момент времени.
JerleShannara
13.04.2017 18:14Стоп. Внешняя сеть пропала/выдала 600 вольт вместо 380/выдала 24 вольта постоянки. Автоматика ДЦ отключает ВВОД(переходит на другой ввод, если у нас хоть какойто TIER) и становится в режим мониторинга отключенного ввода. Онлайн UPS это дело спокойно понимает, нагрузка работает теперь только от батарей, на вводе UPS при этом ноль вольт, внешний ввод выключен. Автоматика ДЦ что-то анализирует (не на 10 секунд ли тут просто пропало всё например) и даёт команду старт на ДГУ. ДГУ должно стартовать, выйти на рабочий режим, оповестить об этом автоматику ДЦ и та уже включает ввод питания от ДГУ. УПСы спокойно обнаруживают, что 380/400в 50/60Гц вернулось на место и запускают AC/DC конверторы, техника теперь работает от сети. Если ДГУ подключается к нагрузке минуя UPS — это что-то странное получается.
Igor_O
13.04.2017 18:45Если ДГУ подключается к нагрузке минуя UPS — это что-то странное получается.
В ЦОД от пиковой потребляемой мощности ИТ оборудование составляет в среднем в пределах 50%.
Даже в системах с фрикулингом обычно есть резервные чиллера или фреоновые контуры на полную мощность на случай сильной жары или, например, задымления на улице.
Соответственно, ИБП питает ИТ оборудование и часть вспомогательных систем. 40-45% от пиковой мощности ЦОД к ИБП не подключены.
Автоматика ДЦ отключает ВВОД(переходит на другой ввод, если у нас хоть какойто TIER)
Если у нас даже Tier IV — ввод имеет право быть один. Не надо путать наши категории с их Tier. Tier — он вообще о другом.
Дальше начинаются нюансы. Есть много способов реализовать АВР и много способов реализовать логику переключения. Кто-то ставит небольшой промышленный контроллер, кто-то ставит автоматы с мотор-приводом и специальные контроллеры на каждый автомат, кто-то вообще никакой логики не делает — в АВР реализован минимум функций типа: два контактора, реле контроля фаз на вводах, реле с задержкой выключения или включения для реализации задержки переключения на основной ввод. А уже панель управления ДГУ смотрит за состоянием внешней сети и принимает решение о запуске.
Как это было реализовано в ЦОДе Delta Airlines — информации я не нашел.
foxin
12.04.2017 16:25Могу допустить, что после переключения на генераторы — автоматика «увидела» нагрузку от серверов + желание ИБП подзарядиться, может еще что-нибудь, общая мощность нагрузки превышала номинальную для генератора (что чревато выходом генератора из строя) — так что генератор был выключен.
nickolaym
12.04.2017 20:40+1Значит, интеграторы оказались недальновидными?
Понятно же, что пиковая мощность, снимаемая с генератора, равна мощности основных потребителей плюс мощности упсов (которая несколько превосходит мощность потребителей — ведь упс должен зарядиться как можно быстрее).
Итого, пиковая мощность в два с хвостом раза больше номинальной.
То есть, и генератор, и провода, и коммутаторы должны быть готовы к такой мощности и такому току.
Может быть, надо было кастомизировать не генератор, а упс, — чтобы тот не подзаряжался сразу со всей дури…monah_tuk
13.04.2017 07:29+2Мне кажется, что непрофессионализм — бич современной цивилизации. Про перегрузки писал ниже.
А есть ещё: коэффициенты запаса, одновремённости (не знаю нормативов для ЦОД, но я бы его взял 1 :)) и т.п.
monah_tuk
13.04.2017 07:27Для всех электрических машин (трансформаторы, генераторы, двигатели), у нас по крайней мере, закладываются т.н. допустимые перегрузки и нормируется время этих перегрузок. Ну и при расчёте учитывается при выборе номинальной мощности трансформаторов/генераторов. Для ответственных применений их ставят в паре, что бы выход из строя одного, перевёл бы второй второй в режим перегрузки, но снабжение электричеством осталось бы. Дальше вопрос сигнализации и своевременного оповещения обслуживающего персонала.
DrZlodberg
12.04.2017 15:07+20Аварийная система, которая в случае аварии в первую очередь спасает себя? Куда катится этот мир…
Pakos
12.04.2017 15:47+4"Второе правило робототехники", люди-же не пострадали. ИИ ближе, чем кажется, пока он скрывается под видом добродушных генераторов.
DrZlodberg
12.04.2017 16:13Ну тут скорее везение. Сейчас от электроники очень многое зависит, и системы могли навернуться в более болезненном месте.
masterspline
12.04.2017 16:52Я, конечно, не знаю, что там произошло в том датацентре и почему автоматика заблокировала запуск генераторов, но допускаю, что такое возможно. Если на выходе генератора короткое замыкание или нагрузка, превышающая его мощность, то его включение наверняка приведет не только к выходу из строя самого генератора и, возможно, защищаемого оборудования, а также пожару. Вот от таких ситуаций автоматика и пытается защитить. Кроме того, генератор обычно не один — их несколько, и все они должны работать в одной фазе (чтобы опять же не закоротить друг друга), а для этого должна работать система синхронизации генераторов. В общем, причин, по которым включение генератора может не только не спасти ситуацию, а усугубить ее, добавив к выключению питания еще и пожар, довольно много. Таким образом, автоматика работает по алгоритму «не навреди».
Другое дело, что должна быть возможность обойти автоматику, когда она приняла неверное решение, и вручную запустить систему по команде от главного инженера-электрика (который отлично понимает, к чему может привести включение генератора в данной конкретной ситуации и что большая красная кнопка — это не решение всех проблем, а заметный риск).
dmitry_ch
12.04.2017 15:08+7Непонятно. Во-первых, байпасы там точно есть, и они должны давать возможность обойти умную автоматику и подать мощность, куда нужно.
Во-вторых, запуск генератора — это не секунды. И автоматика выдерживает до перехода на него тоже не секунды (хотя бы из-за переходных процессов). Так что механизмы перехода на резерв и назад делаются не зря.
Другое дело, что в статье много слов, и мало сути: какие параметры питания не устроили контрольный софт, например.
Да и вообще, какой производитель так «пошутил» в своем ПО? Сдается мне, у него теперь отдельные, «интересные» моменты в продаже своего оборудования наступили…
Igor_O
12.04.2017 17:31+14На самом деле — официальной информации о том, что случилось в ЦОД у Delta Airlines — вроде как не опубликовано…
Соответственно, дальше можно только придумывать версии. Все версии, к сожалению, включают некомпетентность энергетиков-эксплуатантов и проектировщиков.
Наиболее часто встречающаяся версия — сбой при плановом пуске ДГУ привел к возгоранию АВР. Возникновение такой аварии, при которой может загореться АВР при пуске ДГУ означает ошибки проектирования. То, что при 4х резервных генераторах произошло отключение энергоснабжения — означает ошибки проектирования.
Собственно сбой, который мог произойти при пуске генератора — это попытка подключения в сеть несинхронизированного ДГУ. Это действительно вызывает эффекты, аналогичные короткому замыканию. Дальше — частая ошибка проектировщиков таких систем, что ток КЗ должен рассчитываться исходя из того, что на поддержание этого тока работает и сеть, и ДГУ. Похоже, что это учтено не было и ток КЗ превысил допустимый ток КЗ в аппаратах АВР, что вызвало возгорание. Что, само по себе, не должно было вызвать обесточивания оборудования.
Описанный в статье сценарий (вообще, описанный в статье сценарий — невозможен. Спишем это на ошибки дилетанта, который попытался простыми словами записать объяснение профессионала)… Так вот, описанный сценарий, скорее всего говорил о том, что в сети напряжение было, но оно выходило за допустимые по частоте и/или напряжению. А дальше начинается цепочка ошибок службы эксплуатации, наложившихся на американские «best practices» и ошибки проектировщиков.
Дело в том, что в США общепринято использование АВР в режиме «Make Before Break» — то есть переключение, при котором на какое-то короткое время ввода соединены между собой. Кстати, у нас такой режим, в общем случае, запрещен и такой сценарий был бы просто невозможен.
В результате, для того, чтобы при переключении не случилось аварии, перед переключением при наличии питания на одном из вводов, ввода должны быть синхронизированы.
В ситуации, если напряжение в сети в принципе есть, но не соответствует требованиям (которые определены ГОСТами и прочими UL c ISO) генератор не имеет права синхронизироваться с сетью и подключаться в систему.
И это — ПРАВИЛЬНО! Проблема не в «повреждении генератора», а в том, что с большой вероятностью повылетает куча автоматов в разных странных местах и все равно все отрубится.
Соответственно, здесь уже ошибка проектировщиков, которые не предусмотрели такой сценарий, и не ввели для такой ситуации режим переключения АВР в «Break Before Make». Но это само по себе — тоже не так уж и принципиально. Но в этот момент возникла авария в головах службы эксплуатации. Они не додумались, что можно просто отрубить рубильником ввод от сети, запустить генератор и тогда, без необходимости синхронизироваться, АВР все нормально подключит-переключит.
Выводы простые:
1. Для ответственных ЦОДов необходимо делать примерно по рекомендациям Tier III — два независимых пути распределения энергии от ввода до ИТ нагрузки устроенных таким образом, чтобы отключение или включение любого рубильника в системе не приводило к обесточиванию нагрузки.
2. Не слушайте Uptime Institute и прочие «Best Practices». Делайте только АВРы, которые переключают ввода с разрывом в питании. Да, не очень хорошо для фреоновых, например, кондиционеров. Зато вероятность аварии при переключении резко снижается.
Deosis
13.04.2017 08:20+4Комментарий, который лучше статьи.
Также слышал, что энергоснабжающие компании в США в случае перегрузки вместо отключения пары потребителей для выравнивания ситуации предпочитают просто упасть и вызвать обширный блэкаут, чтобы не платить компенсации.
Frankenstine
13.04.2017 09:41Когда питающая сеть выходит за пределы допустимых значений, ДЦ отключается от неё. Зачем запускать генератор и подключать его к питающей сети, а не к ДЦ? Я вообще не могу себе представить ситуации, когда резервный генератор подключается к питающей сети, это же абсурдная ситуация: если мы запускаем генератор, значит к сети подключаться нельзя. То, что вы описываете, относится к переключению с одного ввода (питающей сети) на другой ввод (питающая сеть другого поставщика энергии).
Igor_O
13.04.2017 11:12Я ж говорю, «у них там» так сложилось исторически, что при наличии напряжения на двух вводах одновременно, переключение производится без разрыва подачи напряжения на потребителя. У нас на такой режим можно, иногда, получить ТУ (я пока встречал живьем один случай), но тянет замену ячеек и релейных защит.
Соответственно, скорее всего, возникла ситуация, что АВР при наличии напряжения в сети пытается переключить на генератор без разрыва, но напряжение или частота за допустимыми пределами, соответственно, переключаться нельзя, но напряжение есть и нужно переключиться без разрыва, но напряжение… Круг замкнулся. Т.е. просто проектировщики не знали, что напряжение в сети может не соответствовать требованиям…Frankenstine
13.04.2017 11:28Я так и не понял, как это возможно даже чисто теоретически, если ДЦ от сети отключается автоматикой ДО запуска генератора, и генератор к сети подключаться не должен ни под каким соусом. Вы всё ещё говорите лишь о переключении с одного сетевого ввода на другой, а не о переходе с питания сетевого на питание от генератора.
Igor_O
13.04.2017 12:38Еще раз. ДЦ от сети не отключается. Не принято у них отключать ДЦ от сети до того, как подключен генератор, если в сети есть напряжение. Генератор — для АВР — один из вводов. Там где я говорил про «сеть» — это то, что у них называется Utility, внешний источник электроэнергии. Где говорил про ДГУ — про ДГУ. Там где говорил про «ввод» — про любой возможный источник электричества в ЦОД: сеть, ДГУ, солнечные панели, ветряки, что угодно.
Frankenstine
13.04.2017 14:28Отключается ДЦ от сети, отключается — иначе как бы UPS'ы разрядились-то? :)
Сначала происходит возникновение аварийной ситуации: питающая сеть начинает «гнать пургу» (или пропадает насовсем).
Зафиксировав такое событие, автоматика отключает ДЦ от сети.
Следующим этапом должен произойти запуск генераторов.
После выхода генераторов на рабочий режим, должно произойти подключение ДЦ к ним. Подключение генераторов к сети не имеет смысла! Мы не собираемся подавать энергию чужим потребителям!
В описанной ситуации запуск генераторов не произошёл вообще, причина нам не известна. Запуск генераторов должен производиться безотносительно томиу, есть ли какое-то напряжение в питающей сети или нет — «синхронизация с нулём» (когда сеть просто погасла) так же невозможна, так как это означает закоротить генераторы накоротко. Никогда генераторы не должны подключаться к питающей сети!
Если бы всё было как вы описываете — генераторы в аварийной ситуации никогда не смогли бы быть запущены, они могли бы быть запущены только при нормально действующей питающей сети!Igor_O
13.04.2017 16:17+1иначе как бы UPS'ы разрядились-то?
Разрядить ИБП в такой ситуации тоже достаточно просто — если напряжение на входе вышло из «номинал ± 15%», то ИБП большой мощности уходит работать от батареи, чтобы не пожечь входящие кабельные линии.
Подключение генераторов к сети не имеет смысла!
Там есть много тонкостей и особенностей. Есть ситуации, когда смысл есть. Главное — все настроить и отрегулировать правильно.
А с логикой работы АВР в свое время мы с Uptime Institute'ом много бодались — они жестко требовали «Make before break». Мы отбивались и слали ссылки на ПУЭ, ТУ и прочее о запрещенности такого режима работы у нас.Frankenstine
15.04.2017 00:15Есть ситуации, когда смысл есть
Как бывший электрик, я отказываюсь верить в существование таких ситуаций, и, соответственно, в использование режима «Make before break» при подключении генераторов резервного питания. Это просто не имеет никакого смысла.Igor_O
19.04.2017 18:49Ну например… Генератор может принять разово без серьезных последствий не более 60% от номинальной мощности. Следовательно, требуется устраивать ранжирование нагрузки, плавные пуски всякие и т.п. При «Make before break» — можно построить систему так, что ничего не нужно отключать и передать нагрузку на генератор плавно.
Опять же, есть нагрузки для которых очень неприятен именно перерыв в питании в пару-тройку секунд.
Плюс, не забывайте, энергосистема США очень сильно отличается от Европы. Особенно в части «низкого напряжения». Там практически все потребители подключены через трансформатор. А это накладывает свои особенности и проблемы.Frankenstine
21.04.2017 13:42Генератор может принять разово без серьезных последствий не более 60% от номинальной мощности
Откуда вы это придумали?
можно построить систему так, что ничего не нужно отключать и передать нагрузку на генератор плавно
Объясните, как. Правила Кирхгофа говорят, что там, где выше напряжение — будет источником тока, а остальная часть сети — потребитель. Следовательно, при «Make before break» подключении генератора, он будет пытаться питать всех потребителей сети, сидящих на той же линии (трансформаторы ведь работают в обе стороны), и будет гарантированно перегружен (фактически это будет аналогично запуску на короткозамкнутую цепь).
Именно поэтому генератор никогда не будет подключен к питавшей ранее сети, а в мануале к любому генератору в обязательном порядке прописано требование его запуска на холостом ходу, т.е. без подключения нагрузки, и нагрузку разрешено подключать только после выхода на рабочий режим.
Frankenstine
13.04.2017 14:35P.S. погуглив, я выяснил, что сбой произошёл из-за короткого замыкания, которое и вызвало пожар в ДЦ. Скорей всего автоматика зафиксировала факт КЗ в нагрузке и отказалась запускать генераторы до его устранения. То есть в статье описан «испорченный телефон», а автоматика сработала правильно — запуск генератора на короткозамкнутую нагрузку действительно привёл бы к выходу из строя генератора и ещё большему пожару.
Deosis
13.04.2017 12:29Так они сами и пишут: Если нет напряжения или оно не соответствует допустимым нормам.
Маркетологи додумались, а проектировщики нет?Igor_O
13.04.2017 12:45Всякое бывает. Вон у Сбера сколько раз ЦОД падал при пропадании внешней сети из-за проблем с генераторами. Года два ушло на наладку запуска ДГУ и их автоматической синхронизации. И это было на Tier III сертифицированной площадке!
А при параллельной работе с сетью у ДГУ все еще хуже — если на входе сеть уходит за ± 10%, генератор отваливается от системы.
HellMaster_HaiL
12.04.2017 17:32+14Аварийный генератор не запустился, потому что его не запустила автоматика, которой что-то не понравилось в напряжении сети, потому производитель так захотел, потому что авиакомпания потерпела убытки, потому что менеджер амазона ехал на машине из датацентра из-за нескольких идущих подряд друг за другом редких сбоев, что случается гораздо чаще, чем принято думать.
Я так и не понял кто кого изнасиловал.
Contriver
12.04.2017 23:20производитель автоматики отказался помочь снять блок с генератора и запустить его, несмотря на то, что команда дата-центра была готова пойти на риск порчи оборудования
Юридически при пожаре и термодинамическом взрыве от КЗ, был бы виноват производитель генератора.
Сколько стоит устранение последствий пожара, стоимость простоя или восстановления оборудования дата центра -НЕ ПОДСКАЖЕТЕ?
Вы никогда, не наблюдали пожары в силовых электрошкафах, не успеете добежать до огнетушителя.
Тушил как то сборку от ввода с подстанции 380в 1200A:
Автоматы защиты не отключи-приварились контакты.
Все дежурные инженеры и сисадмины разбежались как тараканы при виде гудящего пламени, искр, оглушающей сигнализации- с дикими воплями, у тебя есть допуск по электробезопасности- ты отключай и туши, звони куда надо, а у нас семьи.
А у инженера производителя ГЕНЕРАТОРА тоже и кушать и работать в компании ему хочется.
alexoron
13.04.2017 13:19- Разве перед вводом в экспуатацию они не должны практиковать разные ЧП?
- Надеюсь Delta Airlines подадут в суд на производителя генератора?
- А теперь представим вместо Delta Airlines например, атомную электростанцию. В этом случае могут пострадать миллионы граждан в том числе соседних государств.
Igor_O
13.04.2017 14:09А теперь представим вместо Delta Airlines например, атомную электростанцию. В этом случае могут пострадать миллионы граждан в том числе соседних государств.
Ээээ… Фукусима? Как раз, та же фигня — генераторы не запустились. Точнее, их залило водой и они сдохли.
4 пострадавших в инциденте — один упал с подъемного крана во время землетрясения, двое утонули в цунами, один умер от сердечного приступа. Миллионы, как ни странно, пострадали кроме Японии еще в Германии и США, оставшись без чистого и безопасного электричества…alexoron
13.04.2017 16:23Ну… Фукусима далеко на острове построена. Не будем далеко забегать и вспомним Чернобыль.
Когда рвануло, выбросы понесло через всю Европу, в совке молчали.
Насколько помню, только через неделю после шумихи поднятой европейскими странами в совке признали аварию и начали эвакуацию.
Интересно, а если бы радиоактивное облако понесло на Москву, правительство что-то делало-бы???
Так как европейские страны не подняли бы шумиху и в совке все жили бы счастиво, правда ночью светились бы, но это не страшно для настоящих комунистов)))
stanislavskijvlad
14.04.2017 15:37Есть другое решение.
Использовать сверхтяжелый вал.
На входе — электродвигатель, на выходе — генератор.
Частота регулируется вариатором или трансмиссией,
если обороты начинают снижаться.
А вообще, у такой крупной компании должна быть собственная электростанция, хоть на мазуте, хоть на природном газе.Igor_O
14.04.2017 18:25Мотор-генератор — штука хорошая, до сих пор используются как один из немногих методов, не допускающий прохода на вход высокочастотных помех, и, соответственно, сильно затрудняющий съем информации с электросети. Добавим маховик — получаем динамический ИБП. Только засада одна — «время автономной работы» — от единиц до небольших десятков секунд. Пережить секундное моргание света при переключении на подстанции — можно. Пережить перерыв между пропаданием напряжения и пуском ДГУ — только если дизель на том же валу живет (дизель-динамический ИБП получается).
(еще одна проблема динамических ИБП — механика. Ее нужно смазывать и обслуживать, ремни менять регулярно, или муфту соединительную… не зря сейчас в первую очередь пытаются электронные фильтры ставить...)
А вообще, у такой крупной компании должна быть собственная электростанция, хоть на мазуте, хоть на природном газе.
В данном инциденте собственная электростанция не спасла бы… В любом случае, мог бы быть шанс КЗ и возгорания АВР и, следовательно, падения всего ЦОД по тому же сценарию.
Ivanii
14.04.2017 15:37Далеко ходить не нужно — годовалый не использовавшийся генератор «Technic 15000 TE C» стоящий в котельной как аварийный, при проверке отказался заводиться, диагноз — сдохла аварийная автоматика(блокирует стартер и зажигание) и этот дефект у них стандартный…
LAZst
14.04.2017 15:37+1Если оно слишком высокое или автоматике «не нравится» еще что-то, то генератор просто не включается.
Не могу понять, какое дело автоматики генератора до того какое напряжение в сети если он сам являетя источником напряжения?
Единственное что может мониторить эта автоматика так это потребляемую мощность. но тут тогда косяк тех кто отвечает за работоспособность ДЦ т.к. превысили допустимую норму потребления.Igor_O
14.04.2017 18:29Не могу понять, какое дело автоматики генератора до того какое напряжение в сети если он сам являетя источником напряжения?
Зависит от режима работы, настроек и наличия напряжения в сети. Если генератор умеет работать параллельно с сетью, он обязан мониторить напряжение в сети. Если напряжение в сети отличается от номинала достаточно сильно, генератор не умеет с такой сетью синхронизироваться и к ней подключаться.
Shtucer
Желания убивают.