Качество системы электроснабжения – важнейший показатель уровня сервиса современного дата-центра. Это понятно: абсолютно все оборудование, необходимое для работы ЦОДа, питается электричеством. Не будет его – серверы, сеть, инженерные системы и СХД прекратят функционировать до полного восстановления электроснабжения.
Рассказываем, какую роль в бесперебойной работе ЦОДа Linxdatacenter в Петербурге играют дизельное топливо и наша система контроля его качества.
Вы удивитесь, но специалисты Uptime Institute при сертификации ЦОДов на соответствие отраслевым стандартам качества первичную роль при оценке системы электроснабжения отводят качеству работы дизель-генераторов.
Почему? Бесперебойная работа ЦОДа играет центральную роль для цифровой экономики. Реалии таковы: 15 миллисекунд перебоя питания ЦОДа достаточно для нарушения бизнес-процессов с ощутимыми для конечного пользователя последствиями. Много это или мало? Одна миллисекунда (мс) — это единица времени равная одной тысячной доле секунды. Пять миллисекунд — время, необходимое пчеле для осуществления одного взмаха крыла. Чтобы мигнуть, человеку нужно 300—400 мс. Одна минута простоя еще в 2013 году обходилась компаниям в среднем в 7900 долларов, по данным компании Emerson. На фоне все большей цифровизации бизнеса убытки могут составлять сотни тысяч долларов за каждые 60 секунд простоя. Экономика требует от бизнеса 100%-ной подключенности.
И все-таки, почему дизель-генераторы считаются по UI основным источником электроснабжения? Потому что в случае отключения магистральных сетей питания ЦОД может полагаться на них как на единственный источник питания для сохранения работоспособности всех систем до восстановления подачи тока по основным каналам.
Для нашего ЦОДа в Санкт-Петербурге вопросы, связанные с источниками питания, играют особо важную роль: дата-центр полностью независим от городской сети и обеспечивается электроэнергией за счет газо-поршневой электростанции мощностью 12 МВт. Если подача газа по каким-то причинам прекращается, ЦОД переходит на работу на ДГУ. Сначала запускаются ИБП, мощностей которых хватает на 40 минут бесперебойной работы ЦОДа, дизель-генераторы запускаются в течение 2-х минут после остановки работы газо-поршневой станции и работают на имеющемся запасе топлива еще как минимум 72 часа. Параллельно в действие вступит контракт с поставщиком топлива, который обязан привезти оговоренные объемы в ЦОД в течение 4 часов.
Подготовка к сертификации Uptime Institute на соответствие стандартам операционного управления Management & Operations заставила нас обратить самое пристальное внимание на процесс поставки топлива для дизелей, контроль его качества, взаимодействие с поставщиками и т.д. Это логично: качество работы АЭС в Сосновом Бору от нас никак не зависит, а вот за свой участок электросети мы должны отвечать в полном объеме.
ДТ для ЦОД: на что обратить внимание
Для того, чтобы генераторы проработали долго, надежно и экономично, следует не только приобретать надежную технику, но и правильно подбирать для них дизельное топливо (ДТ).
Из очевидного: у любого топлива есть срок годности – 3-5 лет. Оно также довольно сильно варьируется по различным параметрам: один его вид подходит для использования зимой, другой – совершенно для этого не годится, и его использование приведет к масштабной аварии.
Все эти моменты необходимо тщательно отслеживать, чтобы не допустить ситуации незапуска ДГУ из-за просроченного или неподходящего по сезону топлива.
Один из важнейших параметров классификации – тип используемого топлива. На высокую производительность и надежность работы оборудования влияет уже качество выбранного типа от конкретного поставщика.
Правильный выбор ДТ обеспечит следующие преимущества:
- высокий КПД;
- экономичность и низкая стоимость;
- высокий крутящий момент;
- высокая степень сжатия.
Цетановое число
На самом деле ДТ имеет множество характеристик, которые вы можете изучить в паспорте конкретной партии продукции. Однако для специалистов основными критериями определения качества этого вида топлива являются цетановое число и температурные свойства.
Цетановое число в составе ДТ определяет пусковые способности, т.е. способность горючего к воспламенению. Чем это число выше, тем быстрее топливо сгорает в камере – и тем равномернее (и безопаснее!) горит смесь дизеля и воздуха. Стандартный диапазон его показателей составляет 40-55. Качественное ДТ с высоким значением цетанового числа обеспечивает двигателю: минимальное время, требуемое для прогрева и зажигания, равномерную работу и экономичность, а также высокую мощность.
Очистка дизельного топлива
Попадание в дизельное топливо воды и механических примесей еще более опасно, чем для бензина. Такое топливо может стать непригодным для использования. В некоторых случаях, наличие механических примесей можно обнаружить в качестве осадка на дне емкости с ДТ.
Вода также отслаивается от топлива и оседает на дне, что и позволяет установить ее присутствие. В неотстоявшемся ДТ вода вызывает его помутнение.
Улучшить эксплуатационные характеристики поможет очистка дизельного топлива. Для этого существуют специальные установки и фильтрующие системы. Выбор оборудования для такой процедуры зависит от того, от чего именно необходимо очистить топливо – парафина, механических примесей, серы или воды.
За качество очистки топлива отвечает поставщик, именно поэтому важно иметь систему контроля поставщика, о чем мы поговорим ниже, и не забывать о дополнительных мерах. Так, для доочистки топлива мы установили сепараторы топлива Separ на топливопроводе каждого ДГУ. Они предотвращают попадание механических частиц и воды в генератор.
Сепаратор топлива.
Погодные условия
В погоне за качеством и доступной ценой для топлива компании часто забывают о температуре, при которой будет работать станция. Иногда выбор одного горючего «на любую погоду» не приносит особого вреда. Но если станция используется на открытом воздухе, стоит выбирать топливо в соответствии с климатическими реалиями.
Производители делят дизельное топливо на летнее, зимнее и «арктическое» — для экстремально низких температур. В России за разделение топлива по временам года отвечает ГОСТ 305-82. Документ предписывает использовать летние марки горючего при температуре выше 0 °C. Зимнее топливо подходит для применения при температуре до -30 °C. «Арктическое» — при холоде до -50 °C.
Для стабильной работы дизель-генераторов мы приняли решение закупать зимнее дизельное топливо -35?. Это позволяет не задумываться о сезонных изменениях погоды.
Как мы проверяем топливо
Чтобы дизель-генераторы работали надежно, необходимо убедиться, что поставщик отгружает именно то топливо, которое вам необходимо.
Мы долго думали над решением этой задачи, рассматривали вариант отбора проб и их отправки на анализ в специальные лаборатории. Однако такой подход требует времени, да и как поступать, если анализы придут неудовлетворительные? Партия уже отгружена – возврат, перезаказ? И как быть, если такой перезаказ выпадет на период, когда необходимо запускать генераторы?
И тогда мы решили замерять качество топлива на месте, с помощью октанометров, конкретно – используя SHATOX SX-150. Этот прибор позволяет проводить экспресс-анализ поставляемого топлива, определяя не только цетановое число, но и температуру застывания и вид топлива.
Принцип работы октанометра основан на сравнении октановых/цетановых чисел аттестованных образцов ДТ/бензина с проверяемым ДТ/бензином. В спецпроцессор введены используемые таблицы аттестованных видов топлива, которые программа интерполяции сравнивает с параметрами забранного образца и с поправками на температуру образца.
Данный прибор позволяет получать результаты качества топлива в режиме реального времени. Правила измерения качества топлива с помощью октанометра записаны в регламенте для службы эксплуатации.
Принцип работы октанометра
- Датчик прибора устанавливается на горизонтальную поверхность и подключается к измерительному блоку.
- Прибор включается при пустом датчике. На измерительном приборе отображаются нулевые показания CETANE:
- Cet = 0.0;
- T fr = 0.0.
- После проверки работы прибора необходимо залить в датчик топливо до полного наполнения. Процесс измерения и обновления показаний занимает не более 5с.
- После измерения данные вносятся в таблицу и сравниваются с показаниями нормы. Для удобства в ячейках установлено автоматическое выделение значений цветом. При допустимых показаниях окрашивается в зеленый цвет, при неудовлетворительных параметрах – красный, что позволяет дополнительно контролировать параметры поставляемого топлива.
- Для себя мы выбрали следующие нормальные показания качества топлива:
- Cet = 40-52;
- Tfr = от минус 25 до минус 40.
Таблица учета топливных ресурсов
Дата | Приемка топлива | Проверка качества | |
18 января 2019 | 5180 | Cetane | 47 |
TFr | -32 | ||
Type | W |
PROFIT! или как это сработало
Собственно, первые результаты проекта мы начали получать сразу же после запуска системы контроля в эксплуатацию. Первый же контроль показал, что поставщик привез топливо, несоответствующее заявленным параметрам. В результате мы отправили цистерну обратно и запросили замену партии. Без системы контроля мы могли бы нарваться на ситуацию незапуска ДГУ из-за низкого качества топлива.
В самом общем, стратегическом плане, подобный уровень продуманности контроля качества дает полную уверенность в бесперебойности энергоснабжения ЦОДа, когда мы можем полностью положиться на себя в решении задачи поддержки 100%-ного uptime-режима работы площадки.
И это не просто слова: пожалуй, мы единственный ЦОД в России, который может при проведении демонстрационного тура для клиента на просьбу «А вы можете отключиться от основной схемы питания, чтобы показать переход на резервную?» отвечаем согласием и тут же, на глазах, переводим все оборудование на резерв в любой момент времени. Самое главное, что сделать это может любой сотрудник с соответствующим уровнем допуска: процессы отлажены в достаточной степени, чтобы не зависеть от конкретного исполнителя – настолько мы уверены в себе в данном отношении.
Впрочем, не только мы: процесс контроля качества ДТ при прохождении сертификации по Uptime Institute обратил на себя внимание аудиторов организации, которые взяли его себе на заметку в качестве отраслевых best practices.
Комментарии (13)
Hardened
13.09.2019 07:14Да коротит это все. В том числе по причинам человеческих ошибок при ручном обслуживании. Точно никого не поджаривали хотя бы на уровне отдельного модуля?
Diamitra
15.09.2019 21:29Спасибо автору за статью. Один из элементов/подсистем мониторинга раскрыт. Дискуссия, как иногда бывает, ушла в одну цифру и обсуждение переключилось из физики (статья) на математику и статистику.
AlexBaga
15.09.2019 21:30Я правильно понял, что поставщик ДТ взял на себя транспортные расходы «забракованной» партии ДТ, основываясь на данных этого экспресс анализа? Это возможно лишь в случае, когда сам поставщик знает, что некондицию подсовывает.
Грамотный юрист + отдел качества поставщика разнесут вас вклочья при судебном разбирательстве, с возмещением всех издержек.
Escabaro
15.09.2019 21:30Почему не ГПУ, к примеру jenbacher j312? которая более стабильна и нет нюансов в работе с низкими температурами да и вообще качество газа особо не влияет на работу, + экономия на лицо
amarao
… когда мы можем полностью положиться на себя в решении задачи поддержки 100%-ного uptime-режима работы площадки.
Серьёзно? Вы готовы поручиться за 100% аптайм? Никаких ремонтов байпасов, отказов при тестировании генераторов, расхождения фазы сети и генерации, вылетающих упсов, залетающих в щитовую псов и прочих смешных историй?
Я вот точно знаю, что чем более опытный оператор дата-центра, тем менее он склонен к обещанию 100%. 100% обычно обещают те, у кого пока никаких смешных историй не было, собственно, до первой истории. Остальные сдержаннее и говорят про SLA, с допустимыми параметрами отказа, окнами на обслуживание и тестирование оборудования и т.д.
achesnov Автор
100% аптайм клиентов – это наша текущая реальность и то, к чему мы стремимся. Все падения коммерческих ДЦ хорошо видимы и известны.
У нас законтрактованный SLA 99,98% по одному из вводов. Плановое ТО проводится на регулярной основе. Оборудование обслуживается поочередно. Ни каких прерываний сервисов для клиентов не предусматривается. При резервирование N+1 и 2N отказы в работе энергосистемы практически исключаются.
amarao
Скажите, а у вас дизеля и упсы через что подключаются к сети ДЦ? вот стоит дизель. Из него, грубо, торчит 4 провода. Есть упс. Из него торчит 4 провода. Есть городская линия — ещё 4 провода. И вот у вас 12 проводов с разным 380, и 4 входных к серверам. Что между ними?
(Вопрос очень подлый и на него ДЦ обычно очень не любят отвечать, потому что в финале там всё равно одна железка, поломка которой оставляет ДЦ без всего).
achesnov Автор
Если Вы имеете ввиду ГРЩ, то он тоже зарезервирован. Также, при отказе автоматики ГРЩ наш дежурный персонал обучен действиям и произведет переключения в ручном режиме.
P.s. Касательно проводов, то Вы здесь немного просчитались, упустив по одному из проводников, скорее всего РЕ проводник .
amarao
Вот именно финальная штука, в которой и происходит переключение, и называется байпас (позволяющий пустить электричество мимо электроники). Это гигантская медная пластина, соединяющая не менее гигантские контакты. К сожалению, байпасы горят не хуже всего остального (на мегаваттных-то мощностях), а когда выгорают байпасы, то дальше уже "всё".
achesnov Автор
Байпас (англ. bypass — обход) — резервный путь, запасной маршрут для непременного обеспечения функционирования системы при наступлении нештатного (аварийного) состояния или иных целей. (ссылка на статью в Википедии)
Вы точно понимаете о чем идет речь? Байпас это уже резерв. О каком отказе Вы говорите?
Для того, чтобы система работала бесперебойно, проводятся регулярные технические обслуживания.
amarao
Место, где байпас подключается к линии. Физические болты и пластины. На самом деле байпас состоит из двух частей — собственно, байпас, и место переключения с байпас-линии на обычную. Вот тут-то как раз точка отказа и находится.
Но, я понимаю, что у вас 100% аптайм, упсы не летят и псы не залетают. Ждём-с...