Качество системы электроснабжения – важнейший показатель уровня сервиса современного дата-центра. Это понятно: абсолютно все оборудование, необходимое для работы ЦОДа, питается электричеством. Не будет его – серверы, сеть, инженерные системы и СХД прекратят функционировать до полного восстановления электроснабжения.  

Рассказываем, какую роль в бесперебойной работе ЦОДа Linxdatacenter в Петербурге играют дизельное топливо и наша система контроля его качества. 


Вы удивитесь, но специалисты Uptime Institute при сертификации ЦОДов на соответствие отраслевым стандартам качества первичную роль при оценке системы электроснабжения отводят качеству работы дизель-генераторов. 

Почему? Бесперебойная работа ЦОДа играет центральную роль для цифровой экономики. Реалии таковы: 15 миллисекунд перебоя питания ЦОДа достаточно для нарушения бизнес-процессов с ощутимыми для конечного пользователя последствиями. Много это или мало? Одна миллисекунда (мс) — это единица времени равная одной тысячной доле секунды. Пять миллисекунд — время, необходимое пчеле для осуществления одного взмаха крыла. Чтобы мигнуть, человеку нужно 300—400 мс. Одна минута простоя еще в 2013 году обходилась компаниям в среднем в 7900 долларов, по данным компании Emerson.  На фоне все большей цифровизации бизнеса убытки могут составлять сотни тысяч долларов за каждые 60 секунд простоя. Экономика требует от бизнеса 100%-ной подключенности. 

И все-таки, почему дизель-генераторы считаются по UI основным источником электроснабжения? Потому что в случае отключения магистральных сетей питания ЦОД может полагаться на них как на единственный источник питания для сохранения работоспособности всех систем до восстановления подачи тока по основным каналам.   

Для нашего ЦОДа в Санкт-Петербурге вопросы, связанные с источниками питания, играют особо важную роль: дата-центр полностью независим от городской сети и обеспечивается электроэнергией за счет газо-поршневой электростанции мощностью 12 МВт. Если подача газа по каким-то причинам прекращается, ЦОД переходит на работу на ДГУ. Сначала запускаются ИБП, мощностей которых хватает на 40 минут бесперебойной работы ЦОДа, дизель-генераторы запускаются в течение 2-х минут после остановки работы газо-поршневой станции и работают на имеющемся запасе топлива еще как минимум 72 часа. Параллельно в действие вступит контракт с поставщиком топлива, который обязан привезти оговоренные объемы в ЦОД в течение 4 часов. 

Подготовка к сертификации Uptime Institute на соответствие стандартам операционного управления Management & Operations заставила нас обратить самое пристальное внимание на процесс поставки топлива для дизелей, контроль его качества, взаимодействие с поставщиками и т.д. Это логично: качество работы АЭС в Сосновом Бору от нас никак не зависит, а вот за свой участок электросети мы должны отвечать в полном объеме. 

ДТ для ЦОД: на что обратить внимание 


Для того, чтобы генераторы проработали долго, надежно и экономично, следует не только приобретать надежную технику, но и правильно подбирать для них  дизельное топливо (ДТ).

Из очевидного: у любого топлива есть срок годности – 3-5 лет. Оно также довольно сильно варьируется по различным параметрам: один его вид подходит для использования зимой, другой – совершенно для этого не годится, и его использование приведет к масштабной аварии. 

Все эти моменты необходимо тщательно отслеживать, чтобы не допустить ситуации незапуска ДГУ из-за просроченного или неподходящего по сезону топлива.

Один из важнейших параметров классификации – тип используемого топлива. На высокую производительность и надежность работы оборудования влияет уже качество выбранного типа от конкретного поставщика. 

Правильный выбор ДТ обеспечит следующие преимущества: 

  • высокий КПД; 
  • экономичность и низкая стоимость; 
  • высокий крутящий момент; 
  • высокая степень сжатия.

Цетановое число 


На самом деле ДТ имеет множество характеристик, которые вы можете изучить в паспорте конкретной партии продукции. Однако для специалистов основными критериями определения качества этого вида топлива являются цетановое число и температурные свойства. 

Цетановое число в составе ДТ определяет пусковые способности, т.е. способность горючего к воспламенению. Чем это число выше, тем быстрее топливо сгорает в камере – и тем равномернее (и безопаснее!) горит смесь дизеля и воздуха. Стандартный диапазон его показателей составляет 40-55. Качественное ДТ с высоким значением цетанового числа обеспечивает двигателю: минимальное время, требуемое для прогрева и зажигания, равномерную работу и экономичность, а также высокую мощность.

Очистка дизельного топлива 


Попадание в дизельное топливо воды и механических примесей еще более опасно, чем для бензина. Такое топливо может стать непригодным для использования. В некоторых случаях, наличие механических примесей можно обнаружить в качестве осадка на дне емкости с ДТ.
Вода также отслаивается от топлива и оседает на дне, что и позволяет установить ее присутствие. В неотстоявшемся ДТ вода вызывает его помутнение.

Улучшить эксплуатационные характеристики поможет очистка дизельного топлива. Для этого существуют специальные установки и фильтрующие системы. Выбор оборудования для такой процедуры зависит от того, от чего именно необходимо очистить топливо – парафина, механических примесей, серы или воды. 

За качество очистки топлива отвечает поставщик, именно поэтому важно иметь систему контроля поставщика, о чем мы поговорим ниже, и не забывать о дополнительных мерах. Так, для доочистки топлива мы установили сепараторы топлива Separ на топливопроводе каждого ДГУ. Они предотвращают попадание механических частиц и воды в генератор.


Сепаратор топлива.

Погодные условия


В погоне за качеством и доступной ценой для топлива компании часто забывают о температуре, при которой будет работать станция. Иногда выбор одного горючего «на любую погоду» не приносит особого вреда. Но если станция используется на открытом воздухе, стоит выбирать топливо в соответствии с климатическими реалиями.

Производители делят дизельное топливо на летнее, зимнее и «арктическое» — для экстремально низких температур. В России за разделение топлива по временам года отвечает ГОСТ 305-82. Документ предписывает использовать летние марки горючего при температуре выше 0 °C. Зимнее топливо подходит для применения при температуре до -30 °C. «Арктическое» — при холоде до -50 °C.

Для стабильной работы дизель-генераторов мы приняли решение закупать зимнее дизельное топливо -35?. Это позволяет не задумываться о сезонных изменениях погоды.

Как мы проверяем топливо


Чтобы дизель-генераторы работали надежно, необходимо убедиться, что поставщик отгружает именно то топливо, которое вам необходимо. 

Мы долго думали над решением этой задачи, рассматривали вариант отбора проб и их отправки на анализ в специальные лаборатории. Однако такой подход требует времени, да и как поступать, если анализы придут неудовлетворительные? Партия уже отгружена – возврат, перезаказ? И как быть, если такой перезаказ выпадет на период, когда необходимо запускать генераторы? 

И тогда мы решили замерять качество топлива на месте, с помощью октанометров, конкретно – используя SHATOX SX-150. Этот прибор позволяет проводить экспресс-анализ поставляемого топлива, определяя не только цетановое число, но и температуру застывания и вид топлива.

Принцип работы октанометра основан на сравнении октановых/цетановых чисел аттестованных образцов ДТ/бензина с проверяемым ДТ/бензином. В спецпроцессор введены используемые таблицы аттестованных видов топлива, которые программа интерполяции сравнивает с параметрами забранного образца и с поправками на температуру образца.



Данный прибор позволяет получать результаты качества топлива в режиме реального времени. Правила измерения качества топлива с помощью октанометра записаны в регламенте для службы эксплуатации.

Принцип работы октанометра


  1. Датчик прибора устанавливается на горизонтальную поверхность и подключается к измерительному блоку.
  2. Прибор включается при пустом датчике. На измерительном приборе отображаются нулевые показания CETANE:
    • Cet = 0.0;
    • T fr = 0.0.
  3. После проверки работы прибора необходимо залить в датчик топливо до полного наполнения. Процесс измерения и обновления показаний занимает не более 5с.
  4. После измерения данные вносятся в таблицу и сравниваются с показаниями нормы. Для удобства в ячейках установлено автоматическое выделение значений цветом. При допустимых показаниях окрашивается в зеленый цвет, при неудовлетворительных параметрах – красный, что позволяет дополнительно контролировать параметры поставляемого топлива.
  5. Для себя мы выбрали следующие нормальные показания качества топлива:
    • Cet = 40-52;
    • Tfr = от минус 25 до минус 40.

Таблица учета топливных ресурсов

Дата Приемка топлива Проверка качества
18 января 2019 5180 Cetane 47
TFr -32
Type W
S – летнее топливо, W – зимнее, А – арктическое.

PROFIT! или как это сработало 


Собственно, первые результаты проекта мы начали получать сразу же после запуска системы контроля в эксплуатацию. Первый же контроль показал, что поставщик привез топливо, несоответствующее заявленным параметрам. В результате мы отправили цистерну обратно и запросили замену партии. Без системы контроля мы могли бы нарваться на ситуацию незапуска ДГУ из-за низкого качества топлива.

В самом общем, стратегическом плане, подобный уровень продуманности контроля качества дает полную уверенность в бесперебойности энергоснабжения ЦОДа, когда мы можем полностью положиться на себя в решении задачи поддержки 100%-ного uptime-режима работы площадки. 

И это не просто слова: пожалуй, мы единственный ЦОД в России, который может при проведении демонстрационного тура для клиента на просьбу «А вы можете отключиться от основной схемы питания, чтобы показать переход на резервную?» отвечаем согласием и тут же, на глазах, переводим все оборудование на резерв в любой момент времени. Самое главное, что сделать это может любой сотрудник с соответствующим уровнем допуска: процессы отлажены в достаточной степени, чтобы не зависеть от конкретного исполнителя – настолько мы уверены в себе в данном отношении.
 
Впрочем, не только мы: процесс контроля качества ДТ при прохождении сертификации по Uptime Institute обратил на себя внимание аудиторов организации, которые взяли его себе на заметку в качестве отраслевых best practices.

Комментарии (13)


  1. amarao
    12.09.2019 11:09

    … когда мы можем полностью положиться на себя в решении задачи поддержки 100%-ного uptime-режима работы площадки.


    Серьёзно? Вы готовы поручиться за 100% аптайм? Никаких ремонтов байпасов, отказов при тестировании генераторов, расхождения фазы сети и генерации, вылетающих упсов, залетающих в щитовую псов и прочих смешных историй?


    Я вот точно знаю, что чем более опытный оператор дата-центра, тем менее он склонен к обещанию 100%. 100% обычно обещают те, у кого пока никаких смешных историй не было, собственно, до первой истории. Остальные сдержаннее и говорят про SLA, с допустимыми параметрами отказа, окнами на обслуживание и тестирование оборудования и т.д.


    1. achesnov Автор
      12.09.2019 11:47

      100% аптайм клиентов – это наша текущая реальность и то, к чему мы стремимся. Все падения коммерческих ДЦ хорошо видимы и известны.

      У нас законтрактованный SLA 99,98% по одному из вводов. Плановое ТО проводится на регулярной основе. Оборудование обслуживается поочередно. Ни каких прерываний сервисов для клиентов не предусматривается. При резервирование N+1 и 2N отказы в работе энергосистемы практически исключаются.


      1. amarao
        12.09.2019 11:55

        Скажите, а у вас дизеля и упсы через что подключаются к сети ДЦ? вот стоит дизель. Из него, грубо, торчит 4 провода. Есть упс. Из него торчит 4 провода. Есть городская линия — ещё 4 провода. И вот у вас 12 проводов с разным 380, и 4 входных к серверам. Что между ними?


        (Вопрос очень подлый и на него ДЦ обычно очень не любят отвечать, потому что в финале там всё равно одна железка, поломка которой оставляет ДЦ без всего).


        1. achesnov Автор
          12.09.2019 12:33

          Если Вы имеете ввиду ГРЩ, то он тоже зарезервирован. Также, при отказе автоматики ГРЩ наш дежурный персонал обучен действиям и произведет переключения в ручном режиме.
          P.s. Касательно проводов, то Вы здесь немного просчитались, упустив по одному из проводников, скорее всего РЕ проводник .


          1. amarao
            12.09.2019 12:36

            Вот именно финальная штука, в которой и происходит переключение, и называется байпас (позволяющий пустить электричество мимо электроники). Это гигантская медная пластина, соединяющая не менее гигантские контакты. К сожалению, байпасы горят не хуже всего остального (на мегаваттных-то мощностях), а когда выгорают байпасы, то дальше уже "всё".


            1. achesnov Автор
              12.09.2019 13:00
              +1

              Байпас (англ. bypass — обход) — резервный путь, запасной маршрут для непременного обеспечения функционирования системы при наступлении нештатного (аварийного) состояния или иных целей. (ссылка на статью в Википедии)

              Вы точно понимаете о чем идет речь? Байпас это уже резерв. О каком отказе Вы говорите?
              Для того, чтобы система работала бесперебойно, проводятся регулярные технические обслуживания.


              1. amarao
                12.09.2019 13:02
                -1

                Место, где байпас подключается к линии. Физические болты и пластины. На самом деле байпас состоит из двух частей — собственно, байпас, и место переключения с байпас-линии на обычную. Вот тут-то как раз точка отказа и находится.


                Но, я понимаю, что у вас 100% аптайм, упсы не летят и псы не залетают. Ждём-с...


  1. BD9
    13.09.2019 04:29

    … дата-центр полностью независим от городской сети и обеспечивается электроэнергией за счет газо-поршневой электростанции мощностью 12 мВт.

    12 милливатт? Маловато как-то.


    1. achesnov Автор
      15.09.2019 21:32

      Мегаватт, конечно же. Поправил.


  1. Hardened
    13.09.2019 07:14

    Да коротит это все. В том числе по причинам человеческих ошибок при ручном обслуживании. Точно никого не поджаривали хотя бы на уровне отдельного модуля?


  1. Diamitra
    15.09.2019 21:29

    Спасибо автору за статью. Один из элементов/подсистем мониторинга раскрыт. Дискуссия, как иногда бывает, ушла в одну цифру и обсуждение переключилось из физики (статья) на математику и статистику.


  1. AlexBaga
    15.09.2019 21:30

    Я правильно понял, что поставщик ДТ взял на себя транспортные расходы «забракованной» партии ДТ, основываясь на данных этого экспресс анализа? Это возможно лишь в случае, когда сам поставщик знает, что некондицию подсовывает.
    Грамотный юрист + отдел качества поставщика разнесут вас вклочья при судебном разбирательстве, с возмещением всех издержек.


  1. Escabaro
    15.09.2019 21:30

    Почему не ГПУ, к примеру jenbacher j312? которая более стабильна и нет нюансов в работе с низкими температурами да и вообще качество газа особо не влияет на работу, + экономия на лицо