??

В прошлом посте рассказал, что и почему нужно делать самим в эксплуатации дата-центра. Потихоньку буду делиться опытом по каждому аспекту. Начну с бюджетирования.

Во времена руководства службой эксплуатации я на несколько дней, а иногда ночей, выпадал из реальности. Заваривал покрепче чай и погружался с головой в мир цифр и статистики, чтобы эксплуатации дата-центра было на что жить в следующем году. Вот где действительно день год кормит: нужно просчитать и расписать все плановые ТО, замены расходных материалов, а также спрогнозировать все возможные ремонты. Да, и при самой образцовой эксплуатации все когда-нибудь ломается. После нужно выполнить отдельное упражнение – доказать руководству целесообразность всего, что ты написал. Сегодня расскажу, как собрать бюджет так, чтобы прийти к желанному “Согласовано” самой прямой дорогой.

Все затраты на эксплуатацию серверной/дата-центра мы делим на два типа:

• операционные – деньги, которые пойдут на ремонты и техническое обслуживание инженерных систем и оборудования;
• инвестиционные – затраты на модернизацию систем, замену крупного оборудования.

Кто-то может включить еще сюда и кадровый (зарплаты людей, отвечающих за эксплуатацию, расходы на их обучение), но я не буду его тут касаться.

Давайте смотреть, как собрать каждый из бюджетов.

Операционный бюджет

Это постоянные затраты на ЗИП, расходники, ремонты и ТО, которые закладываются из года в год.

ШАГ 1. Составляем список инженерных систем и самого главного оборудования.

Покажу на примере дата-центра NORD-4:

• Бесперебойное энергоснабжение: 33 ИБП.
• Гарантированное энергоснабжение: 12 ДГУ.
• Система холодоснабжения: 108 кондиционеров.
• Система видеонаблюдения и пожаротушения.

Последние два не всегда входят в зону ответственности службы эксплуатации, но в нашем случае тоже учитываем эти системы.

Составляя такой список, важно не забыть про:

• вспомогательные системы, например, мониторинг, вентиляцию, систему орошения, грузовые подъемники и ворота;
• то, что, казалось бы, совсем косвенно относится к эксплуатации – клининговые услуги, транспортные расходы, утилизацию отработанных материалов (масло, АКБ).

ШАГ 2. Определяем стоимость и количество расходных материалов и ЗИП по каждой системе.

Если про стоимость деталей понятно – просто запрашиваем у поставщиков или делаем мониторинг предложения на рынке, то с вопросом: “А сколько нам этого надо?” – сложнее. Вот тут нам пригодится статистика по поломкам и ремонтам, о которой я говорю, наверное, на каждом своем семинаре.

Лайфхак для тех, кто упорно отказывается от этой полезной практики: собрать информацию задним числом теоретически можно по счетам/актам от подрядчиков на ремонты и покупку запасных деталей.

Предвижу вопрос: что делать, если серверная и дата-центр новые? Первые год-два можно продержаться на гарантии от поставщика оборудования, но все это время собираем статистику.
Для расчета количества необходимых запчастей я пользуюсь коэффициентами. Вот как их можно получить. Допустим, надо понять, сколько нам потребуется вентиляторов для внешних блоков кондиционеров. Обращаемся к статистике и видим, что за предыдущий год вышло из строя 10 вентиляторов. Всего 100 кондиционеров. Соответственно, нам нужно 0,1 вентилятора на 1 кондиционер.

Вот такая табличка может получиться на выходе по остальным деталям и расходникам системы кондиционирования:

??

Рассчитав такие коэффициенты для одного года, можно их использовать и для последующих. Мой опыт показывает, что второй год от третьего, третий от четвертого будут отличаться минимально: для последующих годов останется только свериться со статистикой на предмет корректировки коэффициентов, и уже просто подставлять в формулу акутальную стоимость запчасти или расходника. Если в какой-то год коэффициент сильно увеличился, то стоит задуматься о модернизации, но об этом чуть позже.

Есть нетривиальные расходники и запчасти, для которых коэффициенты не очень работают. Например, топливо для ДГУ. С одной стороны, спрогнозировать, сколько раз в следующем году нас подведет Мосэнерго, сложно, с другой – у нас есть такая предсказуемая вещь, как тестирования. Если ДГУ регулярно тестируются, то мы знаем частоту запусков, их длительность. Также мы знаем потребление дизеля и нагрузку. Исходя из этого рассчитываем объемы топлива. Если происходит незапланированное выключение городского питания, то ближайшее тестирование не проводим, так как уже протестировались в реальных условиях.

ШАГ 3. Рассчитываем стоимость работ по каждой системе силами подрядчиков.

Если у нас вариант, когда в договор включено все, в том числе и ремонт оборудования, то просто запрашиваем обновленное КП, проводим тендер или без лишних движений продлеваем договор на следующий год (тут можно попробовать поторговаться с существующими подрядчиками, чтобы они сделали дешевле, или они торгуются с нами, чтобы было дороже :)). В конечном итоге мы получим какую-то фиксированную цену на следующий год. Тут все понятно.

Если в договоре прописаны только ТО, нужно дополнительно рассчитать стоимость ремонтов и аварийных выездов. Тут так же, как и с расходниками и ЗИП: смотрим на статистику по проведенным работам за прошлый год.

Важно учесть, какой у нас договор – с постоплатой или предоплатой, чтобы не промахнуться с месяцем платежа. Допустим, работы по промывке внешних блоков кондиционеров у нас запланированы на апрель, значит с предоплатой это пойдет в марте, а с постоплатой – на май. Для чьей-то бухгалтерии это будут не просто разные кварталы, но разные финансовые года.

ШАГ 4. Сводим все цифры в один excel-файл.

Сначала берем наши расходы на ТО и расписываем их в виде графика по месяцам. К этому добавляем в отдельной вкладке расходы на ремонты и стоимость ЗИП и расходников.

По поводу графика ТО. Рекомендую все работы “размазать” равномерно по календарному году, чтобы несколько работ не приходилось на один месяц. Тогда не придется выкладывать в один месяц сразу кругленькую сумму денег, да и люди, контролирующие работы, не будут перегружены.

Инвестиционный бюджет

Это крупные траты на модернизацию и замену оборудования. Для его составления нам понадобится следующее:

• данные о сбоях и авариях в прошлом году. Смотрим статистику и выявляем слабые звенья. Например, у нас есть постоянно ломающийся кондиционер, которому за последний год 2 раза заменили компрессор. Или другой вариант: на всех кондиционерах ломаются пароувлажнители. В этом случае задумайтесь, не лучше ли заменить этот кондиционер целиком или модернизировать всю подсистему, чем дальше тратить деньги и силы на ремонты.

  
  

• данные об устаревающих элементах системы. Самый простой пример – аккумуляторные батареи. По моему опыту, среднее время работы батарей – 0,7 от заявленного производителем: если обещают 10 лет, то уже через 7 нужно готовиться к замене. Если меняем, то сразу всю линейку. Например, у нас 12 ИБП и 12 стеллажей. Всю замену разбиваем на год: каждый месяц меняем один стеллаж, начав с самой дохлой линейки.

  
  
• все, что нам завернули в прошлом году со словами: “Давай вернемся к этому вопросу через год”. Не забываем про эти обещания и вписываем в новый бюджет. Если это не потеряло актуальности, а не должно.

Далее рассчитываем стоимость модернизаций и замен с подрядчиком. Заносим в бюджет.

Потом идем со всем этим к начальству, и...

нам предлагают подумать, как это все умножить на 0,8. Без паники. Место для маневров есть.

На чем можно сэкономить

Вдумчивое прочтение договора на обслуживание подрядчиком дает большие возможности сэкономить. О премудростях составления таких договоров я уже писал. Добавлю еще немного премудростей. Итак, проверяем:

• Не дублируются ли одни и те же работы под разными формулировками.

  
  

• Можем ли мы какие-то работы, не требующие высокой квалификации, выполнять собственными силами. Например, заменять фильтры кондиционеров.

  
  

• Нет ли нерелевантных для ваших систем работ. Вот пара случаев из нашей практики: в стандартном договоре значилась проверка уровня масла в компрессоре кондиционеров, а у нас чиллерная схема, где компрессор есть только в чиллере. Проверка пароувлажнителей для всех кондиционеров, хотя у нас было всего два кондиционера с пароувлажнителем.

  
  

• Нет ли “пустых” проверок оборудования без последующего устранения неисправностей. Предпочтительнее, чтобы формулировки звучали следующим образом: “Проверка и, в случае необходимости, исправление неисправностей”. Поэтому если в договоре значится: “Контроль уровня хладагента и масла», то дополняем: “Контроль уровня хладагента и масла, при необходимости – дозаправка”.

  
  

• Периодичность ТО. Понятно, что подрядчику чем больше, тем лучше. Не поленитесь проконсультироваться с производителем оборудования, чтобы определиться с оптимальным количеством. Ну и смотрите на свою практику. Мы, например, отказались от ежегодной замены масла для одной из моделей ДГУ, так как масло сливалось абсолютно чистое. После консультации с вендором мы стали менять масло раз в два года. Примерно такая же ситуация у нас была с фильтрами кондиционеров, с которыми мы перешли на замену по мере необходимости, а не каждый раз, когда проводилось ТО.

  
  
• Уровень сервиса и время реакции подрядчика на инциденты. Можно прописать все по максимуму и получить соответствующую стоимость договора. Тут надо отделить мух от котлет критичное от некритичного. Например, решить для себя, действительно ли так нужен приезд подрядчика на площадку в течение трех часов, если сломался резервный кондиционер. В общем, здесь можно в разумных пределах поиграть со значениями и выторговать себе скидку.

Хороший способ урезать бюджет – заняться оптимизацией расходов на ЗИП и расходники. Вот тут внимательно: экономить призываю НЕ за счет отказа от закупки ЗИП. Делаем следующее:

• Закупаем напрямую у вендоров, а не через подрядчиков и прочих посредников.
• Используем экономичные аналоги расходных материалов (я не про китайские подделки на aliexpress).
• Унифицируем расходные материалы для оборудования разных вендоров.

Самый энергозатратный, но действенный способ сэкономить – найти и устранить ошибки в эксплуатации, которые регулярно приводят к поломкам, а значит к затратам на ремонты. Аудит инженерных систем поможет выявить неправильную эксплуатацию оборудования, предотвратить будущие поломки. Вот мой топ возможных слабых мест:

• некачественное или несвоевременное проведение ТО;
• неправильные алгоритмы работы оборудования, например, частые остановки и пуски компрессоров;
• заниженные уставки на кондиционерах из-за неправильно установленного серверного оборудования;
• разбалансировка нагрузки по фазам и лучам.

Проблемы в эксплуатации могут достаться и по наследству от тех, кто допустил просчеты на этапе проектирования или строительства.
В отличие от предыдущих приемов, аудит поможет не только тратить меньше, но и спасет дата-центр от потенциальных аварий.

На чем нельзя экономить

Радостно вычеркивая статьи из бюджета, даже и не думайте резать следующие траты.

Тестирование. Если хотите спать спокойно, то боевые учения необходимы. Пусть лучше неисправность в оборудовании или системе (а иногда и в процессе) проявится во всей красе под нашим контролем, чем это случится 31 декабря, когда нужные люди будут водить хороводы вокруг елки.
Тестировать нужно правильно. В моем понимании это – комплексно и регулярно. Даже когда тестируем дизель-генераторы, у нас есть возможность попутно проверить систему бесперебойного энергоснабжения, мониторинг и много чего другого (читайте подробнее тут). Если последние 44 тестирования прошли успешно, это не означает, что 45-е можно отложить или отменить.

Сезонные подготовительные работы. В первую очередь это касается системы холодоснабжения. Перед летним сезоном, самое позднее – в апреле, нужно промыть все внешние блоки и чиллеры, проверить правильность установленного ИТ-оборудования в залах, работоспособность резервных кондиционеров (здесь подробно рассказывал, как подготовить дата-центр к лету).
К зиме готовимся в октябре: сливаем все, что может замерзнуть, проверяем подогрев ДГУ.

Закупка ЗИП. Мой опыт показывает, что подрядчика или своего инженера можно быстро вытащить на площадку ночью, в выходные или праздники, а вот привезти нужную деталь со склада так же быстро сложно. Склады живут по своему графику, не 24х7. А еще там просто может не оказаться нужной детали. Тогда ЗИП придется ждать неделями, если не месяцами.
Необязательно дублировать всю инфраструктуру на складе. Достаточно определить те детали, которые часто приходится менять (опять же смотрим статистику), и те, из-за которых вы можете лишиться резерва или вовсе остаться с неработающим оборудованием/системой. Когда пускаем в дело запасы со склада, сразу же закупаем новые, хотя бухгалтерия будет удивленно спрашивать: “Зачем вам новое, вы же только что поменяли?”
И еще момент: список ЗИП – это не константа. Каждый раз будет ломаться что-то новое, не забывайте добавлять это в список будущих покупок для постоянного хранения на вашем складе.

Если не убедил, то вот вам поучительный случай, после которого мы начали закупать и хранить ЗИП у себя.

Склад с ЗИП для системы холодоснабжения на площадке OST.

И последнее напутствие.

Если составление бюджета – наука, то согласование больше походит на искусство, которым, впрочем, тоже можно овладеть. На защите руководство любит задавать каверзные вопросы, типа: “Почему здесь 150, а не 149 тысяч?” Или: “Зачем тебе так много на вентиляторы?” Если вы, не приходя в сознание, сможете ответить с примерами из статистики, откуда берется каждая цифра, то отобьетесь.