Внезапно для многих, в конце июля в Москве наступило лето. Вообще для многих лето — почти как зима для коммунальных и дорожных служб, ни разу не было и вот опять.
Одновременно в комментариях к заметке написали про необходимость помнить и про инженерные системы.

Исправляюсь, и пишу про них.

tl/dr: всякие мелочи, которыми админ заниматься не должен, но порой приходится, особенно в малом офисе. Или в дата-центре.

Итак — инженерные системы малого офиса.

Они есть, их много, и постоянный контроль за их состоянием порой очень и очень критичен.
Очень советую, перед дальнейшим чтением, пролистать псто Биоугрозы, особенно ветку по ссылке.

Из нужных в ИТ систем стоит выделить:

• воздухоподготовку (нагрев/кондиционирование/сушку)
• СКУД,
• электропитание,
• пожаротушение.

Кондиционирование, расчет тепловыделения и BTU (British thermal unit).
Обслуживание. Чиллеры

Кондиционирование, т.е. теплоотвод, вещь в современном ИТ необходимая, по простой причине – при перегреве и длительной (месяцы) эксплуатации техники при температурном режиме выше +25 градусов – срок службы техники сокращается, иногда в разы (с 5-6 до 2-3 лет). То же самое касается влажности – избыточная влажность вредна, поскольку вызывает пусть незаметный, но конденсат, и как следствие – коррозию контактных площадок памяти, например. Разумеется, техника может работать и годами, просто стоя под столом, но скорее всего такая техника не проработает и три требуемых от нее года, и тем более не проработает пять.
Пример номер 1 — в конце текста.

Расчет тепловыделения техники прост – потребляемая мощность каждой единицы техники известна, примерно столько же мощности техника отдаст в виде тепла. Поскольку установка и расчет систем кондиционирования обычно отведена специальным людям, то все, что вам нужно сообщить им для первичного расчета – это мощность вашей техники в киловаттах. Потом конечно прибавятся стены\окна\прочее, но потом.

Можно, конечно, пересчитать киловатты в джоули/сек, потом и в джоули/час, оттуда пересчитать пересчитать в BTU/hr — British thermal unit, британская тепловая единица/час, но ничего сложного и специального в этом пересчете нет. К тому же кондиционеры выпускаются не индивидуально, мощность кондиционера выбирается из ряда мощностей, предлагаемых производителем, так что главное:

• не забывать что мощностей у кондиционеров две (по теплоотводу и по потребляемой мощности из сети);
• включать кондиционер к сети через отдельный предохранитель НА ФАЗЕ точно, но можно и двойным, на фазу и ноль одновременно;
• не забывать подписывать этот предохранитель прямо на щитке.

Помнить о том, что:

• помпы (откачки конденсата) ломаются
• каналы водоотвода зарастают не важно чем
• чиллеры могут не стартовать
• внешние радиаторы нуждаются в ежегодной чистке перед началом летнего сезона, а там где березы и тополя – и после окончания цветения
• переход зима-лето и лето-зима всегда требует проверки оборудования и возможной дозаправки хладагента
• помнить о резервировании N+1 – в том смысле, что система кондиционирования должна работать при 1 вышедшем из строя кондиционере неограниченно долго.

Мораль:

1. Мониторь термодатчики автоматом, лучше с двух точек. ИБП и скажем CISCO с термодатчиком, или сервер какой.

2. Не пренебрегай плановым осмотром утром и вечером. Да и в обед. Если есть охрана, то пусть и ночью пробежит, мало ли что там (например, посмотрит в специальное окошко на простой бытовой термометр). На одной площадке мне за пару лет охрана раза три звонила – перегрев, отказ кондиционера.

3. Заправляй/проверяй (в смысле выписывай специальных людей) кондиционеры два раза, весной и осенью, перед весной промой (керхером хотя бы), и после тополиного пуха и цветения березы тоже промой. Ну и перед зимой, после листопада.

— Помнить о контроле температуры и влажности в целом – и использовать системы от Nag

В 2015-м году они предлагали комплект –
SNR-ERD-GSM-1.1 — Устройство удалённого контроля и управления с GSM интерфейсом ERD-GSM, БП, корпус, антенна, крепление и ИБП к нему
плюс можно было взять датчики дыма, протечек, герконы и так далее.

Есть вот такой набор решений –
SNR-ERD: От “пинговалки” до линейки оборудования

Есть и альтернативы – Устройство NetPing DKST61-01

Устройство удалённого мониторинга датчиков по сети Ethernet/Internet. Позволяет удалённо получать информацию о состоянии 1-Wire датчиков и уведомления о срабатывании 1-Wire датчиков

Можно организовать контроль на ИБП, или использовать что-то типа NetBotz

Можно рассмотреть Sky Control

Полезное:

Режим работы тепловых насосов (кондиционеров) и выравнивание износа. Классический примерчик на тему «для чего нужно выравнивание наработки основного и резервного оборудования». И сам режим работы: читать

ИБП / UPS, Электропитание 220/380, 230/400 и даже иногда 127 В.
Защита от 380В

Это то самое внезапно ненужное знание, когда минимум треть падаванов уверены, что в розетке, как и батарейке, есть плюс и минус, а 380 – чтото страшное и ужасное.
На самом деле надо было учиться в школе и институте, и запомнить, что:
Сетевое напряжение — среднеквадратичное (действующее) значение напряжения в электрической сети переменного тока.

В СССР в электрических сетях общего назначения использовался трёхфазный ток с межфазным напряжением 380 В и напряжением фаза-нейтраль 220 В. Согласно межгосударственному стандарту ГОСТ 29322-92 (МЭК 38-83/IEC 60038:1983), в России к 2003 г. предписывался переход на номинальное напряжение 230/400 В. По обновлённому ГОСТ 29322-2014 (IEC 60038:2009), сетевое напряжение должно составлять 230/400 В при частоте 50 Гц ±10 %.

Что почитать по теме

В обязательном порядке: ПУЭ — Правила устройства электроустановок ПУЭ текущей редакции (на 2016 год – 7е издание, Минэнерго России От 08.07.2002 № 204).

Так что в розетке у вас не плюс и минус, а фаза (т.е. тот провод, где электричество есть) и нейтраль (где электричества быть не должно, но немного есть).

Иногда (но все реже) встречается и сеть 127/220, что означает разницу между фазой и нолем в 127 В, а между 2 фазами – 220 В. В результате в обычную розетку заводятся две фазы. В таких помещениях в розетки обязательно должно быть заведено заземление, а само заземление должно быть проверено специально обученными людьми.

Примечание:
Следует отличать TN-C от TN-S, а их оба от TN-C-S

и понимать, почему в США в розетке для стиральной машины может оказаться две фазы и земля.
И прочитать статью Система заземления «TN-S»

Что касается автоматов выключения, то тут ничего сложного нет. Обычный однофазный автомат маркируется как A/B/C(N) – например C16, где C- класс устройства, 16 – это максимальный ток в амперах. Следует помнить, что, хотя в сети переменного тока присутствует разнообразный мнимый элемент и косинус фи, но для сетей с малым током и малым сдвигом фаз — мощность можно рассматривать как P = U*I, и для 6 ампер / 220 вольт максимальная мощность составит всего 1.3 киловатта. Для понимания, у электрочайника 1.5-2 киловатта мощности.

Про классы (A/B/C/D) и номинальный ток срабатывания знать конечно можно, но не обязательно, не электрики. Хотя и «типаэлектрики» умудряются этого не знать.

Читать тут

УЗО и дифавтоматы

Лучше прочитать про него отдельную статью – хоть про УЗО, хоть про residual current device, хоть про residual-current circuit breaker. Про ток отключения, типы A/AC, селективные УЗО и так далее. Вещь, безусловно, нужная, как и дифавтоматы.

ИБП / UPS

Бывает так, что электричество внезапно заканчивается, иногда даже во всем районе или городе. Причин может быть много, от умелой работы самого страшного врага для ИТ – экскаватора, до пожара на подстанции и нехваткой мощности на город в целом.

По статистике, чаще всего электричества нет не больше чем 1-2 минуты, пока наследие СССР в виде единой энергосистемы (не самое плохое наследие, а даже и очень хорошее) переключает питание на другую ветку/луч. Впрочем, бывают и другие случаи, тогда электричества может не быть часы, и даже дни.

В первом случае (короткие перерывы в подаче электроэнергии) помогает ИБП / UPS.

Что надо помнить:

• Наличие любого ИБП лучше его отсутствия.
• Линейно-интерактивный (Line-Interactive) с автотрансформатором (AVR — Automatic voltage regulator) лучше Off-Line
• ИБП с двойным преобразованием вообще хорошие, но дорогие.
• При расчетах тепловой мощности ИБП надо учитывать.
• Мощность, которую фактически в ПИКЕ выдает ИБП, последние лет 10 производители писать перестали, так что подбор нужного по мощности ИБП – тема отдельной статьи, их написано десятками.

Что надо ОБЯЗАТЕЛЬНО знать ИТ-шнику про ИБП/UPS APC/Delta/HP

Сброс пароля на APC 9619/9639 – правильный шнурок, скорость, два тыка в кнопку.

ВНИМАНИЕ! Неправильный выбор шнурка на APC ведет к выключению ИБП! Причем разъем выглядит точно также, смотрите разводку и не теряйте нужный шнурок, и лучше ПОДПИСЫВАЙТЕ! НУЖНЫЕ шнурки. Они там минимум двух (с com и штырем) типов.

Статические и динамические ИБП

Статические ИБП: все просто. БОЛЬШАЯ батарейка и преобразователи (инверторы).

Динамические ИБП

В малом офисе не встречаются. Устроены просто — БОЛЬШАЯ и высокоскоростная болванка, подключенная (физически) к генератору, и к дизелю.
Сначала генератор крутит болванку, потом (при потере напряжения) болванка крутит генератор.
Если дизель не завелся, то (у некоторых производителей) в какой-то момент болванка через (автоматическую электромагнитную) муфту проворачивает дизель, и дальше уже дизель крутит болванку и генератор.

АВР (автоматический ввод резерва). Дизель-генераторы.
Заземление. Техника электробезопасности.

Автоматический ввод резерва. Вещь полезная, если
— в здание есть два ввода
— до помещения с серверной тоже заведено два ввода,
— ИБП умеет питаться от двух вводов сразу.
Что надо понимать:
— АВР – не замена ИБП, в лучшем случае это замена необходимости покупать дизель.
Примером АВР будет устройство типа
APC AP7723 RM 1U Automatic Transfer Switch автопереключатель на резервное питание
Примечание: существует терминологическая путаница. Иногда под АВР понимается автозапуск дизелей.

Дизель-генераторы

В малом офисе не встречаются.

Заземление. Техника электробезопасности

Заземление

Вещь, на самом деле необходимая. В том числе и в виде заземляющих браслетов на технике. За подробностями зачем именно оно надо – читайте учебник физики и ПУЭ, по факту в здании оно должно быть и должно быть проверено. Проверено оно или нет – узнавайте у главного электрика/энергетика, он знает. Если не знает – то считайте заземление отсутствующим и пишите служебные записки руководству, что без заземления жить нельзя.

Техника электробезопасности

Тут все очень просто – знай свое хозяйство. Одним из первых дел при устройстве на новое место работы – это проверка электропитания. Выясняйте, где тут электрощит, отвечающий за розетки серверного и рабочего оборудования, какие там автоматы, есть ли УЗО, что было с электропитанием раньше и как часто автоматы срабатывали по перегрузке. Проверьте, что все ваши розетки подписаны по месту, а над щитком с вашими автоматами есть надпись «автоматы группы ИТ». В самом неприятном случае никто не будет искать «журнал учета распределения групп аварийных выключателей». Кстати, если комната на ключе, то лучше всего убедиться, что ключ находится в зоне доступности, у охраны или в известном помещении электриков, и не реже раза в квартал проверять, что ключ еще на том же месте, и что это точно тот ключ, и он открывает эту дверь. И кстати, перед электрощитовой стоит держать углекислотный огнетушитель.

Про криворуких. И факапы

ВСЕГДА! ВСЕГДА!!! проверяйте за этими криворукими электриками, чтобы они, нехорошие люди, многожилку заводили в гильзу!

Реальный случай, к слову. Электрики по лени (потому что гильзы БЫЛИ. В неприметном пакетике сбоку, но БЫЛИ) завели многожилку под клемный винт.

ВСЕГДА носите с собой отвертку-тестер (индикаторную отвертку).
ВСЕГДА проверяйте отверткой корпуса, ДАЖЕ после того как отключили питание.
ПУЭ прямо предписывает проверку сначала тестером, потом тыльной стороной ладони, и только потом трогать.
Реальный случай – вместо земли в розетке была фаза, и от корпуса техники било током.
Другой реальный случай – криворукие электрики проложили провода под крепежом внешнего (уличного) блока, провод перетерся – фаза на корпусе – труп.
При том, что техника «вроде бы» была отключена.
Фаза может быть в просто давно свисающем проводе.
Провода могут быть перепутаны в щитке.
Будьте осторожны, берегите себя. Чтите ПУЭ.

СКУД и прочая безопасность

В случае ИТ чаще всего СКУД бывает двух видов – видеорегистраторы и системы контроля доступа на картах типа Proximity/Em-marin.
Видеорегистраторы ничего особого из себя не представляют – это аналоговые камеры с аналоговой линией, плюс конвертеры из аналогового в цифровой формат (практически ТВ-тюнер), пишут на жесткий диск сервера.

Второй вариант — цифровые камеры, которые передают данные сразу в цифровом формате (по ip) на сервер видеонаблюдения. Чаще всего уже установлены и настроены, выбор «что и как» меняется каждый год, так что универсальных советов по данной технике нет. Кроме советов «как для любой техники» — изолировать от остальной сети (видеосерверу нечего делать в интернете и в локальной сети), использовать ИБП и резервное копирование.

POE и прочее питание лучше развязывать с общей сетью, изучить тему «грозозащита» и «оптогальваническая развязка».

СКУД, например тот же Болид, представляет из себя систему «сервер — com-порт – считыватель». В сервере хранятся фотографии, уникальные номера карт, пароли к ним (если нужны) и схемы «что где стоит». В контроллер по ком-порту через прилагаемое ПО медленно и печально эти данные отправляются, далее номера карт хранятся уже в контроллере. Для управления и обслуживания никаких особых навыков не требуется.
Раньше у Болида были однодневные курсы «что это такое и как работает».

Системы газового, порошкового и Novec 1230 – пожаротушения.
Противогазы изолирующие и фильтрующие

Перед тем, как говорить о системах пожаротушения, стоит вспомнить о системах оповещения. Чаще всего это ряд коробочек под потолков с датчиками дыма (срабатывают на пыль) и датчиками температуры (на сплаве Вуда, не срабатывать там нечему).
Для системы водяного тушения используют клапаны с закрытием стеклянной колбочкой с жидкостью.

Для извещения используется ряд динамиков по этажам.
Единственная задача в данном случае – это найти (при устройстве на работу) ответственного за пожарную безопасность и спросить, как давно датчики проверяли (чаще всего их проверяют раз в месяц, а раз в квартал проводят проверку на сработку, о чем ведут соответствующий журнал), и как работает и срабатывает ли система оповещения. В практике, хотя и не моей, был случай, когда система оповещения была выключена по просьбе даже не прошлого, а позапрошлого арендодателя, так что ее во время плановой проверки включили, и дальше уже не беспокоились о не срабатывании.

Поведение при пожаре

Поведение при пожаре для сотрудника описывается в типовой инструкции, с которой ответственный по технике безопасности приходит к каждому новому сотруднику и знакомит под роспись. Чаще всего поведение сотрудника описывается двумя пунктами.

• При личном обнаружении пожара – оповестить окружающих, включить пожарную тревогу, эвакуироваться согласно плану эвакуации, вызвать пожарную команду.
• При срабатывании пожарной сигнализации – эвакуироваться согласно плану, вызвать пожарную команду.
• Иногда у руководителя отдела стоит в инструкции пункт «посчитать выбежавших и убедиться что из отдела все эвакуировались».

Если же сотрудник является ответственным за эту самую ТБ, ЭБ, и прочую пожаробезопасность, то там обязанностей гораздо больше, о чем долго и нудно расскажут на соответствующих курсах, выдав по итогам красную книжечку.

Системы пожаротушения

Система порошкового тушения – это, фактически, коробка с килограммом (и более) мела. Для установки в серверной не пригодна, поскольку оборудованию после применения такой системы скорее всего будет капуууууууут.
Система газового пожаротушения – в помещении ставится бронированная пожаро-газо-проче- стойкая дверь, а в помещении баллон с азотом. При срабатывании системы в помещение поступает азот, который вытесняет кислород и гореть становится нечему. Есть некоторые проблемы с ростом давления, но этот момент надо уточнять еще при проектировании установки такой системы. Главная проблема – при срабатывании этой системы надо немедленно убежать, поскольку человек дышит кислородом, и без него живет минуту-две. Наличие изолирующего противогаза с регенерацией – по желанию.
Есть проблема выхода из строя оборудования от шума и вибрации при срабатывании системы.
Системы пожаротушения на Novec 1230

Фактически газовая (хладоновая) система, но более мягкая по давлению и действию на случайно попавший в зону тушения человеческий организм. Можно успеть убежать.
Почитать про нее можно например на Хабре: тут или вот тут

Противогазы изолирующие и фильтрующие

1. В зону пожара лезть не надо НИКОГДА.
2. Из зоны применения систем пожаротушения надо НЕМЕДЛЕННО УХОДИТЬ.
3. Фильтрующие противогазы, респираторы и так далее в зоне применения систем пожаротушения НЕПРИМЕНИМЫ. Там нет кислорода – он весь вытеснен газовой смесью.

Прочие инженерные системы. Строительство в целом

Планирование размещения и транспортировки оборудования.
Из прочих инженерных систем мне попадалась разве что старая телефония, на 50-парниках и разведенная в такие же старые шкафы.
Часто бывает на старых заводах, например. Иногда даже работает.
Иногда на нее завязан ОЧЕНЬ ВАЖНЫЙ сервис. Который нигде не документирован – например сигнализация, или 20 лет назад установленный ADSL. Будьте осторожны при отключении.

Строительство в целом. Планирование размещения и транспортировки оборудования

Про необходимость этого короткого абзаца мне напомнила известная история – «Выпуск 3. Чудо-богатыри». Очень рекомендую найти и прочитать, дважды. Так вот, проблема техники и шкафов в том, что шкафы (особенно ИБП, размерами от симметры и выше) – реально тяжелые. Полтонны – легко. Бывает больше.

Набитый шкаф может весить тонну. Соответственно – проектируйте, учитывайте и контролируйте и несущую способность пола, и что у вас фактически подходит к розеткам (например, не проложено ли у вас старое алюминиевое рассыпающееся говно), и как вы будете организовывать занос\вынос шкафа из вашего помещения. 120-150 кг пустой шкаф.

Для продвинутых сотрудников – при проектировании надо помнить о таких вещах, как поэтажные планы, с указанием электропроводки, всяких каналов, отопления, воздуходовод, воды всякой и канализации. Желательно, конечно, держать копию всех схем у себя и дружить со службой эксплуатации здания – сантехники, электрики, службы контроля всяких пожарных дымоуловителей и прочих извещателей, телефонисты, кондиционерщики и так далее.

Что почитать:

ПУЭ — Правила устройства электроустановок ПУЭ текущей редакции (на 2016 год – 7е издание, Минэнерго России От 08.07.2002 № 204).
Болид – вводный курс по СКУД.
Строительные нормы и правила (СНиП)
ГОСТ Р 50345-2010: Аппаратура малогабаритная электрическая. Автоматические выключатели для защиты от сверхтоков бытового и аналогичного назначения. Часть 1. Автоматические выключатели для переменного тока
МЭК 60898-1:2003* (издание 1.2) «Аппаратура малогабаритная электрическая. Автоматические выключатели для защиты от сверхтоков бытового и аналогичного назначения. Часть 1. Автоматические выключатели для переменного тока» (IEC 60898-1:2003 «Electrical accessories — Circuit-breakers for overcurrent protection for household and similar installations — Part 1: Circuit-breakers for a.c. operation»).

Пример номер 1. Перегрев где не ждали:

Дано: HDD Seagate
Seagate Enterprise Capacity 8 Tb SATA
ST8000NM0055-1RM112

Симптомы: скорость падает до «почти ноля» на ровном месте.
В диагностике ничего.

Asus P8H77-I (Intel H77 «Panther Point»), i5, 16 Gb, встроенный AHCI контроллер в режиме таки AHCI, не RAID, WS2016. Конфигурация дисков:

SATA3: 2x8 Tb Seagate новенькие = Storage Space Mirrored
SATA2: 3x2 Tb Seagate, WD = Storage Space Single-Parity; 1x300 Gb WD = System

Оба Storage Space дедуплицированы.

Проблема: после добавления новых двухтерабайтных сигейтов, система при многопоточной нагрузке на запись демонстрирует следующий сбой: время ответа дисков (всех, включая системный) растёт до 6-7 секунд, очередь дисков падает до 0, скорость записи падает до 5 Мб/с, система начинает очень плохо откликаться. Если используется буферизуемая запись, ОС выжирает под кэш записи весь доступный объём памяти. Когда система входит в такой режим, она выходит из него только ребутом, т.е. остановка дисковых операций и ожидание освобождения кэша не спасает.

Проблема проявилась только после подсоединения новых дисков. С размером тома (не физического устройства) она точно не связана, т.к. на этой системе успешно эксплуатировался Storage Space в 12 Тб (4х4 Тб Single Parity).

Драйверы AHCI контроллера пробовал встроенные и две версии от Intel (2013, 2014 годы, 12 и 13 мажорные версии).

Антивируса нет (встроенный удалён вообще, не отключён, а удалён). ОС свежая (переустановили начисто в ходе разбирательств до обращения ко мне), не трипперная, патченная, лицензионная.

Из софта Veeam B&R 9.5U2, проявлялось ещё до его установки.

Длительное копание во всем, и -(!!!) причина — перегрев.
Слова владельца системы:

55 градусов
1 градус вверх — и описанные симптомы
1 градус вниз — и всё збс как ни в чём не бывало
чёткая граница
причём 60 градусов у него прописано в SMART как threshold перегрева — но начинает троттлить в 55

UPD

Вопросы по инженерным системам, без ответов.

Лично я считаю, что ответы на все эти вопросы должен знать любой сотрудник, любой эникей. И даже инфобезопасник (и немного майнер).

Зачем в серверных вообще нужно кондиционирование, если ПК сотрудников отлично работают и без него.
Зачем на кондиционере нужна помпа.
Сколько раз в год нужно проводить обслуживание кондиционера и почему.
Зачем на кондиционере нужен зимний пусковой комплект.

Электричество
Сколько проводов заходит в стандартную розетку и почему?
Как определить, где в розетке ноль и фаза, хотя бы два способа.
Для чего нужен провод с пятью проводами в нем?
Что означает цифра 6 в маркировке C6 на автомате? И, кстати, как это связано с тем, что при включении чайника этот автомат постоянно срабатывает?
Зачем нужно УЗО.
Что такое ИБП в общих чертах и зачем он нужен?

Пожаробезопасность
Что нужно делать при обнаружении пожара
Что нужно делать при срабатывании системы оповещения о пожаре?

Электробезопасность.
Почему удлинители — «пилоты» на рабочем месте, это плохо?
Почему пройдя мимо и увидев лазерный принтер, включенный в «тройник» надо остановиться, и что нужно объяснить тем, кто работает в комнате?
Что надо сказать, увидев что сотрудники вскладчину купили чайник и микроволновку?
Почему увидев разломанную розетку стоит написать докладную в 2 экземплярах и убедиться что одна копия пришла главному электрику, а вторая непосредственному руководителю?

Из реальной практики – 1. Вас как-то очень душевно приложило электричеством от корпуса шкафа, в котором стоит сетевое оборудование. Каковы ваши действия? Что надо носить с собой при такой работе?

Статическое электричество.
Сталкивались ли с статическим электричеством?
Что произойдет с микросхемой при проходе статики через нее?
Для чего нужен антистатический браслет?