Источник: getty image

Несмотря на массовую миграцию бизнеса в облака остаются компании, руководство которых следует стратегии «всё своё ношу с собой», по различным причинам не доверяя свои вычислительные мощности сторонним дата-центрам. Однако оборудование собственного серверного помещения — не настолько простая задача, как считают многие лица, принимающие решения. В этом посте мы расскажем об ошибках, которые допускаются при самостоятельном проектировании и реализации серверного помещения.

Как ни парадоксально, ошибки при проектировании серверных допускают не только небольшие компании, но и крупные организации. Причина до смешного проста: стремление сэкономить ИТ-бюджет, особенно когда речь идёт об оснащении региональных подразделений. В результате вместо серверной получаются весьма оригинальные сооружения, даже отдалённо не похожие на место, в котором можно без опаски разместить дорогостоящее оборудование, обеспечивающее работу всех сотрудников.

Три главных составляющих надёжной серверной — это правильное помещение, качественная система управления климатом и надёжное электроснабжение. Рассмотрим, какие ошибки встречаются в процессе проектирования и реализации этих компонентов, к каким последствиям они приводят и как их избежать.

Ошибки при выборе помещения

1. Близкое соседство с водой и другими жидкостями

Если в здании организации имеется подвал, то с большой вероятностью именно его предложат использовать для оборудования серверной. Это кажется оптимальным решением по всем показателям:

• аренда подвала стоит меньше, чем полноценные офисные площади,
• шум оборудования никому не будет мешать,
• сотрудники ИТ-отдела не будут нарушать благопристойную атмосферу офиса и распугивать клиентов разбросанными железками и потёртыми мятыми футболками.

Однако именно в подвале проходят водопроводные трубы и канализационные стояки. А в случае, если авария случится на верхних этажах, именно в подвал польётся вода из лопнувшей батареи или блока системы центрального кондиционирования.

Случай из жизни:

Серверная в филиале крупного федерального банка располагалась в подвале, в который вёл обычный лестничный пролёт. Когда в одном из кабинетов на первом этаже прорвало блок подогрева воды в системе центрального кондиционирования, хлынула масса воды, которая залила весь первый этаж, а затем стекла в подвал. Слой воды в подвале достигал 50 см. Пострадали два сервера, размещённые на нижних «этажах» забитой до отказа стойки. Чтобы откачать воду, пришлось срочно купить два насоса, а затем просушивать помещение.
Благодаря тому, что авария произошла после обеда в пятницу, за выходные удалось проветрить помещение и уже в понедельник вернуться к почти нормальной работе.

Отсюда рекомендация № 1: выбирайте для серверных только сухие помещения, в которые не может проникнуть вода и/или другие жидкости.

2. Игнорирование нагрузки на перекрытия

В зависимости размещаемого оборудования масса полностью загруженной стойки или шкафа 42U может доходить до 1000 кг. Если таких шкафов несколько, нагрузка на перекрытия может превысить максимально допустимую. Особенно этот параметр критичен для старых зданий, прочность перекрытий в которых может оказаться значительно ниже, чем требуется для безопасного размещения оборудования.

Рекомендация № 2: прежде чем утверждать помещение для серверной, уточните массу имеющегося оборудования и прочность перекрытий.

3. Выбор помещения «оригинальной» формы

Выбирая помещение для серверных, следует учитывать следующие факторы

• количество и глубину имеющихся стоек,
• перспективу расширения компании и увеличения количества оборудования,
• необходимость доступа к стойкам с лицевой и задней стороны для проведения обслуживания,
• необходимость достаточного пространства для циркуляции воздуха.

Если не учесть эти факторы, может оказаться, что ИТ-сотрудники не могут подступиться к стойкам, новое оборудование некуда установить, а кабельное хозяйство на коммутационной панели превратилось в ад сисадмина.

Случай из жизни:

Управляющий филиала федерального банка увлекался фэн-шуем, поэтому настоял, чтобы серверная, расположенная напротив его кабинета, не имела обращённых в сторону его стола углов. В результате одна стена серверной была сделана полукруглой. Площадь помещения соответствовала техническому заданию, однако разместить в нём всё имеющееся оборудования удалось с трудом. А когда потребовалось организовать работу ещё 50 человек, принятых в результате расширения бизнеса, в серверной наступил апокалипсис:


Серверная банка выглядела даже не так, а ещё хуже, хотя кажется, что хуже — некуда. Источник фото: AliaDen / reactor.cc

Ещё один похожий случай произошёл в другом филиале этого же банка. У ИТ-отдела запросили площадь, которую занимает серверная стойка, и количество этих стоек. В итоге вместо нормальной серверной получилась «кишка» шириной в глубину стойки плюс 90 см для того, чтобы мог пройти человек. В таком виде серверная просуществовала около двух лет, пока в филиал не приехал внутренний аудит и не выписал грозное предписание.

И тут рекомендация № 3: определяя площадь серверной, разместите на плане стойки и другое оборудование с учётом будущего расширения и не соглашайтесь на компромиссы с руководством, особенно если речь идёт об «оригинальных» дизайнерских решениях.

Ошибки в системе кондиционирования и вентиляции

1. Использование бытовых кондиционеров

Многие руководители искренне считают, что для охлаждения серверной вполне уместно будет поставить в неё бытовой кондиционер — главное, выбрать модель известного производителя, а для надёжности поставить не одну «голову», а две, чтобы включать их по очереди, давай им «отдыхать».

Однако бытовые сплит-системы не рассчитаны на работу в режиме 24?7?365, поэтому через относительно небольшое время могут выйти из строя. Кроме того, они не могут направить поток холодного воздуха в «горячую» область, что значительно снижает эффективность охлаждения.

Ещё одна проблема с бытовыми кондиционерами — невозможность подключить их к системе мониторинга температуры. Это исключает возможность управления микроклиматом в серверной в соответствии с заданными параметрами.

Случай из жизни:

В полукруглой серверной, о которой мы писали выше, поставили два бытовых кондиционера. Каждое утро сотрудник хозяйственного отдела заходил в серверную, выключал один из них на «отдых» и включал другой. Такая бережливость не помогла: кондиционеры проработали около года, после чего один за другим «умерли». Вместо них в конце концов был установлен прецизионный промышленный кондиционер с вменяемой системой управления.

Рекомендация № 4: никогда не пытайтесь сэкономить на серверной, используя бытовые кондиционеры. Даже если руководство настаивает, приложите максимум усилий, чтобы не допустить такого решения.

2. Использование централизованной системы вентиляции для охлаждения серверной

Ещё одно «гениальное» решение — это попытка использовать для охлаждения серверной централизованную систему кондиционирования. Такое решение имеет ещё меньше права на существование, поскольку охлаждение в ней работает лишь при ограниченном диапазоне температур, а на ночь систему охлаждения отключают для экономии электричества, поэтому охладить воздух в серверной в это время не удастся.

Случай из жизни:

И снова тот же филиал банка, та же полукруглая серверная. И чилер системы централизованного кондиционирования, нависший над серверной стойкой. Его повесили, чтобы «подстраховаться» от отказа бытовых сплитов. В один совсем не прекрасный день из чилера стала капать вода. Прямо на стойку с коммутаторами. К счастью, это началось, когда в серверной работали сотрудники ИТ, поэтому они успели накрыть стойку плёнкой, так что оборудование не пострадало.

Рекомендация № 5 будет примерно такой же, как и относительно бытовых сплит-систем: централизованная система кондиционирования офиса ни при каких условиях не подойдёт для охлаждения серверной.

Ошибки организации бесперебойного электропитания

1. Использование простых ИБП на всех участках инфраструктуры

Стремление сэкономить приводит к тому, что некоторые компании закупают большую партию недорогих ИБП мощностью 500-1000 В·А и использует их не только на рабочих местах, но и для серверных стоек. Управлять такой армией бесперебойников крайне сложно, особенно при большом количестве рабочих мест. Обеспечить надежную работу таких ИБП также невозможно, особенно когда скачки напряжения — частое явление.

Случай из жизни:

Уже полюбившийся вам экономный филиал банка и тут отличился: на рабочие места приобрели недорогие неуправляемые ИБП на 500 В·А, а для серверной «расщедрились» аж на устройства в 1000 В·А. Поскольку из экономии покупали не рэковые модели источников, силами сотрудников хозяйственного отдела пришлось соорудить стеллаж, на который расставили ИБП в «бытовом» исполнении. Установили его пришлось между двумя стойками, чтобы хватало длины проводов. Работало это, мягко говоря, ненадёжно, поскольку никто не озаботился тем, чтобы рассчитать максимальную нагрузку на каждый ИБП. Мощности просто не хватало, поэтому через несколько секунд после отключения электричества сервера в стойках вырубались.

Рекомендация № 6: в серверных нельзя использовать дешёвые резервные ИБП — отказы серверов, простои и потеря данных обойдутся значительно дороже такой «экономии»

2. Недостаточная номинальная мощность ИБП

При перегрузке ИБП переключается на цепь внутреннего статического байпаса (обходной линии), поэтому нагрузка становится незащищенной как от низкого качества входного электропитания, так и от пропадания этого самого входного электропитания – что создает дополнительные риски потери данных или выхода из строя компонентов инфтраструктуры.

Рекомендация № 7: чтобы ИБП обеспечивал работу подключённого оборудования, максимальная нагрузка на него не должна превышать 80% от номинала. Это значит, что ИБП номинальной мощностью 50 кВ·А рекомендуется нагружать не более, чем на 40 кВ·А.
В стойки можно ставить однофазные линейно-интерактивные устройства, но для централизованной системы придётся выбирать между трёхфазными решениями с двойным преобразованием электроэнергии. Этот вариант надёжнее, но дороже.

3. Неправильный выбор схемы организации бесперебойного электропитания
На этапе проектирования серверной следует определиться с тем, каким образом будет организовано бесперебойное электроснабжение. Если не решить этот вопрос заранее, исправление ошибок может привести к значительным затратам и простоям.

Рекомендация № 8 будет несколько объёмнее предыдущих. Чаще всего встречаются три варианта организации бесперебойного питания:

• централизованная схема предполагает установку одного или нескольких мощных трёхфазных ИБП и подключение к ним потребителей через устройства и системы распределения электроэнергии;
• в распределённой схеме для однотипных и расположенных рядом потребителей устанавливают отдельные ИБП небольшой мощности (в небольших серверных ИБП устанавливаются прямо в стойках);
• комбинированная схема предусматривает, что к централизованным ИБП первого уровня добавляются дополнительные ИБП для самых важных участков инфраструктуры и потребителей.

Распределённая схема сложнее в управлении и не позволяет эффективно использовать мощность отдельных ИБП. Резервирование в ней обычно реализуется по схеме 2N — два ИБП на стойку.

Более высокие начальные затраты на модульность целесообразны только в конфигурациях с резервированием. Здесь все зависит от индивидуальных потребностей.


В линейке продукции Eaton имеются специализированные ИБП, которые эффективно решают задачу организации бесперебойного питания серверного оборудования для среднего и малого бизнеса: модель Eaton 5PX — линейно-интерактивный ИБП на 2200 В·А с КПД до 99%, предназначенный для защиты серверов и сетевого оборудования, систем хранения данных и VoIP. Фото: Eaton

Превращаем уникальность в унификацию

Каждая серверная имеет свою уникальную историю, несмотря на стремление интеграторов и проектировщиков реализовать унифицированные проекты. Мы разобрали типичные ошибки проектирования серверных и привели рекомендации, которые позволят избежать неприятных последствий.

Для тех, кому интересно, расскажем под конец, чем закончилась история с филиалом банка. Филиал переехал в другое здание и разместился на трёх этажах. Просторная серверная с автоматической системой управления климатом разместилась на втором этаже. По соседству с серверной было выделено отдельное помещение для централизованного модульного ИБП, а в подвале смонтировали дизель-генераторную установку с автоматическим запуском в случае отключения питания. Не сказать, что всё сделано идеально, но пять лет мучений с неправильно спроектированной серверной многому научили и руководство, и сотрудников. Старое помещение филиала занял другой банк. Как он распорядился полукруглым помещением, нам выяснить не удалось.