Здравствуйте. Это — мой первый пост, поэтому прошу не судить строго.
Я владелец небольшой компании, по совместительству сам настраиваю все свои серверы. У меня достаточно простая архитектура сети с четырьмя физическими серверами 19", которые недавно лишились колокейшэна в серверной арендодателя.
Возник вопрос о выделении из общей площади офиса серверной комнаты с уплотнением коллектива или установке бесшумного шкафа, принцип работы которого уже был описан на Хабре.
Далее я попробую определить для себя: строить самую простую серверную или установить бесшумный шкаф.
Из расчетов я выкину одинаковые для обоих случаев работы, как-то: подведение электропитания, коммутацию и прочие идентичные работы.
Расчет стоимости владения серверной
Входными данными для расчета будут:
— минимальная площадь серверной по стандарту ANSI/TIA/EIA-569-B должна быть не менее 14 кв.м., но забугорные стандарты для нас не указ. Мы взяли за основу 8 кв. м., чтобы к шкафу можно было подойти с любой из сторон;
— арендная ставка за кв.м. – 1000 руб./месяц;
— минимальные строительные работы по возведению серверной: перегородки из гипсокартона, шумоизоляция, широкая дверь, пожарная сигнализация, освещение, переделка потолка;
— самая простая система охлаждения бытовым кондиционером без резервирования;
— достаточно бюджетный серверный шкаф ЦМО 42U с модулями вентиляции;
— срок владения — 3 года, поскольку в нашей стране любой руководитель из области малого и среднего бизнеса дальше не чем на 3 года не заглядывает.
Расчет:
— стоимость владения площадью за 3 года – 1000руб./кв.м.мес.*8кв.м.*36мес. = 288 000 руб.
— стоимость возведения серверной – 50 000 руб.
— стоимость установки кондиционирования – 60 000 руб.
— стоимость шкафа ЦМО с вентиляцией – 66 500 руб.
ИТОГО за 3 года: 464 500 руб.
Расчет стоимости владения бесшумным шкафом
Входными данными для расчета стоимости владения работающего по технологии активного шумоподавления Silentium шкафа:
— занимаемая шкафом площадь – 1 кв.м.;
— арендная ставка за кв.м. – 1000 руб./мес.;
— кондиционер в офисе уже установлен;
— срок владения – 3 года.
Расчет:
— стоимость владения площадью за 3 года – 1000руб./кв.м. мес.*1кв.м.*36мес. = 36 000 руб.
— стоимость типового бесшумного шкафа VIST AcoustiRACK – 420 000 руб.
ИТОГО за 3 года: 456 000 руб.
РЕЗЮМЕ
Резюмировать будем антинаучно — без весовых коэффициэнтов, банально по количеству плюсов.
| Серверная комната | Бесшумный шкаф | ||
|---|---|---|---|
| стоимость владения за 3 года: 464 500 руб. | стоимость владения за 3 года: 456 000 руб. | ||
| большая часть инвестиций «размазаны» на 3 года | большую часть инвестиций необходимо выделить сразу | ||
| при аренде дополнительного помещения под серверную, в бизнесцентре может не быть маленьких площадей или вовсе отсутствовать свободные | всегда можно выделить 1 кв.м. из уже арендуемой площади без серьезного уплотнения сотрудников | ||
| выделение площади под серверную в уже работающем офисе связано с уплотнением сотрудников | всегда можно выделить из имеющейся площади офиса 1 м.кв. без уплотнения сотрудников | ||
| не каждый арендодатель разрешит перепланировку офиса | в согласовании с арендодателем нет необходимости | ||
| необходимость в строительных и электромонтажных работах | только электромонтажные работы | ||
| при переезде серверную придется строить заново | мобильность — перевез куда захотел | ||
| Оценка: 1 | Оценка: 6 | ||
Честно говоря, при всей своей очевидности, решение я еще не принял.
А что бы выбрали Вы?
Комментарии (52)
himch
03.07.2017 12:27Я бы поставил стойку ЦМО без постройки серверной.
От 4 серверов не так уж много шума, примерно как от 4 компьютеров сотрудников…
Элсо, можно потратить несколько тысяч рублей на замену вентиляторов в серверах на более тихие.
DMGarikk
03.07.2017 12:43+4От 4 серверов не так уж много шума, примерно как от 4 компьютеров сотрудников…
От одного нормального стоечного сервера, шума будет больше чем 4х компьютеров, особенно в условиях недостаточного охлаждения, что мы и получим в закрытой стойке с вентиляторами и обычным кондеем на всю комнату который делает +24 градуса
И шум маленьких вентиляторов сервера в разы больше давит на мозг в отличии от больших пропеллеров рабочих станцийhimch
03.07.2017 12:50Стойка — она открытая, без вентиляторов.
Это шкафы — закрытые.
В офисе можно выбрать место подальше от сотрудников, чтобы минимизировать шум.
Demon_i
03.07.2017 14:43+1Вы, похоже не слышали сервер. Возьмем HP DL360 G6 (из того, что лично щупал). У него 9 проходныех куллеров +2 на ПБ. Вы слышали этот самолет?
Насчет подальше от сотрудников — на время ремонта серверной он был перенесен в закрытую коммутационную комнату — так его было слышно на весь корридор длинной 100 метров. А у ТС их 4 штуки.
nerudo
03.07.2017 12:35+2А к бесшумному шкафу не будем подходить со всех четырех сторон?
Monster_bnd
08.07.2017 19:50Если мне в офисе нужно пространство для обслуживания серверов в шкафу, я от него могу отодвинуть сотрудника вместе с мебелью на пару часов. В серверной-же свободное пространство вокруг шкафа нужно резервировать и оно по сути «мертвое».
SexySvin
03.07.2017 12:40Ну в сервеную комнату можно потом еще добавить пару стоек, да и прочее оборудование (CCTV) поставить. Есть потенциал для расширения. А вот шкаф весьма ограничен по объему + разводка кабелей будет прям в самом офисе.
sim-dev
03.07.2017 12:40+1Я по-дилетантски спрошу: в серверной отдельный кондиционер, а в офисе — существующий. Судя по всему, выброс тепла от шкафа создаст некомфортные условия для работников офиса, ведь имеющийся кондиционер явно не рассчитан на это… или я не прав?
Monster_bnd
03.07.2017 16:11Конечно, вы правы, коллега — зрите в корень. Но не в случае 4-х серверов. Даже если взять тепловыделение 750Вт*4шт. = 3кВт — с таким тепловыделением должен справится любой бытовой кондей в офисе, причем потреблять будет чуть больше киловатта. У меня (по моему) серверы с БП 2*750Вт+2*460Вт, при этом два сервера почти не загружены — их можно посчитать не с коэффициентом 1, а скажем 0,5… так что ничего страшного я тут не вижу в использовании офисного кондея — запас большой.
Shaz
03.07.2017 12:55+1Даже по этот шайтан-шкаф нужно отдельное помещение, так как в случае размещения его прям рядом с сотрудниками могут быть варианты типа: «мы поставили сверху горшок с цветуечками а он протек и теперь ниче не работает», да и просто в шкаф может влезть кто угодно. Подключать этот шкаф к розетке в стене тоже так себе вариант — вы понятия не имеете что еще висит на этом автомате, а подводить отдельную линию питания к шкафу это тоже не самая простая задача и потребует согласования. Далее идет охлаждение — та температура что подходит для оборудования, вряд ли подойдет для сотрудников. А еще есть пыль, и в офисе ее много, очень. Я не знаю где и у кого Вы арендуете офис, но в более менее крупных БЦ, как правило есть свои серверные, и некоторые арендаторы просто размещают свои сервера там же (ну да не бесплатно).
P.S. А зачем на 4 сервера шкаф в 42U? если можно взять намного меньше и выйдет дешевле.Monster_bnd
03.07.2017 17:54Если ничего не поменялось за последнее время, то это экономически не целесообразно — там на 200 долларов всего дешевле выходит шкаф, который меньше по высоте.
khanid
03.07.2017 18:56+1Дополню Shaz.
Помимо воздействий вида «протёк горшочек» есть два более вероятных сценария.
1) Выдернут питание. Случайно или преднамеренно.
2) Что там висит на автоматах — не ясно, но из личного опыта — доброй души человек может рубильники выключить (зачем ночью в офисе питание?). Это, кстати, случай из личной практики.
Серверная на отдельном питании (ну или хотя бы автоматах) выделяется проще (да хоть маркером рубильник раскрасить и повесить надпись «Чёрный автомат не выключать».
И про охлаждение дополню:
1) Человеческий фактор. Когда в офисе идёт борьба тех, кому дует с теми, кому жарко.
Серверам дуть не будет, а вот жарко может очень даже быть.
2) Время обслуживания сплит-системы.В это время охлаждения не предполагается?
Под нагрузкой сервера греются достаточно шустро.
И высокие температуры железу не на пользу в таких условиях.
3) Сплит-систему планируется гонять нон-стоп?
Ей тоже вряд ли такое на пользу пойдёт. Обычно в своих серверных на все эти случаи стоит 2 сплита нужной мощности + согласователь с термостатом. Колхоз, конечно, но работает.
И пыль.
При объёмах протягиваемого сервером воздуха, он забьётся очень быстро. При открытой серверной из коридора за 3 дня натянуло пыли так, что пришлось сервера останавливать на обслуживание + если рядом волосы, то сервера влёгкую их затягивают в себя.Monster_bnd
03.07.2017 19:22Питание планируется подводить аналогичное как к серверной — не вижу проблем.
Кондей в серверной аналогично нужно обслуживать — тоже не вижу ни туда ни сюда плюсов.
Борьба тех кому жарко и тех кому холодно в офисе — тоже не так важно, т.к. любая комфортная сотрудникам температура также будет комфортна и железу.
По поводу пыли вопросы есть:
— у шкафа есть сменный фильтр, хотелось бы услышать опыт тех, кто сталкивался — как часто он будет забивается в офисе?
— в серверную уборщица не будет заглядывать вообще, так что тут тоже вопрос что лучше…DMGarikk
03.07.2017 19:27т.к. любая комфортная сотрудникам температура также будет комфортна и железу.
Вы в курсе какая температура должна быть в серверной? И почему админы в свитерах туда ходят?
офисные +23-26 (и 30 бывает нормой для некоторых индивидуумов), это внутри закрытого шкафа +30-40Monster_bnd
03.07.2017 19:40Позволю себе не согласится с вами, коллега.
Рекомендуемая ASHRAE температура в помещении серверной 18 — 27°С.
И эта допустимая температура эксплуатации платформ с выходом новых архитектур растет.DMGarikk
03.07.2017 20:11а температура где? В серверной две зоны, горячая и холодная. а указывается некая средняя. причём с разницей на входе и выходе
У вас внутри стойки сколько будет если в комнате будет +27 (для офиса раз плюнуть)?
Потом при +20 уже начинается некомфортная работа аккумуляторов бесперебойников, и при приближении к 27 (которая разрешается) уже увеличивается риск отказов дисков в массивах при случайном скачке к 30 и выше если выключили кондей (а офис же, его выключат без сомнений)
===
Конечно 4 сервера это несерьёзно в таких рассуждениях, но раз уж взялись говорить :)
AndyAEG
06.07.2017 11:46В шкафу Silentium также есть нечто вроде холодного и горячего коридоров — забортный воздух очень мощными (действительно мощными)) вентиляторами нагнетается во фронтальную часть шкафа и честно обеспечивает всем полезным юнитам комфортные (как мы договорились)) +27°С. Весь переработанный воздух собирается в тыльной части шкафа и удаляется такими же мощными вентиляторами. Смешения холодного и горячего воздуха (как это может происходить в серверной комнате за 464500 руб))) в нашем шкафу не происходит, т.к. все незанятые юниты закрываются заглушками. Если же вы станете городить в серверной комнате настоящие холодный и горячий коридоры, то стоимость её значительно превысит объявленную скромную сумму.
khanid
03.07.2017 23:32Основной мой посыл в вопросе о питании — стойка в общем помещении — это ещё одна точка отказа, только лишь потому что, возможно, некие действия над питанием становятся доступными лицам, не уполномоченным на это, попросту говоря, случайно или предумышленно могут просто обесточить.
khanid
03.07.2017 23:48Что-то увлёкся редактированием — время вышло.
По поводу кондея в серверной — люди это тоже тепло. И там, где сервера ещё в холодной комнате смогут проработать часа 3 (в нормальном режиме, а не в качестве ИЛ-76 на взлёте), в офисе с толпой народа это время будет исчисляться десятками минут.
К слову о людях.
Длительные работы в несколько часов в серверной в 3 человека в составе меня и ещё пары человек приводят к тому, что температура повышается с 17-18 до 22-23 градусов, это при таких кондеях, как mitsubishi heavy (что-то вроде FDEN100VF) и всего 1 неполной стойке, например.
Но как вариант, если вдруг так случится — просто в офис запасной сплит поставить.
Кстати. Тут вообще подумал. А коллокейшн в какой-нибудь другой серверной по соседству? Может этот вариант проще и дешевле чем шкаф/серверная? Или основная/сильная завязка на LAN?
RiseOfDeath
03.07.2017 13:04Я бы некоторые из тезисов оспорил:
- Как уже до меня заметили 10к рублей (т.е. около 2% цены) это не существенно.
- Я не согласен с тем, что "в согласовании с арендодателем нет необходимости" — сервер потребляет существенно больше, чем несколько компов сотрудников — соответственно вам может не хватить мощности сети и как результат, в лучшем случае у вас будет блэкаут в вашем отдельно взятом офисе, в худшем (если БЦ безграмотно сделан) еще и у части ваших соседей (например в нашем БЦ соседи вырубали свет себе, нам и (кажется) еще одним соседям неисправным электрочайником).
kumbr_87
03.07.2017 14:17И еще в довесок ко всему нагрузка на пол… если набить 48 юнитов серверами может выйти немаленький вес
Rsa97
03.07.2017 15:29Насчёт «бесшумности» шкафа:
— серверная в офисе (при использовании 4-5 4U-серверов с динамическими установками оборотов вращения вентиляторов, шум от шкафа, установленного в кондиционируемом офисном помещении, не составит более 55дБ, что не превышает норму длительного воздействия шума)
55дБ — это спокойный разговор в 1-2 метрах. Кого-то такой шум может уже раздражать. Так что, IMHO, лучше предварительно послушать шкаф вживую.
rionnagel
03.07.2017 15:32-1А вы рассматривали aws/azure и аналоги?
Shaz
03.07.2017 15:55+1Не знаю как aws а вот в azure оставить 460к в год — ниразу не проблема.
rionnagel
04.07.2017 10:38Извините, но это за что? Это дороже, чем аренда мест под это дело, стоимость серверов в эксплуатационный срок, необходимого канала и оборудования для него, организация отказоустойчивости и обслуживание этого всего? Я действительно не в курсе, поэтому и спрашиваю. Просто например работу с aws/azure я представляю через установку докера и системы оркестрации (dc/os, kubernets) обходясь мощностями явно ниже, чем у вас будет на железе, особенно с самого начала.
Shaz
04.07.2017 10:50Понятия я не имею за что. Топикстартер обозначил только количество своих серверов, а также те моменты что он и директор и админ, и с колокейшена в БЦ его выселили. И при чем тут докер? Будем покупать виртуальную машину в Azure ставить на нее докер в который начнем пихать 1С под вайном?)
rionnagel
04.07.2017 11:54Это перебор… насколько я понимаю 1с работает на линуксе и разворачивается вебом — в данный момент это в порядке вещей, может даже и есть образы под докер.
Shaz
04.07.2017 12:39Ну допустим это можно сделать, ок. Только вот сейчас уже есть некая инфраструктура отвечающая потребностям и в чем смысл все переделывать? Потратится на смену лицензии 1С? Устроить простой офиса на пару дней?
rionnagel
04.07.2017 13:01Слушайте) Я не настаиваю, чтобы кто-то так делал) И уж точно не стоит выкидывать своё железо, если оно уже есть. И подобные вещи возможно делать без простоя в пару дней. Мне просто было бы интересно услышать аргументы экономической целесообразности в разрезе с клауд платформами т.к. удобство есть вполне очевидное — не надо больше думать сколько что потребляет, когда менять блоки для бесперебойника, когда менять железо, когда проводить тех. обслуживание, где брать место на бекапы и реплики, где в случае чего быстро достать серверную мать, блоки питания, как обеспечить хороший канал и как защищать его, чем дублировать и прочие вопросы связанные с обслуживанием железа, в двух словах абстракция от железа — это хорошо, но стоит ли оно того. У самого стоит железо в серверной — и постоянно мучают вопросы из серии «а если?».
Shaz
04.07.2017 13:53От хорошего и защищенного канала точно никуда не деться — не будете вы выставлять все свои ресурсы в интернет? Так что туннель держать придется. А так — фиг его знает, надо считать, везде свои нюансы.
rionnagel
05.07.2017 12:27Зависит от видов сервисов, которые будут крутиться) и сферой применения. Ну вообще настроить впн до этого всего не такая и большая проблема. Да и я не думаю, что есть смысл в клауд платформах, если обслуживание только бэкофиса.
Shaz
04.07.2017 10:56https://azure.microsoft.com/ru-ru/pricing/details/virtual-machines/windows/
Собственно можно посчитать тут.
SunTechnik
03.07.2017 18:10При использовании шкафа с активным шумоподавлением, имеющегося кондиционера может и не хватить.
Надо считать сколько потребляет установленное оборудование.
Во время обслуживания оборудования, коллеги будут ненавидеть инженеров…Monster_bnd
03.07.2017 18:20Я чуть ниже (или выше) посчитал — офисного кондея хватит за глаза. Подумалось вот еще о чем: в серверной отказ кондея (без резервирования) может быть не сразу замечен, а в общей комнате при отказе сотрудники вой поднимут сразу. По моему это тоже своеобразный плюс. Понятно, что стоит заббикс, который поднимет тревогу, но он поднимет тревогу когда уже будет все кончено…
Shaz
03.07.2017 19:09Можно прикрутить сервера к столику из икеи (что-то около 1000р) там как раз 19" между ногами.
SunTechnik
03.07.2017 20:32Еще 5 копеек.
Я знаю несколько бизнес-центров, где кондиционеры принципиально выключаются на зиму.
( Не система вентиляции, а сплиты).
Проблема охлаждения может встать в полный рост.
3 кВт по охлаждению — это ~на 35 м. кв. Не думаю что кто-то закладывает такой резерв.
Данная стойка рассчитана на мощность до 8 кВт.
Общий вывод:
— Если позволяет ситуация — надо делать серверную.
— Если серверов мало и они слабенькие, рассмотреть вопрос их реализации на тихом десктопном железе.
— Если есть что-то шумное, и серверная не светит — такой шкаф может стать спасением.
Но тем, что будет с ним рядом — не завидую…
kisaa
06.07.2017 11:47Прикрутить к бесперебойнику плату управления с датчиком температуры, например, и мониторить температуру тем же заббиксом. Триггер на 5 градусов выше нормальной — и тревогу поднимет вовремя, и даже ночью, когда офисных сотрудников нет на месте.
ed007
03.07.2017 18:35-1Вы действительно всерьёз верите, что «шкаф с активным шумоподавлением» будет тихим?
DFPAll
03.07.2017 18:56был в использовании подобный бесшумный шкаф:
1. шкаф был под требования по безопасности (экранированный, ограниченный доступ с замком, система вытяжки/вентиляции тоже экранированы)
2. места он занимает больше 1 кв.м.
3. водой с «цветочка» не зальешь
4. шума не много, собственно там размещалось 2 сервера — аналога dell r720 и полка с дисками под схд, тише чем обычный офисный системник
5. охлаждение было офисной сплит системой, ни разу не было перегруза
6. подход с разных сторон — панели съемный, шкаф на колесах (но тяжелый)
7. стоит он сильно дороже небольшого помещения под серверную с стойкой и кондиционером
electronus
03.07.2017 19:22Let the колхоз begin. Соберите сервера в тауэрах на серверном железе, но с альтернативной системой охлаждения, и поставьте в обычный шкаф без шумоизоляции… Юнитовые модели не оптимизированы для тихой работы.
Если бизнес позволяет, то вообще используйте околотоповое несерверное железоquqdron
04.07.2017 09:12Именно в таком ключе — сейчас на столе готовлю две башни (fractal define R5), 6 малошумных 140мм. вентиляторов (noctua NF-A14PWM) в каждой = вообще не слышу, наверно старый стал :).
ps А в качестве фильтра натянуты женские колготки :))).
nApoBo3
04.07.2017 00:34Почему в расчете шкафа не учтена стоимость офисного помещения? К нему так же нужен доступ со всех сторон, или хотя бы с трех, также нужны зазоры от стен на обслуживание.
SandmanBrest
04.07.2017 00:46Так получилось, что у одного из клиентов как раз похожая конфигурация — шкаф ЦМО с вентпанелью. Внутри шкафа — беспередойник APC Smart 2200, Proliant 380 Gen9, Panasonic NS500, регистратор HKvision, 3 DSL модема для телефонов, 3 свича и роутер.
Все это богатство абсолютно не перегревается, шум — с 2-х метров его не слышно совсем.
Komei
04.07.2017 02:20Скажите, а что вы думаете про использование систем вроде такой: SmartBunker FX 42U PFMSB50042
У них вроде встроенный кондиционер, т.е. нет выхода воздуха из шкафа. Не будет ли такое решение тише?
quqdron
04.07.2017 08:57Повторюсь, но
всегда можно выделить 1 кв.м. из уже арендуемой площади без серьезного уплотнения сотрудников
это справедливо если шкаф будет всегда выключен.
В исходных данных нет: типа и мощности устанавливаемого оборудования, и его шумовых характеристик.
Серверная так же (в моем понимании) содержит и свитчи\маршрутизаторы, часть СКС (структурированные кабельные сети), также может (Имхо желательно) объединить с другими слаботочными системами.
Проектировал, участвовал в монтаже, эксплуатировал 6 серверных и одного «Бесшумного» шкафа который пришлось выгораживать в отдельную «кладовку», т.к. перегревался, а кабельное хозяйство переносить дороже.
Да, еще:шкафсерверная обрастает ЗИП-ом, инструментом, патчкордами, документацией и т.д
Если все таки остановитесь на выделенном помещении (советую и надеюсь), предусмотрите вентиляцию: принудительную приточку с быстро меняемым фильтром, и пассивную вытяжку в горячей зоне + термореле с сиреной.
Создание не большого избыточного давления хорошо решает проблему с пылью и снижает нагрузку на кондиционер. Наличие свободного стола в серверной приветствуется, иначе — возможен вынос «тела» (иногда и кабелями) в «культурную» зону и недовольство офисных сотрудников.
elanc
04.07.2017 15:08+1Будто «магазина на диване» случайно увидел… «Волшебная чудо-хрень! С запахом банана! И всего за $999.99»
P.S. Спал, сплю и буду спать под этот мягкий нежный «тёплый» шёпот серверов в блаженной прохладе!
Andy_Big
Честно говоря, разница в 10 т.р. в течении трех лет не кажутся мне ни плюсом ни минусом. Больше денег уйдет на повышение оплаты электроэнергии за счет повысившейся нагрузки на офисный сплит в случае шкафа.
Но по всем остальным пунктам (кроме единовременного вложения крупной суммы) шкаф, конечно, выигрывает.