В данной статье, мы постараемся рассказать о проблемах, которые нам пришлось пережить за последний год нашей работы. Мы надеемся, что эта статья поможет Вам не допустить тех ошибок, которые были допущены нами с самого начала и которые, нам пришлось устранять «по живому». Поехали!
Как Вы знаете из прошлых статей, нам необходимо было в сжатые сроки «протянуть» свою оптическую линию к новому аплинку, для защиты от DDoS атак (поскольку сервис находился под массированными DDoS атаками конкурентов). Так как делали мы это крайне быстро — то и допустили ряд ошибок, за которые впоследствии расплатились сполна.
Первый обрыв
Первый случай не заставил себя долго ждать. Уже в апреле (да да, именно в апреле) была сильная буря со снегопадом, которая повалила массу деревьев, а в нашем случае даже множество опор (столбов) по которым мы пробрасывали оптический кабель.
Была также проблема — достать оптический кабель, распределительные коробки и муфты и главное, найти бригаду которая бы это сделала, поскольку в тот день, пожалуй половина провайдеров г. Днепр, была без связи, из-за погодных условий, которые повлекли собой падения деревьев, столбов, обрывы оптических магистралей и т.п.
Деревья пилили жители, чтобы освободить дорогу и выехать на работу.
Обрыв оптического волокна произошел сразу в четырёх местах и было это весьма грустно.
Ситуация также осложнялась тем, что высота, на которой монтажники крепили оптический кабель, была недостижима для наших «стандартных» лестниц, но и из этой ситуации мы нашли выход. Пришлось взять вторую машину, которая используется для перевозки грузов и «покатушек» и устанавливать лестницу прямо внутрь, упирая её в сидение.
Приступили к работе.
Зачищаем оптическое волокно.
Свариваем последнюю жилу.
Провозились целый день, практически с раннего утра до вечера. Большое спасибо бригаде которая нам помогала, лезла по обледенелым столбам, мокла в полуметровых лужах и замерзала под «легким» апрельским ветерком.
Второй обрыв
Второй обрыв, произошел спустя месяц-полтора, на том же месте где и первый, как всегда в самый неподходящий для этого момент. А случился он из-за коммунальных служб, которые решили убрать поваленные деревья и заодно порвать все, до чего мог дотянутся ковш их экскаватора… (я надеюсь случайно).
В этот раз мы уже знали куда ехать и что с собой брать, подготовились основательно. В это время наш мини «ЦОД», уже сидел на резервном аплинке с полностью рабочим функционалом, что дало нам возможность не сильно спешить.
Ликвидация последствий прошла успешно, кабель постарались закрепить достаточно высоко, на сколько это было возможно. Как оказалось потом, не достаточно.
Третий обрыв
Спустя некоторое время (совсем небольшой промежуток) у нас снова пропал сигнал и мы первым делом поехали осматривать данный участок дороги. Все усложнялось тем, что нам необходимо было иметь в запасе как оптоволокно так и «фопы/муфты» в которые мы укладывали данное волокно. Но с такой периодичностью аварий, запасов становилось все меньше.
Обрыв произошел ровно на том же участке, в двух местах. Первую часть оборвал большегруз, вместе с электро-проводами, а вторую часть «добил» мусоровоз, который намотал уже обвисший кабель на себя и сорвал его с трёх опор.
Нам данная ситуация весьма надоела и мы решили действовать наверняка. Вызвали автовышку и начали крепить кабель так, чтобы его смог сорвать лишь падающий самолёт (не дай бог конечно).
Сварка волокна прошла успешно и интернет был подан.
Четвертый обрыв
Последний обрыв произошел в конце лета и в самом неудобном для нас месте, над высоковольтными троллейбусными проводами, над оживленной дорогой. Как выяснилось позднее, электрики меняли крепежные элементы и случайно задели наш кабель.
Нужно отдать должное бригаде которая устраняла обрыв, делали они это бесстрашно. Высота, даже по сравнению с нашими прошлыми обрывами была очень серьезная (около 10м.).
Жара
Но не только с обрывами и снежной весной мы сталкивались за этот год, но и с аномальной жарой, которая чуть не парализовала работу нашего мини цода.
В середине лета, в Украине началась аномальная жара. Температура в тени поднималась до 45 градусов по цельсию. У нас стоит мощный, дорогой, канальный кондиционер, который, к сожалению, обслуживался не так часто, как это требовалось. И вот, когда неделю-другую, стояла жара под 45 градусов, а ночью 30 — у нас начались приключения.
Сначала, у нас начал «взлетать» ЦОД из-за блейд систем HP C7000. Там стоят куллеры по типу «турбин» и звучат они очень спецефично. Температура была (в самой жаркой точке) около 40 градусов, на блейд-системах около 30.
Первым делом, конечно, мы начали обслуживать кондиционер, проверили и добавили фреона, прочистили систему и радиатор и вроде-бы это помогло, но ровно на неделю.
Мы решили добавить еще один кондиционер, напольный, в помощь основному. Но это дало обратный эффект, температура начала только подниматься.
Мы пошли по принципу «удаления теплого воздуха» и начали реконструировать вытяжную систему. Купили и установили вытяжку, проложили вытяжные каналы и т.п.
Тест вытяжки, поглощение листа А4:
Делали даже так:
На какое-то время это дало нужный эффект, и месяц мы жили относительно без проблем, но с повышенной температурой в серверной зоне. Мы решились на замену кондиционера на новый, поскольку посчитали что старый вышел из строя (эксперты указали нам на это). Установили новый, более мощный кондиционер (также канальный), потратили массу финансов но эффекта это практически не дало.
Перепробовав все возможные варианты, переговорив с десятком фирм-подрядчиков мы не нашли никакого адекватного решения, температура была в пределах нормы, но в её граничной части, что нас также не устраивало. Серверы хоть и не перегревались, но при наращивании оборудования это стало бы проблемой.
И вот, один умный человек (NM из компании PINSPB привет!), подсказал нам, казалось бы не реальное решение проблемы. Вся проблема заключалась в том, что у нас в некоторых углах, скапливался горячий воздух и никуда не уходил и сколько бы мы не подавали холодного, он сразу становился теплым. Мы прислушались к совету коллеги и попробовали сделать тестовое решение из подручных средств.
Признаюсь честно, относился я к этому скептически, да и выглядело глупо. Но спустя час работы температура в дата-центре опустилась с 29-30 до 22-24 градусов! Безусловно, бытовой вентилятор был временной мерой и через 2 дня мы установили вентиляционную систему, которая гоняла воздух по серверной в промышленных масштабах и помогала вытяжке еще лучше. Но вентилятор и совет коллеги, помог нам понять суть проблемы, которую не поняли с десяток фирм-подрядчиков.
Вот и мы, хотим чтобы наш опыт, помог не совершать ошибок другим нашим коллегам, которые только задумываются о «постройке» своего решения или уже делают это.
Спасибо за внимание!
Комментарии (22)
POS_troi
28.09.2017 18:13помог нам понять суть проблемы, которую не поняли с десяток фирм-подрядчиков.
Потому-что ниодин из подрядчиков не пришел к вам с тепловизором. Редиски одним словом :)
Привет из Славянска.
TakeWYN Автор
28.09.2017 18:19Кстати да, мы тоже не подумали об этом. Пирометром мерили потом :)
Привет Славянску из Днепра!
bravo-ej
28.09.2017 18:30В итоге случалось всё, что вам сулили в комментариях, читая про ваши воздушные линии и единственный кондиционер на вашу не простую геометрию помещения с рядами стоек.
Спасибо что делитесь.
У меня в этом году тоже стройка активная была и в итоге на 19кв.м мы разместили наш узел связи с большим комфортом. Отчасти и ваши статьи меня тогда смотивировали написать про мои изыскания в этом. Правда я так и не дописал финальную часть, сейчас уже потому, что не могу сделать фотографии (ногу сломал, на больничном). Но в итоге у меня была вытянутая комната, где блоки 2х бытовых кондиционеров (правда с мозгами и ротационном блоком на два из их) и одной настенно-потолочной системы были вывешаны напротив фасадов стоек. В штатном режиме работает только полупромышленник (General, модель не помню). В случае отвала линии питания на него (ИБП вешать тупо, ибо 4кВт и цена за ИБП будет не маленькая), запускаются бытовые блоки (2 штуки). Блок ротации следит за температурой и решает, как им работать. Одновременный запуск всех кондиционеров можно произвести только вручную, так как не предполагается размещать большие серверные массив в шкафах. Но воздуху подавался с точек его забран оборудованием, а сзади поднимаясь наверх он попадал под мощную струю от кондиционера, который ротационно гнал поток то внизу, то горизонтально. Градусники показывают стабильные 18°.
Так вот произошёл один случай, о котором мы узнали только потому, что электрики предприятия, откуда у нас линия на бытовые нужны и питание полупромышленного кондиционера шла, накосячили при устранение у себя аварии — выгорела этажная ниша, где располагался наш бокс с автоматом на нашу линию. Судя по записи видео камер, АВР отработал как надо, запустив настенные бытовые блоки. И когда питание восстановили — они не выключились. Не выключились потому, что электрики предприятия не удосужились соблюсти фазировку, а подключили как попало. Реле контроля фаз решило, что его обманывают и не стало обесточивать резервные цепи питания на критически важные вещи (безопасность различного рода и климат).TakeWYN Автор
28.09.2017 19:30С кондиционером я чувствую мы еще будем бороться и в дальнейшем, когда многократно увеличим тепловую нагрузку. Но для этого, вероятнее всего, подготовимся заранее.
По поводу Ваших бытовых кондиционеров. Я Вас уверяю, у нас бы не справилось и 10 бытовых, к сожалению. А 1 канальник стоит как 25 бытовых, примерно.
Ну а на счет электрики, да, у нас тоже было много курьезов связанных с этим, но к счастью ИБП всегда спасал, возможно напишем и об этом :)
Спасибо что читаете!bravo-ej
28.09.2017 20:06А так у нас и расчёт такой был, что нам достаточно, так как мы оператор связи, не хостинг и иже с ними… Но если потребуется, то цена вопроса — труба на выброс воздуха из горячего «коридора» и приточку допилить немного. Само собой киловатты холода нарастить придётся.
Но я в общем к чему — вы тепло только от стоек забирали. Забирайте его со всей половины помещения, куда выбрасывается тепло со шкафа. У вас похожая расстановка с нашей (если я правильно понял) — выброс тепла от оборудования в стенку — если наверху поставить через 1 метр сопла — от стенки до стенки вдоль стоек, и выбросить всё это на улицу, при любой погоде будет хорошо. При этом у вас должен образоваться нормальный приток, иначе всю пыль от входа всосите или в принципе плохо вытягиваться будет, если все двери закроете.
Обратная сторона — почему пошли путём отъёма воздуха от оборудования, а не подводом холодного к фасаду стойки? У меня помещение узкое (3.30) и кондеи дуют прям в фасад. При вашей генерации тепла, мне кажется, лучше заниматься климатом внутри стойки, а не во всём помещение в целом.TakeWYN Автор
28.09.2017 20:40Все дело в том, что были проложены шахты до нас. Мы только улучшали. Забирается тепло как раз по 1 дырке на шкаф, сзади, где идет выдув горячего, но этого мало и он застаивался по комнате, где не продувал кондиционер. Мы также сделали подачу вперед шкафа, в последствии, но т.к. трасса слишком длинная — приток был очень мал.
bravo-ej
28.09.2017 22:39у вас большая площадь для одного кондиционера. Его объём работы надо уменьшать и куда то подавать холод точечно. А тепло забирать со всего помещения (вытяжки от стенки до стенки по в той области комнаты, в которую выбрасывается тепло). Отводить тепло можно и без турбовинтовых вытяжек, пассивной вентиляцией, если тяга хорошая. Если не очень — ну с моторчиком, но всё равно приток должен быть хороший, для большого воздухообмена.
Мы пока строились, ещё до завершение всех инженерок, всё вылизали до блеска, пылесос, влажная уборка несколько раз… начали ставить стойки и оборудование. Проходит неделя. Смотрит — в пыли всё. Не очевидно было, откуда она берётся, если окна не открываются, сообщения с общими системами вентиляции нет, дверь из помещения где уборка каждый день делается специально обученным человеком.
Была лишь одна труба, Z-образной формы, в которой стоял радиальный вентилятор и который должен был сработать по команде системы пожаротушения для выбора газа на улицу. При этом мы имели подозрение, но поймать её на грязном деле не могли — не было через неё никакого притока или оттока. В итоге когда уже заселились в наш новый офис, поймали такой эффект, что в какие то моменты возникает в офисных помещениях такая тяга, что при открытом окне, тяжёлая огнестойкая дверь оснащённая правильно подобранным доводчиком не могла закрыться от потока воздуха. Точнее она закрывалась, но очень медленно и чаще кто-то влиял на эту тягу, прикрыв окно, открыв дверь в общем коридоре и т.п.
В общем пока не запенили противопожарной пеной дыры в помещение серверной от кабельных вводов и кондиционных трасс, пришлось на эту чудо трубу надеть пакет. А пыли (или даже земли какой то) туда налетело столько, что можно рассаду посадить или червей накопать (окна выходили на один из проспектов Москвы).
В общем не жмитесь, приглашайте инженера по системам вентиляции и рассказывайте им свои проблемы. Не придётся покупать дорогое оборудование и вот так же потом с бытовым вентилятором, за 300 рублей, бегать
point212
28.09.2017 22:00Поделюсь своей болью ))))
У нас в серверной обычной организации на две стойки стояло тоже всего лишь два обычных бытовых кондиционера. Хоть и из дорогой серии. Причем оба молотили постоянно. Никакого резерва.
Причем стояли они СЗАДИ стоек. Хоть и дули в противоположную стену. Но всё равно… к сожалению мы тогда были простыми админами. И никто нас не слушал и не хотел делать как нам нужно.
Тоже длинное помещение. На мебельном производстве!!! Кругом мельчайшая древесная пыль. Проникает даже сквозь щели в стенах.
А еще из интересного — через серверную проходила труба ОТОПЛЕНИЯ. Так мало того что отопления, она еще и переодически текла. Один раз так сильно, что пошел аж пар. Еле добились чтобы нам ее заменили и теплоизолировали. О том чтобы провести ее в обход серверной даже слыштаь никто не хотел.
А… ну и ещё комната была под потолком обычного цеха. И потолок этот переодически тёк. Несколько раз приходилось подручными средствами защищать стойки — накрывать полиэтиленом. Ставить тазики.
Ессно ни о каких системах пожаротушения, сигнализации или даже мониторинга серверной речи не шло. Одно время я просто ставил туда веб-камеру и переодически посматривал на нее.
К слову об АВРе… с большим трудом выбили его себе… но всё остальное было самое дешевое и бытовое. Да и АВР был тоже бытовой. Несколько раз он не срабатывал. Приходилось ехать вечером на работу и переключать вручную.
Один раз взорвался вводной автомат в серверной. Заменить было некому и нечем.
Дизель почему-то с каким-то маниакальным упорством покупать не хотели. И насколько я знаю до сих пор там никто так и не купил.bravo-ej
28.09.2017 22:21я наш АВР сам собрал, причём на отечественной комплектухе. Схему выкладывал в статье. Работает как часы. Бюджет где-то 3000 рублей. Думаю, что его бы любой электрик собрал при желание, потому как собрал я, а я — связист.
Да и вообще зачем вам система пожаротушения? подошли к трубе, вломили по ней топором и потушили всё :)
TakeWYN Автор
28.09.2017 22:36Труба это круто. Нужно было наоборот, тепло продавать всему мебельному производству, а отопление отключить. У нас есть 1 шкаф, в нем стоят dl580. В общем никакое отопление не нужно, никому, даже соседям, даже через пять стен. Молотят больше чем весь цод вместе взятый. Вот такие пироги :)
ustas33
28.09.2017 22:11Зачем охлаждать всю комнату? Шторы из винила хотя бы повешайте, чтобы уменьшить площадь.
TakeWYN Автор
28.09.2017 22:37Комната не большая и смысла в этом не будет. Какой плюс будет в том, что снаружи будет кипяток. Другое дело, если бы мы могли сделать фальш-полы, это да… но помещение не позволяет этого пока реализовать. Возможно на другом объекте учтем наш опыт)
bravo-ej
28.09.2017 22:42насчёт фальшпола — если вы про подвод холода в рукавах под стойки, то есть вариант. Если конечно у вас есть 20-30см запас хотя бы над стойками.
Выкрутите ножки из шкафов, сварите под них раму из профиля с высоким подъёмом. и собственно под стойками протащите рукав для выброса холода в цоколь стойки. Только сделайте так, что бы воздух пошёл в фасад (между серверами и _перфорированными_ дверьми), а не в горячий коридор. В цоколе там дырки разные есть… обычно плоские выходят и на фасад и на, простите, зад.TakeWYN Автор
28.09.2017 22:43Если бы был запас, который позволял это сделать — мы бы первым делом это сделали. К сожалению шкафы, с кабельным органайзером практически под потолок.
bravo-ej
28.09.2017 22:46Тогда ваш вариант — рукав с холодом подводить прям перед стойкой) Видел такое на ММТС-9 в старых залах. Там такой рукав, что с плечами пролезть можно) Так из него такой поток холодильника поступает, что сдувает и инеем покрываешься)
TakeWYN Автор
28.09.2017 22:47Пока нам этого хватает, но на перспективу, сделаем еще 1 ввод холода с другой стороны, прямо сверху, на вдув шкафам.
360apm
Здравствуйте,
Сегодня, прочитав Вашу статью — перечитал и предыдущие.
Послевкусие такое: да, тут не тянет на ТИЕРы и т.д., правильное построение ЦОДов, нормы и прочие вещи. Но от Ваших статей тянет ламповостью, теплой ламповостью. Видно, что Вы переживаете за свое детище, и не стыдитесь (а это главное) описывать то, что Вы сделали, на что натыкались, Ваши фотографии «так, как оно есть». Стоит бытовой вентилятор? — и отлично, потому что выявлен вектор проблемы.
С удовольствием прочту Ваши будущие статьи и хочу видеть рост вашей фирмы.
Спасибо за Ваш труд.
Успехов
TakeWYN Автор
Спасибо большое за объективный комментарий. Мы и правда не сравниваем себя с кем-либо из «высшей лиги» и классификацией TIER, это было бы не разумно, мы строим удобную площадку в первую очередь для себя, где нас не будут стеснять временем присутствия, где мы можем подключить и протестировать любое оборудование, где мы можем не дожидаясь пропуска от охраны исправить аппаратный дефект и т.п.
И главное, если наши статьи помогут кому-либо избежать ошибок, которые мы допустили — тогда наша миссия будет выполнена :)
360apm
Просто пишите Ваши труды, желательно чаще :)
TakeWYN Автор
Стараемся, в черновиках много работ, но никак не хватает времени дописать. Собственно почему не хватает — видно выше. Всегда есть чем заняться) Будем делать все возможное чтобы публиковаться чаще.