В продолжение Части 1 — Colocation
Следующая часть — Переезд
Здравствуйте друзья! Прежде всего спасибо Вам за комментарии и интерес к прошлой нашей статье. Как мы уже говорили, при строительстве нашего цода, мы взяли с хабра очень много полезной информации, которая по итогу нам очень пригодилась. Поэтому данный цикл статей — некая благодарность площадке и авторам за их статьи, без них было бы в разы сложнее. Спасибо!
Итак, прошлую часть мы закончили на моменте с поиском нового помещения для «строительства» собственного ЦОДа. Как мы уже писали это было жизненно необходимо для нашего молодого проекта, который испытывал трудности в моменты серьезных проблем в дата-центре. Покажу несколько кадров здания ЦОДа. При этом хочу сказать что с владельцами мы работаем до сих пор в других направлениях и расстались хорошими друзьями. Сейчас (по слухам от коллег которые там размещаются) — все отлично.
Внимание! Много изображений. Есть не сжатые фото панорам, ибо при их сжатии — очень сильно теряется качество.
Само здание, как видите я не врал, это действительно бывший производственный комплекс. Я специально вставлю достаточно фотографий, чтобы Вы понимали всю необходимость переезда. К слову гермозона совершенно неплохая, как и технический подход в целом, хороший ремонт и т.п.
Это две фотографии лестницы в ЦОД и дверь нижнего этажа (заброшенного).
В общем, как вышло так вышло, мы начали поиск помещения. Были некоторые требования которые мы должны были удовлетворить.
— помещение выведенное из жилого фонда (важно для официальной деятельности).
— желательно первый или цокольный этаж (нам очень надоело носить на горбу железо на пятый этаж).
— доступ к операторам связи (в радиусе 2-3 км.).
Остальные пункты, такие как ремонт или что-то еще нас волновали меньше, мы понимали что работы будет достаточно. Мы пересмотрели порядка 20 разных объектов и в каждом были какие-то проблемы. Остановили свой выбор на нескольких небольших объектах и выбирали лучшее. Мы понимали что средств арендовать ангар и делать из него промышленный ЦОД у нас нет, а значит нужно экономить. Но экономия должна быть экономной, а значит нам нужно сделать все максимально профессионально (пусть и в малых масштабах, под расширение), чтобы потом не возникало проблем.
Был найден вариант в центре города (на шестом этаже если не ошибаюсь), но с грузовыми лифтами. ЦОД был уже подготовлен и сделан очень серьезно (размещался бывший полосатый оператор связи). Там сделано и усиление пола под зал ИБП и подвод электрики и все прочее.
Шкаф ИБП:
Машинный зал:
Но на деле оказалось все хуже чем нам рисовали. ИБП остался 1 шкафчик и тот, дохловатый. ДГУ увезли, вводы отрезали. А цену за аренду заломили как за космический корабль, плюс — обязательное подключение к одному из операторов связи, который и владеет (арендует этаж) этим помещением. В целом и это бы нас не оттолкнуло если бы не одно НО. Владельцы здания, за любое действие хотят денег, причем формата «вставьте нам окна на этаже за это» и т.п. И так абсолютно за все, будь то проложить оптику или подвести питание. Это нам не понравилось, зависеть от чьих то прихотей не хотелось, да и дорого честно говоря. Искали дальше.
И тут, совершенно случайно, по соседству с моим офисом (для другого вида деятельности) вижу объявление о сдачи в аренду помещения. Район жилой, тихий. Первый этаж, два входа, пандус, выведено из жилого фонда, на долгий срок и за вменяемые деньги. Осмотрели, просчитали — решили брать. Данное помещение хоть и не большое, но на начальном этапе удовлетворяло наши требования полностью.
Нам передали ключи (как же долго мы разбирались что к чему), ключей действительно немало:
Изначально помещение выглядило вот таким образом (кроме пожарной и охранной сигнализации и мелочей, их мы уже установили). Панорамы.
Будущий машинный зал:
Будущий офис для дежурных:
Итак, отсчет пошел, и у нас было уже менее двух недель на весь переезд. А у нас не было, ровным счетом ничего. Первым делом мы начали делать комнату в которой будем находиться на момент мелкого ремонта в помещении ЦОДа.
Разложили кавролин и давай его вымерять:
Купили разные мелочи, наклейки, таблички, замочки:
И еще пылесос и разные полезные мелочи:
Приступили к укладке кавролина и плинтусов. Делали все сами:
Прекрасная половина тоже с нами и помогает:
Привезли куллер для водички, затащили столы, привезли IP телефоны Cisco:
По итогу было примерно так. Спасибо ребятам, очень помогли:
Ремонтные работы в машинном зале
Один из основных критериев который был для нас Важен это шумоизоляция ЦОДа. Долго выбирали как правильно сделать, советовались, но решили все-же поступить так. Разбивать старый гипс (очень жалко было но нужно), укладывать 100мм. вату, проклеивать все металлические стыки, профиля специальной вибро-изоляционной лентой и только потом уже заново все собирать. То же самое касается и потолка. Процесс пошел. Вату, кстати, выбрали специально негорючую.
Первая закупка строй-материалов:
Рушим стенку (к сожалению снимал только первую). К слову нашли потайную проводку прошлых владельцев помещения. Обрезали:
Укладываем вату и гипс:
Укладываем вату под весь потолок:
Собственно эти же операции были проделаны и с остальными стенами и всем потолком. Шумоизоляция важный момент. Дальше перешли к покраске и разного рода завершающим работам:
Инфраструктура ЦОД
Теперь, когда грязная часть работ позади, мы можем подумать и о оборудовании, которое мы планируем ставить и о полной инфраструктуре для его размещения. Скажу сразу, кондиционер в помещении был, что нам несказанно помогло. Промышленный, настоящий, огромный кондиционер. Кушает правда больше, чем нам нужно, но это мелочи. Мы выделили важные пункты в нашем плане и приступили к их реализации.
Начали мы с электропитания. Мы стремились к идеальному, чтобы получилось — хотя-бы хорошо. Подключили ввод электропитания от разных подстанций, сделали разводку, поменяли кабели питания, проложили кабели в машинный зал:
Был так-же установлен переключатель фаз (на случай если 1 фаза пропадает система сама переключает её на другую):
ИБП. Здесь было сложнее. Мы рассматривали абсолютно разные решения, но необходимой нам мощности либо небыло в наличии, либо она стоила больше, чем мы могли себе позволить. Нам так-же было важно чтобы это решение можно было масштабировать, ведь для начала нам нужно не много, но важно чтобы это было и выполняло свои функции хорошо.
Так мы и нашли инвертор на 5 кВт, который работает от аккумуляторов (цепи аккумуляторов 48 вольт) и может работать даже от солнечных батарей. Если честно — намучались мы с его подключением хорошо, даже думали ехать сдавать, как в один момент нашли кнопку которую нужно «зажать» для включения. При этом в магазине этого тоже никто не знал (в инструкции об этом забыли сказать) и предлагали уже вернуть товар. Но мы не сдались. Подключили АКБ.
Тут тоже свои моменты: АКБ по 12 вольт. Их можно подключить или параллельно или последовательно, из чего получаем либо 48 вольт вместо 12 либо умноженный ампераж. Нам нужны были 48 вольт, поэтому подключили как на фото ниже. Аккумуляторы к слову, мы могли выбрать двух видов. Автомобильные и специальные. У первых выще пусковой ток, но их нельзя разряжать в ноль, у вторых — наоборот, меньший ток, но разрядки не бояться. Выбрали автомобильные, цена сильно отличалась, а разницы для нас не было (все равно их менять через год):
Наверное отдельного поста заслуживает полочка под аккумуляторы и ИБП. Как Вы понимаете все это весит прилично. Выбрали дорогую полку в одном строй-маге, на ней было ясно написано, собирается за 15 минут. Мы проклинали эту полку пол дня, пока не собрали. По факту оказалось что деталей меньше чем нужно и приходилось что-то постоянно выдумывать. Полкой мы были не довольны, но что есть — то есть:
Установили ИБП:
Подключили ИБП. Подключение простое. 220 входит в ИБП, он его выпрямляет и пускает на шкаф уже из выхода. В случае падения основной линии — он подает 220 из батарей. Работает мгновенно, выключали, включали, тестировали:
Приехал генератор. Рассчетная мощность 5 кВт. Бензиновый. В генератор встроена система АВР (автоматического ввода в резерв), т.е. при пропадании света, он автоматически запускает себя. Так-же прилагается пульт, если хочется поиграться. Казалось бы самое сложное уже позади, что может быть проще — затащить, проверить и подключить, но не так случилось как нам показалось в начале…
Самое сложное для нас — оказалось его подключение вместе с ИБП и основным вводом. Ведь по факту что мы получаем. 220 входящего напряжения, 220 напряжения от ИБП (допустим оно его выдает ТОЛЬКО при пропадании света) и 220 от генератора. И тут мы совершили фатальную ошибку. Моделируем ситуацию:
— пропадает свет
— инвертор поддерживает оборудование пока заводится генератор
— генератор заводится и дает напряжение на шкафы
— инвертор не знает что подается напряжение на шкафы и получается встречка
— включается основное питание 220 и получается встречка и с генератором
Как бы мы не пытались, подключить в инвертор и генератор и сеть — не выходит, где то да получается встречное напряжение. А в сеть подключить генератор — будем питать весь дом.
Чтобы такого не произошло и у нас никогда не встретились две 220 (от ибп, генератора или сети) — мы разработали систему магнитных пускателей, скажу честно, это был огромный геморой, потому что специалистов найти за несколько часов не просто, а переезд просто «на носу».
Вот как это получилось в итоге:
И тут подъехали шкафы. Шкафы мы взяли такие-же как в дата-центре где размещались на colocation, компании APC. На то было несколько причин. Первая то, что они действительно очень удобные. Вторая — в них идеально становятся наши управляемые розетки. Третья — чтобы быстро переехать, т.к. в одинаковые шкафы проще переезжать.
Еще 1 момент, который мы не учли, это доставка шкафов. Она вышла примерно 50% их стоимости (мы брали для начала 2 шкафа). И еще один немаловажный момент, как же мы радовались нашему пандусу когда затаскивали шкафы (они на колёсиках), все-таки для ДЦ это важная часть инфраструктуры. Шкафы кстати не столько тяжелые сколько не удобные:
Патч-панели и коммутация — приятный бонус к шкафам от поставщика:
Расчетная мощность
По нашим расчетам в ЦОД становится минимум 10 шкафов высоты 42U общей мощностью 25-40 кВт. На наши шкафы мы закладывали по 2,5 кВт резервированной мощности. В целом, даже сейчас когда у нас заполнено достаточно пространства, мы потребляем не более 3,5 кВт на оба шкафа.
ЦОД был спроектирован с возможностью расширения (поскольку мы хотели сделать качественный проект, но с ограниченными финансами), а именно:
— есть соседнее помещение которое можно выкупить/арендовать, по размерам примерно такое-же
— есть возможность оперативно добавить ИБП + АКБ, вся настройка не займет более часа
— есть возможность увеличить мощность генератора путем его замены.
В следующей, заключительной части нашего рассказа будет и подключение оптоволоконных кабелей (интернет), с которыми было очень много проблем, переезд вместе с серверным оборудованием (как же не легко его было тащить) и настройка, укладка СКС, поднятие BGP туннелей с провайдерами, тестирование iLO/KVM переключателей, закупка десктопного оборудования, его сравнение с HP, вызов скорой медицинской помощи нашему сотруднику во время подключения и многое многое другое. Так-же отдельно мы уделим время и системе видео-наблюдения, её реализации в нашем случае.
Будет интересно! Спасибо за внимание.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Комментарии (79)
vladimirkolyada
13.10.2016 12:06С нетерпением жду следующей части. Особенно по маршрутам BGP и связи с провайдерами.
TakeWYN
13.10.2016 12:09Спасибо. Постараемся все уложить в третью, было очень все не просто, мы как люди неопытные, сделали множество ошибок при переезде которые нам создали проблемы. Надеюсь следующая часть поможет избежать их тем, кто пойдет по нашему пути.
60-fps
13.10.2016 12:19Разработали систему магнитных пускателей ))))
Это называется Контакторы реверсивные
Пускатели с механической блокировкой?
Если нет, то что будете делать когда концевик залипнет?TakeWYN
13.10.2016 12:21Это именно магнитные пускатели (я конечно не специалист, но в спецификации написано именно так). Пруф Когда концевик залипнет (а такое со слов специалистов маловероятно) — стоит вторая система защиты перед пакетниками, потом пакетник и потом уже защита ИБП (предохранители), защита генератора (свой пакетник) и защита на розетках APC (свои). Так что вероятность коллапса минимальна.
litvinovog
13.10.2016 12:21+1Спасибо за статью. Хотелось бы больше цифр, что во сколько обошлось по затратам. Статья сразу бы преобразилась в лучшую сторону.
TakeWYN
13.10.2016 12:21Вам спасибо за комментарии. Сложно что то привязать к цифрам и все посчитать. Попробуем в третьей части сделать это в относительном формате.
KorP
13.10.2016 12:27-3У меня только один вопрос возник — неужели у вас в городе всего один ЦОД, тот что на фотках? Неужели нет ни одного более-менее приличного места, куда можно поставить своим пару стоек?
Ну и если следующая часть уже заключительная и про оптику — где часть про пожарную безопасность? Вата в качестве шумоизоляции это конечно хорошо, но и сгорит оно всё так же хорошо в случае чего.TakeWYN
13.10.2016 12:29В городе есть ЦОДы, но некоторые в состоянии как я показал, а некоторые ставят цену, при которой конкурентными тарифы потом назвать будет нельзя.
О пожарной безопасности в следующей части, вата кстати негорючая, на фото есть обозначения. За счет этого и цена её х5.
d1f
13.10.2016 12:37> Вата в качестве шумоизоляции… сгорит оно всё так же хорошо в случае чего.
_минеральная_ вата.
она не горит. совсем.
60-fps
13.10.2016 12:28Не проще ли было собрать щит управления питанием.
Управление через релюшки, а силовые через пускатели.
дешево и сердито. А главное все наглядно без лишних вторичных защит и так далее…
а что говорят (а такое со слов специалистов маловероятно) , то всякое бывает…TakeWYN
13.10.2016 12:31Безусловно проще. Но мы переезжали менее чем за 14 дней и в таких условиях сделать что то большее — почти невозможно. Было сделано рабочее и работающее решение. При расширении будет другой щит и другое управление (кстати уже заказали у одного из подрядчиков), вышло очень прилично по средствам.
60-fps
13.10.2016 12:34(кстати уже заказали у одного из подрядчиков)
Так, это и понятно, у подрядчиков дешево не бывает.
Напихают всего, что нужно и ненужно, главное бабло с клиента срубить… )TakeWYN
13.10.2016 12:37Ну из нас пока электрики только на базовом уровне, к сожалению. Сами это реализовать не в силах. Придется переплачивать.
Если у Вас есть решения или статьи — с удовольствием прочитаем и попробуем сами.60-fps
13.10.2016 12:56Года четыре назад, электрофицировали дата цент в Питере, так там ни кто с генераторами не заморачивался.
Два ввода с разных подстанций как у Вас, соответственно АВР и усё ))) Вероятность того что лягет две подстанции очень мала, а если и лягут, то вместе с ними и все соседние ифраструктуры через которые идет та же оптика… Так что это лишние траты., генератор то можно прикрутить просто в ручном режиме.
Если уж легли обе подстанции, и батарейки на исходе, то отключать вводы в ручную и запускать генератор, хотя все это маловерояно )TakeWYN
13.10.2016 12:57В Украине, в период нехватки угля и веерных отключений электричества — это вообще не лишние меры))
Roman_MK
13.10.2016 12:38А вы серьезно используете стартерные аккумуляторы в связке с ИБП?
TakeWYN
13.10.2016 12:40Да, мы уже писали в статье почему. Единственное их отличие — недолговечность. Пусковой ток у них больше, нагрузку держат гораздо дольше (ёмкость выше). Со временем конечно заменим на гелиевые, но на тот момент у нас были задачи поважнее.
Кстати уже были случаи когда на них работал ЦОД (тестировали). 2,5 часа на четырёх АКБ до разрядки в 40%, потом включили генератор чтобы не подвергать опасности питание.Roman_MK
13.10.2016 13:17+1Маловажных задач в стройке не бывает. Вы потом потратите еще раз деньги на покупку аккумуляторов. Если посчитать затраты на аккумуляторы вполне может оказаться, что геливые не такие уж и дорогие…
Проект Вы сам делали судя по всему.
Про кондиционирование: кондиционер с зимним комплектом? Он один? Какова его производительность? Как будет распределяться подпор холодного воздуха?TakeWYN
13.10.2016 13:42По поводу АКБ, их стоимость примерно в 5 раз выше чем обычные. Их имеет смысл ставить когда мощности немного выше и их часто используют.
Кондиционер один, к нему купили резервный — напольный. Распределение по всему помещению ЦОДа с подводом труб (в перспективе) на горячие коридоры. Пока шкафов мало, их делать не получается. Сейчас — осенью и зимой перешли на фрикулинг, температура держится в районе 20-22 градусов, что есть норма для помещения.Roman_MK
13.10.2016 14:05По цене спорить не могу, крайний раз делал закупку FIAM-ких аккумуляторов в 14 году, тогда они стоили ровно в два раза дороже чем аналогичный по емкости стартерный Varta. Только заявленный срок службы у них 6-8 лет, в отличие от стартерных.
А по большому — удачи! Это хороший опыт, и Вы очень правильно сделали, что выложили этот материал. Каждый сможет из него для себя что-то почерпнуть.TakeWYN
13.10.2016 16:20Спасибо! Как мы и писали — мы учились как раз таки из такого рода статей. Возможно кто то посмотрит и сделает еще меньше ошибок чем мы. Будет хорошо
Roman_MK
13.10.2016 13:03+1Я к чему задал этот вопрос. Стартерные аккумуляторы сильно газят при нагрузке (выделяют водород). Под капотом авто все проходит нормально, так как там нет замкнутого пространства (проветривается), а в помещении, прямо скажем, не очень будет хорошо.
Второе — пары серной кислоты. Лучше бы вынести эти аккумуляторы вместе с инвертором в отдельную выгородку с хорошей вентиляцией.
Концы проводов было бы не плохо обжать/опаять (сформировать), бирки повесить. В общем по ПУЭ сделать…TakeWYN
13.10.2016 13:09Ну их нагрузка происходит раз в год поэтому это не страшно я думаю. Хотя такого не замечали. Что касается вентиляции, прямо в упор к вытяжке стоят. И да, они от цода отделены перегородочкой. А вот концы проводов… мы немножечко просчитались и вместо 5 кВт нагрузочки высчитали как на 500 (утрирую конечно). Там один медный провод для них затянул на огромную сумму. Но так точно не сгорит.
На счет пайки — да, мы так розетки подключали на шкафы. Только пайкой, чтобы не грелись.Roman_MK
13.10.2016 13:29+1Про пары кислоты и выделение водорода — Вы их и не заметите. Водород без цвета и запаха, при соединении с кислородом воздуха — взрывоопасны. Пары серной кислоты — при низкой концентрации органами обоняния не чувствуются, при высокой концентрации имеют запах тухлых яиц (куриных). Являются сильным окислителем и способствуют возникновению коррозии, а также негативно влияют на организм человека.
mickvav
13.10.2016 15:55На 48-ми вольтах токи будут повыше, чем на 220-ти. Так что лишних предосторожностей не бывает. И генератор надо время от времени «гонять». Хотя бы в холостую, а то не заведётся в самый ответственный момент.
TakeWYN
13.10.2016 16:21С генератором есть такой момент и правда, бензиновый, еще и с «подсосом» нужно гонять. Как раз скоро плановые работы по нему будут, возможно выложим видео.
yosemity
13.10.2016 23:33В голове не вяжется АВР и какой-то там подсос. Оно должно стартовать автоматически без вмешательства человека…
Генератор стоит погонять летом, под нагрузкой, пару часов. Например у нас гена (15КвА, бензин) живет в специально обученной утепленной будке. Зимой он отапливается конвектором, а летом приходится выкатывать, т.к. внутри получается даже не баня, а реактор, несмотря на отвод газов по специально гофре, которая держит высокую температуры выхлопа. Но даже в этом случае один раз сработала тепловая защита автоматов и нагрузка отвалилась. Благодаря ИБП ничего страшного не произошло, но это тоже стоит учитывать.TakeWYN
14.10.2016 09:27У нас генератор спокойно себе стоит в отдельном помещении и заводится и управляет сам собой)
Komei
13.10.2016 21:09+1Как житель Днепра не могу не прокомментировать. Вот скажите мне, вы действительно считаете что размещать ДЦ в жилом доме (если я верно понял из статьи) это нормально? Просто у меня есть целый ряд вопросов:
1) Шум. Не шумит ли оно соседям? Что будет если ваш ДГУ запуститься ночью? В отличии от промзоны в жилом доме люди вообще-то спят. Проводились ли замеры уровня шума в квартирах над машзалом?
2) Я не вижу полного экранирования машзала. Имеет ли ваше оборудование сертификацию на эксплуатацию в жилых домах? Не опасно ли для здоровья излучение от оборудования?
3) Выше писали про испарения водорода и серной кислоты? Не взорвёте ли вы жилой дом? Просто на ж/м Тополь уже взорвали (правда бытовым газом). Не отравите ли вы людей? Они ведь постоянно живую там, в том числе аллергики и т.п.
4) У вас есть ДГУ, а точнее бензиновый генератор (что ещё хуже, т.к. пары бензины взрывоопасны). А как храниться запас топлива к нему? У нормальных то ДЦ он хранится в резервуарах РЯДОМ со зданием. Что будет если топливо загорится или, упаси боже, взорвётся? Вы ведь в жилом доме, а не пром зоне?
Я конечно не хочу думать худшее, но иногда возникает такое чувство, что в погоне за наживой у людей вообще все тормоза сносит. Возможно я конечно не прав и размешать ДЦ в жилом доме это норма, но мне кажется что нет…
P.S. И мне вот ещё что интересно, как такие кривые ДЦ (я не про ваш, а про все что вы описали) проходят сертификацию? Ну там где Tier дают. Там же вроде как есть определённые требования.TakeWYN
13.10.2016 21:21+2Специально опубликовал Ваш комментарий, чтобы обсуждение не выглядело однобоко и имело две стороны вопроса. Вопрос очень правильный.
— Во-первых, приведу Вам пример дата-центра Mhost.ua (покойного) который размещался в жилом доме в Киеве и имел тысячи клиентов и миллионные инвестиции.
— Во-вторых, наше помещение выведено из жилого фонда и пристроено к жилому зданию.
— В третьих, помещение с АКБ и комната для генератора находятся разумеется ВНЕ строения жилого дома.
— В четвертых, на счет испарений, взрыва жилого дома… Это как газ, знаете какая концентрация газа должна быть в отношении с кислородом чтобы произошел взрыв? — такая что дышать просто невозможно, иначе все бы газовые машины уже давно взорвались. Но суть не в этом, испарения (если таковые есть) вентилируются и не находятся на территории жилого дома в принципе. Более того, мы заключили договор со страховой компанией которая страхует наши риски.
— В заключении. На счет шума и запуска ДГУ. Если Вы дочитали нашу статью, то Вы знаете что мы потратили огромное количество средств, как раз для того, чтобы не мешать людям (развалили весь машинный зал, доп. помещения и шумоизолировали). Внимание! При работающем ДГУ (бензиновом генераторе если точно) стоя вплотную к стене нашего здания, или находясь в соседней комнате не слышно ни шума ни вибрации. Все в допустимых нормах. Специально тестировали эти моменты.
P.S. Если бы мы шумели, нас бы разъяренные жители уже съели.TakeWYN
13.10.2016 21:26Чуть не забыл, на счет сертификации.
А у нас есть в Днепре сертифицированные по классу TIER дата-центры? Нет. Tier III вообще всего один на всю Украину.
В целом я надеюсь что я ответил на Ваш вопрос. Мы с особой ответственностью отнеслись к жителям и соседям изначально и это для нас так-же важно как и наша работа.
Komei
13.10.2016 21:34> Во-первых, приведу Вам пример дата-центра Mhost.ua (покойного) который размещался в жилом доме в Киеве и имел тысячи клиентов и миллионные инвестиции.
К сожалению в реалиях нашей страны это не аргумент. Вспомните хотя бы БРСМ-нафту…
> Во-вторых, наше помещение выведено из жилого фонда
Тоже самое.
> и пристроено к жилому зданию.
> В третьих, помещение с АКБ и комната для генератора находятся разумеется ВНЕ строения жилого дома.
А вот это действительно аргумент, т.е. ДЦ уже не в жилом доме, а рядом с ним.
> Это как газ, знаете какая концентрация газа должна быть в отношении с кислородом чтобы произошел взрыв?
Без понятия, потому и спросил не опасно ли это.
> Но суть не в этом, испарения (если таковые есть) вентилируются и не находятся на территории жилого дома в принципе.
Но они рядом с домом. Дом это же не сегмент МКС, там люди окна открывают. Опять же, а не знаю какая концентрация и чего у вас получается, однако внимание на это тоже важно обратить.
> Более того, мы заключили договор со страховой компанией которая страхует наши риски.
А вот это уже хорошо, т.к. ответственно по отношению к окружающим :)
> На счет шума и запуска ДГУ. Если Вы дочитали нашу статью, то Вы знаете что мы потратили огромное количество средств, как раз для того, чтобы не мешать людям (развалили весь машинный зал, доп. помещения и шумоизолировали).
Просто по опыту знаю что уровень шума комфортный днём и ночью очень разные. Можно легко протестировать днём и будет не слышно вообще, а вот ночью…
> P.S. Если бы мы шумели, нас бы разъяренные жители уже съели.
Ну если всё хорошо, то и отлично. Тогда удачи вашему ДЦ.TakeWYN
13.10.2016 21:43Спасибо большое. Шума действительно нет вообще. Постараемся сделать видео замеров в цикле о дата-центре.
P.S. На счет топлива — не храним, т.к. нет смысла и не имеем права. Бак генератора не большой, мощность 5 кВт, а АЗС на расстоянии ста метров.
60-fps
13.10.2016 22:17+2По ходу, как отдельная тема не прокатило )) Так что оставлю схему тут.
Смысл данного поста в том, что бы с наименьшими вложениями сделать автоматику для 4 источников питания для цод, или же чего либо еще.
ПродолжениеНарисовал как мог.
Итак первое:
1 — ввод от первой подстанции
2 — ввод от второй подстанции
3 — ввод от аккумуляторов
4 — ввод от внешнего генератора
5 — ИБП
6 — стабилизатор напряжения
7 — Реверсивный пускатель с механической блокировкой
8 — Реверсивный пускатель с механической блокировкой
И четыре реле промежуточные модульной серии РЭК78
Вот сама схема
А теперь пояснения как это работает.
Синяя линия — НОЛЬ
От первой подстанции.
Питание от первой подстанции подается через первый пускатель, который запускается через первое реле.
Ноль на катушке первого реле уже есть (к13), питающая фаза взята после автомата (желтая линия)(К14), так же фаза с К14 кинута на К12 которая при запуске реле замыкается на К8, и оттуда идет на пуск первого пускателя.
От второй подстанции:
При отсутствии питания с первой подстанции, запускается второй пускатель, через второе реле.
Ноль на катушке первого реле уже есть (к13), питающая фаза взята после автомата и идет на первое реле (блокировка), на (К1) (при отсутствии питания на первом реле, (К1) и (К9) нормально замкнуты), с (К9) питание идет на саму катушку реле (К14) и на контакт реле (К12), далее выходит (при включенном реле) на (К8), а от туда на саму катушку второго пускателя.
От генератора.
Реле 3 и 4 от нуля отрезаны через реле 1 и 2, для блокировки. Путь нуля, приходит на реле 1 (К10), при выключенном реле, идет на (К2), с него на (К2) второго реле, и далее на (К10) второго реле, при выключенном втором реле. Далее на реле 3 (К13) и 4 (К13).
Если питание нет с первой и второй подстанции, но есть с аккумуляторов, то запускается реле 3.
Питание идет с ИБП (220v) красная линия на (К4) четвертого реле, далее на (К12), далее на (К14)+(К12) третьего реле, выходит на третью катушку через (К8) и питание идет с аккумуляторов, при этом же третье реле запускает генератор, замыкаются контакты (К9) и (К5) третьего реле, когда генератор запущен, третье реле отключается.
Остановка генератора предусмотрена, при включении первого и, или второго реле, через (К11)+(К3) первого реле + (К11)+(К3) второго реле. При включенном реле 1 или 2 или обоих происходит разрыв контакта (на стоп генератора)
Итак, что имеем.
Если питание есть с первой подстанции, то работает первое реле.
При Отсутвии питания с первой подстанции срабатывает реле 2 и питание есть со второй подстанции.
Если питания нет с подстанций, то временно срабатывает третье реле и запускает генератор.
При отсутвии питания с подстанций и генератора (нет бензина), питание идет с аккумуляторов.
Появилось питание на любой из подстанций, генератор и аккумуляторы отключаются.
Все дешево и сердито )
Я не стал задействовать контакты самих пускателей, так как релюшки поменять быстрей и дешевле.
Цена вопроса два реверсивный пускателя с механической блокировкой — 3000-5000р
Четыре релюшки по 200-300р
Щиток.
Конечно некоторые скажут, что лучше электронное все поставить, но это и дороже намного.
Всем спасибо за внимание.TakeWYN
13.10.2016 22:39Спасибо огромное, сделаем щит и стенд, протестируем это. Еще раз спасибо!
Будете в Днепре — с меня бутылочка хорошего коньяка!60-fps
13.10.2016 22:44не за что.
60-fps
13.10.2016 23:24+2Да маленько не дорисовал. ) нулевой провод на пускатель 3 и 4.
Нулевые провода нарисованы линейно, следует на каждый пускатель и каждое реле отдельный ноль кидать.
Так же следует поставить перед катушками автоматики на 6А Legrand (на всякий случай), отметил места жирными салатовыми точками, ну по желанию световую индикацию поставить, что бы видеть что работает, а что нет )
схемка
индикаторы led
как то так )
viktor955
13.10.2016 22:40я проф электрик.эл механик-но далек от цодов и проф ай ти сферы.Можно ли кратко сказать с вашей стороны экономическую сторону вашего мероприятия.Т.Е. примерно так: затраты за год 100 грн.доход 200.годовая прибыль равна 100 грн. Ну примерно так или как сможете обьяснить мне экономическую основу и смысл ваших работ.Виктор.
TakeWYN
13.10.2016 22:41К сожалению, коммерческую составляющую раскрывать я не имею права, но на примере «некого» ЦОДа я расписать Вам смогу. Однако для получения информации нам нужно проработать хотя-бы год, тогда цифры будут предметные и ожидание>реальность более точное. Спасибо
viktor955
13.10.2016 22:48мне не надо ваши комерческие тайны.Меня интересует общая инфо по работе в этой сфере.не привязанная конкретно к вашей работе.Очень грубо.ну например так:
1.Затраты на оборудование -1 млн
2Затраты на экспл 1 млн
3.Годовой доход 1млн.
Как то так…
viktor955
13.10.2016 22:52или изменим вопрос.поставим его по другому-сколько реально возможно зарабатывать проф спецу моего профиля в подобных структурах разного уровня мощности ., класса и т д…
viktor955
13.10.2016 22:54меня интересует эта инфо не как бизнесмена.организатора.хозяина этого бизнеса.а как специалиста работающего в тандеме с профи ай ти.
TakeWYN
14.10.2016 09:30Здесь все зависит от политики компании, её уровня, вложенных инвестиций. Каждая компания зарабатывает по разному. У кого то дешевые тарифы, у кого-то дороже… В след. статье постараюсь для Вас смоделировать что то дельное.
Daar
14.10.2016 10:43Вы обещали немного озвучить финансовую часть. Просто интересно, откуда у вас идет финансирование, и примерные вложения.
И какие именно вы услуги оказываете? Как-то не сильно верится что 3 сервера хостинга могут покрыть расходы хотя бы на каналы связи.TakeWYN
14.10.2016 11:23В третьей части мы постараемся немного озвучить эту информацию.
На данный момент у нас не три сервера, а на момент переезда их уже было 14.
Tomas_Torquemada
16.10.2016 13:57>>>кавролин
>>>Рассчетная
>>>куллер
>>>строй-материалов
Поправили бы что ли. Вообще ошибок масса, глаз режут, но эти — самые «яркие».
>>>— помещение выведенное из жилого фонда (важно для официальной деятельности).
>>>— желательно первый или цокольный этаж (нам очень надоело носить на горбу железо на пятый этаж).
>>>— доступ к операторам связи (в радиусе 2-3 км.).
Динамическую/статическую нагрузку на кв. м перекрытия считали?
В жилых домах она невелика.
А вы стойки набиваете, ИБП на прогибающиеся полки стеллажей ставите.
>>>Укладываем вату и гипс:
огнестойкость какая?
защита от протечек как реализована?
>>>Укладываем вату под весь потолок
Фальшпотолок в ЦОДе — это из области не рекомендуемого.
Но коль уж решили оставить — плиты подшивного потолка с каким классом огнестойкости?
На потолке видна вентиляция, а на фото — баллоны газовой системы пожаротушения.
Отключением по сработке датчиков озаботились или будете жильцов окрестных зданий газом травить?
>>>Начали мы с электропитания. Мы стремились к идеальному,
>>>Был так-же установлен переключатель фаз (на случай если 1 фаза пропадает система сама переключает
>>>её на другую):
6.6 кВт бытовое устройство на вводе?
У меня как-то плохо вяжутся такие значения с ЦОДом, честно говоря — даже при проектировании под размещение rackmount-серверов 10 кВт на стойку норма жизни, не говоря уже об оборудовании высокой плотности размещения: у той же HPE C7000, например, на борту 6 штук БП от 2,2 до 2,5 кВт каждый. А их в стойку по 4 монтируют достаточно часто.
А вы на «ЦОД» переключатель 6,6 кВт и генератор 5 кВт ставите. По одному причём.
Ладно сейчас у вас две стойки по 3,5 кВт потребляют — хватает.
А когда до расчётных 10 стоек дорастёте — пусть даже с сохранением уровня потребления — это уже 35 кВт будет, как будете модернизировать? Проводку-то запасом посчитали?
>>>Подключили ИБП.
А как у вас байпас реализован? Или обслуживание ИБП/АКБ не предполагается?
>>> В генератор встроена система АВР (автоматического ввода в резерв)
АВР — это Автоматический Ввод Резерва (Автоматическое Включение Резерва). А то в вашей формулировке выглядит так, что генератор в резер автоматом уходит, когда не нужен.
>>>И тут подъехали шкафы.
Сотрудников снабдите элементарными средствами защиты — перчатками, очками, стоят копейки.
А то на фото двое ломают транспортировочную упаковку шкафа — кстати, на мобильной погрузочной платформе, что само по себе не лучшее решение — и оба без защиты.
Потенциально тот, что ниже, тому, что выше, ещё и лом в живот воткнуть может. С ТБ у вас как-то не очень, в общем.
Заодно неплохо бы освоить, коль уж сами разгружают, что не спиной нужно вес брать, а ногами.
А то вот здесь тоже потенциальная производственная травма, кто ж так сгибается под грузом!
https://habrastorage.org/getpro/habr/post_images/e13/1e4/d1d/e131e4d1dceec00532b7608dcf5fe4a9.jpg
Ещё гидравлическую тележку можно если не купить, то взять в аренду на время разгрузки — наверняка по соседству пара-тройка магазинов есть, можно поискать, договориться.
>>>Патч-панели и коммутация — приятный бонус к шкафам от поставщика:
Коммутационные шнуры бывают разными по длине, используйте это — не придётся петли укладывать.
Цветовая дифференциация коммутационных шнуров по разработанной схеме не только красиво выглядит, но и упрощает «ориентирование на местности».
И я бы патч-панели над стойками разместил: меньше бОроды в стойках, меньше помех для циркуляции воздуха — в конечном итоге меньше затраты на охлаждение, как ни странно.
Странный у вас какой-то «ЦОД» в общем.
Скорее мини-серверная, которую строят без опыта, но с большим энтузиазмом.
Купите, почитайте — много интересного сможете почерпнуть и избежать ошибок.
http://dcnt.ru/?p=418TakeWYN
16.10.2016 21:33Tomas_Torquemada
Знаете, прочитал Ваш комментарий и кроме попытки к чему-то прицепиться — ничего не нашел. Если люди которые писали выше — писали по существу, то Вы пытаетесь навязать свое мнение, я объясню почему.
Вы можете предъявлять нам претензии «почему сотрудники без очков», "почему тележку не взяли для разгрузки", «почему Цветовая дифференциация шнуров» не того цвета, но это не то, о чем мы хотим говорить. Это наше решение и наши риски. Если Вы можете сделать лучше — сделайте, сделайте об этом статью и мы скажем что Вы сделали лучше. Но у нас было на переезд и все работы менее 14 дней. Я думаю мы сделали больше чем должны были.
Мы не претендуем на сертификацию TIER, мы написали статью которая поможет пользователям сообщества в реализации собственного ЦОДа, и поможет избежать НАШИХ ошибок.
И главное. Если бы Вы потратили свое время на прочтение статьи, а не на попытки бросить камень в наш огород, то нашли бы в ней информацию о том что у нас НЕТ ГАЗОВОГО ПОЖАРОТУШЕНИЯ, о котором Вы мифически упоминаете, о том что у нас модульная система подачи питания и рассчитана она на 2 шкафа и о много другом. Вы не прочли статью, не вникли и пытаетесь нас критиковать. Это мое субъективное мнение.
Прежде чем критиковать (а это полезно!) нужно хотя-бы прочитать статью :) Я буду искренне рад объективной критике и советам, но для начала — прочитайте статью.
P.S. Можете задать ряд конкретных вопросов по нашему ЦОД и я Вам по пунктам отвечу почему мы сделали так, а не иначе.Tomas_Torquemada
16.10.2016 22:12>>>ничего не нашел
>>>то Вы пытаетесь навязать свое мнение, я объясню почему.
Естественно любое мнение, которое не дудит в вашу дуду «quick win» — это попытка навязать своё мнение, ясно же, как божий день.
Удивительно, что за минусатор не схватились, хотя бы это толику уважения внушает.
>>>нас НЕТ ГАЗОВОГО ПОЖАРОТУШЕНИЯ,
ок, тогда проясните функциональность вот тех баллонов на фото — справа в углу, ближнем к окну.
https://habrastorage.org/getpro/habr/post_images/d65/c3b/e7b/d65c3be7b3825acd0fb6654f85c6c0bf.jpg
>>>Вы можете предъявлять нам претензии
Да боже упаси. Я вас знать не знать не знаю и вы мне совершенно безразличны, чтобы такие сильные эмоциональные проявления вызывать.
Просто «Это интернет, детка» © — не нужно всё через призму личных выпадов рассматривать.
>>>мы написали статью которая поможет пользователям сообщества в реализации собственного ЦОДа, и >>>поможет избежать НАШИХ ошибок
Вы написали, на мой взгляд, нечто, используя громкие слова «ЦОД», «гермозона» и им подобные.
Ваша статья поможет «пользователям сообщества» только в одном — понять, как не надо делать.
>>>Прежде чем критиковать (а это полезно!) нужно хотя-бы прочитать статью :) Я буду искренне рад
>>>объективной критике и советам, но для начала — прочитайте статью.
>>>P.S. Можете задать ряд конкретных вопросов по нашему ЦОД и я Вам по пунктам отвечу почему мы >>>сделали так, а не иначе.
Именно поэтому, что я прочитал сей опус вдоль и поперёк — и даже более одного раза — я вам задаю минимум семь вполне конкретных и прямых вопросов. Причём я ещё не касался таких вопросов, как вибрация, электромагнитные помехи, контуры заземления и многих других — это уже другой уровень сложности, а вы потекли и к менеджерской трепологии прибегли уже после достаточно простых.
Ответов на мои вопросы прозвучало ровно ноль.
Видимо, объективная критика в вашем понимании — это что-то иное, чем в моём.
TakeWYN
16.10.2016 22:19ок, тогда проясните функциональность вот тех баллонов на фото — справа в углу, ближнем к окну.
https://habrastorage.org/getpro/habr/post_images/d65/c3b/e7b/d65c3be7b3825acd0fb6654f85c6c0bf.jpg
Пожалуйста, прочитайте НАШУ СТАТЬЮ! Там четко написано что это помещение которое мы смотрели ДО того как нашли собственное.
Вы написали, на мой взгляд, нечто, используя громкие слова «ЦОД», «гермозона» и им подобные.
Ваша статья поможет «пользователям сообщества» только в одном — понять, как не надо делать.
Это Ваше мнение и Вы на него имеете право. Однако судя по комментариям, она все-же полезна людям. А вы — ошибаетесь.
Именно поэтому, что я прочитал сей опус вдоль и поперёк — и даже более одного раза — я вам задаю минимум семь вполне конкретных и прямых вопросов. Причём я ещё не касался таких вопросов, как вибрация, электромагнитные помехи, контуры заземления и многих других — это уже другой уровень сложности, а вы потекли и к менеджерской трепологии прибегли уже после достаточно простых.
Ответов на мои вопросы прозвучало ровно ноль.
Видимо, объективная критика в вашем понимании — это что-то иное, чем в моём.
Вы якобы прочитали нашу статью и до сих пор доказываете нам что у нас газовое пожаротушение? Перечитайте еще раз. Если нужно дважды. На фото с баллонами не наш цод. Упс, да?
И да, если Вы уже вдоль и поперёк прочитали нашу статью, то потрудитесь посмотреть на заголовок, «мини цод».
Tomas_Torquemada
16.10.2016 22:29Ок, с пожаротушением вопрос закрыт — действительно, в вашем километровой глубине опусе эта иллюстрация воспринималась как нечто по теме, а оказалось «здесь был Вася». Мой прокол, неудобно с планшета читать, упустил момент.
>>>НАШУ СТАТЬЮ!
нашу — это вы как коллективный разум себя воспринимаете или просто «мы, Николай второй»?
Но теперь, когда у вас этого мощного аргумента не осталось — на остальные вопросы ответите, или так же будете повиливать филеем?
>>>Посмотреть на заголовок, «мини цод».
Посмотрел. ещё раз посмотрел, убедился, что он к вашей писанине относится напрямую, а то снова начнёте радостно за соломинку хвататься.
И?
pokryshkin
03.02.2017 11:20В данный момент имеется два модуля для работы с радио: ismradio и rfsniffer, от первого они отказываются (там есть поддержка noolite, но не полная, например кнопки сценариев не работают),
rfsniffer — активно развивается, кнопки, датчики движения работают.
На счет стабильности — пока вроде ни разу ничего не зависало, mqtt — работает, железо — работает. А больше мне пока от WB ничего и не надо.Tomas_Torquemada
16.10.2016 22:35>>> Как жалко что Вы не признаете свои ошибки, даже очевидные.
Как жалко, что вы не способны воспринять чужое признание ошибки — видимо, не умеете свои признавать, поэтому чуждо и непонятно вам это.
>>>Задайте мне прямые вопросы,
Перечитайте первый комментарий, их там минимум семь.TakeWYN
16.10.2016 22:36Перечитайте первый комментарий, их там минимум семь.
Там 95% полемики, есть конкретные вопросы? Предлагаю Вам задать конкретные вопросы, по пунктам, пожалуй, в последний раз. Я готов потратить время и ответить на них, как есть. Ну а если же нет — то нет.Tomas_Torquemada
16.10.2016 22:39А, т.е. у вас ещё и слепота избирательная развилась.
Вопросы — это те, где после текста стоит знак "?".
Berlic
03.02.2017 11:23Спасибо. Тоже думал WB как шлюз железо-софт использовать, а мозг сам на openhab настроить.
А какая аппаратная ревизия WB?
TakeWYN
16.10.2016 22:58А, т.е. у вас ещё и слепота избирательная развилась.
Я понял Вас, больше никаких дискуссий. Успехов!
Chromex
17.10.2016 16:09Спасибо большое за статью! Вас очень интересно читать)
TakeWYN
17.10.2016 16:11Это очень приятно слышать, спасибо! Постараемся сегодня третью часть выложить.
Chromex
17.10.2016 17:25если не секрет, откуда вы взяли второй ввод? или дом сразу по второй категории подключен?
TakeWYN
17.10.2016 17:28Там весь этаж почти выведен из жилого фонда и были подключены с разных подстанций раньше, там была клиника и хранились лекарства, которым критично пропадание эл-ва. Ну на сколько мне известно конечно.
warik
Спасибо. Очень интересно почитать как развиваются будущие гиганты!) Успехов Вам, а нам новой части!
TakeWYN
Спасибо большое за интерес! К гигантам или даже к средней компании нас отнести сложно, но мы искренне стремимся к лучшему. В первую очередь мы делаем упор на то, чтобы у нас не возникало дополнительных проблем из-за собственных ошибок.
warik
Именно потому и написал «будущие гиганты».
Не знаю как у Вас устроен доступ на объект, но по идее он должен быть несвободным, то есть чтобы только узкий круг лиц имел доступ. Защиту персональных данных никто не отменял. Потому если у Вас это ещё не реализовано, нужно обратить на это внимание.
Так же Вы писали про переключатель фаз. А на основе него нельзя ли было сделать разветвление вход\генератор\инвертор? Я с такими устройствами дел не имел, потому сразу прошу прощения за возможно глупый вопрос.
TakeWYN
Пока кроме сотрудников компании и одного colo клиента к дата-центру доступа не имеет никто. Что касается переключателя, тут чуть чуть сложнее все.
Генератор с «мозгами» тушит себя когда получает 220. Но он не предусматривает вход двух 220, так-же как и инвертор. Инвертор тоже тушит себя при входе 220. Грубо говоря в каждом из устройств не хватает одного входа или делителя, который мы и сделали в мини-коробочке с магнитными пускателями, которые не допустят встречного напряжения. Гемороились мы с этим очень много, привозили буквально ночью разных специалистов с обл-энерго (хорошо есть знакомые из руководства) — делали все на ходу. Правильно ли мы все сделали — не знаю, но свои функции пока выполняет. В перспективе конечно поставим специальный распределительный шкаф, когда инверторов будет несколько а генератор мощнее.