26.08.2021 13:09
41 18000 Источник
Со стороны кажется, что новый дата-центр, построенный с нуля за полгода — это тривиальный проект. Но, во-первых, в дело вкрались всем известные события 2020-го. А во-вторых, Утконос ОНЛАЙН не нужен был просто дата-центр; им нужно было решение, на котором можно основать будущее компании. Эта статья о том, как мы создавали такое решение и почему в процессе создания вдруг почувствовали себя настоящими зодчими.

ЦОД: Начало

Утконос ОНЛАЙН решил оборудовать для себя новый дата-центр ещё в конце 2019 года. У онлайн-магазина уже был один современный ЦОД, и его мощностей пока хватало для обработки всех поступающих запросов. Но Утконос ОНЛАЙН уже смотрел в будущее: сфера e-commerce растёт, а значит, покупателей и заказов станет больше.
Вариант с колокейшеном отбросили сразу. Это удобно для сетевых сервисов — балансировщиков трафика, например, или VPN-эндпоинтов. А Утконос ОНЛАЙН нужен был полноценный дата-центр с развитой инфраструктурой: надёжный, защищённый, с мониторингом всех данных и без дополнительных оплат владельцам колокации за каждую мелочь.
А в нашей компании как раз есть целый бизнес-блок, который специализируется на кастомных дата-центрах: для каждого клиента индивидуальный проект. Запросов на подобные строительства поступает много: отечественному бизнесу гораздо удобнее иметь свой дата-центр, чем ютиться в колокейшене. И в конкурсе Утконос ОНЛАЙН мы, имея все нужные ресурсы и опыт, решили поучаствовать.
“
«На Западе существует крупная прослойка среднего бизнеса, у которого просто нет таких мощностей, чтобы загрузить крупный центр обработки данных. А ради оборудования на три-четыре стойки нет смысла создавать собственный ЦОД. Да и первоначального вложения на постройку дата-центра у них зачастую нет, поэтому они скорее готовы начинать в формате колокейшена. У нас такая прослойка гораздо тоньше, а крупные компании всегда, с самого зарождения IT-бизнеса в России, были склонны строить собственные центры. У нас формат колокации зачастую даже не рассматривается».
Сергей Батраков, пресейл-инженер компании «Инфосистемы Джет»

Возвращение в Папскую область

Уже в декабре мы начали готовить первый полноценный эскиз проекта. Дата-центр нужно было поставить в Южном Бутово, внутри существующего фулфилмент-центра Утконос ОНЛАЙН: там ежедневно оформляются тысячи заказов, там же их комплектуют и развозят по Москве. Пиковая загрузка — 15 тысяч заказов в день.
ЦОД, милый ЦОД…
Место для нас знакомое, даже ностальгическое. Мы уже обустраивали дата-центр в этом же комплексе в 2005 году, когда Утконос ОНЛАЙН начинал развиваться. Сейчас, конечно, этот ЦОД устарел. И нуждался не в обновлении. Нам надо было всё переделать с нуля и развернуть в местном складском городе-государстве из нескольких крупных корпусов новый компактный дата-центр, такую себе Сикстинскую капеллку — всего 100 квадратных метров плюс 75 метров на электрощитовую.
Местный парк папамобилей
Для Утконос ОНЛАЙН было важно, чтобы дата-центр был максимально надёжен и отказоустойчив, с полной интеграцией всего железа и софта. Чтобы когда мы закончим работу, сотрудники компании могли без проблем самостоятельно управлять этим центром. Компактность была особенно важна: всё-таки нужно было поставить 42 шкафа оборудования вместе с отдельно стоящими стойками. Ещё нас попросили обойтись без избыточности, но это и так было понятно: ЦОД делаем, не дворец, — барочные излишества тут ни к чему.

Ремонт во время чумы

Разработали проектный план, пришли на приёмку. Сразу появились вопросы с бюджетом: полностью вписаться в него оказалось сложновато. Хоть заказчик и выделил на инженерные и телекоммуникационные работы крупную по меркам строительства ЦОД сумму, требования по оборудованию и по софту были очень серьёзные.
Вот такой план по оборудованию у нас получился
Чтобы сократить расходы, мы отказались от части софтвера Huawei. Поняли, что это тоже, по сути, избыточная цифровая лепнина. Например, зачем небольшому ЦОДу дорогой онлайн-инструмент инвентаризации стоек? Ведь их же там не сотни стоят. И к чему открывать шкафы электронными карточками, если можно обойтись привычными ключами?
Изначально в бюджет заложили ещё и дизельную установку, которая должна была обеспечивать центр электроэнергией в аварийных ситуациях. Если дата-центр представить средневековым замком, то дизель — потайной колодец с чистой водой на случай осады. А осада всегда случается, рано или поздно. Но заказчик предложил всё же вычеркнуть дизель: город должен был дать новому ЦОДу два электроввода, к тому же в фулфилмент-центре уже стоял собственный газогенератор. На тот момент и нам показалось, что ещё одна линия защиты действительно будет лишней.
После сокращений по бюджету мы успешно прошли приёмку. Наши специалисты были готовы монтировать центр уже в марте, но на площадке работал сторонний подрядчик. Во всём центре у Утконос ОНЛАЙН шёл масштабный ремонт, и как раз в нужных нам помещениях строительная пыль стояла столбом, толкались рабочие, — словом, было вообще не до серверных стоек. Это не считая того, что там полностью сняли полы и оставили голый бетон.
Пока тут серо и немного неуютно, но скоро мы начнём роспись своей айтишной Сикстинской капеллы
Мы с Утконос ОНЛАЙН договорились, что установим дата-центр до конца осени. И тут же, как под заказ, началась пандемия. А с ней пришли локдаун и ограничения. Сроки сразу перестали казаться мягкими, но менять их тоже было поздно. Заказчику нужен был дата-центр уже в ноябре.
Понятное дело, простаивать было некогда. Связались с подрядчиком, который делал ремонт. Оказалось, он не разбирается в специфике строительства именно дата-центров. А для нас было очень важно, чтобы, например, при ремонте правильно подобрали и уложили силовой кабель. Поэтому, чтобы упростить работу подрядчика, да и свою тоже, мы отправились ему на помощь.
Сперва отношения с ремонтниками были довольно натянутые. Нам надо дело делать, а им неприятно, что мы лезем под руку. Так что возникали, скажем так, конфликты профессиональных интересов. К счастью, Утконос ОНЛАЙН прислал в качестве медиаторов своих технических специалистов — ведущего инженера эксплуатации IT-инфраструктуры и его помощников. Они помогли и договориться полюбовно с подрядчиком, и подготовить площадку под центр.
“
Это была самая сложная часть проекта. Именно строительство. Такая комплексная, филигранная работа, которая основывалась на очень хрупком и тонком сотрудничестве между IT-компанией «Инфосистемы Джет» и другими подрядчиками. По-другому я этот процесс описать не могу. Для меня удивительно, что коллеги успешно справились с испытаниями и всё отлично сделали на этом этапе.
Антон Тарабрин, руководитель отдела поддержки и развития инфраструктуры Утконос ОНЛАЙН
*играет Survivor — Eye of the Tiger*
Уф, выдохнули. Положили чистовые полы поверх бетона. Сейчас, конечно, ими никого не удивишь. Ещё в Древнем Риме подобные делали. Но тут не баян, а классика: на бетоне до драгоценных стоек мгновенно добралась бы сырость. А теперь у нас был прохладный, но абсолютно сухой пол.

Возвращение тайного колодца

Вот мы втащили стойки в готовое помещение. И вдруг заказчик сообщил, что вместо двух электровводов от города у дата-центра будет всего один. Оказалось, как раз неподалёку в Бутово сейчас строят метро. Появились проблемы с нагрузками, и московские энергетические службы просто отказались давать больше одной линии питания.
А как же собственный газогенератор? А у него мощность всего-то один мегаватт. Вроде много, но в центре же ведь будут стоять гигантские холодильники с едой. И тут либо продуктам придётся протухать (конечно, нет), либо оборудованию в ЦОДе отключаться.
А если в Южном Бутово вырубится свет, то никаких вторых шансов у центра вообще не будет. Лягут все сервера, накроются все заказы, воцарятся хаос и безумие.
Тут-то заказчик и согласился установить тот самый многострадальный дизель, который мы предлагали на старте проекта. Да, бюджет вырос. Зато защита от перебоев с энергией надёжная.
Как раз закончился ремонт во всём фулфилмент-центре. И мы начали делать инфраструктуру параллельно с монтажом дата-центра. Проводили испытания, тесты систем гидроизоляции и защиты от пыли. ЦОД всё-таки будет располагаться там, где работает множество людей. Мало ли что может случиться?
На этой ступени работ мы сотрудничали с несколькими подрядчиками. Особенно старались соблюсти этапность, чтобы никто не сидел без дела и не тратил время. Чтобы сразу по мере монтажа центра можно было подключать его к общей инфраструктуре.
В итоге все инженерные работы закончили за три месяца: смонтировали силовые линии и оптический кабель по складу, поставили новые шкафы, установили edge-узлы по всей территории центра.
Правильно запитать всю обширную систему было непросто

Контрфорсы наголо

В итоге к ноябрю получилась современная цифровая крепость. На территории фулфилмент-центра стоит 42 телекоммуникационных шкафа. Внутри самого дата-центра в два ряда поставили, один к одному, 19 таких вот красавцев.
Начинают прорисовываться интерьеры будущего шедевра
Ещё часть шкафов разместили вне центра на территории самого склада. Это оконечные шкафы, в которых располагается основное сетевое оборудование уровня доступа. Место расположения шкафов и схемы коммутации продуманы заказчиком так, что обеспечивается полное резервирование покрытия Wi-Fi. Даже если кто-то случайно перережет какой-то важный кабель до одного из шкафов, то другой обеспечит сервис для всех складских процессов.
Пока ещё полая edge-стойка. «Нет ничего более сильного и созидательного, чем пустота, которую люди стремятся заполнить». (Лао-цзы)
После проведённых тестов шкафы ЦОД как следует защитили от пыли и воды. Для каждого зарезервировали по два PDU. Сверху каждый шкаф обрамляют электропровода и кабельные трассы оптоволокна и меди. В обычной архитектуре, когда служебные трубы и кабели выведены наружу, это считается дурным тоном или, во всяком случае, авангардом. А для дата-центра это норма и стандарт. Тут утилитарная функциональность важнее эстетики.
Центр Помпиду, Париж

Божественный ветер и бесконечная энергия

Понятное дело, центру, который занят сложными вычислениями, всегда нужен свежий воздух. Иначе тонкое оборудование недолго проживёт.
Мы поставили стойки по классическому принципу горячего коридора. А между ними расположили пять крупных кондиционеров, каждый на 35 киловатт отвода тепла. Три из них всегда в работе и полностью снимают все теплопритоки внутри ЦОДа. Ещё два стоят в резерве, ждут своего часа на случай внезапного сбоя или резкого скачка в нагрузках. Система похожа на современную версию классического персидского бадгира, ловца ветра: из фронта кондеев в коридор идёт холодный воздух, охлаждающий шкафы. А когда он из-за этого нагревается и начинает подниматься, кондиционеры замечают и автоматически всасывают горячие воздушные потоки. Процесс повторяется раз за разом. Максимальная температура внутри коридора — 27 по цельсию, как в тёплый летний день.
Часть edge-узлов тоже скомпонована с собственным кондиционером с отводом до 5 киловатт тепла. Они скорее походят на классические модерновые вентиляционные шахты.
Воздух из них свеж, как весенний бриз
А охлаждением щитовой занимаются системы полупромышленного уровня. Могут и до -40 охладить, если понадобится. Распределительным щитам такое нужно: они всё-таки 800 ампер тока раскидывают по дата-центру.
А отсюда выходит воздух, скорее похожий на самум
От перебоев с энергией центр тоже надёжно защитили. У нас там выстроен настоящий Запретный город, которому до внешнего мира нет дела.
Сначала при отключении энергии врубится дизельный генератор. Но чтобы обеспечить электричеством весь дата-центр, ему самому надо набрать мощность. А пока он разгоняется, электроснабжение идёт от аккумуляторных батарей.
Не все герои носят плащи. Этот скромняга предпочитает красную краску
До полного включения дизеля в работу трудятся два полноценных блока бесперебойников и полки батарей. Они, конечно, серые, невзрачные и одинаковые, что жилые единицы от Ле Корбюзье. Но тут работоспособность снова важнее эстетики. А работают они на ура. Каждый бесперебойник мощностью до 300 киловатт, ведь соотношение «мощность/отказоустойчивость» инженеры могут выставлять по желанию на основе фактического потребления. Потом дизель выходит на свои рабочие характеристики, снабжение переходит на него, а ИБП в это время восстанавливают заряд аккумуляторов. Вместе эта команда полностью обеспечивает 100 % нагруженный дата-центр энергией на протяжении часа.
Сможете посчитать, сколько их?
“
Он надёжный, даже сверхнадёжный. Всегда выполняет свои функции. И это самая важная характеристика для любого ЦОДа. Хотя электроввод всего один, дата-центр рассчитан на постоянную бесперебойную работу. Если грянет катастрофа и во всей Москве отключится электричество, центр, а с ним и серверы заказчика, этого даже не заметят.
Павел, главный инженер проекта

Великий цифровой наблюдатель

Баланс между компактностью и избыточностью мы нашли как раз благодаря Huawei. У них удобное оборудование: все решения унифицированы, интегрируются, плотно прилегают друг к другу и удобно заполняют стойку. Прямо классические квадратные и прямоугольные павильоны. Или тетрис, кому как больше нравится.
А их софт даёт заказчику полный контроль над дата-центром с одной машины, из одного окна. С Huawei NetEco дежурный сисадмин легко отследит и проанализирует все параметры центра и процессы внутри него. Как там оборудование? NetEco в курсе. Климат внутри центра? Всегда мониторится. Кто-то полез в серверный шкаф? Сообщит. Протечка? Моментальное реагирование. Даже с оборудованием от сторонних производителей эта система сработалась.
Ещё пары инженеров эксплуатации хватает, чтобы исправить возможные сбои в любых элементах дата-центра. Мы и сам ЦОД, и его edge-узлы, и всю инфраструктуру фулфилмент-центра подрубили к NetEco. Вышел настоящий паноптикум Бентама: один-единственный охранник из центра наблюдает за тысячами пакетов данных.
И даже окно небольшое — так, окошко у входа
Финальная система похожа, по словам заказчика, на Эйфелеву башню. Вроде бы лёгкая, почти невесомая конструкция, которая на деле держит огромный вес
Единственное, с чем NetEco интегрировался не идеально — некоторые дополнительные системы, например пожаротушение и клапаны вентиляции. Дело в том, что это оборудование поставляли третьи производители, и оно оказалось не готово к работе с айтишным инструментом. Так что с ним понадобилось немного повозиться.
Дата-центр мы сдали к ноябрю, он уже работает. Серьёзных замечаний у заказчика нет, разве что ребята перевесили кабели-органайзеры на другую сторону, чтобы был лёгкий доступ к портам стоек. В общем, неизбежные доработки для комфорта.
А вообще Утконос ОНЛАЙН сразу начал пользоваться новеньким ЦОДом на полную и даже подключил через него и фулфилмент-центр новенькую продвинутую систему складского менеджмента, которая отлично вписалась в обновлённую нами инфраструктуру.
“
Раньше мы управляли складами с помощью SAP EWM. Но поняли, что нам нужно разрабатывать заточенную под нашу бизнес-модель систему и привлекать молодых энергичных айтишников, а им язык ABAP просто неинтересен. И вообще складской менеджмент уже давно стал архаичной средой, здесь мало прогресса. Поэтому мы решили разработать для обновлённых бизнес-процессов центра новую WMS (Warehouse Management System). Наша WMS — это система, которая первой в мире решает задачу по управлению механизированными складами с продуктами питания. Назначение системы — координация сотрудников и механизации на складах для автоматизации бизнес-процессов, таких как приёмка и размещение товаров, комплектация и отгрузка заказов, обработка возвратов, инвентаризация. Архитектура основывается на микросервисных, event-driven-подходах и рассчитана на высокие нагрузки 24/7. Система имеет два фронтенда (сайт и мобильное приложение) и 15 сервисов на бэкенде. Стек реализован с помощью Java/Kotlin, Spring Boot, Camunda, PostgreSQL, Kafka, Hazelcast. В цифрах: САП, согласно историческим данным, мог обработать в штатном режиме до 12 тысяч заказов за день. Новая WMS, по нашим оценкам, легко справится с 40–50 тысячами.
Антон Тарабрин, руководитель отдела поддержки и развития инфраструктуры Утконос ОНЛАЙН
Сейчас дата-центр загружен всего на 30 %. Но скоро к нему подключатся все сервисы и отделы заказчика: здесь будут работать службы распознавания лиц и видеоаналитики, храниться архивные видео. Производительность центра от этого не пострадает: он сможет полноценно отгружать около 18 тысяч заказов ежедневно — в два раза больше, чем раньше. Бутовский центр перестанет быть для Утконос ОНЛАЙН летней резиденцией. После нашей работы именно сюда постепенно переместится основная база компании.
А нас уже ждут новые непростые задачи. Сейчас колокейшены начали развиваться активно, но многим, как Утконосу ОНЛАЙН, нужны индивидуальные ЦОДы. Порой заказы приходят для весьма нетривиальных локаций: например, построить ЦОД для добытчиков на нефтяных и рудных месторождениях. Мы не пасуем и готовы такие неординарные инженерные решения воплощать в жизнь.
Со стороны кажется, что новый дата-центр, построенный с нуля за полгода — это тривиальный проект. Но, во-первых, в дело вкрались всем известные события 2020-го. А во-вторых, Утконос ОНЛАЙН не нужен был просто дата-центр; им нужно было решение, на котором можно основать будущее компании. Эта статья о том, как мы создавали такое решение и почему в процессе создания вдруг почувствовали себя настоящими зодчими.

ЦОД: Начало

Утконос ОНЛАЙН решил оборудовать для себя новый дата-центр ещё в конце 2019 года. У онлайн-магазина уже был один современный ЦОД, и его мощностей пока хватало для обработки всех поступающих запросов. Но Утконос ОНЛАЙН уже смотрел в будущее: сфера e-commerce растёт, а значит, покупателей и заказов станет больше.
Вариант с колокейшеном отбросили сразу. Это удобно для сетевых сервисов — балансировщиков трафика, например, или VPN-эндпоинтов. А Утконос ОНЛАЙН нужен был полноценный дата-центр с развитой инфраструктурой: надёжный, защищённый, с мониторингом всех данных и без дополнительных оплат владельцам колокации за каждую мелочь.
А в нашей компании как раз есть целый бизнес-блок, который специализируется на кастомных дата-центрах: для каждого клиента индивидуальный проект. Запросов на подобные строительства поступает много: отечественному бизнесу гораздо удобнее иметь свой дата-центр, чем ютиться в колокейшене. И в конкурсе Утконос ОНЛАЙН мы, имея все нужные ресурсы и опыт, решили поучаствовать.
“
«На Западе существует крупная прослойка среднего бизнеса, у которого просто нет таких мощностей, чтобы загрузить крупный центр обработки данных. А ради оборудования на три-четыре стойки нет смысла создавать собственный ЦОД. Да и первоначального вложения на постройку дата-центра у них зачастую нет, поэтому они скорее готовы начинать в формате колокейшена. У нас такая прослойка гораздо тоньше, а крупные компании всегда, с самого зарождения IT-бизнеса в России, были склонны строить собственные центры. У нас формат колокации зачастую даже не рассматривается».
Сергей Батраков, пресейл-инженер компании «Инфосистемы Джет»

Возвращение в Папскую область

Уже в декабре мы начали готовить первый полноценный эскиз проекта. Дата-центр нужно было поставить в Южном Бутово, внутри существующего фулфилмент-центра Утконос ОНЛАЙН: там ежедневно оформляются тысячи заказов, там же их комплектуют и развозят по Москве. Пиковая загрузка — 15 тысяч заказов в день.
ЦОД, милый ЦОД…
Место для нас знакомое, даже ностальгическое. Мы уже обустраивали дата-центр в этом же комплексе в 2005 году, когда Утконос ОНЛАЙН начинал развиваться. Сейчас, конечно, этот ЦОД устарел. И нуждался не в обновлении. Нам надо было всё переделать с нуля и развернуть в местном складском городе-государстве из нескольких крупных корпусов новый компактный дата-центр, такую себе Сикстинскую капеллку — всего 100 квадратных метров плюс 75 метров на электрощитовую.
Местный парк папамобилей
Для Утконос ОНЛАЙН было важно, чтобы дата-центр был максимально надёжен и отказоустойчив, с полной интеграцией всего железа и софта. Чтобы когда мы закончим работу, сотрудники компании могли без проблем самостоятельно управлять этим центром. Компактность была особенно важна: всё-таки нужно было поставить 42 шкафа оборудования вместе с отдельно стоящими стойками. Ещё нас попросили обойтись без избыточности, но это и так было понятно: ЦОД делаем, не дворец, — барочные излишества тут ни к чему.

Ремонт во время чумы

Разработали проектный план, пришли на приёмку. Сразу появились вопросы с бюджетом: полностью вписаться в него оказалось сложновато. Хоть заказчик и выделил на инженерные и телекоммуникационные работы крупную по меркам строительства ЦОД сумму, требования по оборудованию и по софту были очень серьёзные.
Вот такой план по оборудованию у нас получился
Чтобы сократить расходы, мы отказались от части софтвера Huawei. Поняли, что это тоже, по сути, избыточная цифровая лепнина. Например, зачем небольшому ЦОДу дорогой онлайн-инструмент инвентаризации стоек? Ведь их же там не сотни стоят. И к чему открывать шкафы электронными карточками, если можно обойтись привычными ключами?
Изначально в бюджет заложили ещё и дизельную установку, которая должна была обеспечивать центр электроэнергией в аварийных ситуациях. Если дата-центр представить средневековым замком, то дизель — потайной колодец с чистой водой на случай осады. А осада всегда случается, рано или поздно. Но заказчик предложил всё же вычеркнуть дизель: город должен был дать новому ЦОДу два электроввода, к тому же в фулфилмент-центре уже стоял собственный газогенератор. На тот момент и нам показалось, что ещё одна линия защиты действительно будет лишней.
После сокращений по бюджету мы успешно прошли приёмку. Наши специалисты были готовы монтировать центр уже в марте, но на площадке работал сторонний подрядчик. Во всём центре у Утконос ОНЛАЙН шёл масштабный ремонт, и как раз в нужных нам помещениях строительная пыль стояла столбом, толкались рабочие, — словом, было вообще не до серверных стоек. Это не считая того, что там полностью сняли полы и оставили голый бетон.
Пока тут серо и немного неуютно, но скоро мы начнём роспись своей айтишной Сикстинской капеллы
Мы с Утконос ОНЛАЙН договорились, что установим дата-центр до конца осени. И тут же, как под заказ, началась пандемия. А с ней пришли локдаун и ограничения. Сроки сразу перестали казаться мягкими, но менять их тоже было поздно. Заказчику нужен был дата-центр уже в ноябре.
Понятное дело, простаивать было некогда. Связались с подрядчиком, который делал ремонт. Оказалось, он не разбирается в специфике строительства именно дата-центров. А для нас было очень важно, чтобы, например, при ремонте правильно подобрали и уложили силовой кабель. Поэтому, чтобы упростить работу подрядчика, да и свою тоже, мы отправились ему на помощь.
Сперва отношения с ремонтниками были довольно натянутые. Нам надо дело делать, а им неприятно, что мы лезем под руку. Так что возникали, скажем так, конфликты профессиональных интересов. К счастью, Утконос ОНЛАЙН прислал в качестве медиаторов своих технических специалистов — ведущего инженера эксплуатации IT-инфраструктуры и его помощников. Они помогли и договориться полюбовно с подрядчиком, и подготовить площадку под центр.
“
Это была самая сложная часть проекта. Именно строительство. Такая комплексная, филигранная работа, которая основывалась на очень хрупком и тонком сотрудничестве между IT-компанией «Инфосистемы Джет» и другими подрядчиками. По-другому я этот процесс описать не могу. Для меня удивительно, что коллеги успешно справились с испытаниями и всё отлично сделали на этом этапе.
Антон Тарабрин, руководитель отдела поддержки и развития инфраструктуры Утконос ОНЛАЙН
*играет Survivor — Eye of the Tiger*
Уф, выдохнули. Положили чистовые полы поверх бетона. Сейчас, конечно, ими никого не удивишь. Ещё в Древнем Риме подобные делали. Но тут не баян, а классика: на бетоне до драгоценных стоек мгновенно добралась бы сырость. А теперь у нас был прохладный, но абсолютно сухой пол.

Возвращение тайного колодца

Вот мы втащили стойки в готовое помещение. И вдруг заказчик сообщил, что вместо двух электровводов от города у дата-центра будет всего один. Оказалось, как раз неподалёку в Бутово сейчас строят метро. Появились проблемы с нагрузками, и московские энергетические службы просто отказались давать больше одной линии питания.
А как же собственный газогенератор? А у него мощность всего-то один мегаватт. Вроде много, но в центре же ведь будут стоять гигантские холодильники с едой. И тут либо продуктам придётся протухать (конечно, нет), либо оборудованию в ЦОДе отключаться.
А если в Южном Бутово вырубится свет, то никаких вторых шансов у центра вообще не будет. Лягут все сервера, накроются все заказы, воцарятся хаос и безумие.
Тут-то заказчик и согласился установить тот самый многострадальный дизель, который мы предлагали на старте проекта. Да, бюджет вырос. Зато защита от перебоев с энергией надёжная.
Как раз закончился ремонт во всём фулфилмент-центре. И мы начали делать инфраструктуру параллельно с монтажом дата-центра. Проводили испытания, тесты систем гидроизоляции и защиты от пыли. ЦОД всё-таки будет располагаться там, где работает множество людей. Мало ли что может случиться?
На этой ступени работ мы сотрудничали с несколькими подрядчиками. Особенно старались соблюсти этапность, чтобы никто не сидел без дела и не тратил время. Чтобы сразу по мере монтажа центра можно было подключать его к общей инфраструктуре.
В итоге все инженерные работы закончили за три месяца: смонтировали силовые линии и оптический кабель по складу, поставили новые шкафы, установили edge-узлы по всей территории центра.
Правильно запитать всю обширную систему было непросто

Контрфорсы наголо

В итоге к ноябрю получилась современная цифровая крепость. На территории фулфилмент-центра стоит 42 телекоммуникационных шкафа. Внутри самого дата-центра в два ряда поставили, один к одному, 19 таких вот красавцев.
Начинают прорисовываться интерьеры будущего шедевра
Ещё часть шкафов разместили вне центра на территории самого склада. Это оконечные шкафы, в которых располагается основное сетевое оборудование уровня доступа. Место расположения шкафов и схемы коммутации продуманы заказчиком так, что обеспечивается полное резервирование покрытия Wi-Fi. Даже если кто-то случайно перережет какой-то важный кабель до одного из шкафов, то другой обеспечит сервис для всех складских процессов.
Пока ещё полая edge-стойка. «Нет ничего более сильного и созидательного, чем пустота, которую люди стремятся заполнить». (Лао-цзы)
После проведённых тестов шкафы ЦОД как следует защитили от пыли и воды. Для каждого зарезервировали по два PDU. Сверху каждый шкаф обрамляют электропровода и кабельные трассы оптоволокна и меди. В обычной архитектуре, когда служебные трубы и кабели выведены наружу, это считается дурным тоном или, во всяком случае, авангардом. А для дата-центра это норма и стандарт. Тут утилитарная функциональность важнее эстетики.
Центр Помпиду, Париж

Божественный ветер и бесконечная энергия

Понятное дело, центру, который занят сложными вычислениями, всегда нужен свежий воздух. Иначе тонкое оборудование недолго проживёт.
Мы поставили стойки по классическому принципу горячего коридора. А между ними расположили пять крупных кондиционеров, каждый на 35 киловатт отвода тепла. Три из них всегда в работе и полностью снимают все теплопритоки внутри ЦОДа. Ещё два стоят в резерве, ждут своего часа на случай внезапного сбоя или резкого скачка в нагрузках. Система похожа на современную версию классического персидского бадгира, ловца ветра: из фронта кондеев в коридор идёт холодный воздух, охлаждающий шкафы. А когда он из-за этого нагревается и начинает подниматься, кондиционеры замечают и автоматически всасывают горячие воздушные потоки. Процесс повторяется раз за разом. Максимальная температура внутри коридора — 27 по цельсию, как в тёплый летний день.
Часть edge-узлов тоже скомпонована с собственным кондиционером с отводом до 5 киловатт тепла. Они скорее походят на классические модерновые вентиляционные шахты.
Воздух из них свеж, как весенний бриз
А охлаждением щитовой занимаются системы полупромышленного уровня. Могут и до -40 охладить, если понадобится. Распределительным щитам такое нужно: они всё-таки 800 ампер тока раскидывают по дата-центру.
А отсюда выходит воздух, скорее похожий на самум
От перебоев с энергией центр тоже надёжно защитили. У нас там выстроен настоящий Запретный город, которому до внешнего мира нет дела.
Сначала при отключении энергии врубится дизельный генератор. Но чтобы обеспечить электричеством весь дата-центр, ему самому надо набрать мощность. А пока он разгоняется, электроснабжение идёт от аккумуляторных батарей.
Не все герои носят плащи. Этот скромняга предпочитает красную краску
До полного включения дизеля в работу трудятся два полноценных блока бесперебойников и полки батарей. Они, конечно, серые, невзрачные и одинаковые, что жилые единицы от Ле Корбюзье. Но тут работоспособность снова важнее эстетики. А работают они на ура. Каждый бесперебойник мощностью до 300 киловатт, ведь соотношение «мощность/отказоустойчивость» инженеры могут выставлять по желанию на основе фактического потребления. Потом дизель выходит на свои рабочие характеристики, снабжение переходит на него, а ИБП в это время восстанавливают заряд аккумуляторов. Вместе эта команда полностью обеспечивает 100 % нагруженный дата-центр энергией на протяжении часа.
Сможете посчитать, сколько их?
“
Он надёжный, даже сверхнадёжный. Всегда выполняет свои функции. И это самая важная характеристика для любого ЦОДа. Хотя электроввод всего один, дата-центр рассчитан на постоянную бесперебойную работу. Если грянет катастрофа и во всей Москве отключится электричество, центр, а с ним и серверы заказчика, этого даже не заметят.
Павел, главный инженер проекта

Великий цифровой наблюдатель

Баланс между компактностью и избыточностью мы нашли как раз благодаря Huawei. У них удобное оборудование: все решения унифицированы, интегрируются, плотно прилегают друг к другу и удобно заполняют стойку. Прямо классические квадратные и прямоугольные павильоны. Или тетрис, кому как больше нравится.
А их софт даёт заказчику полный контроль над дата-центром с одной машины, из одного окна. С Huawei NetEco дежурный сисадмин легко отследит и проанализирует все параметры центра и процессы внутри него. Как там оборудование? NetEco в курсе. Климат внутри центра? Всегда мониторится. Кто-то полез в серверный шкаф? Сообщит. Протечка? Моментальное реагирование. Даже с оборудованием от сторонних производителей эта система сработалась.
Ещё пары инженеров эксплуатации хватает, чтобы исправить возможные сбои в любых элементах дата-центра. Мы и сам ЦОД, и его edge-узлы, и всю инфраструктуру фулфилмент-центра подрубили к NetEco. Вышел настоящий паноптикум Бентама: один-единственный охранник из центра наблюдает за тысячами пакетов данных.
И даже окно небольшое — так, окошко у входа
Финальная система похожа, по словам заказчика, на Эйфелеву башню. Вроде бы лёгкая, почти невесомая конструкция, которая на деле держит огромный вес
Единственное, с чем NetEco интегрировался не идеально — некоторые дополнительные системы, например пожаротушение и клапаны вентиляции. Дело в том, что это оборудование поставляли третьи производители, и оно оказалось не готово к работе с айтишным инструментом. Так что с ним понадобилось немного повозиться.
Дата-центр мы сдали к ноябрю, он уже работает. Серьёзных замечаний у заказчика нет, разве что ребята перевесили кабели-органайзеры на другую сторону, чтобы был лёгкий доступ к портам стоек. В общем, неизбежные доработки для комфорта.
А вообще Утконос ОНЛАЙН сразу начал пользоваться новеньким ЦОДом на полную и даже подключил через него и фулфилмент-центр новенькую продвинутую систему складского менеджмента, которая отлично вписалась в обновлённую нами инфраструктуру.
“
Раньше мы управляли складами с помощью SAP EWM. Но поняли, что нам нужно разрабатывать заточенную под нашу бизнес-модель систему и привлекать молодых энергичных айтишников, а им язык ABAP просто неинтересен. И вообще складской менеджмент уже давно стал архаичной средой, здесь мало прогресса. Поэтому мы решили разработать для обновлённых бизнес-процессов центра новую WMS (Warehouse Management System). Наша WMS — это система, которая первой в мире решает задачу по управлению механизированными складами с продуктами питания. Назначение системы — координация сотрудников и механизации на складах для автоматизации бизнес-процессов, таких как приёмка и размещение товаров, комплектация и отгрузка заказов, обработка возвратов, инвентаризация. Архитектура основывается на микросервисных, event-driven-подходах и рассчитана на высокие нагрузки 24/7. Система имеет два фронтенда (сайт и мобильное приложение) и 15 сервисов на бэкенде. Стек реализован с помощью Java/Kotlin, Spring Boot, Camunda, PostgreSQL, Kafka, Hazelcast. В цифрах: САП, согласно историческим данным, мог обработать в штатном режиме до 12 тысяч заказов за день. Новая WMS, по нашим оценкам, легко справится с 40–50 тысячами.
Антон Тарабрин, руководитель отдела поддержки и развития инфраструктуры Утконос ОНЛАЙН
Сейчас дата-центр загружен всего на 30 %. Но скоро к нему подключатся все сервисы и отделы заказчика: здесь будут работать службы распознавания лиц и видеоаналитики, храниться архивные видео. Производительность центра от этого не пострадает: он сможет полноценно отгружать около 18 тысяч заказов ежедневно — в два раза больше, чем раньше. Бутовский центр перестанет быть для Утконос ОНЛАЙН летней резиденцией. После нашей работы именно сюда постепенно переместится основная база компании.
А нас уже ждут новые непростые задачи. Сейчас колокейшены начали развиваться активно, но многим, как Утконосу ОНЛАЙН, нужны индивидуальные ЦОДы. Порой заказы приходят для весьма нетривиальных локаций: например, построить ЦОД для добытчиков на нефтяных и рудных месторождениях. Мы не пасуем и готовы такие неординарные инженерные решения воплощать в жизнь.

Комментарии (41)


  1. PEACE_dez
    26.08.2021 13:36
    #23415192
    +1

    Спасибо за статью.
    Оч познавательно


    1. JetHabr
      01.09.2021 16:50
      #23436406

      Большое спасибо! Будем готовить новые интересные проекты


  1. maxim_ge
    26.08.2021 13:55
    #23415314
    +8

    САП, согласно историческим данным, мог обработать в штатном режиме до 12 тысяч заказов за день. Новая WMS, по нашим оценкам, легко справится с 40–50 тысячами.

    Не уловил, зачем индивидуальный ЦОД для такой нагрузки?


    1. runalsh
      26.08.2021 15:10
      #23415698
      +2

      Сэкономить на охлаждении серверов, совместив с охлаждением продуктов!


      1. JetHabr
        01.09.2021 16:51
        #23436410

        Неплохая идея, попробуем проработать на следующем проекте!)


    1. TaN
      26.08.2021 15:18
      #23415736
      -3

      Ну не всё же сайтики на joomla в этом мире :-)

      Зачем огромные ЦОД OZON'у и X5?


    1. Yuriy_krd
      26.08.2021 16:33
      #23416038

      Так это ж микроЦОД :) всего на 100 кв.м.


      1. JetHabr
        01.09.2021 16:52
        #23436416

        Все же к "микроЦодам" внутри нас принято относить отдельные стойки с нагрузкой до 10 кВт. Как раз 32 подобных узла мы установили на территории помимо основного ЦОД.


    1. creker
      30.08.2021 01:04
      #23426502
      +4

      Тоже сразу такой вопрос возник. Это же смешная нагрузка совершенно, с которой одна стоечка справится в клодовке. А тут ЦОД будто под скейлинг до уровня какого-нить озона.


      1. JetHabr
        10.09.2021 15:44
        #23469612

        К сожалению, одна стойка не справится с нагрузкой в 100 кВт, ввиду того, что будет необходимо отвести достаточно большое количество тепла. К тому же одна стойка не выдержит заявленное количество оборудования по весу и объему.


        1. creker
          10.09.2021 16:07
          #23469716
          +2

          Я о другом. Заявленная нагрузка, по идее, должна уместиться в куда более скромные железные ресурсы. Конкретно, я предполагаю, что хватило бы и одной стойки небольшой. 12тыс заказов в день это смех просто, если конечно все более менее написано. С учетом указанного стека конечно не удивлюсь, что там столько оверхеда, что и требуется целый ЦОД.


    1. JetHabr
      01.09.2021 16:54
      #23436438
      +1

      Это сделано с прицелом на перспективу, т.к. в будущем к дата-центру подключатся другие сервисы и отделы компании. Здесь будут работать службы распознавания лиц и видеоаналитики, храниться архивные видео и т.д.


      1. sammosov
        27.09.2021 12:12
        #23525336
        +1

        Интересная статься, спасибо.

        Почему не одно из трёх облаков? Сложили всё в одну корзину, особенно с "прицелом на перспективу".

        На какой срок закладывали смену оборудования три года или пять лет?


        1. JetHabr
          07.10.2021 15:26
          #23564856

          Добрый день! Спасибо за комментарий! По поводу вашего вопроса про то, какой срок закладывали на смену оборудования. Обычно мы считаем ТСО модель со сроком службы оборудования 10 лет.


  1. beliashou
    27.08.2021 08:36
    #23417816
    +2

    Как скоро надо будет менять эту коллекцию аккумуляторов?


    1. JetHabr
      01.09.2021 16:53
      #23436426
      +1

      Заявленный производителем срок службы АКБ составляет 10 лет. Как оно будет на самом деле покажет эксплуатация, в любом случае есть гарантия от производителя. В данном проекте за АКБ следит специальная система мониторинга "iBattery". В систему диспетчеризации поступают параметры с каждого АКБ. Что позволяет точно определить проблемную батарею и поменять её.


  1. wadeg
    28.08.2021 01:33
    #23421392
    +3

    А вообще Утконос ОНЛАЙН сразу начал пользоваться новеньким ЦОДом на полную
    Если уже сейчас пользуется на полную, то следует ли из этого, что адски тормозить сайт уже не перестанет никогда?


    1. sfclubh
      31.08.2021 10:19
      #23431200
      +2

      А инженерка та тут причем? Смотри на стек - Стек реализован с помощью Java/Kotlin, Spring Boot, Camunda .......

      Это не может не тормозить:)


      1. Scorpey
        31.08.2021 11:05
        #23431386
        +1

        За то модно - молодежно


        1. sfclubh
          31.08.2021 11:27
          #23431504

          Смотрю я на книжку по Java 1.0 от 1991 года c Афтографом Гослинга и.......:)


      1. XeaX
        27.09.2021 12:14
        #23525344

        Это МОЖЕТ не тормозить, если грамотно это использовать. В прошлом году разбирал рабочий пример, человек запиливает на Spring Boot / Hibernate сервис, который умудряется карточку контрагента с десятком полей читать из БД по 30 секунд, просто потому что настроил ORM и вызовы её так, что при этом с карточкой контрагента извлекают все его сотни магазинов и тысячи сотрудников со всеми их параметрами. После модификации запрос выполняется за 0.5 сек.


  1. Nordicx86
    31.08.2021 14:15
    #23432156
    +2

    Странный мини ЦОД

    • 19 стоек и 300кВт, ну ок - минуснем тепло с коэффициентом в 3 и прочими ПСН - получим порядка 150кВт(3*35 = 105кВт, хотя вопрос какая там мощность указана тепловая или электрическая) на 19 стоек мене 10 кВт на стойку - сейчас Одно процессорник с NVME + GPU это от 700ват и выше те порядка 8-10 серверов на стойку - с такими мощностями Должен быть ЦОД или в 2-3 раза меньше или или раза в 3 мощнее......

    • еще вопрос балансировки тепловой нагрузки на ЦОД(особенно Блейды или Мульти GPU) да и фрикулинга - у нас так-то 9 месяцев Зима

    • Нет сейчас то понятно - в принципе если использовать старое железо и хранение то так и получится, но вот что они через 6-7 лет делать будут?

    • Отдельный вопрос Аккумуляторная станция - оно конечно весело придумано заложить батарей на час(!) удержания, но зачем? Запуск ДГУ нормативный 5-7 минут с выходом на полную мощность, это ГТУ нужно минут 30 раскручивать.... ИМХО емкость батареи сильно избыточна.....

    • по пожаротушению вопрос а те легкие перегородки которые отрисованы в проекте они газ-то Удержат? а Дымо удаление когда включится? и смогут ли люди подойти к Дверям ЦОДа что бы подтащить Мобильное дымо удаление?

    Ни слова про регламенты, про обучение работам, про тестирование Системы пожаротушения. Газодымо-удаление и прочюю ЖИЗНЕНО важную инженерку....


    1. lolhunter
      31.08.2021 14:26
      #23432190
      +1

      Одно процессорник с NVME + GPU это от 700ват и выше те порядка 8-10 серверов на стойку - с такими мощностями Должен быть ЦОД или в 2-3 раза меньше или или раза в 3 мощнее......

      Зачем нужен GPU для складского софта?
      300W сервер это вполне себе однопроцессорник с NVME и парой HDD. Я молчу, что реальная нагрузка там ватт 100-150 будет. В стойке 42 юнита - грубо 5-7 юнитов технических итого 35 юнитов. Грубо по 150W на юнит будет стандартная 5кВт стойка.
      Вы путаете максимальную мощность БП и реальную нагрузку в среднем. Даже если у тебя все сервера с БП 500W - СРЕДНЯЯ нагрузка в стойке в 70% это уже идеал, а в БП обычно закладывают хотя бы 30% резерва. Итого 200W на сервер В СРЕДНЕМ это прям потолок. А в ДЦ куча стоек и максимальная нагрузка будет сглаживаться.

      Отдельный вопрос Аккумуляторная станция - оно конечно весело придумано заложить батарей на час(!) удержания, но зачем? Запуск ДГУ нормативный 5-7 минут с выходом на полную мощность, это ГТУ нужно минут 30 раскручивать.... ИМХО емкость батареи сильно избыточна.....

      Я читаю, что ДГУ+Батареи выдержат час. Запас топлива не большой. Но это топикстартер должен ответить)


      1. Nordicx86
        31.08.2021 19:20
        #23433400
        +1

        Зачем нужен GPU для складского софта?

        как не странно много для чего в основном Распознование Образов - Номера машин, вагонов, контейнеров, коробок, документов, лиц.....

        Отдельно почти вся упреждающая оптимизация свешивается на модели и нейросети, а крутят их на GPU

        Энергия это деньги......

        про загрузку серверов у вас Два основных лимита надежность и память, третий лимит вычислительная мощность - сейчас уже не так критичен, т.к. или ты используешь CPU в Общих задачах и не грузиш его более 30-40% или только на обслуживание нагрузки на GPU/FPGA/ASIC или загрузка проца почти никогда не опускается ниже 70%....

        насчет мощностей ну давайте прикинем проц загружен на 60-70% иначе не эффективно и проще погасить машину а нагрузку размазать по другим 70% от 250 ватт(да там не совсем линейно и тп) - это уже 175 ватт + 10 NVME по 12-15 ватт + 8 каналов памяти по 5-8 Ватт это уже 400ватт плюс КПД БП в 80% и вот уже на сервак вылазит минимум 480 ватт + GPU ватт на 200 уже 680-700Ватт если взять 42U стойку минус 4-6U на Свитчи, Патч-панели и мониторинг, то 18-19 серверов на стойку при 700Ваттах на сервер 12-14кВт на стойку МИНИМУМ сейчас надо закладывать, а лучше 20-25кВт... и это еще без учета нагрузки от сетевого оборудования, сетевых карт на 10/25/40/100G и вся кого прочего типа 6 вентиляторов по 8-12 Ватт каждый итп

        при стройке заложить лишние пару линий питания и запас по трубам для охлаждения КУДА дешевле чем потом перестраивать всё.


        1. lolhunter
          01.09.2021 12:32
          #23435382
          +1

          как не странно много для чего в основном Распознование Образов - Номера машин, вагонов, контейнеров, коробок, документов, лиц.....

          А надо? Я понимаю программисты любят всякие умные штуки, но гораздо проще поставить сканер штрих кодов, а не распознавание лиц, RFID метки на машине-вагоне и прочем - для распознавания машин, вагонов и прочего. Распознавание документов - вообще фича беспроблемная. Особенно, когда у тебя ЭДО.

          при стройке заложить лишние пару линий питания и запас по трубам для охлаждения КУДА дешевле чем потом перестраивать всё.

          Сразу видно человека, который никогда не строил такие штуки в такой стране, как Россия. В статье есть намек на проблему, которая вам не видна. Когда они пишут, что вторую линию им не дали.
          Стоимость МОЩНОСТИ в Москве мягко говоря не маленькая. И свободных мощностей не много.
          https://mosoblenergo.ru/consumer/tech/tarif/
          И мощность не дают по щелчку пальцев. Заявку подавай и надейся, что свободная мощность будет и тебе ее выделят.
          И вот от этой самой свободной мощности считается все остальное. А не наоборот.
          Смысл делать 20кВт на стойку и тратить на охлаждение еще 10, когда у тебя 50 стоек, а выделенная мощность 250 кВт?
          Довольно смешно на этом фоне выглядят планы по суперчаржерам теслы на каждом шагу. Там примерно 100+ млн будет стоить только мощность подведенная. Просто за выделенный фидер на подстанции.
          И построить инфраструктуру с запасом, киловатт до 10 на стойку это разумно. Больше - смысла никакого нет - можно 10 лет ждать выделения мощности.


          1. Nordicx86
            02.09.2021 09:19
            #23437990
            +1

            RFID - дороже на порядок выйдет..... А если учесть что большинство товаров имеет ту или иную маркировку.....

            А еще есть сотрудники, плановые и не плановые происшествия, контроль наполнения товарами, движения авто и ЖД транспорта по территории - не сколько сотен своих машин и не сколько тысяч чужих в месяц.... и у всех текучка с кадрами - распознанием образов это делать на много порядков дешевле и проще чем пинать людей и заставлять их менять свои привычные алгоритмы.

            Про то что У вас двойной контроль СКУД(почитайте статьи от КРОКА), сильно лучше защита от Хищений, и проще расследования я вобще молчу. А еще есть КОВИД с его требованиями и проблемами - один зараженный может на пару недель радикально так осложнить работу участка, а то и предприятия....

            Вот сразу видно человека который никогда не попадал в в конторы надолго и не планировал Срок жизни проекта на +5 лет - реальность такова что через 5 лет они захотят больше мощности в ЦОДе, а у него ROI порядка 10 лет МИНИМУМ и если не заложено что можно увеличить мощность - и вопрос будет приближаться к сумме затрат как на постройку нового ЦОДа особенно весело если вдруг компания или Холдинг активно расти начинают........ Вы инвесторам или Владельцу как будет объяснять что вы в еще почти новый ЦОД по мощности не влазите? И почему сумма затрат почти постройке равна, тк надо останавливать Работу, разбирать, дотягивать и тп

            я же не говорю закладывать сразу всё просто предусмотреть адекватную возможность расширения Аккумуляторной станции, ИБП, Тепловых возможностей ЦОДа, произвести монтаж Внутренних тепловых и питающих коммуникаций когда это просто и легко и не потребует остановки всего - в сумме стоимости Работ при монтаже ЦОДа это будет +5-7% зато потом это будут почти 80% экономии.

            вот на сколько я в курсе в МСК имея ГТУ и ГАЗ дешевле гонять ГТУ.....


            1. lolhunter
              02.09.2021 12:03
              #23438646
              +3

              RFID - дороже на порядок выйдет..... А если учесть что большинство товаров имеет ту или иную маркировку.....

              RFID для "вагонов", для палетов - ШК. Для коробок ШК. Маркировка вообще 2d QR код. В масштабе 10 фур в день разработка "умной системы" против 10 RFID меток это даже не два порядка разницы в ценнике.

              А еще есть сотрудники, плановые и не плановые происшествия, контроль наполнения товарами, движения авто и ЖД транспорта по территории - не сколько сотен своих машин и не сколько тысяч чужих в месяц.... и у всех текучка с кадрами - распознанием образов это делать на много порядков дешевле и проще чем пинать людей и заставлять их менять свои привычные алгоритмы.

              Вы в одну кучу навалили работу службы персонала, складской учет и работу с остатками и кучу всего.
              Вот примерно что надо сделать:
              Распознавание лиц. Надо каждое новое лицо занести в базу. Ручками. "Старых" оно будет распознавать. Зачем, если проще сделать разбивку по зонам (погрузка, разгрузка, курьеры) - как скорее всего уже сделано и сделать постоянные/временные пропуска. Трудозатраты меньше, программистам платить не надо. Но не так айтишно, да.

              Распознавание номеров. Охрана остается там же, пропуска так же выпускаются, но мы прикрутили фичу, которая просто есть. Зачем? Ну айтишно..

              Контроль склада. Я хз как вы там распознавать образы собрались, инвентаризацию это не отменит, остатки мы видим в учетной системе, которая и заказы поставщикам автоматом по лимитам создает, и подсвечивает проблемные позиции. И манагера, который этим занимается не уволить. Остается вопрос - зачем? И сколько обойдется денег эта фича и в каком месте оно даст экономию на бОльшую сумму, чем стоит? Правильный ответ - экономии не будет деньги пойдут на зарплату программистам с нулевым результатом.

              Про то что У вас двойной контроль СКУД(почитайте статьи от КРОКА), сильно лучше защита от Хищений, и проще расследования я вобще молчу.

              Вы наверное плохо понимаете как устроен интернет-магазин. Грубо, без поправок на то, что утконос торгует продуктами - работа происходит так:
              У вас есть склад. Есть курьеры. Склад ночью каждому курьеру в ячейку хранения собирает его заказы. С началом смены курьер (авто там или пешком - вообще пофиг) приходит в зону отгрузки и его грузят из ячейки проверяя заказы поштучно. То есть у него 50 заказов, он принял 50 заказов и поехал. То есть на моменте спереть заказ - ответственность переходит со склада на курьера.
              Что же делать, если в заказе сперли позицию? А тут очень просто. Столы сборки заказов под видеонаблюдением. Находится сборка конкретного заказа, проводится заказ по камерам с момента упаковки до момента погрузки. Если не допаковали - ответственность склада, если оно погружено нормально - ответственность водителя.
              Остается вариант хищений со склада? Еженедельная инвентаризация (требования закона) + видеонаблюдение + физический доступ на склад только ответственных лиц (курьеры и прочие в принципе на склад не попадают. Загрузка и выгрузка исключительно через буферные зоны. Фуру разгрузили в тамбур - посчитали паллеты, приняли, фура уехала, товары повезли на склад. Не хватает на инвентуре? Поднимаем видео разгрузок, хранения, отгрузок. Это не так долго, когда у тебя нормальная автоматизация и все расписано поминутно.

              Вот сразу видно человека который никогда не попадал в в конторы надолго и не планировал Срок жизни проекта на +5 лет - реальность такова что через 5 лет они захотят больше мощности в ЦОДе, а у него ROI порядка 10 лет МИНИМУМ и если не заложено что можно увеличить мощность - и вопрос будет приближаться к сумме затрат как на постройку нового ЦОДа особенно весело если вдруг компания или Холдинг активно расти начинают........ Вы инвесторам или Владельцу как будет объяснять что вы в еще почти новый ЦОД по мощности не влазите? И почему сумма затрат почти постройке равна, тк надо останавливать Работу, разбирать, дотягивать и тп

              Реальность такова, что нигде на данный момент не строят ЦОДы с плановой мощностью по 20 кВт на стойку. Потому что капитальные расходы кратно выше.
              Фиг с ним с питанием. Охлаждение этого дела это боль. Они используют кондеи в машзале. Их надо кратно больше. Надо решать кучу других задач (подвод питания, резервирование и тд) Под "может быть нам когда-нибудь дадут мощность.

              вот на сколько я в курсе в МСК имея ГТУ и ГАЗ дешевле гонять ГТУ.....

              Везде дешевле. Киловатт 1,5 рубля получается + практически халявное тепло/холод. Только мощность по газу она тоже не бесконечная. Есть тех условия и больше чем тебе разрешили тебе не дадут. Иначе штраф. И мы опять упираемся в расширение. Только по газу оно еще и кратно дороже, потому что трубу придется перекладывать.


          1. JetHabr
            10.09.2021 15:54
            #23469656

            Все правильно и подробно расписано! Спасибо за такой развернутый комментарий


        1. JetHabr
          10.09.2021 15:52
          #23469646

          В данном случае проектировать место под высоконагруженные стойки не требовалось. Как отвечали к комментарию выше, требование по мощности на стойку было прописано в ТЗ. Компания Утконос ОНЛАЙН прекрасно понимает, какое ИТ-оборудование будет размещено в данном ЦОД и сколько его будет. Также важен момент, какой резерв по мощности существует на объекте, и имеется ли возможность его увеличить. Мощности у города обычно есть, но бывает не там где нужно!

          Если отвлечься от данного проекта. Да, все чаще появляются задачи, в которых ИТ-оборудование потребляет 10 и 15 кВт на стойку. Пути решения в таком случае разные, зависят от конкретной ситуации.

          P.S. Согласно статистике одного из крупнейших провайдеров Colocation (не будем его называть, дабы не делать рекламу), в распоряжении которого несколько тысяч стоек по всей территории нашей необъятной страны, средняя мощность по всем ЦОД в их распоряжении составляет 4 кВт. Средний рост в год составляет 100вт. Материал можно поискать на просторах Хабр, в ветке IT-инфраструктура.


      1. JetHabr
        10.09.2021 15:49
        #23469630

        Что касается состава парка серверов. Компании, наподобие Утконос ОНЛАЙН, имеют определенную стратегию развития, и понимают какие ресурсы, в части ИТ-оборудования, и в каком объеме могут им понадобиться, и что компания может себе позволить в перспективе нескольких лет. Исходя из этого, формируются требования к ЦОД и отражаются в виде ТЗ, по которому мы уже проектируем и строим ЦОД.


    1. little-brother
      08.09.2021 18:21
      #23461416

      Если ничего не изменилось в последние 5 лет, то с отводом более 15 кВт со стойки с обеспечением резервирования есть проблемы, так как это фактически предел для воздуха. Имхо, самое типичное решение это принять, что "о боже" юниты будут пустовать (на самом деле ничего страшного в этом нет). Альтернативный вариант - специфические системы охлаждения (водянки, маслице, иммерсионка) - но это для других масштабов.


      1. Nordicx86
        09.09.2021 08:47
        #23463108

        https://www.rittal.com/imf/none/5_4226/Rittal_US346-Liquid-Cooling-Package-LCP-Cooling-Systems_5_4226/

        плюс это сразу дает фрикулинг - которого в этом проекте нет, а у нас 9 месяцев зима, однако....


    1. JetHabr
      10.09.2021 15:46
      #23469622

      Доброго времени суток, благодарим за неподдельный интерес!

      1. Нагрузка на стойку в ЦОД составляет 5 кВт электрической мощности. Суммарно ИТ-мощность в ЦОД составляет 95 кВт, остальное потребляют EDGE узлы на территории 42 шт. и инженерная инфраструктура. Данная нагрузка удовлетворяет потребноcтям заказчика, именно такая мощность была прописана в ТЗ.

      2. В статье мы написали, что изначально ставить ДЭС не было в планах. Его решено было поставить по ходу реализации проекта, так как второй ввод должен был обеспечить газогенератор. Возможно по этой причине изначально в ТЗ требовалось 30 минут автономной работы.

      3. Прочности возводимых перегородок более чем достаточно, чтобы удержать давление в случае выпуска газа. Людям подходить с мобильным дымососом к ЦОД не нужно, на этот случай предусмотрена стационарная система дымоудаления с щитом управления и со всей необходимой системой воздуховодов.

      4. Благодарим за идею, обязательно остараемся подготовить материал про прохождение комплексных испытаний и эксплуатации.


  1. Galperin_Mark
    03.09.2021 17:54
    #23444752

    Рады за коллег по цеху. Красиво сделано. ЦОДы рулят. Молодцы.


    1. JetHabr
      21.09.2021 11:28
      #23505096
      +1

      Спасибо за положительный отзыв! Мы стараемся)


  1. DmitriiR
    11.09.2021 16:36
    #23472786


    А почему фрикулинг то не применили?

    Этож какая экономия то


  1. Carburn
    16.09.2021 09:02
    #23488728

    Чем свой ЦОД лучше Яндекс.Облако? Дешевле?


  1. mvcd1963
    21.09.2021 11:29
    #23505104

    Добрый день!

    1. "Единственное, с чем NetEco интегрировался не идеально — некоторые дополнительные системы, например пожаротушение и клапаны вентиляции". Какие конкретные проблемы были с этими системами? Какие вентиляционные клапана - противопожарные или регулировочные? Сейчас все они выпускаются с любыми приводами по уровню интеграции.

    2.Раннее упомянули фрикулинг. Но есть еще более дешевый (даже практически бесплатный) вариант, который почему-то никогда не используется. Это наружный воздух при температурах на улице до плюс 16 градусов. Для зоны Москвы - это более 60% времени в течение года.

    Михаил


    1. JetHabr
      21.09.2021 11:30
      #23505108

      Добрый день! Отвечаем сразу на вопросы по теме использования фрикулинга на данном конкретном проекте. Да, современные тенденции в отрасли все чаще заставляют нас смотреть в сторону систем со свободным охлаждением. Но далеко не всегда и не везде решение на фрикулинге будет: а) экономически целесообразно; б) возможно, ввиду конструктивных или технологических ограничений площадки. Не стоит забывать про капитальные затраты и окупаемость ЦОДа. Покупка чиллера с фрикулингом или с отдельной градирней несет в себе значительные капитальные затраты, также даную систему стоит дополнить операционными затратами: сложной системой автоматики, техническим обслуживанием и сервисом.

      При проработке предложений по созданию ЦОД, совместно с заказчиками подготавливаем TCO модель обычно сроком на 10 лет. В конкретном случае результат модели показал, что применение системы фрикулинга экономически не целесообразно. Также конструктивные ограничения не позволяли организовать самостоятельную воздушную систему.


      1. DmitriiR
        21.09.2021 13:35
        #23505880

        Это вы с жадными вентиляционщиками работаете.

        Это сколько надо зарядить в теплообменники, чтоб экономика с потреблением кондиционеров не сошлась.


        1. JetHabr
          07.10.2021 15:31
          #23564878

          Добрый день! Спасибо за интерес к статье! Основной вклад - это стоимость чиллеров, а также их последующее сервисное обслуживание. Организовать прямой фрикулинг без дополнительных систем доохлаждения в нашем регионе не получится. В проектах ЦОДов, мощностью меньше 500 кВт, окупить капитальные затраты на сложные чиллерные системы с фрикулингом, за счет последующей экономии на потреблении электричества кондиционерами, весьма проблематично.