Лирическое отступление
Все знают, что Россия — энергетическая сверхдержава, она же – «разорванная в клочья Обамой бензоколонка». Но не все знают, как это может отражаться в области развития математического моделирования. Расскажу одну жизненную историю.
Начну с далекого 2007 года. Довелось мне в те времена поработать на крупном заводе, который «эффективные менеджеры» как раз делили на несколько отдельных предприятий, каждое из которых крутилось, как могло. В том цеху, который и стал одним из таких предприятий, на токарных станках могла крутиться (и крутилась!) металлическая болванка размером с автобус. А в печку для нагрева металла можно было затолкать паровоз. Целиком. Когда я в первый раз увидел токарный станок, на котором крутится и обтачивается деталь размером с автобус, моему восторгу не было предела. Гордость за страну переполняла до состояния «в зобу дыханье сперло». А потом старожилы показали ту часть цеха, где стояли фундаменты таких же станков и пояснили:
- А вот тут были станки для точной обработки. Их продали китайцам по цене металлолома.
- А почему вот другие не продали?
- Потому, что у них точность обработки такая, что их только в металлолом можно сдать. Поэтому они здесь работают и крутятся как могут, и обтачивают валы турбин Siemiens.
Схема бизнеса был гениальна: Siemiens привозил на завод многотонные болванки, их неделями и месяцами обтачивали до состояния заготовок и увозили для чистовой обработки в Германию. Где уже выполняли чистовую доводку на точных и дорогих станках. Главные затраты при черновой обработке – это износ станков и инструмента, зарплата токаря и электроэнергия, необходимая для вращения тонн металла. Поскольку электроэнергия в РФ дешевле немецкой, недели обработки болванок с лихвой окупают транспортировку, а низкая точность обработки не требует дорогого обслуживания и мало чувствительна к износу еще советского оборудования. В итоге весь бизнес заключался в «перепродаже» дешевой электроэнергии из РФ в Германию, но в виде металлических обточенных болванок.
Если вы думаете, что электроэнергию можно продавать только в виде обработанного металла, то вы заблуждаетесь. Ее можно продавать и в виде результатов математического моделирования. Схема ровно такая же: западный автоконцерн хочет провести расчет прочности на суперкомпьютере. Например, посмотреть, как машина разбивается о стенку. Понятно, что бить машину дорого и машин не напасешься. Можно посчитать на СуперЭВМ, но он жрет электроэнергии, как не в себя. Но при этом тут рядом Россия, где есть СуперЭВМ, дешёвая электроэнергия и эффективные манагеры (собственно, все, что нужно для профита). Берем модель в виде сетки для расчёта на западном 3D софте, благо в ней практически нет реальных данных по конструкции, отправляем русским ученым с СуперЭВМ и они за 3 копейки неделями обсчитывают варианты для западных автоконцернов. Считают на суперЭВМ, как БМВ, Рено и Мерседесы разбиваются об стенку, сжигая дешевую электроэнергию. Цифровой двойник, епта!
И вот в 2013 году у меня появился шанс тоже получить свою долю от продажи дешевых углеводородов, отбитых казаком Ермаком у хана Кучума. Нет, газовой скважины от дальнего родственника я в наследство не получил. Появилась возможность буквально из воздуха заработать денег за счет экономии электроэнергии в РФ, чтобы больше энергоносителей можно было продать за бугор.
Цифровой двойник дата центра
К нам обратилась одна крупная российская компания, «та-которую-нельзя-называть», но у которой по всей России целая куча дата-центров. А, как известно, перепады температуры в России могут быть от – 30 до + 40. И дата-центры нужно охлаждать. Для этого ставятся гигантские вентиляторы на крышах, но работают они неравномерно: зимой крутится 1 из 10, летом, когда прохладно, 5 из 10, а когда жарко (2 – 3 дня в году) все 10. Вопрос был в следующем: можно ли как-то посчитать суточные расходы охлаждаемого воздуха для дата-центра, чтобы определить, как рационально охлаждать, и сколько все-таки вентиляторов надо на крыше.
Первое предложение, с ходу, было такое: выкинуть 5 вентиляторов, пусть сервера пару-тройку дней в году работают с перегревом. Делов-то! Все равно они устаревают раньше, чем изнашиваются.
Но услышав доводы заказчика, я почувствовал запах больших денег и воображение уже нарисовало Ламборгини, Монако и замену математических моделей на реальных с грудью 5-го размера. Если нам удастся настроить подачу воздуха, так чтобы сэкономить заказчику несколько процентов электроэнергии для охлаждения дата-центров, то денег хватит, чтобы самим охлаждаться коктейлями в Майями-Бич.
Как оказалось, нагрев серверного оборудования в процессе работы вызывает не только, и не столько повышенный износ, но и существенное увеличение затрат электроэнергии. Нагретые процессоры, память и жёсткие диски сжирают больше электроэнергии, чем холодные, а для дата-центра затраты электроэнергии — это очень большая статья расходов. Может получиться, что на охлаждение вентиляцией будет потрачено больше энергии, чем потери за счет нагрева. В этой ситуации в масштабах дата-центра, если организовать подачу воздуха так, чтобы сэкономить хотя бы несколько процентов, то можно озолотиться.
В момент обращения к нам, система охлаждения серверов уже была достаточно хорошо отработана. Четыре сервера объединялись в одну охлаждаемую ячейку, на которую работали три вентилятора с регуляторами.
На уровне отдельного сервера и охлаждающей ячейки компания имела хорошие подробные 3D-модели нагрева оборудования и его охлаждения. Используя эти модели, специалисты создали эффективную систему регулирования оборотов вентиляторов охлаждающих ячейки в зависимости от нагрузки на вычислительные мощности серверов. В зависимости от времени суток и конкретного дата центра нагрузка распределяется по-разному. Например, запустил кто-то в дата центре распределенный расчет – греются процессоры. Или, днем почта и мессенджеры – процессор, вечером народ валит домой и начинает качать фильмы – разгоняются и нагреваются жесткие диски, увеличилось количество поисковых запросов – пошла перегреваться память.
Можно померить профиль нагрузки и получить энерговыделение в каждом элементе. По профилю работы и энерговыделения можно настроить регуляторы вентиляторов, не просто «включен-выключен», а задавать обороты каждого вентилятора, которые тоже жрут электроэнергию так, чтобы общий расход электроэнергии был минимальным.
И все было хорошо для отдельного сервера и четырех серверов в ячейке, но, когда их больше 20 000, они стоят в одном помещении сложной конфигурации и охлаждаются из одного воздуховода, оптимальность начинает исчезать. Поскольку в дата-центре арендуют вычислительные мощности разные организации и выполняются разные задачи, нагрузка постоянно меняется и, имея оптимальный регулятор на каждом отдельном сервере, общий коллектор и общий расход электроэнергии могут быть совсем не оптимальны. При этом у компании была объективная картина по нагрузке на каждый сервер, которую можно снимать в режиме online, чуть ли не каждую секунду. Но что с ней делать, не понятно. Классическая задача для цифрового двойника: снимаем данные, загоняем в модель и оптимизируем.
Проблема была в том, что считать нужно 20 000 серверов со своими системами регулирования и моделями охлаждения воздухом. Компания крупная и они, конечно, обратились к западным вендорам моделирующего ПО, которые в то время еще активно продавали свое ПО и услуги. Результат был следующий: посчитать дата-центр они были готовы, но скорость расчета была такова, что, получив данные по загрузке, оптимальный расход получался через сутки, когда уже было поздно. Либо рядом с действующим дата-центром нужно построить второй, в котором в 3D будет рассчитываться охлаждение первого, чтобы получить оптимальное охлаждение.
У компании уже было коммерческое предложение от поставщиков западного моделирующего ПО. И когда они пришли к нам, наша задача была показать, что мы сможем посчитать дата-центр целиком с учетом хитрых алгоритмов охлаждения каждого сервера. Тут-то нам карта и поперла.
Наше моделирующее ПО родом из атомной индустрии, где охлаждение – главная задача отрасли, поскольку атомный реактор упрощенно — это просто большой чайник, у которого при перегреве и кипении крышка подпрыгивает. Все знают, как в 1986 году в Чернобыле от перегрева подпрыгнула и перевернулась в воздухе крышка массой 2000 тонн. После этого считать охлаждение у нас научились. И любая научно конструкторская организация в Росатоме имеет по несколько расчетных тепло-гидравлических кодов для решения задач охлаждения реакторов. Более того, большая часть данных кодов еще и аттестована в специальных органах, которые проверяют насколько близко к реальности считает тот или иной расчетный код для оценки процесса охлаждения реактора.
Я уже ранее рассказывал, как создавать цифровой двойник для авиационного теплообменника. Это маленькая коробочка размером с корпус компьютера. Далее по нарастающей. Вот здесь описано как делать цифровой двойник системы кондиционирования воздуха для всего самолета. А теперь настало время рассказать как делать цифровой двойник полного здания.
От 3D к 1D. Движение вверх по лестнице ведущей вниз
В качестве исходных данных у нас была полная честная 3D-модель одного сервера в различной конфигурации. Используя данную модель за 3 – 4 дня можно рассчитать варианты работы этого сервера с различной нагрузкой и в различном температурном режиме. Более того, данную модель можно завалидировать на реальном железном сервере. Также можно посчитать разные конфигурации (разные процессоры, количество памяти, разные жесткие диски).
Используя данные 3D-расчета, мы сформировали в среде структурного моделирования SimInTech 1D-модель, которая представляет собой набор таблиц, в которых собрано посчитанное в 3D модели выделение тепла всем элементами сервера при различных режимах работы. Далее достаточно простой интерполяции, чтобы получить значение выделяемой энергию при любых условиях.
Принципы работы такой модели достаточно просты: каждый элемент является источником тепловой энергии, величина которой зависит от температуры элемента. Температура элемента определяется охлаждением за счет воздуха, коэффициенты теплоотдачи и коэффициенты гидравлического сопротивления также рассчитаны в 3D и валидированы на реальном оборудовании.
Поскольку у компании серверов в наличии неограниченное количество, то можно выделить несколько штук в разных конфигурациях, с разным количеством памяти, разными процессорами, разными жестким дисками и все их аккуратно рассчитать в 3D и проверить на реальных режимах работы.
Данные расчетов были упакованы в модель, в которой можно как в реальном сервере менять настройки, выбирать тип процессора, количество и тип памяти, количество и тип жесткого диска.
Модель во время расчета получает вычислительную нагрузку, рассчитывает тепловыделения и температуру всех компонентов. При этом за счет интерполяции проверенных данных результаты расчета получается практически мгновенно и с заданной точностью совпадают с результатами многочасового 3D моделирования. Точность расчета определяется точностью температурных датчиков, использованных для валидации. Другими словами, мгновенный расчет ничем не отличается от расчета в 3D.
С точки зрения физики процесса, для системы вентиляции эту сложную модель можно представить как канал, в котором есть источник энерговыделения. Гидравлическое сопротивление этого канала-сервера, зависит от начинки реального сервера. Например, есть планка памяти – это дополнительный источник тепла и дополнительное сопротивление потоку. Величина сопротивления так же получена на стадии 3D моделирования.
Тогда модель охлаждаемой ячейки, состоящей из четырех серверов и трех вентиляторов, будет выглядеть, как показано на принципиальной схеме см. следующий рисунок.
Четыре сервера – это 4 канала с выделением тепла и местным сопротивлением, зависящим от конфигурации сервера (они могут быть разными в одной ячейке охлаждения). Вход воздуха — это общий коллектор (входной объем), из которого воздух всасывается в 4 сервера. На выходе стоят три вентилятора. Как говорилось выше алгоритм управления включает разгоняет и тормозит эти вентиляторы в зависимости, от температуры в серверах конкретной ячейки. Эта простая модель обеспечивает точный расчет подогрева воздуха в ячейке и температуру компонентов.
Чтобы, как нас учат классики теории цифровых двойников, обеспечить обмен данными цифрового двойника с «перваком», для каждого сервера формируется информационная структура в базе данных сигналов, в которую записывается конфигурация сервера, а также можно отправить данные реально работающего дата-центра.
Подготовленная 1D модель учитывает возможные конфигурации оборудования в дата центре, и мы спокойно можем выгрузить реальные данные о 10 000 серверов дата центра и заполнить цифровую модель (digital twin) каждого сервера согласно его реальному брату близнецу из дата центра. В информационной структуре базы данных находятся как исходные данные для расчета, так и результаты вычислений. Например, нагрузки на дисках, вычислительные нагрузки, температура компонентов - короче, весь необходимый фарш для расчета теплового потока в воздух и сохранения результата.
Дальше вопрос только ловкости рук и никакого мошенничества. Собираем из ячеек стойки, соединяем вентиляционными коридорами, получаем модели охлаждения 10 000 серверов в одном помещении и создаем модель системы кондиционирования.
Таким образом, мы получаем инструмент, в котором можно учитывать индивидуальную загрузку каждого из 10 000 серверов и ее влияние на общую систему вентиляции. Точно также учитываются индивидуальные программы управления охлаждения ячейки: мы просто в векторном виде обсчитываем 100, 1000 или 10 000 регуляторов (сколько нужно) на одной расчетной схеме:
А поскольку у нас есть данные по реальной загрузке серверов в ретроспективе и перспективе, мы спокойно можем эту модель проверить, донастроить и валидировать.
Что бы удобнее работать с моделью дата центра в процессе наладки и настройки создаем панель управления, на которую выводим основные параметры работы вентиляции дата центра, а также сводные гистограммы распределения температур по основным устройствам.
Voilà, цифровой двойник готов.
Далее самое интересное, если вся эта система начинает считать хотя бы в реальном времени, то мы можем спокойно виртуально менять / перераспределять нагрузку в дата центре и настраивать работу системы кондиционирования таким образом что бы экономить электроэнергию всей системы. А здесь уже включается наш опыт создания гигантских моделей для расчета охлаждения АЭС. В итоге модель дата центра с 20 000 контрольных объемов, даже на ноутбуке считает в 1,6 раза быстрее реального времени.
Получается мы можем с ноутбуком, приехать в дата центр, забрать данные по текущей нагрузке на сервера, запустить программу на расчете и визуально сравнить параметры, рассчитываемые моделью (температуры, расходы воздуха и давления в системе), полученные в результате моделирования и реальные показатели работы дата центра. После этого мы можем в модели выполнять различные расчеты по оптимизации как загрузки в дата центре, так и работы системы вентиляции, каждый раз получать оптимальный поток воздуха и экономить электроэнергию. Набивая карманы и спасая планету от глобального потепления. Грета Тунберг должна быть довольна!
С такой моделью жить становится не просто, а очень просто. Берем данные из дата-центра, грузим в модель, она считает и выдает оптимальную нагрузку для системы управления вентиляцией – и, бинго! – мы экономим электроэнергию, охлаждаем серверы так, как нужно при любых вариантах загрузки. Брать процент с экономии электроэнергии за счет оптимальной подачи воздуха – это как знать прикуп и жить в Сочи. Ниже видео с демонстрацией работы модели охлаждения дата-центра.
Можно искать билеты во Флориду бизнес-классом. Что тут может пойти не так?
Россия – не Америка, бро
Проект был признан удачным, данные модели совпали с данными работы реального дата-центра. С чувством выполненного долга мы пошли к руководству компании делить будущие прибыли. Руководство компании выслушало нас внимательно, поблагодарило за удачную работу и вынесло вердикт. Для охлаждения компания использует воздух, воздух — это бесплатный ресурс, и экономить воздух не нужно, поэтому пусть включают вентиляторы на полную и не морочат ему, руководству, голову.
Так я не стал миллионером, потому что в России зима длится 9 месяцев, воздуха холодного – как у эскимоса снега, и наша точная модель охлаждения оказалась не нужна. Россия – не Америка, и охлаждать ее не надо. В России нужно обогреваться. А про это у меня есть другая статья и видео:
Комментарии (265)
schulzr
18.12.2023 22:56Очень интересная статья. Скажите, пожалуйста, сколько у вас параметров в системе? Все-таки построение более-менее точной табличной модели при числе параметров больше 4 дело непростое. Наверное, Вы, каким то образом находили самые критичные параметры или их комбинации? Если не секрет, какие параметры вы использовали? Спасибо
petuhoff Автор
18.12.2023 22:56тут просто зависимость энерговыделение от температуры для отдельных элементов сервера, их достаточно просто измерить есть есть тестовый сервер, путем замеров температуры на входе и выходе в стационарном режиме работы, основные тепловыделяющие элементы известны и их температура достаточно легко измеряется.
SergioT4
18.12.2023 22:56Как насчёт реальных замеров каким-нибудь дроном с тепловизором, т.е. можно с какой-то периодичностью получать данные не только там где датчики установлены, но и более общую картину.
Или тепловизор не даёт нужной точности?
petuhoff Автор
18.12.2023 22:56можно, но вопрос в скорости обработки данных вот вы получили данные по температурам компонентов 20 000 серверов с дрона и вам нужн посчитать на сколько можно снизить расходы воздуха что бы иметь оптимальный расход электро энергии. Для этого нужно посчитать температуры при снижении расхода. А если еще и посчитать что будет если перекинуть задачи на другие сервера. Причем оптимальным может быть варинат когда вы догружаете загруженные сервера, где вентиляторы локальны раскручиваются по максимуму а недогруженные вообще останавливаются, но это нужно считать каждый раз
kareon
18.12.2023 22:56Ну воздух-то бесплатный ресурс, но электроэнергия, чтобы крутились вентиляторы - вовсе нет. Неужели руководство компании этого не понимает? И если бы было все так просто, и эти расходы были малозначительными, почему еще при открытии дата-центра не врубили все охлаждение по полной?
ABy
18.12.2023 22:56Чисто интуитивно: экономить электроэнергию регулируя обороты вентиляторов датацентра - это как пытаться сэкономить на квартплате понизив обороты куллера игрового ПК. Ну может я преувеличиваю, но вот как-то так...
BlackMokona
18.12.2023 22:56В целом чем холоднее в дата-центре тем лучше для оборудования. Живёт дольше, работает быстрее, энергии жрёт меньше. Если бы не влажность воздуха, да потребность работы внутри персонала думаю бы морозили в глубокий минус.
red_dragon
18.12.2023 22:56Нет никакой проблемы заходить в гермозону надев валенки и ватник. Статику тоже можно победить не только высокой относительной влажностью воздуха. Но, вот не морозят почему-то. Загадка.
vanxant
18.12.2023 22:56Одноступенчатые кондиционеры эффективно снижают температуру градусов на 20, максимум 25. Потом всё, дохнут, нужно делать две или больше стадий.
Соответственно если на улице +40, сделать +20 можно, сделать 0 одной стадией уже нет. А вторая стадия будет жрать примерно как и первая...
PS. На газохимических комбинатах, где надо охладить природный газ до -160 и выделить метан отдельно, полезное химсырьё отдельно (оно ожижается раньше метана), этих стадий как г..на за баней. Но там энергия почти халявная и вопрос окупается...
DMGarikk
18.12.2023 22:56Одноступенчатые кондиционеры эффективно снижают температуру градусов на
20, максимум 25. Потом всё, дохнут, нужно делать две или больше стадий.как сложно то, а как промышленные холодильники работают где -40? там конечно такого поступления тепла нет как в датацентре но принцип работы то одинаковый, вопрос лишь в производительности компрессоров и испарителей
angryRamulus
18.12.2023 22:56Аммиачные холодильники вроде одностадийные, но...
DMGarikk
18.12.2023 22:56да и фреоновые вполне... но они то на -40, тут температура повыше, разве что высокая эффективность важна
Dolios
18.12.2023 22:56Одноступенчатые кондиционеры эффективно снижают температуру градусов на 20, максимум 25. Потом всё, дохнут, нужно делать две или больше стадий.
А как тогда у меня в морозилке холодильника -20, когда в кухне +30?
vanxant
18.12.2023 22:56Ну суньте в морозилку кастрюлю горячего борща, сколько её охлаждать до -20 будет?.. (только компрессор не спалите)
Dolios
18.12.2023 22:56Так разница 120 градусов будет с горячим борщом. Что-то комнатной температуры, разница ~45 градусов сую регулярно, всё хорошо.
Astroscope
18.12.2023 22:56только компрессор не спалите
Можете, пожалуйста, дать аргументированное объяснение, почему сгорит компрессор?
SquareRootOfZero
18.12.2023 22:56Тут напрашивается научное видео от какого-нибудь ютуб-просветителя: "Сегодня мы будем пытаться спалить компрессор холодильника вот этой кастрюлей горячего борща. А наш сегодняшний спонсор - предприятие ИжТяжМаш со своими импортозамещёнными холодильниками. Холодильники "Иж" - покупай, они ж свои ж!"
Astroscope
18.12.2023 22:56Тут напрашивается научное видео от какого-нибудь ютуб-просветителя
Нет, я пас. У меня вызывают категорическое отторжение любые попытки украсть мое время, а подобные видеоролики - одни из наиболее очевидных представителей похитителей времени. Еще типичнейшие представители - социалистические сети, пытающиеся втянуть пользователей в круглосуточное залипание в бесконечной ленте или как оно там у них называется.
Dabroid
18.12.2023 22:56Хоспади, как вы сюда то несчастное импортозамещение приплели?
SquareRootOfZero
18.12.2023 22:56Для красного словца. А как можно приплести ютуб-просветителя, не приплетя рекламной интеграции?
Dabroid
18.12.2023 22:56хм, "рекламная интеграция" бывает на разные темы, но именно "импортозамещение"... при том, что ни пост, ни ветка комментов не о этом... "оговорочка по Фрейду", аднака :D
vanxant
18.12.2023 22:56будет молотить постоянно, есть риск перегрева
Astroscope
18.12.2023 22:56будет молотить постоянно, есть риск перегрева
Бытовые морозилки иногда годами (да, буквально) работают без перерыва, потому что никто не заметил, что терморегулятор сдох. То есть в ремонт они попадают потому, что уже давно избыточно намораживают и вот только недавно заметили, что морозилка никогда не отключается - а не из-за выхода из строя компрессора. Это не моя фантазия, а из неформального общения с сервисом.
vanxant
18.12.2023 22:56Зависит от качества компрессора и его охлаждения. И да, запланированное устаревание никто не отменял...
NineMan1
18.12.2023 22:56Работающий компрессор охлаждается возвращающимся из испарителя (морозильной камеры) фреоном. При высокой тепловой нагрузке на испаритель (горящий борщ в морозильной камере) фреон будет попадать в компрессор с очень большим перегревом и не будет охлаждать компрессор до расчётных значений. Конечно будет срабатывать тепловая защита. Но со временем (зависит от качества изготовления) изоляция на обмотках компрессора от этого перегревается, компрессор сгорает.
DMGarikk
18.12.2023 22:56(горящий борщ в морозильной камере)
классика же: утюг vs морозилка - кто победит?
RTFM13
18.12.2023 22:56Одноступенчатые кондиционеры эффективно снижают температуру градусов на 20, максимум 25. Потом всё, дохнут, нужно делать две или больше стадий.
Теоретически нет такого ограничения. Одноступенчатые до 30-40 градусов точно могут, но эффективность сильно падает. Там от хладогента и настроек многое зависит, просто они заточны на малый перепад потому, что он является наиболее распространенным в процессе эксплуатации, а это экономия.
Собственно у самого обычного бытового кондея у испарителя температура +5, а у конденсатора +60. Поставь снаружи водянку, а внутри радиатор побольше и вот тебе перепад 40 градусов.
Летом надо просто водой из водоёма охлаждать. Она выше 25 на территории рф нигде не нагревается. Кроме того водянка сокращает перепад на конденсаторе минимум вдвое. Итого температура конденсации падает с 60 до 30 градусов. Вот тебе понижение температуры на 30 градусов при той же эффективности.
Концептуально, зимой можно вырабатывать электроэнергию, но там крохи будут, из-за малой разницы температур и низкого механического КПД.
В целом чем холоднее в дата-центре тем лучше для оборудования.
Нет, конечно же. У оборудования есть диапазон рабочих температур, причин миллион, перечислять нет смысла. Обычно всё затачивается на +20 (+/- сколько-то там). Как правило в датацентрах ставят по нижней границе +15/+18 если это не колхоз как в статье. Эта температура как правило входит в диапазон рабочих температур почти любого оборудования.
Неужели руководство компании этого не понимает?
Руководство компании решило откатить бабла. Нашла зарубежного подрядчика чтоб сразу в офшоры откатил, подрядчик придумал бессмысленную, но дорогую работу. Но тут влезла контора автора статьи с как бы чуть менее бесполезной и менее дорогой работой. Пришлось руководству заднюю включать. От этого "необъяснимые" противоречивые решения.
Воздух может и бесплатный, но не бесплатные фильтры.
При открытой системе фильтры очень дорогие, особенно при таких расходах. Но я про открытые системы охлаждения в нормальных ДЦ никогда не слышал. Они обычно полугерметичные с небольшим наддувом и шлюзовой камерой. В том числе из-за пыли. Но для наддува и минимальной вентиляции фильтры всё равно нужны. И вот даже в таком режиме это заметная статья.
dragonnur
18.12.2023 22:56Таганрогский залив летом имеет температуры до +32, а при неудачном стечении обстоятельств приповерхностный может разогреваться и выше. Так что "не обобщайте и не обобщены будете" (с)
RTFM13
18.12.2023 22:56Округление 99% до 100% в данном случае вполне оправдано. Даже если 35 это всё еще гораздо лучше чем воздух, например, 30. Да и воду желательно забирать из водоёма больше двух метров глубиной и с глубины больше двух метров. А там вряд ли 32+ будет.
Фильтры как расходник?
Воздух как расходник. Большой расход воздуха.
Фильтры конечно есть всякие, но фильтровать надо много и качественно. Просто по объему займёт сравнимое пространство с самим датацентом.
Не всё так просто. Нельзя сбрасывать тепло просто так, прилетит по шапке.
В рф это смешно звучит. И это не техническая проблема.
Москва сливает в речку недоочищенную канализацию с гораздо (порядка на 3-4) большим количеством и тепла и никому ничего не прилетает или прилетает так, что нет смысла по этому поводу париться. Да и промышленных вод там хватает с чем угодно.
Даже закрытый водоём очень хорошо отводит тепло. Энергия там на 1-2 порядка меньше чем на электростанциях, не та проблема.
50л/сек * 5 градусов это 1 МВТ. Это 1 пожарная машина, для сравнения. Кубометр в секунду это скорее всего ниже порога который вообще имеет смысл считать.
А по шапке может прилететь вообще просто так, сброс воды тут самый последний фактор среди тех, которые на это влияют.
Плюс, если это открытый водоём, то начинаются вопросы с чистотой теплообменников и так далее.
Да нет там особых проблем. На входе небольшой бассейн для отстоя песка и решетка чтобы бревно на засосало. А вся органика и мелкий мусор прекрасно насквозь проходит. При определенной скорости потока отложения не образуются (небольшое количество песка даже может быть полезным).
на переходе минус-плюс будет точка росы.
Такой дичи я даже от кондиционерщиков с оконщиками не слышал, а они любят про точку росы всякое рассказывать.
Если в школьную физику сильно не углубляться и немного упростить, то можете запомнить простое правило - на источниках тепла конденсат/иней не образуется (если они сами не являются источником влаги). Если у вас воздух циркулирует в каком-то объеме, то конденсат если будет, то на самых холодных объектах - радиатор кондея, окно, двери, стены (если с той стороны холоднее).
Погуглил даташиты на электролитические конденсаторы, рабочие температуры
указывают примерно такие: –55 °C to +105 °C. Иногда пишут что для 400В
от –25 °CА какая емкость заложена в дизайн БП?
Если я делаю устройство у которого рабочая температура от +5, то почему я должен увеличивать стоимость БП закладывая в расчет температуру -55? Это даже если мощность БП честная.
Shrizt
18.12.2023 22:56кто говорил что на источниках тепла?
речь шла о том - почему не охлаждают серверную до отрицательных температур
на градиенте между источником и отрицательными температурами будет точка где будет точка росы, это практика, школьный курс оставьте...
где будет эта точка - на корпусе сервера, стойки или просто на стенах - все равно плохо.
AntonyKondr
18.12.2023 22:56При открытой системе фильтры очень дорогие, особенно при таких расходах.
Фильтры как расходник?
Я не специалист в области вентиляции и охлаждения, но есть же циклонные фильтры, для отсева тяжёлых частиц. Поставил их каскадом на входе системы несколько штук, на разную фракцию и массу, а дальше только ссыпай из них пыль. Не думаю, что они капец какие дорогие. Ну, конечно, обычные пористые чистовые фильтры в самую последнюю очередь тоже, наверное, стоит поставить.
Mitya78
18.12.2023 22:56Летом надо просто водой из водоёма охлаждать
Не всё так просто. Нельзя сбрасывать тепло просто так, прилетит по шапке.
Плюс, если это открытый водоём, то начинаются вопросы с чистотой теплообменников и так далее.
grumbler66rus
18.12.2023 22:56Смазка подшипников замерзает. Внезапно, да?
ABy
18.12.2023 22:56Не замерзнет, если вентиляторы не выключать:) Обмотки то греются.
Можно их даже специально подогревать перед включением небольшими токами.
grumbler66rus
18.12.2023 22:56Контроллеры останавливают шпиндели HDD для экономии ресурса и электричества. Если температура ниже нуля, двигателю не хватает мощности раскрутить шпиндель. В нынешние морозы я с этим столкнулся (маленький сервер раздаёт торренты)
achekalin
18.12.2023 22:56Есть инженерная легенда (читаем: я сам не проверял), что остановка, и последующее включение привода диска, и так много раз - не увеличивает, а уменьшает ресурс диска. Разве нет? Особенно, если речь о недорогих дисках, где и так все по-дешёвому сделано...
Tim7456
18.12.2023 22:56Есть совсем не легенда, а суровая реальность. В нормальных датацентрах периодически проводятся учения с отключением питания, чтоб убедиться что все сервисы умеют нормально лечь и потом взлететь без потерь данных. Дело это муторное, поэтому проводится раз в год. Однажды при таких учениях 7% дисков обратно не включились и сервера не смогли загрузиться. Опытные товарищи сказали, что паниковать не нужно ибо ситуация довольно стандартная. Colo было на 10000 серверов примерно.
И все бы ничего, но один из критических сервисов потерял все реплики и не взлетел. Соответственно контроль за Colo был утерян на сутки. Только geo-redundancy и спасла от неприятных звонков недовольных клиентов.
red_dragon
18.12.2023 22:56Это была ирония, так-то. Но в принципе, вполне себе есть смазки, которые могут работать в очень широком диапазоне температур.
Shrizt
18.12.2023 22:56Потому что на элементах сервера (cpu и прочее) будет плюс, а на переходе минус-плюс будет точка росы.
Если заморозить так чтобы даже в cpu был минус - то можно вообще получить сверхпроводимость, но так отводить тепло пока очень сложно
ABRogov
18.12.2023 22:56Оно может в чем то и лучше, но оптимум думаю лежит где-то в районе "чем меньше охлаждать тем лучше". То есть охлаждают на необходимый минимум, а более серьзеное охлаждение, особенно ниже ноля, требует совершенно других кап.вложений, теплоизоляцию помещения, борьбу с кондесатом и изморозью и т.п.
Tim7456
18.12.2023 22:56У одной амеканской компании "которую нельзя называть" в датацентре дождь шел от конденсации влаги внутри помещения.
Кап вложения и термоизоляция - фигня. Там даже в условиях пустыни датацентер изнутри греется сильнее чем снаружи от солнца.
А автор пишет, что если охлаждать лишь минимум, то сервера жрут больше электричества. Да и производительность процессоров падает. Так что есть "золотая середина" и по мощности охлаждения, и по размазыванию нагрузки по стойкам.
vadimk91
18.12.2023 22:56думаю бы морозили в глубокий минус
У нас наверное так же думал кто-то из руководства, когда оборудование засунули в уличный китайский контейнер размером ну примерно с большую стиральную машину. А тут зима вдруг пришла, температура на улице -25 и вдобавок аварийное отключение электроэнергии, которое быстро устраняют, но включаться наш коммутатор в этом контейнере не хочет. Замёрз блок питания, отогревали на батарее отопления соседнего магазина. Добавить в контейнер какой-то обогреватель нереально, нет места. Что русскому - обычная зима, тайваньскому оборудованию карачун )
Xius
18.12.2023 22:56В целом чем холоднее в дата-центре тем лучше для оборудования
У тех же коммутаторов рабочая температура лежит в пределах +5...+45 (кратковременно до -5, +55). При слишком низкой t, как и при слишком высокой начинаются проблемы: отказывают отдельные модули на платах, устройство не загружается после перезагрузки и т.д.
Tim7456
18.12.2023 22:56Это у ширпотребовского оборудования. Там чтоб иней не намерзал.
У Майкрософта был внутренний проект "сделать датацентр на ширпотребовском сетевом оборудовании". Но что-то пошло не так, и проект закрыли. Хотя кое что из наработок в области сетевой архитектуры и пошло в жизнь.
А так и MS, и FB, и Google, и Amazon используют железо собственной разработки и спецификации там свои. Есть и варианты выдерживающие туман и конденсацию влаги внутри серверов. Пробовали и прямое фреонное охлаждение вычислительных модулей.
mikelavr
18.12.2023 22:56Механические HDD нельзя переохлаждать, у них оптимальная температура около 30...35 градусов. Про смазку вентиляторов уже написали.
rombell
18.12.2023 22:56Можно подробности? У меня HDD даже при интенсивной нагрузке охлаждаются до комнатной 23-26 градусов, всегда считал, что так лучше
mikelavr
18.12.2023 22:56При +25 тепловые зазоры меньше, чем планировалось разработчиками. Статистически будет заметно на длинных периодах эксплуатации.
Конечно же, +25 существенно лучше чем +45!
shkal
18.12.2023 22:56Вы для начала поинтересуйтесь температурными зависимостями параметров элементов, например, ESR электролитических конденсаторов.
petuhoff Автор
18.12.2023 22:56Так еще есть распределение по дата центру различных задач, система определяет оптимальныю загрузку. Задачу ставили разработчики систем охлаждения и им она была интересна. К тому же если игоровых ПК 20 000 то существенные деньги должны получится. Такя была задумка
manualBrake
18.12.2023 22:56Если заложить 500 Вт на каждый сервер, то получится 10 МВт на 20000 серверов. Какая мощность у вентиляторов системы охлаждения, пускай 40 кВт на каждый? 5х40=200 кВт летом, и 60 кВт зимой. Если снизить с 200 кВт хотя бы на четверть, то это даст 50 кВт экономии, что в рублях около 200т.р. в месяц летом. В то время как на сами серверы электроэнергии порядка 36 млн.р. в месяц. Что-то не густо. Хотя если вентиляторы заложить на 400кВт каждый, то тогда уже можно будет и подумать об охлаждении кое-кого коктейлями в Майями, но вряд ли этого хватит и для вас.
petuhoff Автор
18.12.2023 22:56ну вобще то я прикидывал, что мы еще и на процессорах получим оптимизацию и чуть чуть от 10МВт за счет оптимизации загрузки согласно полю температур в дата центер. по крайне мере была такая надежда, но на дальнешие эексперменты денег не выделили
Tim7456
18.12.2023 22:56В реальности примерно половина электроэнергии тратится на охлаждение, а половина на сами сервера.
А есть еще и ограничения типа не более 7.5 кВт на стойку, не более 100 кВт на isle, плюс ограничения по мощности охлаждения и общий лимит от поставшика эл. энергии.
MS не просто так с подводными серверами экспериментирует.SergioT4
18.12.2023 22:56Интересно, если построить трубу в километр высотой и оттуда забирать воздух для охлаждения, по идее будет меньше на 6 градусов.
Или не стоит овчинка выделки?
Или две трубы рядом, через вторую горячий воздух выпускать и турбинку крутить.
DMGarikk
18.12.2023 22:56если построить трубу в километр высотой - дешевле будет вставить в неё ветрогенератор и полученным таким образом электричеством питать кондиционеры
чтобы спустить воздух сверху, нужен довольно серьёзный компрессор и существенные затраты на перекачку
SergioT4
18.12.2023 22:56чтобы спустить воздух сверху
Холодный воздух же тяжелее тёплого, не будет гравитация помогать? А прокачка через радиаторы кондиционеров всё равно же требуется.
johnfound
18.12.2023 22:56если построить трубу в километр высотой
Воздух на высоте холоднее из-за адиабатного расширения. Как только вы спустите его на свою высоту, он сожмется и нагреется до наружных температур.
klounader
18.12.2023 22:56Ну вообще в целом, оптимизация игрового пк по оборотам кулеров, играми с даунвольтингами и прочими плясками с бубнами способны снизить потребление электроэнергии процентов на 15-20 ценой потери нескольких процентов производительности, а рёв кулеров уменьшить до приемлемого комфорта ценой нескольких градусов. если такую оптимизацию умножить на 20 тысяч компьютеров, жрущих по 700 Вт, то можно прилично сэкономить, например 4 МВт от 14 МВт и... поехать домой не солоно хлебавши, потому что директор скажет, что электричество и так генерируется озоновым слоем и нечего его лишний раз дырявить.
Tim7456
18.12.2023 22:56Когда компания тратит на оплату электричества в датацентрах 1 млрд долларов в год (цифра реальная), из которых половина именно за охлаждение, экономия в 1% "на оборотах кулеров" уже не выглядит смешно. А если это еще и без установки нового оборудования только за счет внедрения софта то это совсем не мелочные деньги.
vedenin1980
18.12.2023 22:56только за счет внедрения софта то это совсем не мелочные деньги
Тут есть проблема, в том что внедрение софта во множество датацентров это тоже может быть совсем не маленькими деньгами. Софт нужно написать, проверить, облуживать, обновлять и исправлять ошибки. А любая ошибка может еще быть черевато потерями.
В случае, 1 млд долларов в год, 50% на охлаждения и 1 на оборотах кулеров, экономия будет 5 млн. в год. С одной стороны, это круто. С другой стороны, считая что на каждого ИТшника требуется 200 тыс в год (в стране первого мира, с налогами, офисом и всеми бенифитами), то денег хватит на команду из 25 человек (включая, программистов,тестров, дево опсов, менеджеров, инженеров подержки на десятках датацентров и прочих). Хватит ли этого на такой софт? Вот очень может быть что и нет.
Tim7456
18.12.2023 22:56Тогда давайте смотреть на цифры ближе. Стоимость одного инженера (в этой-же компании) порядка 300-400 тыс в год (в зависимости от уровня).
Системы разработки, тестирования, мониторинга и прочего уже есть. Они нужны всем сервисам в ДЦ и без них ни как. Т.е. эти затраты уже есть. Разработать и внедрить новый сервис во все датацентры - зависит конечно от сложности, но и вдвоем вполне реально. В этом и смысл автоматизации управления ДЦ, что инженер может и в одно лицо разработать и выкатить. Но по "правилу трамвая" не менее двух сотрудников должны знать что происходит.Риски не велики, т.к. при правильном проектировании отказ системы не вызовет критического отказа в обслуживании ДЦ. А надежность обеспечится за счет многократного резервирования и мониторинга.
Штука в том, что от количества серверов количество инженеров почти не зависит. Т.е. расходы фиксированные, а экономический эффект масштабируется.
Если модель есть готовая, то сделать на ее базе сервис вполне по силам двоим. Т.к. они "стоят на плечах гигантов".vedenin1980
18.12.2023 22:56Ну это в идеале, по-хорошему два инженера это мало, один заболел, другой в отпуске, кто на дежурстве? А если срочная проблема? То есть берём три, им желательно нормального тестера и начальника итого пять. Разъезды и командировки (транспорт,гостиницы) тоже не бесплатно. И уже затраты легко могут достигать половины даже потенциального профита. А если в реальных условиях окажется, что экономия не 1%, а 0.5% (ну не учли климат, разные погодные условия и т.п.), то легко и в ноль или минус уйти.
Любой бизнес проект это всегда риск и то что кажется большой экономией может оказаться убытком. Я не говорю, что ничего делать не нужно, но все совсем не так очевидно в реальных условиях.
petuhoff Автор
18.12.2023 22:56я вот на совещание не сообразил с ходу так возразить, потом то да, но было поздно
VPryadchenko
18.12.2023 22:56Просто у кого-то в руководстве компании кум владеет энергетической компанией, которая в дата-центр электричество и поставляет.
petuhoff Автор
18.12.2023 22:56надо было в службу безопасности заяву накатать, жаль поздно
Tim7456
18.12.2023 22:56Не поздно. Всегда можно набрать новых данных почему на этом можно заработать. Пляшите от общих затрат на электричество. У всех владельцев ДЦ есть данные сколько мощности идет на сервера, а сколько на охлаждение, ну и общие затраты на электричество.
Нам в свое время очень просто обосновали и апгрейд на более энергоэффективные сервера и более эффективный софт. Расходы на электричество в ДЦ 1 млрд долларов в год. Из них половина сами сервера, а вторая половина на их охлаждение. Т.е. после апгрейда на новое Интелловское семейство расход падает на 10%. Т.е. 100 млн в год чистого эффекта. На цифра 10% получена на стенде на типичных нагрузках.
После этого была команда "заткнуться и начать апгрейд немедленно".
И теперь в панели управления "резервирование серверов на отдел" меряется не в штуках, а в киловаттах.
debagger
18.12.2023 22:56Интересно конечно получилось, задача по снижению потребления энергоресурса трансформировалась в задачу управления вентиляторами. Не удивлен, что бизнес такое не купил.
petuhoff Автор
18.12.2023 22:56нет там еще правильное распередение нагрузки в серверах с учетом температу и охлаждения. Оборты вентиляторов на серверах кстати специальная программа обеспечивала и довольно хитрая с оборотами в заивсимости от температуры. Целый отдел этой программой занимается.
Ig_B
18.12.2023 22:56Целый отдел этой программой занимается.
Чей отдел? Датацентра? То есть вы их лишаете работы.
petuhoff Автор
18.12.2023 22:56Не они как раз и занимаются оптимизацие охлаждения 3D модель и хитрое управления вентиляторами в ячейках это их разработка, они нам контратк и отдали на целиковую модель, за НИОКР то они как раз и заплатили. А вот внедрение не пошло.
Nick0las
18.12.2023 22:56Любопытно было бы взглянуть на модели и результаты измерений. Мне доволилось писать ПО платформы под всякие сетевые железки. В устройстве всегда стоит несколько термодатчиков и несколько вентиляторов, иногда вентиляторы индивидуально регулируемые. Как правило команда теплового моделирования разрабатывала алгоритм управления вентиляторами и потом он валидировался на тестах. Но алгоритм как правило простой очень. Для вентиляторов выставляется PWM=F(T_IN) где T_IN температура воздуха на входе, а F это монотонно возрастающая функция от примерно 20% при 20 градусах, достигающая 100% при 50-60 градусах цельсия. Как правило F была ступенчатая, а мы ее делал еще с небольшим гистерезисом. При отказе любого из вентиляторов остальные включаются на 100% независимо от температуры. Задача такого регулирования исключительно не дать ничему перегрется выше температуры которая считается допустимой (обычно 85 градусов Цельсия) и по возможности поменьше жужжать. О оптимизации потребления энергии никто не думал.
AndGry
18.12.2023 22:56О, команда теплового моделирования разрабатывает такие алгоритмы? В моем случае это всегда были банальные линейные зависимости
Nick0las
18.12.2023 22:56Команда теплового моделирования давала красивые картинки распределения температуры в корпусе при различных нагрузках и температуре входного воздуха. А в итоге программистам потом преоставлялась табличка вида:
предел температуры воздуха на входе (град С), значение PWM (%)
25, 20
30, 28
35, 40
40, 55
45, 70
50, 85
55, 100
Цифры от балды но похоже на реальные.AndGry
18.12.2023 22:56Точно, так и есть. Это не вы случайно писали тот модуль, которым я пользуюсь?)
DGN
18.12.2023 22:56А тупо потребление ДЦ замерить и сравнить с потреблением вентиляции? Есть ли где-то оптимум?
Воздух может и бесплатный, но не бесплатные фильтры.
petuhoff Автор
18.12.2023 22:56Да кстати про фильтры тоже не подумал на совещании.
reallord
18.12.2023 22:56Плюс зимой внешний воздух надо увлажнять и подогревать, так как он при минусовой температуре имеет влажность 5-15% что критично для серверов.
Все системы фрикулинга имеют допобработку воздуха, которая точно небесплатная.
konst90
18.12.2023 22:56Почему проблемна высокая влажность - понятно. А чем вредна низкая?
Или 5-15% считается высокой
atd
18.12.2023 22:56статика, насколько я помню, меньше 10% уже проблемно
olartamonov
18.12.2023 22:56Не скажу насчёт датацентров, но при работе с голой электроникой относительная влажность меньше 20 % — это не просто проблемно, это недопустимо. В защищённых ESD-зонах обычно держат 40-50 %.
Да и в принципе дома на кошках можете потренироваться — при какой влажности они при попытке погладить начинают вас током бить.
reallord
18.12.2023 22:565-15% это низкая влажность.
Для человека нормальная 40-60%
Для электроники оптимально 30-35%
Ниже 20% - повышенная статика. Видел исследования в ДЦ США что каждое снижение на 5% ниже 25% влажности, добавляет 3-4% выхода из строя компонентов серверов. Плюс любое обслуживание (замена компонентов) требует ОБЯЗАТЕЛЬНОГО заземления сотрудника, желательно не на ту же стойку, а отдельно на шину. Особенно горит память и БИОС при повышенной статике.
Либо надо добавлять дополнительно антистатик в подаваемый воздух, что затратно и портит фильтры.
В общем там дохрена проблем если не выдерживать коридор 30-35%.reallord
18.12.2023 22:56Плюс, ниже 25% начинают высыхать пластики различных деталей, смазка в вентиляторах и всякие резинки уплотнительные и т.п.
not-allowed-here
18.12.2023 22:56фрикулинг это обычно два изолированных воздушных контура связанные между собой контуром теплопереноса - обычно Жидкостным. так что тут вопрос воздухоподготовки не стоит....
ya_prost_otvetit_zashel
18.12.2023 22:56В том цеху, который и стал одним из таких предприятий, на токарных станках могла крутиться (и крутилась!) металлическая болванка размером с автобус. А в печку для нагрева металла можно было затолкать паровоз
ЯГОДЫ РОСЛИ НА ОПУШКЕ С КОТА РАЗМЕРОМ. КОТЫ БЫЛИ С СОБАКУ, СОБАКА С КОРОВУ, А КОРОВА КАК ЦЕХ, А В ЦЕХУ МУЖИКИ В ШАХМАТЫ ИГРАЛИ ПО МЕТОДИКЕ БОТВИННИКА - КОНЁМ МАТ СТАВИЛИ С ПЕРВОГО ХОДА!
Suharkov
18.12.2023 22:56Чисто технически, даже в компактную муфельную печь можно затолкать целый паровоз. Или пару. Это будет паровоз размером с пакет молока, но при этом настолько плотный, что будет обладать небольшим собственным гравитационным полем.
DaneSoul
18.12.2023 22:56но при этом настолько плотный, что будет обладать небольшим собственным гравитационным полем.
Так по сути же гравитационным полем обладает любой объект не нулевой массы, так что поезд может быть и игрушечным.
Suharkov
18.12.2023 22:56Прошу прощения, выразился не совсем так, как хотел. Конечно же поезд с заметным для окружающих гравитационным полем.
dyadyaSerezha
18.12.2023 22:56Вы хотите сказать, что настоящие большие паровозы обладают таким, заметным для окружающих полем?
Astroscope
18.12.2023 22:56Вы хотите сказать, что настоящие большие паровозы обладают таким, заметным для окружающих полем?
Причем селективным - притягивающим любителей паровозов заметно сильнее, чем всех прочих.
ssj100
18.12.2023 22:56офтоп но напомнило, всегда поражался и также высчитывал в кавказской сказке "Кто больше?" Там примерно такие же сравнения
Samedi_Da_Kapa
18.12.2023 22:56Видел я похожий станок. Не уверен насчет автобуса, но микроавтобус наверное можно было на нем раскрутить. Газельку какую-нибудь. До двух метров диаметра заготовки точно есть серийные станки, вот насчет больше - штучное какое-нибудь производство возможно.
juray
18.12.2023 22:56Котло-, реакторостроение, и прочий энергомаш - там приходится точить обечайки более пяти метров в диаметре.
Я такой "токарник" на Атоммаше встречал. Точнее, токарно-карусельный, с вертикальной осью вращения.На подобных и 10 м не предел диаметра:
Ленинградский Металлический завод Samedi_Da_Kapa
18.12.2023 22:56Карусельные это отдельная тема. Там да, гиганты разные встречаются. Я сначала подумал про токарные с горизонтальной осью вращения. Типа 1А670. Там что-то около двух метров диаметр заготовки допускался.
Squoworode
18.12.2023 22:56Интересный факт: при таком рекурсивном порядке перечисления и ягоды, и коты, и собаки, и коровы получаются размером с цех.
Wan-Derer
18.12.2023 22:56М-даааа.... Мы когда-то считали курс "Теплообмен в РЭС" самым мудацким и одним из самых ненужных. А тут вон оно как повернулось: тут тебе и большая наука, и модели с пятым нумером, и коктейли пряные....
needbmw
18.12.2023 22:56Отключать вентиляторы неэффективно, это даёт линейную экономию, а вот если частотно зарегулировать их, чтобы работали все, но на пониженных оборотах, и получите сильно нелинейную зависимость потребления энергии от расхода воздуха, и соответственно, хороший экономический эффект в холодное время года.
petuhoff Автор
18.12.2023 22:56они частотно и регулируются (наверное) Но еще можно загрузку менять дата центра по зонам
iig
18.12.2023 22:56Отключать вентиляторы неэффективно
Почему вдруг? На каких-то оборотах у вентилятора КПД лучше, на каких-то хуже. Эффективнее всего- чтобы вентилятор либо работал на оптимальных оборотах, либо был выключен.
petuhoff Автор
18.12.2023 22:56Там характеристика не линейная оптимальным явялется диапазон в пределах которого можно регулировать.
needbmw
18.12.2023 22:56Потому что отключая часть вентиляторов, вы получаете линейную экономию, например отключив половину вентиляторов вы расходуете половину максимальной мощности и получаете половину воздушного потока. Если оставить все вентиляторы в работе, но на сниженной частоте, можно затрачивая четверть мощности получить тот же половинный расход, что значительно экономичней линейного варианта. Причина в сильно нелинейной зависимости выдаваемого вентилятором воздушного потока от затрачиваемой мощности.
ABy
18.12.2023 22:56Нагретые процессоры, память и жёсткие диски сжирают больше электроэнергии, чем холодные
Верим? Процентов 5 наберется?
nerudo
18.12.2023 22:56Недавно равлекался. Чип 100°C потребляет процентов на 15-20 больше, чем чип 50°C.
ABy
18.12.2023 22:56А если сравнивать 50°С и 80°С? 100°C это уже критическая температура по моему. Хотя смотря что за чип.
Это без разгона было? Нарпяжения по дефолту?
Ну так-то получается серьезый прирост потребления.
nerudo
18.12.2023 22:56FPGA от Xilinx. Все идентично, просто постепенный нагрев в условиях недостаточного теплоотведения. Зависимость экспоненциальная (или квадратичная? в общем не линейная), на 80°C, конечно, получше, около +10%.
55°C 41.5W
60°C 42.2W
70°C 43.5W
80°C 45W
90°C 46.8W
100°C 49.5W
DaneSoul
18.12.2023 22:56Считать то надо не только потребление конкретных процессоров, но и его вычислительную мощность в данном состоянии. Если при перегреве он будет пропускать половину тактов, в результате чего будет не справляться с работой и прийдется подключать дополнительные сервера, то потребление дата центра будет расти совсем на другие величины. Ну или производительность софта на этих серверах просядет, что тоже ничего хорошего не сулит.
Nick95
18.12.2023 22:56как известно, перепады температуры в России могут быть от -30 до +40
Мягко говоря, настоящий интервал автору неизвестен)
tamamo
18.12.2023 22:56Россия - не Америка потому что в России не принято уважать интеллектуальный труд, и принято много воровать. А пошло всё от СССР-овских шараг и разницы между зарплатами инженера и токаря иногда в 50+ раз. И от вездесущих несунов - которые в СССР считались истинными народными героями. Страна сменилась - менталитет остался. Искренне сопереживаю автору - уверен если бы иностранцы предложили приемлемое по скорости решение - собственники с радостью понесли бы им суммы сильно выше суммарных затрат на решение от автора статьи. Так уж устроен наш предприниматель - вышел он из кровавых 90-х где люди сначала за полиэтиленовые пакетики - а потом за джинсы с кроссовками - мать родную продать были готовы. Иногда не только фигурально.
petuhoff Автор
18.12.2023 22:56Другое дело США, там вон семейка Байденом на Украине отметилась хорошо, не такихе хапуги меркантильные, не за джинсы с кроссовками, а за высокое! Наркотики и украинские проститутки. Это другое понимать надо!
TheHangedKing
18.12.2023 22:56Вот список того, чего на ресурсе делать не следует: ...
-
Инициировать политические дискуссии и участвовать в них
Тематика нашего ресурса определена довольно чётко. Для рассуждений о политике есть куда более подходящие сайты. Но не «Хабр».
Источник: https://habr.com/ru/docs/help/rules/
-
tamamo
18.12.2023 22:56США - другая страна, со своей историй развития и становления, со своими преимуществами и своими проблемами - без них наверно в любой системе никуда. В России же есть множество очень хороших специалистов - FPGA-разработчиков с опытом от пяти лет, математиков - писавших нейронки за гОды до появления TensorFlow под вторые пентиумы, программистов - знающих ядро линукса вдоль и поперёк, и модифицирующих его под кастомные софт-процессоры и различные необычные инструкции этих процессоров. Про спецов по SP/SDE (случайные процессы/стохастические диффуры) вообще молчу - для многих современных дата-саентистов это специалисты по чёрной магии. Есть и многие другие. Да, они не пишут сайты, не работают с 1С, и не занимаются продажами. Потому что в квалификацию было вложено от 10 лет жизни - очень тяжёлого труда за околонулевой прайс. И, что важно - они все патриоты - ну Вы же в комментарии про политику вспомнили - люди не уехали за рубеж, по разным причинам. Хоть как то из них живут физики и спецы по сопромату, особенно если есть PhD. Ну как живут - выживают, скажем так. Чего никак нельзя сказать про остальных - математик SP/SDE, FPGA-девелопер, спец по ядру линукса, и многие другие - сейчас работают водителями/курьерами, потому что так хотя бы есть с чего платить ипотеку. Рассуждать про рынок - это конечно круто - но если в стране у бизнеса нет мотивации нанимать людей с действительно глубокими знаниями, пока эти самые люди не померли от очередного ковида 2.0 - то наверно есть какие то глубокие причины для этого, нет? Хотя бы потому, что обучить такого специалиста, если он вдруг понадобится, разумеется в фиксированные сроки - задача на очень много денег, с учётом того что заинтересованного, желательно, человека ещё надо найти.
С глубочайшим уважением отношусь к Вам как к специалисту - показанные Вами в статье знания не приобретаются на курсах по HTML - и приложенный вами для их получения труд виден практически с первых строк. И статью читать - одно удовольствие. Однако, Вы, возможно, не жили в общежитии в комнате на 4 человека, за зарплату до 15 (пятнадцати) тысяч в месяц, хотя бы семь - восемь лет. С постоянными обещаниями руководства выплатить уже через три месяца долги по зарплате, повысить эту самую зарплату через пол года, поработать с крутыми проектами, и т.д. Во имя того чтобы поднимать отечественную науку. И конечно же "по заветам дедов", самая большая гордость которых - это факт что они не выкинули в 90-х партбилет - и промывали своими советскими убеждениями мозг молодым специалистам годАми. А если Вы тоже проходили через это - то тогда чуть чуть странно - что не сделали выводов. Кто-то к 35-м годАм продаёт свою душу дьяволу, то есть в 1С - только вот гОды жизни это уже не вернёт.
faiwer
18.12.2023 22:56спец по ядру линукса, и многие другие - сейчас работают водителями/курьерами
WAT? Специалист по ядру линукса развозит пиццу? Зачем?
если в стране у бизнеса нет мотивации нанимать людей с действительно глубокими знаниями
ИМХО, всё наоборот. Разве что если речь идёт про over-qualified специалистов.
firehacker
18.12.2023 22:56Зря ёрничаете. Можно быть специалистом по супер-сложным штукам, и за 100$ в час делать супер-сложные штуки один день в году, потому примерно настолько часто супер-сложная штука оказывается кому-нибудь нужной.
А можно быть развозчиком пиццы за 10$ в час 365 дней в году.
faiwer
18.12.2023 22:56Специалист по ядру линукса это сильный си-шник. Такие люди на вес золота и зарабатывают большие деньги. И работают они далеко не один день и в году.
firehacker
18.12.2023 22:56На какой планете вы живёте, что у вас там сильный сишник в цене? Можно я к вам перееду, потому что на нашем загнивающем плюке в цене питонисты и прочие сорта...
iig
18.12.2023 22:56Если сишник не в состоянии выучить питон - наверное он не такой сильный как кажется.
Gryphon88
18.12.2023 22:56Вечный вопрос про самурая с мечом и без меча: если сильный сишник выучивает питон и переходит на него как на основной язык, остается ли он сильным сишником? Примерно так говорил Калугин: молодые люди учатся играть на гитаре, потому что хотят понравиться девушкам. Представляете, вместо того, чтобы сразу идти к девушкам, годами тренируются на гитаре.
iig
18.12.2023 22:56если сильный сишник выучивает питон и переходит на него как на основной язык, остается ли он сильным сишником?
Он не становится курьером. Хотя, возможно, на самом деле он синьор-датасатанист за 100500$$$$/час, а курьер это так, для души, и чтобы остальные 39 часов в неделю не скучать ;)
faiwer
18.12.2023 22:56На какой планете вы живёте, что у вас там сильный сишник в цене?
На том же Плюке, что и вы. Вот парочка вакансий с первой же страницы поиска: до 400k RUB, 3-5k USD, 300-450k RUB, etc. Там где я живу (Мюнхен) они тоже совсем не голодают.
Ни о какой развозке пиццы и речи не идёт.
и прочие сорта...
На моём Плюке сильный C-ик такого бы никогда не написал. Ибо имеет богатый опыт в разработке и прекрасно понимает, что каждый инструмент соответствует своей задаче. А все эти "прочие сорта ...", удел флейма у скрипт-кидди.
firehacker
18.12.2023 22:56То есть наличие 3 вакансий это пруф того, что сильный сишник на вес золота?
А что если завтра на каждую из них будет найден соискатель, а новых вакансий не будет какое-то время? Вакансий развозчиков пиццы будет полно всегда. И в любом городе. А ваши вакансии требуют релокейта.
Нет, на вес золота — это когда тебя самого хантят по результатам сарафанного радио. И я примерно с 2010-го года отчетливо заметил спад интереса к сишникам, к разработке на чистом Си и даже на плюсах (но плюсов это коснулось чуть менее сильно).
Еще раз: современная «мода» в программировании диктует, что при выборе инструмента Си будет выбран не по-умолчанию (как это было раньше), а только тогда, когда его использования избежать нельзя. Я в шоке от этой тенденции, мне горестно это наблюдать, но стоит признать, что это так. Это означает, что в соответствии с этими гадкими тенденциями, на си будут решаться только нишевые проблемы и он будет нужен только в относительно редких случаях.
А раз его применяют редко, а не повсеместно, у произвольного сишника просто статистически меньше шансов быть у дел.
Потому что за 20 лет спрос на Си упал (и чуть менее заметно — на Си++) упал, а сами сишники никуда не вымерли.
И если бы действительно спрос был на вес золота — из каждого утюга, даже не связанного не то, что с программированием, а вообще с технологиями, звучала бы не реклама курсов по Питону с погружением в ML, а реклама курсов по Си с погружением в ядро линукса (или винды — WRK же выпущен как раз для образовательных целей).
И еще раз, то же самое в двух словах: нынче хороший сишник должен гоняться за редкими вакансиями, а не работодатели — за редкими сишниками.
faiwer
18.12.2023 22:56То есть наличие 3 вакансий
Чего? Я что по вашему должен был перерыть все тысячи вакансий, занести их в табличку и составить графики? Вы серьёзно? Это просто первая страница выдачи. Большинство записей просто без указания зарплат. Там ещё всякие 180+ тысяч рублей было много (что уже отменяет всякий смысл в разноске пиццы).
Учитывая что мы обсуждаем не гипотетического сишника, а специалиста по ядру линукса, то можно брать топ3% от всего спектра.
мне горестно это наблюдать, но стоит признать, что это так
У условного сишника есть примерно 50 лет чтобы небрежно сменить стек. Причём можно далеко не менять и взять C++. Пойти писать какой-нибудь высоконагруженный трейдинг и скупать бетонометры как умалишённый.
Но если наш сишник шибко придирчивый, то что ему мешает плавно switch-уться в условный Go или Rust? Времени на это вагон. Его background всегда будет плюсом.
C жил, живёт и будет жить ещё десятилетия.
спрос на Си упал
Вот спрос на Perl упал, да. Умер, хехе. Delphi ещё карабкается где-то. Kobol... ну тут вообще особый случай. А С? C будет чувствовать себя довольно вальяжно несколько десятилетий. Спросу на си ещё падать и падать. Тонны легаси будут кормить сишника даже когда ему 70 стукнет. А учитывая не тривиальность самой области, зарплатой его никто не обидит. Такие навыки на полугодовом курсе не получишь.
Ну и возвращаясь к изначальному сабжу:
спец по ядру линукса, ... - сейчас работают водителями/курьерами
Ну это же очевидный бред.
petuhoff Автор
18.12.2023 22:56Друг занимается 1С профессионально как ИП, живет в обнинске трое детей пишет приложения. Мне показывал мониторинга склада на айфоне, несколько предприятий у него на поддержке получает достаточно, что бы летать в Сочи участвовать в соревнования по покеру как хобби. Живет офигенно счастливо я даже ему завидую, жена в свое удовольствие занимается фотографией.
BerDan
18.12.2023 22:56Как посмели вы возразить поносящему "покханный савок" и "рашку"! Да еще и оклеветав достопочтенных американских сеньоров! Горе Вам, горе )))
petuhoff Автор
18.12.2023 22:56я похвалил их духовность и возвышенность. к тому же украинские девушки не тяжелого поведения лучшие в мире, так что я просто завидую. Нужно завидовать молча, но не сдержался.
RubberDuck315
18.12.2023 22:56[в СССР] разницы между зарплатами инженера и токаря иногда в 50+ раз.
И от вездесущих несунов - которые в СССР считались истинными народными героями.Простите, но такие громкие заявления требуют хороших пруфов. Особенно мне интересно, что это за советский инженер, который зарабатывал в 50+ раз больше среднестатистического токаря.
exTvr
18.12.2023 22:56что это за советский инженер, который зарабатывал в 50+ раз больше среднестатистического токаря.
Обычно бывало наоборот - станочники, как правило, зарабатывали больше ИТР, особенно высококвалифицированные - 5-6 разряда. Но про "в 50 раз" это ну очень редкий
кейсслучай должен быть - какой-нибудь свежеиспечённый инжинегр сразу после заборостроительного института, распределённый на завод по производству чапельников в Усть-Задрищенске vs оверквалифайд токарь/сварщик на Крайнем Севере, сидящий на сдельно-сдельно прогрессивной оплате при горящем квартальном/годовом плане.
Nicetas
18.12.2023 22:56Этот
кейсслучай называетсяжедзипгипербола )RubberDuck315
18.12.2023 22:56То есть "50+ раз" в комментарии @tamamo - это гипербола? Так можно дойти до абсурда. "Процессоры Интел 14-го поколения в 25 млн. раз быстрее 13-го поколения". "Си производительнее Питона в 15 миллиардов раз". Ну а чё?! Гипербола же!
konst90
18.12.2023 22:56Может, в другую сторону 50 раз. Если сравнить "зарплату" инженера в шараге и вольнонаемного токаря на оборонном заводе...
botyaslonim
18.12.2023 22:56Закон Хабра: всегда найдётся айтишник, у которого в проблемах России 2023 года виноват лично Сталин
eton65
18.12.2023 22:56Слишком много тогда неправильного было заложено в обществе, еще долго аукаться будет.
muxa_ru
18.12.2023 22:56А пошло всё от СССР-овских шараг
А как в эту схему вписываются выделявшиеся бюджеты на раыионализаторство и выплаты держателям авторских свидетельств, зависящие от экономического эффекта разработки?
dyadyaSerezha
18.12.2023 22:56В том-то и дело, что описываемое предприятие не частное, государственное, хотя формально может числиться каким угодно. А госпредприятию не положено денег жалеть. И не жалеют.
Tim7456
18.12.2023 22:56Россия не Америка просто потому, что в штатах электричество от 10 руб за кВт*ч до 40 руб (по курсу, для бытового потребителя). А для промышленного потребителя и до 200 руб за кВт*ч в пиковые часы бывает. А так-же часовые ставки хоть немного квалифицированного рабочего очень высоки. Поэтому выгодны вещи совершенное странные для России. Например, снять с машины двигло или коробку передач и на ремонт в Мексику почтой отправить. А на машину сразу новое воткнуть. И так во всем.
Зато на зарплату официанта прожить невозможно.
MikeDavis
18.12.2023 22:56Интересно, а не думали энергию получаемую от этого тепла перенаправить туда куда нужно прогреть другое здание.
Antra
18.12.2023 22:56Звучит очень красиво, но саму суть ожидаемых оптимизаций, боюсь, не совсем уловил.
Неужели частота вращения каждого вентилятора в стойке должна вычисляться не исходя из температуры [в зоне влияния этого вентилятора], а управляться централизованно с учетом загрузки CPU, дисков, потому что если интенсивно работает CPU, итоговую температуру можно иметь повыше, а вот если это из-за диска, надо ее ниже опускать, поскольку его энергоэффективность с ростом температуры падает сильнее? Мы же не лезем в цепи управления вентиляторами внутри серверов?
Я бы еще понял, если бы управление осуществлялось не только вентиляторами, но и "оптимизировало загрузку в дата центре", но вряд ли эта система командовала переместить сильно загруженные рабочие виртуалки на другие ноды именно по соображениям температуры (а не загрузки).
petuhoff Автор
18.12.2023 22:56как раз в этой компании управления вентяляторами внутри серверов отдельная хитрая программа, учитывающая температуры компонентов на уровне сервера они хорошо оптимизировали управление.
А почему бы и нет в этой системе есть температуры всех компонентов можно и нагрузку планировать с учетом температурного поля.
Antra
18.12.2023 22:56Круто. Просто мне всегда казалось, что управление вентиляторами внутри сервера - дело самого сервера. В модели управления внутренними вентиляторами не ожидал сложной модели, учитывающей загрузку компонент соседей.
Конечно, софт позволяет делать круче, чем просто "balanced | high performance". Но чтобы настолько...
dyadyaSerezha
18.12.2023 22:56Вот именно. Зачем что-то рачитывать глобально, убей не пойму. Вместо глобального расчета всего и вся в одном месте, давно применяется распределенное (само)управление (в серверах и стойках, в данном случае). А дальше у оператора или у программы мониторинга есть глобальная картина распределения температуры и нагрузки по всему дата-центру в режиме реального времени, и оператор или программа может перераспределить нагрузку и/или регулировать какими-то глобальными объектами, как скорость больших вентиляторов или изменение глобальных воздушных магистралей в дата-центре. И всё. Зачем что-то считать вообще?
petuhoff Автор
18.12.2023 22:56пример, утрированный. Половина дата центра стоит, половина работает на 30% пришла загрузка на 10% половины дата центра, куда ее кинуть? Вполне может оказаться, что загрузива работающую половину еще на 10% и раскрутив локльные вентиляторы, мы получим более оптимальную загрузку, чем запустив 10% от простаивающй части. А теперь представьте что это такие вопроссы постоянно возникают в меняющейся загрузке на 20 000 серверах.
dyadyaSerezha
18.12.2023 22:56Да ради бога. Считайте эту глобальную модель, но ей точно не нужны тепловые 3D модели внутри стойки и, тем более, внутри сервера.
petuhoff Автор
18.12.2023 22:56Так в этом и смысл нашей модели, сначала в 3D считаем конфигурации (причем ее уже до нас насчитали когда оптимизировали ячейки охлаждения), а потом уже в глобальнй модели испльзуем насчитанные таблицы для интерполяции и получаем расчет голбальной модели с точностью 3D модели.
dyadyaSerezha
18.12.2023 22:56Ну так зачем индивидуальные 3D модели серверов? В упор не пойму.
petuhoff Автор
18.12.2023 22:56они нужны что бы ответить на вопросы, какое гидравлическое сопротивление сервера, в разных конфигурациях (есть диски, нет дисков, пмять на одной планке или на четрырх, и т.п.), а так же на вопрос какой коэффициент теплоотдачи при разных перепадах температур и разных расходах воздуха черех коробку.
dyadyaSerezha
18.12.2023 22:56Зачем знать всё это, если вы в реальном времени имеете температуру отдельных узлов сервера, потребляемую мощность (возможно, и скорость вентиляторов, если их несколько, но зачем)?
petuhoff Автор
18.12.2023 22:56что бы над цифровом двойнике быстро прогнать различные варианты загрузки и работы системы охлаждения и самый лучший применить на "перваке" реальном объекте, а так же планировать работу работу вперед.
Vcoderlab
18.12.2023 22:56Что-то я не очень понял.
В начале автор пишет:
К нам обратилась одна крупная российская компания
А в конце:
Руководство компании выслушало нас внимательно, поблагодарило за удачную работу и вынесло вердикт. Для охлаждения компания использует воздух, воздух — это бесплатный ресурс, и экономить воздух не нужно, поэтому пусть включают вентиляторы на полную и не морочат ему, руководству, голову.
Где логика?
petuhoff Автор
18.12.2023 22:56Логика простая, контракт на модель и эксперименты в качестве НИОКР - 10 млн рублей. По результатам - внедрение на миллиарды еще чуть чуть и прямо в рай и здраствуй красивая жизнь.
Контракт первый мы выиграли и выполнили получили свою копейку, патцан к успеху шел, но не свезло.
pavelsc
18.12.2023 22:56Напоминает мой опыт внедрения автоматизации лет 10 назад, тож мечтал про суммы с нулями и будущий триумф вчерашнего студента))
Сейчас понимаю, что мы просто ну такое себе в продажах понимали, пытаясь продать сразу и на много денег, то что автоматизирует почти бесплатный труд сотрудника, который часами может тот самый контроль качества и проводить.
В вашем случае допустим нанять узбека и выдать пульт от гигантских вентиляторов-кондиционеров. Дешево и понятно, и лучше всяких ИИ справится.
А если схема рабочая, nuclear plant grade, помещается в ноутбук, то почему не чемодан-аэропорт-амазон? Выдадут лычку Vice President of Cooling, ипотеку с отрицательным процентом на mansion в Пало-Альто и вот он успешный успех. Или все-таки 10к регуляторов прикручивать могут не понять?
petuhoff Автор
18.12.2023 22:56В амазон наверное напишем,
...отвечай нам а то, если вы не отзовитесь мы напишем в спорт лото!...
Но по хорошему надо бы эксперементы продолжить и посмотреть что можно сделать в рамках оптимизации, но это за другие деньги и бюджет на продолжение нашим контрагентам не согласовали.
ru1z
18.12.2023 22:56В соседней теме про импортозамещение 2022 точно такая же история, производитель АГНКС оборудования сам обратился с просьбой сделать колонки, ребята все разработали, производитель на самом последнем этапе вежливо послал их и купил у китайцев (у которых, как оказалось все планомерно было "схвачено").
Логика, видимо, в том, чтобы сыграть на "импортозамещении" на государственные деньги и вовремя смыться. Иначе со стороны это действительно непонятно. В нашем университете в свое время компании искали "соавторов" для подачи заявок на госгранты, но промышленного результата, а тем более внедрения, насколько я понял, не ожидали. В то же время руководство университета агрессивно подталкивало к поиску контрактов/грантов с компаниями. А компании обычно рассматривают университеты как бесплатную замену отк-отделам, доступ к дорогим приборам и бесплатным сотрудникам. Отсюда и такой, возможно, нелогичный для стороннего наблюдателя в ходе взаимодействий, результат, но по отчетам все отлично.
vadimr
18.12.2023 22:56Ну вообще далеко не каждый проект доходит до стадии успешного внедрения, это объективный факт.
petuhoff Автор
18.12.2023 22:56Да нет комерческая компания профессиональный подход, просто большая оченьи руководство на выском уровне уже не может погрузится в детали.
dyadyaSerezha
18.12.2023 22:56Извините, но если руководство не хочет экономить деньги, то это уже не коммерческая компания, как бы вы ее не называли.
iig
18.12.2023 22:56Добиваешься встречи с гендиром, рассказывешь ему, как круто можно сэкономить средств, если в туалетах компании вместо 2-слойной бумаги перейти на 1-слойную. И в каждый унитаз положить по кирпичу, чтобы расход воды уменьшить.
Возможно, полученные цифры генерального не впечатлили.
petuhoff Автор
18.12.2023 22:56до генерального даже не дошли компании большая зарубили уже на следующем крвоне когда бюджет нужно было увеличивать для внедрения в опытную эксплуатации. Цифры были не подготовленны убедительные. Считаю сами виноваты расслабились когда все получилось и модель взлетела.
aik
18.12.2023 22:56вот тут были станки для точной обработки. Их продали китайцам по цене металлолома.
Это наверняка в девяностых происходило. Тогда действительно зачастую было оптимальнее продать станки, а не работать на них - развалились производственные цепочки, заказов не было, станки надо обслуживать - и чем они более тонкие, тем дороже обслуживание. А те, на которых паровоз обтачивают, можно и при помощи лома и какой-то матери чинить.
А вот что продавалось по цене металлолома... Может быть байкой - настоящую цену могли не говорить никому, а разницу в карман положить. А может быть и правдой - но по рыночной цене никто бы не купил, а если оставлять себе - то оно бы через пару лет металлоломом и стало.
Вопрос был в следующем: можно ли как-то посчитать суточные расходы охлаждаемого воздуха для дата-центра, чтобы определить, как рационально охлаждать, и сколько все-таки вентиляторов надо на крыше.
пусть включают вентиляторы на полную и не морочат ему, руководству, голову.
А какой смысл тогда был расчёты заказывать? Или то была попытка нижних эшелонов выдвинуть рацуху, а потом уже с ней к руководству идти, а не сперва согласовать, а потом уже расчёты заказывать?
himch
18.12.2023 22:56Про продажу лома китайцам байка, они в 90е не давали цены выше европейских, а везти в Китай х10 по сравнению с Финляндией.
aik
18.12.2023 22:56В девяностые столько всякой дичи творилось, что не стоит откидывать байку только на основании того, что доставка в 10 раз дороже была. :)
petuhoff Автор
18.12.2023 22:56В этом и смысл, завод получил деньги как за металлолом, а китайцы заплатили нормальные деньги за хороший станок, тем эффективным менегерам кто это продал, хороший бонус в карман.
petuhoff Автор
18.12.2023 22:56Просто НИКОР и первые расчеты модели это условно миллионы рублей это бюджет отдела и его согласовывают на нижнем уровне. А вот уже внедрения в компании тут сотни миллионов его что бы потратить надо руководство убеждать
aik
18.12.2023 22:56Просто НИКОР и первые расчеты модели это условно миллионы рублей это бюджет отдела и его согласовывают на нижнем уровне.
Ну да, так и есть - "рацуха от сторожа". :)
А так - зачастую подобное не взлетает из-за того, что просто неохота заниматься. С вентиляторами всё просто - включил и крутятся. Сломался - заменил. Пусть и дороже, зато дубово и не требует каких-то особенных знаний. А с вумными системами и персонал вумный должен быть.
petuhoff Автор
18.12.2023 22:56Думаю там проще, просто для продолжения и проекта нужно финансирование подписывать на более выском уровне, а там других проблем до выше
rezedent12
18.12.2023 22:56Как то считал рентабельность на мебельном производстве и пришёл к выводу что по сути перепродаём фурнитуру. Чем её больше в мебели, тем больше прибыли.
Nedder
18.12.2023 22:56Это обостряется до предела в производстве зимних садов (wintergarten) , который состоит по сути из фурнитуры и стеклопакетов.
fndrey357
18.12.2023 22:56Россия - не Америка
Конечно. Экономить пятирублёвый киловатт не выгодно. Выгодно - долларовый киловатт.
Daddy_Cool
18.12.2023 22:56Очень интересно.
Я так понимаю, всё же было желание сэкономить на электроэнергии для вентиляторов, но видимо экономия получалась такая копеечная, что игра не стоила свеч.
Вообще это наверное можно было прикинуть сразу - по тепловому балансу, тепловыделение оборудования известно, типичные графики загрузки есть, мощность вентиляторов известна, и т.п...
И нельзя не поёрничать! Автор пишет:
"...я вот на совещание не сообразил...", "...про фильтры тоже не подумал..."
Вот потому автор и не миллионер!/humor
Но сам подход наверняка может найти применение где-нибудь где пожарче и электроэнергия подороже. Правда там скорее всего уже всё сделано, но... в этом и заключается искусство маркетинга - найти тех у кого не сделано и тем кому нужно.
Вообще по опыту общения с предприятиями - НИРы им плохо заходят, предприятие выпускает продукцию, ему надо деньги зарабатывать, а внедрение чего-то нового - это головная боль с неизвестным результатом. Ну и главное - потенциальную прибыль от внедрения получают учредители, а не наёмные сотрудники которым со всем этим возиться, а если с предприятием что пойдет не так (по любым причинам) - то можно уволиться.
Как-то общался с одной очень умной бухгалтершей некой конторы, она критиковала руководство и сказала:
-Эту фирму еще можно спасти, если прям сейчас начать ... (прилагать некие сверхусилия).
Я (иногда приглашаемый наивный специалист): -Ну так надо же приложить!
Она: - А мне-то это зачем? Я ж не владелец.
himch
18.12.2023 22:56Вообще довольно интересно, что твориться в головах у старшего поколения.
Я о том, что распродавали активы своих предприятий истинные коммунисты-ленинцы, уверенные хозяйственники, отличники политической учебы: директора и главные инженеры.
Причем были и такие, которые не распродавали (например, Мордашов в Череповце).
То есть в каждом конкретном случае это был личный выбор руководителя предприятия - развивать завод или продать цех на лом и купить дочке Мерседес.
Но виноваты все равно китайцы, Обама и рептилоиды.
DMGarikk
18.12.2023 22:56То есть в каждом конкретном случае это был личный выбор руководителя
предприятия - развивать завод или продать цех на лом и купить дочке
Мерседес.если речь идет о заводах, то мнение одного конкретного руководителя значения не имеет, даже если он директор завода
в 90е вопрос стоял или ты продашь и купишь себе мерседес или это сделают за тебя, а ты если жив останешься уже норм.
Общался когдато уже давно с бывшим директором завода которому принадлежал микрорайон где я жил... говорит что планы были наполеоновские по развитию станкостроения в середине 90х-начале нулевых, но потом собрались акционеры и волевым решением решили тупо сдать в аренду, а не упарыватся никому ненужными железками... директора уволили...оставив ему только один цех где он солнечные панели собирает теперь и мобильные котельные..
а завод...завод объявили банкротом лет 5 назад окончательно
aik
18.12.2023 22:56в 90е вопрос стоял или ты продашь и купишь себе мерседес или это сделают за тебя, а ты если жив останешься уже норм.
В целом да. Если ты сидишь на удобной должности, то ты либо подписываешь какой-то документ на продажу "кусочка родины" и получаешь за это копеечку, либо весь такой принципиальный не подписываешь. И через несколько дней его подписывает кто-то другой, а ты хорошо если выходное пособие получил, а не нож в подворотне (в зависимости от ценности того кусочка и цивилизованности участников сделки).
В принципе, так много где устроено даже сегодня, но в девяностые в России оно особенно заметно было.
petuhoff Автор
18.12.2023 22:56Да нет просто к 90-м в руководстве было слишком много очень тупых людей продвинувшихся в карьере не по специальности, а по партийной линии. В итоге у руководства заводов стояли настолько тупорылые и убоги люди, что кроме как продать станок и купить себе мерседес, в голову ничего не приходило. Да что там у меня знакомая бухгалтер в 1994 году полученные акции Газпрома поменяла на видеомагнитоф. Бухгалтер! Карл бухгалтер!!!! Сейчас думаю это квартира рядом с МАКД
aik
18.12.2023 22:56кроме как продать станок и купить себе мерседес, в голову ничего не приходило
Учитывая турбулентность девяностых, нахапать и слинять нередко было оптимальной стратегией. Бухгалтера тоже касается, видик в 94 был здесь и сейчас. Тогда даже 2000 год казался чем-то недостижимым, молчу уж про 2024.
Ну и вообще, период первоначального накопления капитала (с) Маркс.
iig
18.12.2023 22:56акции Газпрома поменяла на видеомагнитоф
Хорошо когда есть послезнание. А в 94 году большинство акций могло в любой момент обесцениться.
DMGarikk
18.12.2023 22:56Бухгалтер! Карл бухгалтер!!!!
а что бухгалтер? бухгалтер в 94 году должен был предвидеть рост газпромовских акций на фоне краха почти всей кампании приватизации с ваучерами?
вообще бухгалтер это человек который циферки считает по правилам, он не всегда понимает их экономическое значение. для этого экономисты есть.
много очень тупых людей
ну вы то наверное сразу всё поняли и добились чегото? или работаете как и все за среднюю зарплату по стране?
А тупые люди были настолько тупые что сейчас в замках живут
вы понимаете что показателя "работаю ради величия страны и народа" никогда не было, ни тогда ни сейчас ни даже в СССР (во всяком случае на местах)
petuhoff Автор
18.12.2023 22:56Да полно людей который у тупых директоров производство отжали. Тут уже выше пример был Мордашов и Сервосталь. Кубаньжелдормаш опять же. Просто есть люди которым интересно всякие хорошие штуки делать и они ищут возможности. А есть люди которые только жрать и спать, а такие как раз по комсомольской и партийной линии шли в СССР, где бы не работать лишь бы не работать. Вот у них воображения и не было в итоге в 1991 году их количество на руководящих должностях было овердохуя, результат не заставли себя ждать.
DMGarikk
18.12.2023 22:56Сервосталь. Кубаньжелдормаш
вы приводите в пример огромные компании..там не бывает "тупых" и "не тупых", там совершенно другие люди и другие вещи влияют на решения
Мордашов, которого вы в пример приводите
вот просто процитирую с вики его биографию
"Во время учёбы познакомился с Анатолием Чубайсом, преподававшим в этом институте"
ерунда же да?
"По окончании института в 1988 году работал на Череповецком металлургическом комбинате — старшим экономистом, начальником бюро экономики и организации труда ремонтно-механического цеха № 1, заместителем начальника планового отдела."
Каждый кто закончил институт в СССР сразу пошел работать начальником бюро экономики, прям взяли и поставили...ничо удивительного..да кхм, вы же после института куда свой завод дели который вам выдали как и однокурсникам вашим?
а в 90е выдали целый завод в управление..которым он управлял кстати именно так как вам не нравится, он присваивал деньги в свой личный фонд за счет задержки зарплат...
я не понимаю почему вы его так привозносите, то что я прочитал про него, типичная история олигарха 90х выросшего на связях
petuhoff Автор
18.12.2023 22:56Не типичная, типичный директор остановил бы завод и продал оборудование на металлолом купив себе мерседес. Молодого Мордашева хотеле сделать Фунтом, но он решил не сидеть.
Генеральный директор комбината Юрий Липухин предоставил своему молодому заместителю карт-бланш на операции с акциями «Северстали». Мордашов, концентрируя прибыль от продажи металлопродукции на специально созданном для скупки акций аффилированном трейдере «Северсталь-Инвест», скупал акции у рабочих. Из-за трансфертного ценообразования комбинат «Северсталь» вел деятельность с убытком, и регулярно задерживал выплату зарплаты рабочим, при этом прибыль аккумулировалась в трейдере «Северсталь-Инвесте». Акции трейдера на 24% принадлежали комбинату, а 76% - Мордашову. Весной 1999 года Мордашов без согласия Липухина, выкупил на себя 17% акций комбината, которые принадлежали трейдеру, нарушив партнерские договоренности с Липухиным. Через два года Мордашов выкупил долю Липухина по цене в 6 раз ниже рыночной, став в начале 2001 года мажоритарным владельцем «Северстали»[
de-Bill
18.12.2023 22:56Но самый эпичный случай - продажа 1/3 акций Эпла ровно накануне выхода на биржу за 500 баксов. Сейчас это ровно триллион баксов.
petuhoff Автор
18.12.2023 22:56Ну там не так, до выхода на биржу тогда Apple было еще очень далеко. Просто один из трех основателей посмотерв на чушпана Возняка и нервного пацана Джобса, решил что тема не сработает и вышел. Более эпична история Возняка, когда он не хотел уходить из Hewlett-Packard, в свой же Apple и работать там на полную. Он позже признавался, что если бы в новом проекте Hewlett-Packard по персональному компьютеру ему поручили разработь какую нибуть часть, хоть блок питания, хоть вилку для розетки, он бы никогда не ушел из Hewlett-Packard в Apple. В Hewlett-Packard занли от том что Возняк на стороне лепить компьютеро и близко не подпускали его к подобным разработкам. При этом условия первого серезного финансирования Apple было обязательное наличе в команде Возняка, иначе инвестор денег не давал. Все висело на волоске. И уговаривали Возняка всей семьей.
SergioT4
18.12.2023 22:56Бухгалтер! Карл бухгалтер!!!! Сейчас думаю это квартира рядом с МАКД
Примерно в это время или чуть пораньше видел объявления, поменяю двушку на видик. Жил не в Москве, про Москву не в курсе.
vedenin1980
18.12.2023 22:56Потому, что видик можно было использовать для показа кино в диких кинотеатрах , либо создания типо "кабельного" телевиденья. Если пишуший (и чуть позже) для создания пиратских копий касет. Все это приносило приличный доход и видик окупался в течении года.
petuhoff Автор
18.12.2023 22:56Я в 1998 году был комсомольцем в в 1990 году даже работал продавая газеты на фирмочку созданню при обкоме комсомола. Так вот мой опыт общения показал, что по комсомольской и партийной линии всегда поднималась самая последняя и отмороженная мразота. Помню в техникуме, комсомольский вожак мелкая, но уже гнида нам говорил: "Ребята я вам отпускаю пораньше, только не говорите руководителю". А я потом случайно услышал как он докладывал "Я всех отпустил на полч часа пораньше". Ублюдок, только карьеру начал, а уже наепывает тех с кем работает. К 90-м эта мразота все руководящие посты и захватила.
FelixTheMagnificent
18.12.2023 22:56А еще, по мнению автора -
Другое дело США, там вон семейка Байденом на Украине отметилась хорошо, не такихе хапуги меркантильные, не за джинсы с кроссовками, а за высокое! Наркотики и украинские проститутки. Это другое понимать надо!
Dr_Faksov
18.12.2023 22:56Схематозы были гораздо проще.
Владелец хоть что-что производящего предприятия писал грандиозный бизнес-план реконструкции. И шел в банк за кредитом. Банк проводил аудит. Аудитор обычно уезжал с аудита на новенькой иномарке (как минимум), а банк выдавал кредит. Под залог собственности в виде того самого предприятия.
Далее весь кредит вместе с владельцем переводились в офшор.
А предприятие... Если могло - выплачивало кредит. И владелец шел за новым. А нет - переходило в собственность банка. Банку предприятие без надобности, ему деньги нужны , и его распродавали. Чаще всего по цене металлолома.
exTvr
18.12.2023 22:56К-классика!
– В целом, – говорил Морковин, – происходит это примерно так. Человек берет кредит. На этот кредит он снимает офис, покупает джип «Чероки» и восемь ящиков «Смирновской». Когда «Смирновская» кончается, выясняется, что джип разбит, офис заблеван, а кредит надо отдавать. Тогда берется второй кредит – в три раза больше первого. Из него гасится первый кредит, покупается джип «Гранд Чероки» и шестнадцать ящиков «Абсолюта». Когда «Абсолют»…
– Я понял, – перебил Татарский. – А что в конце?
– Два варианта. Если банк, которому человек должен, бандитский, то его в какой-то момент убивают. Поскольку других банков у нас нет, так обычно и происходит. Если человек, наоборот, сам бандит, то последний кредит перекидывается на Государственный банк, а человек объявляет себя банкротом. К нему в офис приходят судебные исполнители, описывают пустые бутылки и заблеванный факс, а он через некоторое время начинает все сначала. Правда, у Госбанка сейчас появились свои бандиты, так что ситуация чуть сложнее, но в целом картина не изменилась.
AlexeichD
18.12.2023 22:56Я правильно понял, что вы сделали работу бесплатно и по итогу пришли к акционеру за деньгой?)) Прикольно, если так) Хочется сказать - вот поэтому весь мир нас бензоколонкой считает)
petuhoff Автор
18.12.2023 22:56Нет не правильно по тем деньгам, и курсу на то момент мы получили за модель что-то между 30 000$ и 50 000$ два человека 4 месяца работы, не фул тайм примерно по 5000$ в месяц получилось
При этом отжали работу у MATALBовских продаванов, они раньше нас переговоры вели и деньги на них согласовали. Но после демонстрации выбрали нас по подавляющему превосходсву в моделирование теплогидравлики
AlexeichD
18.12.2023 22:56тогда красавчики, базара нет) сделать бы платный сервис и по подписке продавать по всему миру) Тогда точно - не бензоколонка
muxa_ru
18.12.2023 22:56Для охлаждения компания использует воздух, воздух — это бесплатный ресурс, и экономить воздух не нужно, поэтому пусть включают вентиляторы на полную и не морочат ему, руководству, голову.
А Ваши экономические расчёты дали другой результат?
petuhoff Автор
18.12.2023 22:56Примерные расчеты показывали что там можно оптимизировать и загрузку и работу вентиляции, но нужно было следующий этап нам оплачивать, софт приобретать и т.п. Поэтому на сегодня нам не понятно насколько мы могли быть эффективны
vedenin1980
18.12.2023 22:56на сегодня нам не понятно насколько мы могли быть эффективны
По опыту, тогда ничего у руководства взлететь и не могло. В таком случае, нужно приходить с точными рассчетами - затраты требуются вот такие, потенциальная экономия вот такая, вот срок окупаемости будет столько-то месяцев с учетом процентной ставки кредитов, после прибыль вырастет вот на такую величину.
Даже в этом случае, ничего не гарантировано (руководству прямо сейчас нужно владывать деньги/брать кредиты, брать риски, что что-то не учли, тратить время и силы на реновацию и контроль), но если это не сделать - то точно вряд-ли кто-то заинтересуется.
mad_god
18.12.2023 22:56А что, прям имитацию автомобиля, с правильной развесовкой имитаций двигателя и т.д. не проще собрать и бахнуть в стенку, чем вот это вот на компьютерах считать?
Там же на складах под открытым небом сотни тысяч машин ржавеют, неужто не дешевле?
iig
18.12.2023 22:56Те которые ржавеют - они никак не связаны с теми, которые разрабатываются. Если вы найдете на свалке Жигули-2101, и устроите ему краш-тест - чем это поможет в конструировании нового автомобиля?
Old_paranoid
18.12.2023 22:56Ничем, так как ВАЗ-2101 это ныне такой антиквариат, разбивать который об стенку ни у кого рука не поднимется!
muxa_ru
18.12.2023 22:56не проще собрать и бахнуть в стенку, чем вот это вот на компьютерах считать?
Моделировать можно бесконечное количество раз, подправляя что-нибудь по минимуму.
mad_god
18.12.2023 22:56Это, конечно, интересно, но.
Насколько моделирование будет соответствовать реальности, если его периодически не проверять на реальных испытаниях? Изменил ты какой-то параметр - нужно проверить, так ли оно получится в реальной жизни. И когда, при каких особых условиях моделирование начинает расходиться? Как это проверить, если не тестировать на реальных испытаниях? Может оно врёт на порядки?
petuhoff Автор
18.12.2023 22:56Нет не нужно, мы настроили элементы один раз используюя стенды и 3D модели, достаточно провреить сервер пару - дней погонять разные режимы при изменени конфиграции (новый процессор, новые диски и т.п.)
johnfound
18.12.2023 22:56Задача понятнa, но решение вызывает вопросы.
Во первых, вентиляторы серверов должны сами регулировать свои обороты в зависимости от температуры. Алгоритм там должен быть PID, настроенный чтобы держал температуру процессора примерно на несколько градусов ниже максимальной (для длительного режима работы). Тогда потребление энергии для охлаждения должно быть минимальным. Ведь, если сэкономим еще немного, процессоры начнут перегреваться.
Остается центральная система вентиляции – ей тоже можно управлять по температурной разнице между входящего и выходящего воздуха. Если разница небольшая, значит перекачивает слишком много воздуха, если слишком большая, то надо увеличивать мощность. Одновременно можно ввести второй контур управления по температуре выходящего воздуха – если он примерно холоднее 40 градусов, то и дуть можно по минимуму, даже если и разница температур очень большая (зимой).
В общем, идея такая – оптимизируем каждую систему в иерархии чтобы она действовала максимально эффективно, тогда и вся система в сборе получится оптимальной.
Я всегда думал, что делают именно так. От этого порога – оптимизируй, не оптимизируй, больше 2..3% экономии вряд ли возможно добиться.
Если что не понял – поясните.
vadimr
18.12.2023 22:56В общем, идея такая – оптимизируем каждую систему в иерархии чтобы она действовала максимально эффективно, тогда и вся система в сборе получится оптимальной.
Такое свойство в общем случае ниоткуда не следует.
eton65
18.12.2023 22:56Зато очень удобно и практично.
vadimr
18.12.2023 22:56Ну если результат не важен.
Каждому человеку поодиночке – максимально эффективно ездить на работу на автомобиле, однако, если они все вместе не поедут на метро, город встанет.
Astroscope
18.12.2023 22:56однако, если они все вместе не поедут на метро, город встанет
Так это город плохо спроектирован. Или legacy с, порой, прошлого тысячелетия, когда ездили верхом и на подводах - это почти любой исторический центр почти любого европейского города таков.
johnfound
18.12.2023 22:56Если человек регулирует свое поведение по обстоятельствам, а не по своим хотелкам, очевидно, что ему не будет максимально эффективно ездить на работу на автомобиле. Он выберет именно то, что максимально эффективно. Люди решают эту задачу постоянно. И результат очевиден – они ездят на метро. То же самое происходит и в системах автоматического регулирования – находится максимально эффективное поведение в зависимости от условий окружающей среды, а не от предположений проектировщика.
eton65
18.12.2023 22:56Ну если результат не важен
То есть декомпозиция зло? )
Каждому человеку поодиночке – максимально эффективно ездить на работу на автомобиле, однако, если они все вместе не поедут на метро, город встанет
Ну так в вашей аналогии указана проблема, которая отсутствует в ситуации локальной вентиляции (ее контроля).
Понятно, что комплексная система позволяет выжимать максимум эффективности, но зато она дорога и чувствительная к отказам.
pennanth
18.12.2023 22:56Декомпозиция - зло, когда разработчики делают ее без понимания системы, которую они собственно разбирают. Вряд ли от них можно требовать понимания всех верхних уровней проблемы, но тот уровень, который они разбирают, они должны понимать на 100% (и знать, что они не понимают).
В целом, любая система - комплексная, управляемая локальными правилами. Чувствительность к отказам зависит от глубины управления и саморегулирования. Но это уже злостный оффтопик. )
petuhoff Автор
18.12.2023 22:56Именно так оно и есть, в сервера собраны в пакеты из 4 штук, для них вентиляторы работают по 3 штуки, там не простой ПИД а с возможностью переключения режимов, работает один, если не хватает второй, если не хватает третий, каждый в оптимально экономиченом режиме, если его на хватает то раскручивают по максимум. Так же учитывается отказы, если один из 3 накрылся - вентиляторы разгоняются для компенсации. Но это оптизимзация локальная, если у вас 20000 серверов. Может оказаться так что нагрузка вычислительная и температуры в стойках в одном из коридоров и и начниается перегрев локльный, вентияторы начинают гонять в локальных местах по максимуму, а в соседнем коридоре нагрузки нет, и получается перекос по теплу и потерям. Локальной системой этого не поправить, только анализом всего центра. При этом возможно когда на датчик в коридоре попадает поток из за неполного перемешивания и тоже искажает режим. Насчет процентов (эксперементы там выше показывают приведены, что потребение процессора при 50 градусах и 100 градусах может отличатся в двое). Так что тут не 2..3 процента, можно и больше.
muxa_ru
18.12.2023 22:56Кстати, у нас давеча вопрос возник - https://habr.com/ru/articles/776550/comments/#comment_26201582
"Цифровой двойник" это самостоятельное явление или "моделирование/симуляция" покрашенная в модные цвета и завёрнутое в дорогую шуршащую обложку?
petuhoff Автор
18.12.2023 22:56Если брать западные стандарты и наши, те которые переводы, то ключевое слово - двойник, а значит есть "первик" - реальный объект с которого берутся данные. И на основе этих данных модель подгонятся под реальность с нужной точностью. А потом с этой настроенной под реальный объект модель можно проводить всякие манипуляции. А можно использовать в управлении. Наприме для судна создается модель движения, которая заложена в систему управления и настроена по реальному судну. Она позволяет рассчитать на какой угол нужно заложити руль что бы получить нужный курс. Это класический цифровой двойник и использовали его до того как термин изобрели. Можно оптимизировать виртуально менять режмы для поиска оптимального. Если модель ведет себя как объект, то результат оптимизации можно применить к объекту. Настройть алгоритмы управления.
У нас в некоторых стандартах натянули сову на глобус. Цифровой двойник это математическиая модель объекта связанная поток данных с объектом, в случае его наличия.
Ну если нет объекта, то на западе нет и двойника, а по нашим стандартам он есть, просто это математическая модель.
StjarnornasFred
18.12.2023 22:56Вопрос: если объект (дата-центр) выделяет много тепла, то нельзя ли хотя бы часть его конвертировать в другую форму энергии, например, в электрическую? Пельтьешки там всякие, ещё что-нибудь - словом, рекуперация. Удастся ли таким образом сэкономить хотя бы 20-30%? И - что более интересно - удастся ли совместить это с системой охлаждения, чтобы убить двух зайцев одним выстрелом?
iig
18.12.2023 22:56Удастся ли таким образом сэкономить хотя бы 20-30%?
Удастся, конечно. Но с нюансами. Оборудование для рекуперации оно стоит денег.
Komrus
18.12.2023 22:56Есть большой раздел около-ЦОДовских инженерных проблематик. Называется "утилизация низкодисперсионного тепла". Основной вопрос в том, что тепла (в попугаях) - много, но дельта температур - невеликая. И КПД преобразования этого тепла во что-то более другое - тоже невелик. А, как следствие - дорого это всё получается... OPEX не бьётся с CAPEX'ом (Выигрыш от операционных затрат - с кап. затратами)
Обычно самое удачное решение сводится к обогреву теплиц... Но это (агротех), по сути - отдельный бизнесStjarnornasFred
18.12.2023 22:56Ну а если наращивать Д температур путём совмещения с системой охлаждения? Если где-то убыло, значит, где-то прибыло, и это касается в т. ч. и теплоты. Оборотная сторона холодильника - нагреватель - может быть (я не теплотехник, поэтому это не утверждение, а предположение и вопрос) выведена не "в атмосферу", а в конвертер, перегоняющий тепловую энергию в электрическую или механическую, с её дальнейшим реюзом.
iig
18.12.2023 22:56не "в атмосферу", а в конвертер,
Не получится. Чтобы охладить конвертор - нужно затратить энергию, и КПД совсем не 100%. Формула Карно - аналог формулы Циолковского, которая тоже ломает все глобальные идеи переустройства мира. У тепловых машин все печально с КПД, но иначе мы не умеем. Мы умеем нагреть что-то, тепло сбросить в более прохладное место, на разнице получить немного механической энергии.
Gryphon88
18.12.2023 22:56Вроде были идеи распределенных ДЦ и серверов в формфакторе батарей для размещения у физлиц (не помню, как там затраты распределялись между держателем и эксплутантом сервера) . Интересно, чем-то разумным кончилось?..
Komrus
18.12.2023 22:56Есть старая недобрая присказка:
"Доллар - тому, кто придумал; десять - тому, кто сделал; сто - тому, кто продал"И насколько замечательно в статье расписана техническая часть, связанная с моделированием, расчётами, цифровыми двойниками... Настолько же беспомощно - экономическая часть. (Ну примерно, как если бы моделирование нагрева было бы описано словами: "Мама, мама, смотри, когда я лампочку включаю - она тёплой становится!")
Смоделировали. Замечательно! Но чтобы обосновать необходимость затрат на внедрение решения перед людьми, ответственными за деньги - надо бы как-то за экономическую составляющую проговорить... Затраты - такие-то и прямо щаз нужны, экономический эффект - такой-то. И через вот столько времени... Все эти забавные слова типа CAPEX, OPEX, ROI и прочие магические заклинания...
PS. А по поводу моделей систем охлаждения/вентиляции, которые могут обрабатываться в реальном времени на вменяемом "железе" - очень хочется надеяться, что в [неопределённом светлом] будущем это будет использоваться гораздо шире и до отдельных домов дойдёт... А то вот это "трёхкратный воздухообмен пожизненно" - печалит и плохо соотносится с фактическим ощущениями хорошего микроклимата...
petuhoff Автор
18.12.2023 22:56Согласен это лично мой косяк. Виноват. Просто техники у заказчика которые занимались охлаждением, сами задачу поставили, к тому же локльное охлаждение ячеек и 3D расчеты были сделаны в самой компании, и у меня сложилось впечателение, что они абсолютно уверенны в успехе в экономической целесообразности и легко подписали конатракт на первую часть, где модель надо собрать. Мы когда за задачу брались считали главной проблемой скорость расчета 40 000 тепловых ячеек и 10 000 ПИД регуляторов и при этом попасть в данные с реального дата центра. И поэтому получив результат возгордились и думали, что получение денег на опытное внедрение уже в кармане. К совещанию не готовились думали сейчас нас вынесут на руках и воздух будут бросать чепчики. Взяли с собой чемодан под деньги. Пацан к успеху шел, не фартануло :))
Komrus
18.12.2023 22:56По опыту общения с многими эксплуатантами инженерных систем...
Обосновать необходимость потратить на более лучшее :) инженерное решение несколько дополнительных миллионов денег при строительстве нового объекта - вполне решаемая задача.А вот та же задача в плюс-минус тех же бюджетах, инициированная службой эксплуатации на действующем объекте - гораздо более сложно решаемая, увы :(
Зачастую - проблема есть, с этим все согласны. Но "ведь работает". И, если вопрос не касается безопасности объекта, а только улучшения его эксплуатационных характеристик - нужны очень чёткие финансовые выкладки, чтобы владельцы действующего объекта открыли (нашли) финансирование.
И это - не со зла. Под строительство, как правило, были получены кредиты от банков. Строитесльво-то банки вполне умеют кредитовать... Сейчас (в течении N лет) эти кредиты надо возвращать... А тут - предлагают новые непредвиденные расходы :( И попробуй банку обоснуй, что что-то там с вентиляцией улучшится (не движением денежных средств, а движением воздушных масс :)
default_Chita
18.12.2023 22:56А потом старожилы показали ту часть цеха, где стояли фундаменты таких же станков и пояснили:
- А вот тут были станки для точной обработки. Их продали китайцам по цене металлолома.
- А почему вот другие не продали?
- Потому, что у них точность обработки такая, что их только в металлолом можно сдать.
Сдаётся мне, эффективные менеджеры немного насвистели старожилам о реальной стоимости продажи. Потому как не всё ли равно должно быть этим манагерам, продавать китайцам по цене металлолома или сдавать в металлолом по цене металлолома? И, вполне вероятно, что не сдали они эти "грубые" станки в металлолом лишь по той причине, что реальные доходы от продажи (сдачи в металлолом) не превысили бы доходов "на бумаге".
petuhoff Автор
18.12.2023 22:56я думаю сторожилы прекрасно знали реальную цену станков и примерную цену которую заплатили китайцы, к тому же эфективные менеджеры после этого ездили на лексусах а в туалетах цеха бумаги туалетной не было. Не надо недоценивать работяг. :)))
DMGarikk
18.12.2023 22:56Гордость за страну переполняла до состояния «в зобу дыханье сперло»
от вида карусельного станка производства Германии?
А от китайского станка какихнить циклопических масштабов в дыхание сейчас почемуто не перехватывает, на новых заводах где они стоят потому что капиталисты развалили страну?
ну что блин за предвзятость
я работал в депо, у нас стояли токарные станки для колесных пар, выпуска германии 1930х годов, а рядом на свалке лежали друг на друге отставленные но не списанные станки 80х годов уже производства СССР... потом тудаже в стопочку добавились новые станки 90х годов...их отставили по неисправности и не починили..а выкинуть нельзя потому что на балансе...и не удивлюсь что там до сих пор точат с гордостью за станкостроение нашей страны...на немецких станках 30х годов..
мне ща конечно за политику насуют минусов...но вот читаю комменты...и вот небо голубое и деревья выше и гады сволочи страну развалили прям из каждого слова
petuhoff Автор
18.12.2023 22:56А какие сиськи были у наших девочек при СССР? Таких сейчас нет!!!
DMGarikk
18.12.2023 22:56в СССР секса не было, не забывайте
ну и мне интересно, вы гордитесь китайским карусельным станком в РФ также как немецким в СССР?
petuhoff Автор
18.12.2023 22:56Конечно, при услоии если на китайском станке - карусели в РФ что то крутится и обрабатывается. Работает завод и делает большие дела. Такие размеры всегда впечатляют.
gFanis
18.12.2023 22:56Если вернуться лет этак на 50...
КИК Чажма (toge.ru), куча аппаратуры на лампах с вентиляцией через ФВУ. А если взять Маршал Крылов - в два раза больше. Работали на экваторе. КИК США USNS OBSERVATION ISLAND (T-AGM 23) - в три раза больше. Поэтому решающие были правы.
rusjoan
18.12.2023 22:56Спасибо автору за то, что кликбейтность заголовка легко проверяется по последнему абзацу и комментариям!
FireHawk
18.12.2023 22:56Вроде статья с большим рейтингом и серьёзными скриншотами, но не отпускает ощущение что автор где-то рассказывает байки.
Я первый раз слышу что BMW делал на российском супер-компьютере (каком, кстати?) рассчёты связанные с безопасностью, хотя и проработал там консультантом по отказоустойчивости safety-critical систем некоторое время. Есть хоть какие-то пруфы?
-
>дата-центры нужно охлаждать. Для этого ставятся гигантские вентиляторы на крышах
Вот тут у меня красный флаг. Что это за датацентр такой в РФ, с 20к серверных стоек и на фрикулинге, без дополнительного охлаждения? Почему вообще для датацентра на 20к стоек кто-то заморачивается с потреблением электродвигателей вентиляторов, если АБХМ или адиабатическая система потребляют в разы больше, но при этом всё равно влияние на PUE датацентра будет в районе ~0.001?
-
>народ валит домой и начинает качать фильмы – разгоняются и нагреваются жесткие диски
Эм... я конечно не специалист, но твердотельные дисковые массивы имеют более-менее постоянное тепловыделение и от IOPS зависят слабо (собственно, почему датацентры на них и перешли мгновенно, несмотря на молодость и ненадёжность технологии 10-15 лет назад). А что там показывает ваш цифровой двойник, сколько джоулей вырабатывает диск в простое и под полной нагрузкой?
petuhoff Автор
18.12.2023 22:56Конечно байки для украшения всегда полезно, чтитать становится интересно. BMW большая компания, и как правило в больших компания правая голова не ведает что творит левая нога.
1) По расчету краш тестов на российских СупреЭВМ постостоянно рассказывают наши идеологи цифоровых двойников. Все кто этим занимается слышали это уже по несколько раз. Можно кончено предположить что они постоянно звездять, но вот поиск в гугле например мне выкинул такую ссылку одной из первых:
На политехнический институт в питере документ 17 года и там перечислены проекты в которых выпускники участвовали среди них:
Проекты BMW (Pedestrian Protection). Задачи: подготовка моделей, координация работы внутри коллектива и с контрагентом; долгосрочная командировка в Германию в качестве второго координатора проекта на стороне Заказчика.
Достаточный пруф?
2) Ну вообще то рассказывать от закзачике я не могут, нужно его согласие. Но вот на хабре есть описаниет таких центров https://habr.com/ru/companies/selectel/articles/514994/
3) Про жесткие диски это я со слов инженеров групы охлаждения повторил, возможно общибся. Основная идея что в разное время суток нагрузка на разыне части системы. Жесткие диски память процессор, возможно ошибся. Моя работа - математическое моделирование сложных систем, по образования я конструктор ядерных реакторов хотя моделируем мы от космических апратов до подвоных добычных модулей, подробно исслеодвать каждый объект не получается. Что до оптимизации вопрос стоял в распеределении нагрузке на основании модели. Возможно получить экономию за счет разности потребления электроэнергии горячего и холодного оборудования. Такая была идея. Причем не наша а сотрудников отдела охолаждения клиента
Kahelman
Статья реально порадовала. Реальная проблема и реальное моделирование. Особенно понравился вывод что у нас с холодным воздухом проблем нет :)
Shrizt
Так и не понял я - был бизнес кейс или нет
Похоже что нет
petuhoff Автор
Как нет по тем деньгам первая часть проекта нам принесла $30 000 - $50 000 не помню какой там курса был 2 человека не фул тайм 4 месяца. НИОКР был полностью оплачен заработали не плохо, но внедрения уже не случилось
Shrizt
бизнес кейс - это когда вложения окупаются.
можно вложить хоть сколько бабла и потом ничего не окупить.
Astroscope
Бизнес кейс - это вложения, которые предполагается окупить. Знанием будущего обладают не только лишь все, поэтому многим остальным приходится полагаться на планирование и прогнозы, а они могут дать сбой, что на практике нередко и случается.
Бизнес это всегда риск. Какие-то вложения из-за каких-то обстоятельств - порой даже вполне себе учтенных обстоятельств, могут оказаться бесполезными тратами. Иногда это просто убытки, а иногда крах бизнеса полностью. Поэтому успешных бизнесменов мало, а завистников и советчиков как надо было - много. Даже здесь, на Хабре, слишком уж часто можно услышать стенания высокооплачиваемых наемных работников о том, что бизнес-де лишние Майбахи покупает, вместо дать сирым и убогим кодерам, сверх зарплаты, процент от заработка бизнеса на каком-то конкретном проекте, который эти самые кодеры пилили. Идите, друзья, в бизнес, и покупайте себе Майбахи целиком, а не мечтайте о жалких процентах от Майбаха, которые вам недодали.
Shrizt
если вы не поняли вопрос и вам нечего сказать по существу, зачем это тут?
Вопрос был к автору (@petuhoff) был ли какой то план реально сэкономить? сколько % от расходов ЭЭ на охлаждение или от полных расходов ЭЭ на датацентр ваш подход мог дать?
Задача про теплоотвод - она же как бассейн, где с одной стороны тепло втекает, с другой вытекает. Количество необходимого отведения - одинаковое...
Внутри серверов и стоек и так есть автоматика достаточно неплохо спасающая от перегревов отдельных компонентов...
И еще про воздух - на моей практике охлаждение сплит системами с закрытым воздушным контуром все же выгоднее, с учетом кол-ва проблем с пылью, влагой и управлением всем этим... насколько часто прямой (как я понял из статьи) подсос воздуха используется в больших ДЦ?
Astroscope
Пусть будет по вашему - я не понял вопрос и это было ни к чему тут.
Тепло втекает и вытекает немного неоднородно, теплопотери (читай полезное охлаждение) тем эффективнее, чем больше Δt - это можно долго и увлекательно считать, чем по-видимому автор статьи и занимался. Воздух просто не очень хорошо распараллеливается в реальных воздуховодах - это тоже считается и/или балансируется опытным путем (второе чаще удел совсем небольших систем), ну или просто максимально тупо и прямолинейно предусматривается некоторый запас, с казалось бы нерациональным задействованием которого автор статьи пытался бороться.
Мне нравится ваша многозначительность, но по существу да, еще на уровне сервера каждый сам за себя, а дальше общая "канализация для тепловых отходов".
Спасибо, это хороший и правильный вопрос. Сразу скажу, что я ни разу не проектировал и не монтировал прецизионные кондиционеры для настолько больших, как в статье, датаценторв, поэтому у меня, уверен, недостаточно квалификации ответить на ваш вопрос. Тем не менее, основные проблемы открытого контура вы перечислили совершенно правильно: волатильная температура забираемого внешнего воздуха, волатильная влажность забираемого внешнего воздуха, ну и конечно же пыль. Там, где я отметился с трудоднями, воздушный контур был закрытым и нехитрая автоматика поддерживала и температуру, и влажность - аппаратура такое любит не меньше, чем обслуживающие ее кожаные мешки. Всю красоту и изящество воздуховодов снизу закрыли фальшполом - наверное потому, что Человек-паук не согласился там работать, а обычные инженеры хотят ходить по ровной поверхности. Летними днями, когда избыточно тепло для наружного воздуха чтобы "бесплатно" использовать его для охлаждения, это все работает как любой кондиционер. А морозными ночами ни у кого нет опасений, что где-то конденсат, что где-то нужен подогрев наружного воздуха и связанная с этим катастрофа падения влажности, от чего
просираютсяпересыхают даже полимеры.petuhoff Автор
План экономии конечно был. Но мы здесь были подрядчиками, у нас была задача на первом этапе создать модель и доказать что она сичтает достаточно быстро, что бы ее можно было использовать и ее результат совпадает с данными реального дата центра. Нас выбрали имеено по скорости расчета и а тз было уже согласовано с матлабовацами, но их мы подрезали. Задачу ставила группа охлаждения среверов и у меня была полная уверенности в том, что они потратив на нас НИОКРовские деньги, лекго защитят продолжения работы. И соответвенно не готовоился к совещанию серьезно. Мы свои деньги за создание модели получили, и заработали с учетом времени совсем не плохо. Но вот дальше пробить бюджет на внедрение не удалось.