Привет, Хабр! На связи Виталий, дежурный системный инженер дата-центра в Selectel.
Продолжаем тему, поднятую в наших предыдущих публикациях, где мы говорили об уплотнении серверов линейки ChipCore и усмирении Ryzen™ в мини‑корпусе. Сегодня углубимся в специфику размещения по‑настоящему мощного оборудования. Напомню, нашей главной целью было эффективно использовать стандартные 19‑дюймовые серверные стойки для размещения систем, собранных из высокопроизводительных десктопных компонентов. Очевидно, что для решения этой задачи, разработки собственного корпуса не избежать.
В отличие от прошлых проектов, появилась новая особенность — железо экстремальной производительности с потребляемой мощностью, значительно превышающей стандартные показатели TDP в 180 Вт. Конфигурации на базе процессоров Intel® Core™ i9-13900K или AMD Ryzen™ 9 7950X с 128 ГБ памяти DDR5 и быстрыми NVMe-накопителями по 2 ТБ — настоящие «печки». Было изначально понятно, что без жидкостной системы охлаждения (СЖО) в этот раз не обойтись.
Используйте навигацию, если не хотите читать текст целиком:
→ Slim Tower
→ UltraSlim
→ FatSlim
→ Итоги
При создании серверов подобного уровня производительности мы сперва взяли стандартный корпус форм-фактора Tower АТХ. Он был оснащен СЖО — чаще всего мы брали модели MSI P240 и С240, которые хорошо справлялась с отводом тепла.
Возникла существенная проблема — нерациональное использование пространства внутри стандартных серверных шкафов. В 19-дюймовую стойку удалось установить максимум восемь–девять таких устройств. Этот факт стал значимым ограничением, ведь уровень заполнения стойки не превышал отметку в 18−20%. Такой подход вынудил нас искать пути улучшения компоновки.
Рассмотрим возможные способы увеличения плотности установки серверов аналогичного уровня производительности и энергозатрат. Важно: необходимо сохранить при этом высокую эффективность теплоотвода и надежность функционирования.
Собственный сервер Selectel
В основе — самые современные процессоры Intel® Xeon® 6, до 8 ТБ оперативной памяти DDR5 и специально разработанная материнская плата. Арендуйте сервер у нас или закажите в свой дата-центр.
Slim Tower
Первоначальная модернизация предполагала создание специального шасси и монтажной панели. Корпус изготавливался методом лазерной резки и гибки из оцинкованного стального листа марки SGCC толщиной 1,2 мм с последующей порошковой окраской.
При разработке мы в значительной степени опирались на предыдущий опыт создания корпусов, о котором уже рассказывали в других статьях.
Высота получилась два юнита (2U). Поскольку корпуса расположились вертикально, их ряд занял 7,5U. Хотя общий объем увеличился по сравнению со стандартным АТХ с горизонтальным размером около 5U, такая компоновка вместила четыре мощнейших вычислительных узла на одной полке.
Вертикальный размер U = 1,75″ ≈ 44,45 мм.
Соответственно: 2U ≈ 9 см, 5U ≈ 22 см, 7,5U ≈ 33 см.
Для отвода тепла мы воспользовались системой жидкостного охлаждения с двухсекционным радиатором. При первичной отладке прототипов степень охлаждения поверхностей измеряли простым пирометром. Ни в одной точке он не зафиксировал температуру выше 85 5°C.
После финальной доработки наш смежный отдел тестирования оборудования провел полную серию нагрузочных испытаний. Они применяют специализированное программное обеспечение, которое доводит все компоненты до предельных режимов. Детали своей работы ребята не раскрывают, но финальный отчет подтвердил — система охлаждения полностью справляется с задачей, имеет стабильные показатели и не допускает перегрева никаких компонентов.
Блок питания размещался непосредственно внутри платформы. Такое решение дает дополнительное охлаждение и самого блока, и радиаторов СЖО воздухом из холодных коридоров серверной комнаты.
Для понимания среды, в которой работают серверы, отвлечемся на небольшое техническое описание горячих и холодных коридоров.
Стойки стоят плотными рядами. Их передние панели смотрят друг на друга и образуют «холодный коридор». Задние части также обращены друг к другу и формируют «горячий коридор».
Через перфорированные плиты фальшпола охлажденный воздух подается в холодный коридор. Затем он забирается вентиляторами систем охлаждения серверов и проходит через компоненты оборудования. Наконец, отобравший тепло воздух выбрасывается в изолированный горячий коридор. Оттуда поток возвращается к прецизионным кондиционерам для охлаждения и повторения цикла.
Система питания построена на связке двух компонентов:
DELTA STS30002SR — автоматический ввод резерва в стойках;
Tesla Power TP-STD-C20A04В — блоки распределения питания.
Со стороны блоки выглядят как ряд обычных розеток. При этом они бывают как управляемые, так и неуправляемые. На всех стойках линейки ChipCоге мы используем только первый тип, чтобы иметь возможность перезагрузить сервер при необходимости.
Продуманная конструкция платформ позволила использовать существующие кабели питания стандартной длины. Нам не пришлось усложнять кабель-менеджмент, изготавливать или заказывать что-то особенное — это еще один плюс к эффективности решения.
Внутри же платформ установлен кабель питания собственной разработки С13−С14 длиной 0,6 м с возможностью крепления его к корпусу и вставкой с плавким предохранителем.
Для удаленного контроля по‑прежнему используются внешние IP-KVM, о которых мы недавно подробно рассказали в статье.
Несмотря на успешность решения, необходимость в дальнейшем повышении компактности не отпала. Требовалось уменьшить размеры конструкции, сохранив возможность установки сетевых карт и компонентов.
UltraSlim
Вторая модификация продемонстрировала значительное улучшение эффективности. За счет уменьшения толщины конструкции на одной монтажной панели теперь удается разместить пять серверных платформенных блоков вместо прежних четырех.
Дополнительным преимуществом стала интеграция поддержки трехсекционного жидкостного охлаждения, что существенно увеличило потенциал теплоотвода.
Однако возникает закономерный вопрос: как оптимизировать размещение серверов, оснащенных графическими ускорителями? Решение найдено.
FatSlim
Разработанный нами новый корпус стал значительным прорывом — появилась возможность интегрировать видеокарты шириной до 142 мм и длиной до 337 мм. Внутри предусмотрено пространство для установки как двух-, так и трехсекционных систем жидкостного охлаждения. Остались посадочные места и для сетевых карт.
Крепление для видеокарт и карт расширения было скопировано с обычного ATX корпуса так, чтобы можно было устанавливать видеокарту без дополнительных кронштейнов.
Поскольку современные видеокарты отличаются высоким энергопотреблением и тепловыделением, мы применили комбинированный подход к монтажу: шесть мощных платформ типа FatSlim и пятнадцать облегченных моделей UltraSlim. Такое решение позволило равномерно распределить тепловую и электрическую нагрузки по всей стойке.
Итоги
Итак, завершилась разработка нашего нестандартного корпуса для высокопроизводительных серверов. Мы смогли кардинально переосмыслить использование стоечного пространства. Итоговая конфигурация из шести платформ FatSlim и пятнадцати UltraSlim позволила разместить 21 сервер в одной стойке. При этом плотность размещения оборудования увеличилась на 163%. Получился идеальный баланс между производительностью, компактностью и эффективностью охлаждения. Оборудование уже пользуется спросом у клиентов.
На данный момент не видится дальнейших идей по уплотнению — текущее решение полностью нас удовлетворяет. Нет никаких причин что-то исправлять или улучшать в обозримом будущем.
Впрочем… нет предела совершенству. Возможно, через несколько месяцев вы увидите новую статью о том, как мы еще улучшили компоновку высокопроизводительных десктопных компонентов для специальной линейки ChipCore.
Комментарии (89)
frozzzen
01.09.2025 12:21Уплотнение для чего? Чтобы что? С какой целью?
bvo09 Автор
01.09.2025 12:21Место в серверных стойках ограничено
frozzzen
01.09.2025 12:21Системы охлаждения ЦОД тоже ограничены. 20 кВт со стойки удалось снять?
lordleto
01.09.2025 12:21Да эти десктопные почти не потребляют.
edo1h
01.09.2025 12:21Наоборот же, прилично потребляют. Два 9950x с 16 ядрами каждый потребляют как один 9655 с 96 ядрами.
Вопрос только в том, ядер на стойку в случае десктопных процессоров особо много и не разместишь
IsNoGood
01.09.2025 12:21А в таких системах важно не количество ядер, а производительность на ядро. Для многопоточной нагрузки классические серверы на xeon или epyc выгодней.
Poterashka
01.09.2025 12:21Ребят. Как художник художникам. То, что вы разместили масс маркет в самодельные корпуса в стойку - они от этого серверами не станут. У серверов основное отличие - взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов. То, что описано в статье, никак этим правилам для серверов, не соответствует.
bvo09 Автор
01.09.2025 12:21Все комплектующие есть в наличии у нас на складе. А то что дестоп комплектующие то это вариант дешевых серверов(chipcore) для того чтобы закрыть потребности любого клиента.
Poterashka
01.09.2025 12:21Это вариант рабочих станций (даже не производительных - производительные, это Ryzen Threadripper). С общим доступом. Вы в отраслевых определениях плаваете. Соответственно заголовок никак не соответствует описанию. Сервер - это отказоустойчивые система. У вас даже зеркалирования этих рабочих станций не предусмотренно. А при выходе из строя компонента этой рабочей станции, через сколько миллисекунд она снова будет в работе?
bvo09 Автор
01.09.2025 12:21Сервер — это устройство, которое хранит данные и даёт доступ к ним большому числу клиентов. Им может быть абсолютно любое устройство. Мы же предоставляем инфраструктуру под любой бюджет, соответственно и сервера на базе дестктоп компонентов у нас есть.
Poterashka
01.09.2025 12:21Смелое определение. Т.е. внешний расшаренный usb диск по вашему определению тоже является сервером? И для расширения вашего кругозора. На десктоп решениях сервера построить невозможно. По мнению производителей. Но кто они такие :). Мне в принципе с базой знаний в вашей компании все понятно. Просто хотел прочитать про сервера, а подсунули даже не высокопроизводительные рабочие станции. Всего хорошего.
ramiil
01.09.2025 12:21Сервером может быть что угодно, в щависимости от жадности, бедности или потребности того, кто его разворачивает. Хотя я согласен, что это не продакшн решение из-за зоопарка компонентов и отсутствия поддержки и нормального удалённого доступа, как минимум, это всё таки сервак. Не ынтерпрайз, но сервак.
Poterashka
01.09.2025 12:21Читаю комментарии и ржу. Продакшн решение? Больше ада в комменты. Держать данные в ЦОДах с такими спецами наверное очень дешево. Сервер - это аппаратно программное решение. Поэтому даже "сервер" на Линукс не может считаться сервером - там тупо нет инфы о смартах дисков в рейде. По крайней мере мне никто таких данных тут не приводил. Все жду.
max9
01.09.2025 12:21Поэтому даже "сервер" на Линукс не может считаться сервером - там тупо нет инфы о смартах дисков в рейде.
что я сейчас прочитал? если вы не умеете инструментом пользоваться, это не значит что его нет
Poterashka
01.09.2025 12:21Я в Линукс не умею и не собираюсь. Но все аппаратные рейд утилиты на Линукс идут от ведущих проприетарных производителей железа. На масс маркете вы соберете только софтовый рейд с соответствующей производительностью. Читайте дальше.
max9
01.09.2025 12:21ну понятно, Пастернака не читал, но осуждаю. все аппаратные рейды идут с тулами вендора и все там есть.
Poterashka
01.09.2025 12:21Это вы мне пишете? Почитайте сначала всю дискуссию. На данный момент вы в России нигде не купите официально все эти аппаратные рейды. Энтерпрайз уровень имеется ввиду. И соответственно сервер собрать не сможете. О чем все мои комменты. Потому что три года уже прошло.
Дилетанты берут на Хабре количеством. И все с плюсовой кармой и рейтингом. Прикольно.
max9
01.09.2025 12:21вам-вам пишу, у вас какое-то раздвоение личности.
то вы топите за вендоров и готовые сервера, называя авторов статьи пионерами в подвале, копающимися в говне, то пишете про "сбор" серверов с ручным втыканием рейд-контроллеров и дисков. это ровно такой же колхоз.
"нормальные" сервера, с вашей тз - dell/lenovo/etc сейчас прекрасно продает и обслуживает по гарантии как минимум крок (не реклама). берете конфигуратор и вам под ключ приводят все. какая разница - кто вам зипы возит и решает проблемы, если он ив итоге решаются? к слову сказать - "шикарная" официальная поддержка леновы так и не смогла решить проблему с вылетающими дисками из рейда под нагрузкой. самая ближайшая аналогия - это официальные дилеры у авто, которые рукожопы донельзя и делают только крупноузловой ремонт, в то время как профильные сервисы с большей вероятностью решат проблему меньшими силами и деньгами.
igrblkv
01.09.2025 12:21Это не продакшн решение в некоторых нероссийских ЦОДах целые машзалы занимает и неплохо так конкурирует с высокоэнтерпрайзными серверами.
Поддержка осуществляется собственными инженерами. У которых даже есть склад с запчастями под рукой. Или обязательно надо только сторонними? Надо Селектелу посоветовать инженеров в отдельную контору вывести - сразу всё в кровавый энтерпрайз превратиться, надо понимать?
Удалённый доступ есть - внешним IP-KVM, возможно с Али, в какой-то статье ранее рассказывали про них.
ramiil
01.09.2025 12:21Да, я к тому, что решения "на коленке" и решения от вендоров различаются не так кардинально, как говорит человек с минусами на комментариях.
igrblkv
01.09.2025 12:21Да, тут встречаются люди, которые до сих пор верят в магию!
КровавоЭнтерпрайзный сервер нельзя собрать на коленке, ведь у вендора такой уровень магии, что любой Мерлин обзавидуется.
Облака - это великая магия, а не чьи-то сервера, возможно даже без SLA с вендором и не в ЦОДе, а в сарае.
Ну и так далее.
Магии нет - есть инженеры. И у них разный уровень, как и у остальных людей.
greenlittlefrog
01.09.2025 12:21У вас наверное сейчас шаблон порвет, но Hetzner называет это серверами, и да, они сами проектируют и делают корпуса. Прекращайте уже быть снобом, а то я встречал таких которые и Supermicro за сервера не считают.
Скрытый текст
Poterashka
01.09.2025 12:21Есть определение ведущих производителей, что такое сервера. Назовите статью - наши клиенты считают, что мы сдаём им в аренду сервера - вопросов не будет. Все зависит от круга вашего общения. Сколько в вашем кругу сертифицированных пресейлов по серверам? Правильно, их нет. Поэтому не надо ваши (или не ваши) домыслы, выдавать за что то весомое. Спасибо.
Супермикро сервера? Какие у них номера курсов и экзаменов по серверам? Мне чисто для расширения кругозора.
greenlittlefrog
01.09.2025 12:21Это очень потешно читать в РФ. Какие сертифицированные пресейлы? Просыпайтесь.
P.S. Готов поспорить что у меня больший чек в Leaseweb на правильных (тм) серверах, но если мне нужен сервер с 5Ghz, я выберу бгомерзкий Hetzner за $200.
Poterashka
01.09.2025 12:21Вы отлично, сами того не понимая, описали очень низкий ваш уровень, и основной массы "администраторов". Когда "профессионализм" считается в часах, а не глубине подтвержденных знаний. Вообще первый раз вижу человека делающего упор на аренде, а не на сложности сконфигурированного лично им программно-аппаратного комплекса. Правильно. На масс маркете это невозможно. И на супермикрах тоже. А приводить в пример аренду - тот ад непонимания, о котором я и писал выше.
greenlittlefrog
01.09.2025 12:21сложности сконфигурированного лично им программно-аппаратного комплекса
Вы меня путаете с эникейщиком
igrblkv
01.09.2025 12:21Профи-администратор решает все проблемы сам, т.к. имеет соответствующие знания, а не зовёт каждый раз
мамочкуинженера поддержки вендора, которого в текущих условия можно и не дождаться, кстати.Зато с самосбором и СуперМикрами нет проблем - все спецы в наличии и под рукой. (И на сертифицированных пресейлах экономия немалая выходит.)
frozzzen
01.09.2025 12:21Совершенно верно. У Хецнера весьма своебразный инженерный подход. Его фильмы про дата-центры можно смотреть вечно. Решения близкие к гениальности. Впрочем, в дата-центры FAANG тоже делают самопальные сервера на коленке. Великих и могучих "вендоров" эти ребята отодвинули в сторону больше 15 лет назад. Свайпнули влево, как говорят зумеры.
lordleto
01.09.2025 12:21Существуют серверы без отказоустойчивости даже от дело,ЗП,ibm, супермикро. У них часто даже нет полноценного ipkvm в базе, но серверами они от этого быть не перестали.
Poterashka
01.09.2025 12:21К НР и IBM серверу вам подвезут вышедший из строя компонент до 4 часов. У супермикро нет такой опции. Мне каждому на пальцах объяснять элементарные вещи чем сервер отличается от "сервера"? :).
diderevyagin
01.09.2025 12:21К НР и IBM серверу вам подвезут вышедший из строя компонент до 4 часов
Много лет работал в телекоме. Был у нам некий супер контракт с HP. Даже по контракту там было 8 часов. в реальности то, что сломалось в субботу вечером в миллионном городе (не было природных катаклизмов и компонент был в стране, от столицы 900км) привезли только в понедельник днем. Это был 2008-й.
А если компонента нет в стране, то можете звонить и жаловаться хоть куда - ответ будет "ждите поставки, срок от 2-х недель"
Потому многие и выбирают, в том числе очень крупные - лучше поставить Н своих пусть недорогих чем платить непонятно за что, что все равно никто не исполнит.
igrblkv
01.09.2025 12:21На собственный склад сходить - не сильно быстрее?
Даже с бюрократией на бумажках в час уложиться - не проблема, думаю.
Okeu
01.09.2025 12:21На собственный склад сходить
не барское дело!
Даже с бюрократией на бумажках в час уложиться
я думаю у многих - сначала фикс, а потом уже бюррократия, поэтому для них и этот час можно не закладывать)
NAI
01.09.2025 12:21У серверов основное отличие - взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов.
При наличии компонентов и присутствии в регионе эксплуатации сервера - ссылаетесь на SLA ссылайтесь до конца.
Мы в проектах всегда поставляем ЗИП сервер, чтобы он лежал на складе и реально был доступен в течение 0-24 ч. В отличие от склада вендора и его "упс, мы заложили ЗИП на несколько заказчиков и вот вчера произошел инцидент...в общем жите запчасть, приедет через 2 месяца"
Горячая заменимость компонентов... ну... что вы там на горячую, кроме HDD и БП можете заменить? Резервированный PSU можно вставить без проблем - выбирайте. Резервирование HDD - это вообще история про Raid-контроллер (программный или аппаратный)
Poterashka
01.09.2025 12:21Память например. Есть у вас такие варианты? Проблема в том, что ваш непроверенный сервер из ЗИП, может не стартовать именно по тому компоненту, который нужен именно сейчас. Вы же его не проверяли :). Именно в этом отличие и выгодность крупных вендоров типа НР. Когда в ЗИП лежат не сервера, а компоненты. И ведётся статистика по отказоустойчивости. Не благодарите :).
Add.
Блоки питания с гарантией 2? (Видимо года, может месяца, в датащите не нашел :)). Вы масс маркет продаете. О чем я и пишу. Вы знаете чем корпоратив любой от бренда отличается от масс маркета? Гарантией. Корпоратив три года. У вас два.
Вывод - масс маркет+. Ничего нового вы не откроете.
ProMix
01.09.2025 12:21Вы знаете чем корпоратив любой от бренда отличается от масс маркета? Гарантией. Корпоратив три года. У вас два.
Никогда бы не подумал, что от кровавого энтерпрайза меня отделяет дополнительный год гарантии в DNS
Okeu
01.09.2025 12:21Память например. Есть у вас такие варианты?
а вы точно знаете значение слова "горячая замена"? Или я что-то не так понял в вашем диалоге?
edo1h
01.09.2025 12:21ну вообще-то горячая замена памяти давно есть
IsNoGood
01.09.2025 12:21Если честно не встречал, hpe superdome flex может отключить сбойную планку и продолжить работу, но что бы её заменить надо таки выключить сервер... Кроме мейнфремов не слышал про горячую замену чего-либо кроме дисков, блоков питания и куллеров.
Poterashka
01.09.2025 12:21И надеюсь, мы оба с вами понимаем, что сервер начинается от $10.000? И не надо объяснять почему? А то пионеры в комментах утомили :).
*Отличный вопрос на собеседовании, кстати. От какой цены начинается сервер и почему. Очень сэкономит время на понимание глубины знаний на место админа. На хорошую з.п. само собой.
NAI
01.09.2025 12:21Для меня сервер начинается с задач, требований, наличия и уже потом где-то там в конце цены. Железка должна решать проблемы бизнеса максимально эффективно.
Если вам поступит запрос от стартапа в 2.5 человека на сервер для файловой шары и вы им выкатите ценник в 10к $, ну... специалист из вас сильно так себе.
Точно так же как в на объекты крит.инфры ставить стойку без защит по питанию и пучка бумаг ооочень опрометчиво.
Poterashka
01.09.2025 12:21Инженер Саша, с кармой 45 :). Расчет сервера начинается с времени доступности. Ты не сможешь продать сервер никому, даже стартапу. Потому что никто из бухгалтеров и юристов тебе не даст прописать в договоре Tier 1 хотя бы :). Со штрафными санкциями, само собой. Потому что вы не сможете обеспечить даже это простое требование. А то, что ты считаешь там лично про себя - это не отраслевой стандарт. А выдумки Саши. Вы не продаете сервера. У вас их нет :).
С каждым годом на Хабре все хуже в комментах с компетентностью. Симптоматично.
Про сервер критической инфраструктуры орнул. Он даже до Tier 1 не дотягивает скорее всего.
NAI
01.09.2025 12:21Обычно на личности начинают переходить когда по существу уже сказать нечего, а признать свою некомпетеность\неправоту не хватает _________ (пусть каждый впишет свое).
Вы не продаете сервера.
Все так, мы не продаем сервера, мы продаем системы которые должны 15+ лет работать и при этом предъявляются очень жесткие требования начиная от сейсмики (трясли когда-ндь шкаф набитый серверами под нагрузкой?) и ЭМСа (это когда у вас за стенкой может быть генератор) и заканчивая SLA в 2 часа на любой компонент системы. И нажрались мы этой вендорской поддержки.
Так что, анон, как говорится, "ваше мнение очень важно для вас", мы пойдем дальше решать проблемы бизнеса, пока вы там теряете клиентов из-за 10к не сервер.
igrblkv
01.09.2025 12:21И нажрались мы этой вендорской поддержки.
Вот, да! Всегда лучше в кладовке запас иметь, а не SLA с вендором.
Перелить конфиг или переставить диск(и) (вместе с контроллёром, возможно) всяко быстрее, чем ждать запчасть(и) от вендора и потом всё равно переливать конфиг или переставлять диск(и).
Okeu
01.09.2025 12:21отраслевой стандарт
То что лично вы, ваши юристы и бухгалтера считают отраслевым стандартом, для реальной отрасли является попилом бабла и прогревом гоев. Вот и вся разница. Поэтому можно сколько угодно упарываться вендорным копиумом, обвинять всех вокруг в некомпетентности и так далее. Но свою компетентность, в общем, вы продемонстрировали на всеобщее обозрение)
Вы отраслевым стандартом "сервера" называете частный, очень узкий и крайне ограниченный кейс конкретного назначения, выдаете его как единственную верную истину. Этакие свидетели "кошерного сервера от вендора" обязательно на гарантии, и стоимостью от 10к$. На следующий день после истечения гарантии сервер перестает быть сервером и становится тыквой, отправляясь в ближайшую пятерочку на полку с продуктами, видимо)
skovalev
01.09.2025 12:21У серверов основное отличие — взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов.
Такие серверы у нас тоже есть, настоящий enterprise с горячей заменой, регистровой памятью, аппаратными рейдами и самыми актуальными поколениям серверных процессоров. И даже платформы А-брендов.
А собственный склад железа и резервирование компонентов позвляет делать замену даже быстрее, чем за 4 часа.Описанное выше решение предназначено для другого сегмента клиентов и мы здесь не пионеры, такой продукт есть у ряда крупных провайдеров
Poterashka
01.09.2025 12:21Мне админы тут порезали права на ответы, поэтому всем отвечать не могу. Вот про Энтерпрайз сервера и надо было писать под таким заголовком. Сдача в аренду часов на рабочих станциях - никак не аренда сервера. Или вы с этим не согласны?
igrblkv
01.09.2025 12:21HP Enterprise устроит в качестве примера конторы, делающие настоящие кровавые энтерпрайз сервера?
https://habr.com/ru/companies/servermall/articles/942860/
Ну вот вам вчерашняя статья про микросервера от HP/HPE.PS: Но после Gen8 до них дошло, ЧТО они натворили и они в следующих поколениях исправились. Что, конечно, печально.
gaussssss
01.09.2025 12:21А почему бы не использовать готовые серверные водянки (1u варианты даже есть), в паре с серверным бп и matx доской для варианта без видюхи? А то эффективность использования поверхности радиатора там под вопросом.
При первичной отладке прототипов степень охлаждения поверхностей измеряли простым пирометром. Ни в одной точке он не зафиксировал температуру выше 85 5°C.
Это каких поверхностей? Если у вас так врм жарилось или водянка, то на самом проце была сотка получается? И при каком тдп? Короче не хватает тестов эффективности теплоотвода.
NikNikolson
01.09.2025 12:21Какое общее потребление стойкой? На какой поток рассчитана стойка? Какой верхний порог температуры воздуха на входе? Сколько времени у админа на выключение стойки в случае выхода охлаждения из строя по общей причине?
bvo09 Автор
01.09.2025 12:21Каждая платформа достаётся из стойки как отдельная нода не затрагивая работоспособность других.
ftarasenko
01.09.2025 12:21А чем не подошёл asrockrack и прочий асус с гигабайтом? Или выходит дороже?
skovalev
01.09.2025 12:21дороже, но они тоже у нас есть (с десктопными процессорами)
такие платформы уже поддерживают резервирование питания, ЕСС память и KVMftarasenko
01.09.2025 12:21Спасибо.
А почему дороже? Стойкоместо же сейчас само по себе стоит очень дорого, мне кажется, возможность установить на 20 серверов больше должна быть ценной.
Или уже по теплоотведению не справляется, если забить всю?
chu08
01.09.2025 12:21теоретически должно быть выгодно, но тут есть ньюансы:
полагаю, если даже и теплоотведение и питание стойки справится, то из-за flex-atx блоков питания и не самых дешёвых 1u водянок будет всё же дороговато... да и при добавлении сетёвок нужен райзер...
это то что касалось цены. сюда же стоит добавить, слабую распространённость и доступность дешёвых БП и компактных водянок. Да, можно заказать, но при массовых деплоях этих серверов оказаться может так, что чего-то не хватит и придётся заказывать из Китая партию и ждать долго... клиенту это не понравится и он может уйти...
На долгосрок тоже не ясно, что может произойти с не популярными комплектующими, скорее всего ничего, но вендоров дешёвого немного и они могут закрыть линейку товаров, что-то приведёт к большим затруднениям с обслуживанием серверов.
rozenkreuser
01.09.2025 12:21Просто загуглить взрыв сжо. Это просто жесть, так рисковать данными клиентов.
ABowser
01.09.2025 12:21А почему бы просто все платы условно не побросать в ванну с охлаждающей жидкостью?
chu08
01.09.2025 12:21Проблема в том, что нужно всё же обслуживать и лезть в жижу охлаждающую, вполне возможно, из-за экономической нецелесообразности это будет отметено. Если бы это были энерпрайз решения - без проблем (наверное).
IsNoGood
01.09.2025 12:21А ещё к комменарию выше, "стойки" для иммерсионного охлаждения это горизонтальные ванны, что занимает большую площадь, и нельзя просто так поставить в имеющий я зал.
PjaniyAdmin
01.09.2025 12:21Вроде бы смысл сервера в надежности, в ecc памяти, качественном рейд контроллере. Горячей замене много чего, возможности удаленного управления установки ос, включении, отключении и контроле состояния через всякие штуки типа ilo,bmc,cimc и т.д.
tequier0
01.09.2025 12:21Зачем всё это, если мне нужен сервер для моих pet проектов? Меня предложенная конфигурация вполне устроит при соответствущей цене. По сути, меня бы белый ip провайдера даже больше устроил, но он дороже.
И таких людей немало. И они место в нормальных стойках занимают. А места осталось мало, насколько я знаю.
AlexKMK
01.09.2025 12:21Интересный обзор.
а почему не используете бекплейны для раздачи низковольтного питания на несколько блейдов?
mirwide
01.09.2025 12:21Интересно, но лютый колхоз кмк. Выкидываем СЖО, она не несёт никакой пользы, не охлаждает судя по температуре 85 градусов, занимает кучу места и стоит не дешево. Ставим пассивный радиатор на процессор и одноюнитовые вентиляторы на продув, 170 ватт слёзы, а не мощь. Меняем БП и корпус на одноюнитовые и вуаля, у нас в два раза выше плотность и стандартные корпуса. Порты оказываются внутри корпуса, но нам нужна только сеть, можно вывести её отдельным контроллером за тыщу рублей.
chu08
01.09.2025 12:21Но ведь в таком случае, придётся менять и материнскую плату на нормальную серверную, ибо десктопная не совсем подходит к 1ю корпусу из-за расположения плашек ОЗУ.
Да и проц охлаждаться будет, честно говоря, плохо из-за этого и никакие пассивные радиаторы тут не помогут, можно, конечно, клепать свои радиаторы под каждую модель материнки...
Но будто бы, мы уже сделали сервер, который должен быть очень дешёвым, дороже раза в 2-3... клиенты точно будут огорчены таким раскладом(
А так да, творчество и полёт фантазии тут на высоте))
edo1h
01.09.2025 12:21«правильные» материнки для am5 есть, даже у asus, я не говорю уже про supermicro
gaussssss
01.09.2025 12:21У супермикры там биос говно. Настроек оперативы нет, в итоге 4 плашки - только 3600мгц. Ну и андервольт отсутствует, благо хоть программно фурычит. Купили как раз таких две, хрень. Еще нюанс что сокет повернут на 90, в итоге нормальный кулер фиг найдешь, сервачных почти нет.
gaussssss
01.09.2025 12:21170 ватт слёзы, а не мощь
В случае десктоп процов от амд это кипятильник, который на 200вт уже фиг чем охладишь. На фотке пример колхозного охлада который смог отвести 220 вт от 9950х, разогрев его до 90+ (это еще с андервольтом). При 15 градусах воздуха и сама вертушка жрет 50 вт)
1u охлад тут не справится никак.
mirwide
01.09.2025 12:21Нет речи о разгоне. Топовые Ryzen равны EPYC 4xx5 с теми же TDP. Для серверов это маломощные процессоры для нищебродов. Потому как в нормальных EPYC TDP 400-500 Вт, по 2 штуки таких в 1U сервере.
gaussssss
01.09.2025 12:21Так и я не говорил о разгоне. Лишь разные лимиты тдп. Настройки вольтажа и частот на этой супермикре вообще недоступны.
У эпика кристаллов больше, частоты ниже, площадь теплоотвода больше. Поэтому от него проще отвести тепло. Точно так же как от видюх отводят сотни ватт не напрягаясь, а рязань тупо упирается в теплопроводность крышки, пасты и тд.
Okeu
01.09.2025 12:21У эпика кристаллов больше, частоты ниже, площадь теплоотвода больше. Поэтому от него проще отвести тепло.
Причем в разы
edo1h
01.09.2025 12:21что-то странно, честно говоря. у вас и площадь радиатора, и воздушный поток получаются выше, чем на эпиках, которые без проблем снимают заявленные 400Вт (и 500Вт, думаю, тоже; но эпиков на 500Вт у нас нет)
IsNoGood
01.09.2025 12:21Разный тепловой поток, у ryzen площадь кристалла в несколько раз меньше чем у epyc а общий тдп отличается всего в двое, да и старшие epyc на 300+ ватт идут с СЖО, мы рассматривали серверы с двумя epyc и все что выше 300 ватт на проц на СЖО.
gaussssss
01.09.2025 12:21Там ещё и радиатор холодный когда проц под сотку. Нюансы современных рязаней)
Okeu
01.09.2025 12:21170 ватт слёзы, а не мощь
у десктопных камней площадь рассеивания сильно меньше, чем у серверных. Поэтому это вполне себе мощь, которую может быть достаточно сложно снять в таких условиях
Razoon
01.09.2025 12:21А вы не хотите в опенсорс выложить файлики корпусов?) Я бы себе домой в стойку пару таких сделал))
greenlittlefrog
Не очень понятно, вентилятор втягивает воздух из холодного коридора через горячий радиатор СЖО, затем выбрасывает это на GPU?
Ещё интересна средняя температура в ЦОДе.
Со своей стороны я собирал в 3U Exegate Pro (рекомендую) 9900X на стандартных компонентах - всё ок, можно было это запихнуть даже в 2U с помощью кулеров Dynatrone.
i273
ну по расположению кулеров на фото похоже так и есть, холодный воздух забирается из коридора, далее СЖО
igrblkv
А рядом на VRM дует горячим после блока питания.
Компоновка - огонь!