Мы в HOSTKEY много лет используем блоки питания HP Common Slot мощностью от 460 до 1400 Вт. Они эффективны, надежны в эксплуатации и легко интегрируются с серверами различных производителей. Если у вас скопились ненужные серверные корпуса, не торопитесь сдавать их в утиль: есть шанс сэкономить €500 – €600 на покупке новой платформы.
Впервые стандартные блоки питания Common Slot появились примерно в 2010 году в Proliant G6 и в большинстве остальных серверов HP того времени. Эти массовые устройства стоят на eBay/AliExpress крайне недорого (€20 – €50 за штуку), а на Авито — приблизительно ₽5000 – ₽6000. Как правило блоки питания исправны: случаи их выхода из строя или смерти при включении наблюдаются крайне редко. Нет проблем и с оптовыми партиями: мы покупаем более 100 штук за раз.
Блоки питания Common Slot работают тихо: при малой и средней нагрузке их шум теряется за шумом обычного компьютера. При полной нагрузке маленький вентилятор издает характерный громкий визг на 65 дБ (впрочем, в ЦОД он не слышен). Сайт HP содержит мало информации по спецификациям: схему использования и распиновку там найти невозможно, но есть подозрительно похожее устройство Murata Power Solution другого производителя. На его сайте обнаружились нужные нам документы, включая подробные мануалы для блоков питания на 460 Вт и на 1600 Вт. В сети также доступны результаты исследований энтузиастов, видимо HP Common Slot пришлись по вкусу не только нам.
О чем пишут хакеры?
Эффективность HP Common Slot при средней нагрузке составляет 92 – 94%.
Для включения нужно соединить пины 36 (Power Supply Present Signal — короткий пин) и 37 (12V Standby Output) на шине через резистор примерно на 22 кОм, чтобы БП решил, будто он вставлен в слот, а пин 33 (Power Supply on/off control signal — крайний справа) подключить к защитному проводнику (заземлить).
До восьми HP Common Slot могут работать параллельно.
Для включения БП параллельно нагрузке никаких специальных действий не требуется: основная нагрузка отдельно, линии Vsb — отдельно (см. таблицу в документации Murata Power Solution).
В БП есть интерфейс I2C и аналоговый выход индикации мощности (60,15 мВ/А).
Как этим воспользоваться?
Самый простой вариант — купить на AliExpress или в другом онлайн-магазине готовую распределительную плату такого типа:
Или немного другую:
Обратите внимание, что на первой плате есть кнопка включения — будет неудобно, если убрать ее в корпус сервера. На второй плате установлен переключатель, который можно включить и больше не трогать. Цена вопроса — примерно €9.
Если нам не нравятся готовые платы, можно сделать собственную. Для этого потребуется разъем питания производства Wingtat модели 2.54 EDGE SLOT DIP 180° SINGLE LEAF TYPE WITHOUT EAR High Power S-64M-2.54-5 slots. Компания быстро реагирует на запросы и отправляет заказы на 50+ разъемов примерно по $2 за штуку. В рознице они есть на AliExpress. Если предполагается использовать блок питания все 1200 Вт, плату лучше заказывать с медью повышенной толщины. Паять разъем на ней стоит феном и тонким припоем с флюсом: так получается быстрее всего, обычный паяльник подобные платы нормально не берет.
Мы используем платы примерно такого дизайна:
Схема доступна в нашем репозитории на GitHub. На разъеме J1 можно измерить напряжение и понять текущую нагрузку на блок питания — 60,15 мВ на каждый ампер мощности по шине 12 В.
Готовый экземпляр:
Как это выглядит на сервере?
Мы часто используем универсальные корпуса Supermicro и во многих из них уже нет выбывших из строя или модернизированных под новые материнские платы оригинальных блоков питания. Искать родные БП нецелесообразно, поскольку они дорогие и такие же поношенные.
В этом случае родной блок питания пришел в негодность и был заменен на универсальный HP Common Slot мощностью 750 Вт. Лишнее мы обрезали и закрепили блок в корпусе на двухсторонний монтажный скотч. Для преобразования 12 В в необходимое для работы ATX24 напряжение используются родные PicoPSU или их китайские аналоги. На фото сервер на Supermicro H11DSi с двумя процессорами AMD Epyc и потреблением около 400 Вт. С китайскими аналогами он категорически отказался работать, а родная PicoPSU не влезла по высоте и была включена через переходник. Питание процессоров включено напрямую, это ничему не мешает.
Вид сзади. Блок питания немного не влез по ширине, но на скорость и удобство эксплуатации это не влияет.
Зачем это нужно?
Мы экономим на новых платформах примерно €500 – €600. Это позволяет держать стоимость аренды выделенных серверов на рыночном уровне, плюс мы не выбрасываем старые корпуса в утиль со всеми вентиляторами и бэкплэйнами, чтобы зря не загрязнять окружающую среду.
По надежности: обычно блок питания выходит из строя при первом включении. У нас для этого есть специальный тестовый стенд с автоматом категории А на 5 А. Если БП включился, дальше он будет работать годами. Выход из строя БП подобного класса при эксплуатации в ЦОД на нашем парке из нескольких тысяч машин происходит примерно раз в полгода, как правило при модернизации оборудования. PicoPSU в обычных серверах из строя практически не выходят.
Попробуем использовать блоки питания парой и соберем для этого тестовый стенд на базе нашего сервера.
Здесь два блока питания с нашими переходными платами подключены параллельно. Платы соединены между собой прямыми проводами-удлинителями GPU. Пара кабелей по 3 провода в каждом обеспечивают перемычку как раз на 400 Вт (на пределе). Важно, чтобы соединительные кабели были качественными: нужного сечения и хорошо обжатыми (у нас как раз такие). Для пущей надежности на 400 Вт нужна перемычка из трех кабелей по 3 провода. Процессоры подключены каждый в свой блок питания.
Это действительно работает?
На видео мы запустим Linpack на сервере с обеими подключенными блоками питания и будем под нагрузкой отключать их от сети по очереди, включая обратно через некоторое время. Мы убедимся, что напряжение остается в норме и сервер не перезагружается под стресс-тестом. Нагрузка по данным сервера — около 400 Вт под стресс-тестом на процессорах, значит из сети уходит около 500Вт.
Ссылка на видео на всякий случай.
Как видите, схема рабочая: кабели и разъемы не греются, все функционирует в штатном режиме и без родных для сервера блоков питания. Поскольку HP Common Slot предназначены для работы парами, в них есть вся защита и блокировки.
Почему нужно использовать два БП?
Многие думают, будто избыточность нужна для отказоустойчивости: если при эксплуатации сервера в ЦОД один блок питания сломается, второй обеспечит работу. Это мнение отчасти правильно, но есть и другие нюансы.
Часто при выходе из строя блока питания выбивает автомат в ПДУ или в щитке (по короткому замыканию или по перегрузке). Если оба блока включены в одну ПДУ, избыточность не поможет. ЦОДы обычно устроены так, что в стойку приходят два не пересекающихся между собой луча питания. У них разные распределительные шкафы, они идут к разным ИБП, а эти ИБП подключены к разным трансформаторам и дизелям. Все это переключается с некоторой задержкой, а ЦОД гарантирует, что питание будет на одном из лучей всегда, но не на обоих одновременно.
Важно, чтобы у сервера было два блока питания, или придется использовать стоечный АВР — довольно дорогое устройство с твердотельным быстродействующим реле, которое может быстро и незаметно для нагрузки переключаться между несинхронизированными по фазам вводами.
Итоги
Если в вашем хозяйстве образовались пустые серверные корпуса, не торопитесь их выбрасывать: старое железо несложно привести в порядок. Описанное в статье решение позволит оперативно и без существенных затрат организовать сборку с гарантированным или резервированным питанием.
***
На HP Common Slot в HOSTKEY работают выделенные серверы с GPU, модульные системы с платами ITX, а также обычные универсальные серверы. Подобный подход позволяет совместить надежность эксплуатации, простоту сборки и обслуживания, и, конечно, главную цель — низкие цены для наших клиентов.
А для читателей «Хабра» к тому же действует дополнительная скидка: при размещении заказа назовите консультанту специальный пароль «Я С ХАБРА» — и дисконт ваш.
Комментарии (59)
SeregaSA73
06.07.2022 09:42+2Ссылка заблочена :(
https://www.mini-box.com/picoPSU-150-XT
Access Denied
You don't have permission to access "http://www.mini-box.com/picoPSU-150-XT" on this server.
Reference #18.2dfc733e.1657089653.7699e8b9
Jorell
06.07.2022 10:13Да, действительно, если вы заходите на сайт с "неправильного/санкционного ip", то сайт показывает "обломитесь".
yoz
06.07.2022 10:22+4Нормальный вариант. Немного колхозно и требует ручной работы напильником, но функциональности не мешает. HP серверов тех поколений налепило лет на 30 вперед, всем хватит.
maledog
06.07.2022 11:12+2Когда-то давно выгорел на интеловском сервере блок питания. Сервак к тому времени уже не поддерживался производителем, а заказать на алике б/у тогда было еще нельзя. Так просто заменил на подходящий по мощности блок от PC, заменив кое-какие разъемы. Корпус правда при этом не закрывался, но сервак вполне себе отработал несколько лет.
namezys
06.07.2022 17:04У меня есть БП от HP и Dell.
Я думаю использовать их для питания освещения... будет ли это работать?
btgsystem
07.07.2022 00:30Отлично работает БП от HP (на тушке написано что должен выдавать 62А на 12В), питает 22м ленты RGBW 5050 smd (разводка через RGB усилители). Уже более 6 лет..
modsamara
07.07.2022 16:25А потом приходится пару недель доказывать что у сервера проблемы именно по питанию и удивляться что на своих серверах бп никогда не глючат. За инфу спасибо, многое стало понятней.
edo1h
07.07.2022 16:33уточню, у вас это реальный опыт или просто предположение?
modsamara
07.07.2022 16:37Реальный, и пару недель это сильное преуменьшение. На хостинге время от времени перезагружался сервак, без проблем в логах. Следили, искали косяки. Потом настояли на замене бп - проблему как рукой сняло. Удивило что сервер супермикро без хотсвап бп. Сейчас предполагаю что там возможно так же оптимизированы бп на двухстороннем скотче.
edo1h
07.07.2022 16:59ну то есть всё-таки речь про другого хостера (и система с одним БП, как я понял)
modsamara
07.07.2022 17:03Я и не писал что у этого хостера.
Система с 2 бп
ULP
07.07.2022 21:04Бывает. Это все сложная электроника, её работа не зависит от владельца - найти путем последовательной замены дающий сбой компонент обычно можно. Мы не делаем это на сданном сервере, даём замену и потом инженеры инфраструктуры разбираются что это было.
modsamara
07.07.2022 21:43:) а время простоя при переезде с одного железа на подменное ваших заказчиков не тревожит?
ULP
07.07.2022 21:52А что делать-то? Сервера ломаются и наши и ibm и hp и dell и все другие. Сложная электроника, ничего не поделаешь. Хорошо что это происходит редко.
Обычно клиенту ничего делать не надо, максимум МАС адреса в конфиге поправить и убедиться что все завелась. Именно в этом центральный повод аренды, все это не головняк клиента.
modsamara
07.07.2022 21:53Проект сам переезжает на подменное железо?
ULP
07.07.2022 21:54Диски выпускают щупальцы и ползут в подменный сервер. Там в него заползают и присасываются изнутри
st1373
08.07.2022 15:02а в случае с райдами как быть? было пару раз таскали в другой сервак, но с родным контроллером
ULP
08.07.2022 15:10да так же, import foreign config. Если повезет, то все заводится. Но серверов с аппаратным рэйд и их зоопарком все меньше и меньше. у нас остались только Megaraid в эксплуатации, но заказов новых почти нет - прошла, закончилась эпоха.
st1373
08.07.2022 15:20Сколько серваков нам не давали там постоянно какая-то гадость была в виде LSI или ещё чего со своим шлейфом в корзине, чтобы просто получить диск в системе постоянно нужно было подпрыгивать и конфигурить контроллер чтобы он каждый диск отдавал райдом, если винт сгорел - квест, сейчас серваки уже умеют ну хотя бы штук 4-8 отдавать как обычные винты?
ULP
08.07.2022 16:05HBA адаптер называется, он просто отдаёт диски как они есть. У Broadcom это lsi 9200, 9300, 9400 и т.п. иногда приходится повозиться, да.
xSVPx
07.07.2022 17:41Не очень понятно.
Серверные БП надёжны, работают десятилетиями, из строя выходит один-два в год, и при этом откуда-то берутся платформы без БП в которые вы это вот все колхозите. Причем ведь речь о сотнях штук....
Откуда ?
ULP
07.07.2022 21:06На парке в 5000+ активных особей с возрастом от 0 до 12 лет и общем поголовье прошедшем через наши руки тысяч в 10 - на складе скапливается много тушек. Иногда штатный блок слишком слабый, его проще заменить на более мощный. Иногда на нем недостаточно выходов питания. Не знаю как у других коллег по цеху, а у нас есть целый стеллаж с такими корпусами.
garageman
Двоякое впечатление. С одной стороны - все хорошо, но я б в продакшен сервер с приклееным скотчем БП не отдавал. Для тестов - да, для пионеров под *крафт - тоже да.
ULP
Если блок питания при этом надёжно фиксируется на месте (как например существенная часть компонентов в ноутбуках и прочей современной электроники), то на скорость и надёжность это не влияет. Влияет на последующую замену, тут чуть менее удобно его потом отдирать оттуда.
CherryPah
Ну убивает идею хотсвапа на корню. Так у тебя сдох один PSU, сервак работает на втором. Заехал в ЦОД, махнул сдохший БП на рабочий и все это без остановки работы сервера. С вклейкой на изоленту, резервирование продолжает работать, а вот бесшовный ремонт уже нет (
nochkin
Сильно зависит от персонала. С синей изолентой просто порог вхождения чуть выше.
Я тоже не вижу особых проблем с эксплуатацией в таком виде. Тем более, это позитивно отражается на тарифах для клиентов. Это именно то, что они сами хотят.
CherryPah
У меня самого есть опыт колхозинга на проде с паяльником и дрелью, поэтому осуждать такой подход морального права не имею, но несколько конструктивных замечаний есть.
По тому что на фотках - сдохший БП невозможно вытащить из корпуса из-за перекрытия этим самим корпусом. Только через снятие крышки. Крышку снимать в ситуации когда у сервака в стойке свеху и снизу соседи - без вытаскивания из стойки тоже невозможно. Воспаленное воображение конечно подсказывает мне что при наличии 5метровых питалок и патчкордов - такой фокус можно провернуть и полноценно оперировать пациента в холодном коридоре без экскоммуникации, нагорячую. Но такое =( на n-ной итерации винт таки сорвется с отвертки и прилетит прямиком в материнку под напругой
Hidden text
Как бы я доработал
1) Прикрепил их распределительную плату не только на двусторонний скотч, но и на винты. ЧСХ отверстия под них ребята сделали, а вот пользоваться не стали
2) Откусил бы блокирующую БП часть задней панели, а по длине БП приклепал/привинтил алюминиевый уголок 20х20 из ближайшего Леруа.
Таким образом бы осталась и жесткость конструкции и нормальная фиксация и возможность обслуживания без разбора всего сервака
nochkin
Так вроде и так очевидно, что надо вытаскивать сервак для обслуживания блока питания. Это цена, которой надо платить.
В нормальном сервере есть ещё много компонентов, которые требует полного вынимания севера из стойки.
Конечно, такие вещи обычно вынимают на холодное, а не горячее.
CherryPah
Ну с учётом того что часть статьи описывает преимущества использования 2х БП - то абсолютно не очевидно. По крайней мере я БП в несколькобпшных серверах обслуживаю без выключения. Увидел алерт в мониторинге, взял бп из зипа, съездил в морозильник, махнул тот который горит жёлтой лампочкой на новый. Нагорячую. Удостоверился что лампочка и мониторинг позеленели. Да и не так часто БП и дохнут, в отличие от винтов, а то когда их количество начинает измеряться тысячами штук - в морозилку я катаюсь каждую пятницу, с прилично тяжёлым рюкзаком.
edo1h
заменить так память в большинстве серверов не получится. а выходит она из строя примерно так же часто, как и бп. а ещё есть материнские платы, которые тоже ломаются. вот дохлый серверный процессор в последний раз видел, наверное, ещё слотовый (хотя говорят, что и они ломаются). ещё есть pdu, бэкплейны и т. п.
я веду к тому, что механизм вывода сервера из прода для обслуживания нужен. а если он есть (а я уверен, что у хостинг-провайдера с многими стойками серверов он есть) и он удобный, то нет никакого резона заниматься играми с заменами бп на горячую.
CherryPah
Ну да, возможность вывести сервер на ТО без прерывания работы сервисов должна быть всегда. Мигрированием ли сервисов на другие мощности, или выводом мощностей в офф через перераспределение нагрузки - само собой разумеющееся. У меня часть супермикр вообще в 1бпшном исполнении, сдох и сдох, кластер перераспределяется автоматически, только алертами заморгал. Но если у тебя дедик в 1 сервак - такой функционал уже неприменим и работы по обслуге на горячую становятся необходимыми.
PS из личного опыта эксплуатации, 95% замен - дохлые винты, 2% - бп, 2% - i/o в СХД. 1% - прочая. Видяхи было дохли. Матерей, процов, памяти, сдохших в процессе почти не встречал. Память бывает битая, но отбраковывается на стадии доэксплуатоционных тестов, а не в процессе.
edo1h
в статье правильно написано, 2 бп (и две независимые линии на стойку) ценны не только/не столько отказоустойчивостью серверов в плане поломок самих бд, а возможностью резервирования ИБП/АВР/прочей электрики.
странно, у меня как раз обычно в процессе проявляется, особенно на «пожилых» серверах.
а насколько активно они у вас применяются?
вокруг меня в серверах доля hdd всё меньше и меньше, дисков же до 10 ТБ можно сказать, что не осталось.
CherryPah
По винтам. Применяются. 95%w/5%r. И все горячие данные. Вся коллекция, от 2тб до 16тб. Ссд тоже дохнут, по TBW, keyvalue db не щадят
ULP
И матери дохнут, и процессоры и память. Не так часто, но ящик с дохлыми матерями регулярно обновляется.
CherryPah
Какой объем зоопарка? У меня около пары сотен физики, но сдохших матерей/процов в процессе не припоминаю. Было что не заводилось со старта, находили термопасту в ламелях памяти, были загнутые пины сокета, была битая память, но тоже на старте. Были даже подгоревшие пины (шины) питания в блейдах. Реально сдохших процов, в эксплуатации, ни разу не встречал (может и к счастью).
ULP
Тысяч 5 примерно на круг в стойках и рядом
CherryPah
Серьезный объем. При таком масштабе уже пора задумываться о своем цоде, с резервированием АВР не на уровне стойки, а централизованном. И о hotswape )
ULP
Не, плохая идея. Очень плохая. Построить приличный ЦОД потребует минимум 15000 евро на стойку без учёта стоимости недвижимости. С учётом стоимости денег только проценты по затратам на цод из 100 стоек составят 150000 в год. На круг выйдет что-то типа 300-400 евро на стойку в месяц без электричества. Но в обычном коммерческом крупном ЦОД без розницы можно взять стойко-место за те же деньги. И вся это возня с обслуживанием больше не твой головняк :)
edo1h
добавлю, что цоды тоже иногда падают. и иметь сервера в нескольких цодах явно предпочтительнее с точки зрения отказоустойчивости.
ULP
Это если софт позволяет иметь сервера в разных цод и админы одобряют
CherryPah
5к физических серверов, это больше 100 стоек, это объем неплохого заделк для контейнеро-модульного цода, с гарантиями
ULP
А так очень дорого. Надо все свое делать и кучу rnd изобретать. Плавали - знаем :) проще найти уже отбившийся цод и в нем взять машзал или корридор. Плюс-минус те же косты и никакого обслуживания с нашей стороны. Подобные решения себе разве что хетзнер и ovh могут позволить, порог входа тысяч 100 машин в одной точке что бы это имело осознанный смысл. Грубо- вы уже не можете найти себе ЦОД, вам в любом случае его строить.
nochkin
2 БП это больше для того, что бы можно было поменять дохлый экземпляр "на расслабоне" во время запланированного простоя, а не бежать в горячем поту, так как клиенты орут и начальство отвешивает пинки.
Это не обязательно про горячую замену.
CherryPah
Я предложил конструктивную доработку стоимостью в 100р и +30мин времени, позволяющую, добавить функционал hotswap для БП, по мне так здравая цена за такую возможность. Выбор разумеется за эксплуатантами.
nochkin
Всё дело только за тем на сколько им это вообще нужно, так как это не обязательная функциональность.
ULP
Они не влезут парой в стандартный корпус с АТХ матерью для начала.
ULP
Не, это что бы вы могли поставить сервер в приличный ЦОД без использования стоечного АВР. Иначе при первом же переключении сервер ребутнется, а замена блока по выходу из строя это очень редкое происшествие. Оно обычно происходит при включении машины, иногда при этом выбивает всю ПДУ или весь распредилительный щиток, если не повезет
CherryPah
Приличный ЦОД не требует установки стоечных АВР, а даёт пару действительно независимых лучей питания в стойку, через свои "профессиональные" АВР и ИБП, с ДГУ на страже
edo1h
вот именно поэтому и нужно 2 бп.
ULP
Неа. В ЦОД по стандарту Тиер3 лучи питания не должны нигде пересекаться кроме ввода. Это приводит к тому что ЦОД не гарантирует что электричество будет на обеих вводах, но на круг это даёт .999 в год. А хоть что-то стоящее в разрезе при сгорании сразу хорошо если .9 за год получится.
nochkin
Если там так устроено, то да. Но не везде это именно так.
Например, у меня один сервер стоит в ЦОДе лет эдак 10 с одним БП. Точнее, там их два, но подключен только один.
ЦОДы бывают разные.
edo1h
если это не дедик, арендуемый клиентом, то нет особого смысла в обслуживании «на горячую». мигрировали задачи на соседние сервера, выключили, обслужили, включили.
это надёжнее и безопаснее.
меня в этой картинке смущает другое, существенная часть статьи посвящена тому как полезно иметь 2 бп в сервере (и я с этим согласен). но на фотке-то мы видим единственный бп )))
rimecode, объясните?
ULP
Потому что что бы использовать два таких блока питания придётся сделать корпус самостоятельно. Проблема в том, что пролёт стойки в 450мм и ширина АТХ матери делают установку двух таких блоков рядом невозможной. У нас есть 2Ю конструктивы на 2 матери и ГПУ сервера в которые ставятся два таких блока, но про это я напишу в другой раз. Переходник очень простой, два раза гнутая железка с парой вырезов.
Там все хотсвопное, не надо придираться к этой супермикро - так она пошла работать дальше, а не отправилась в металлолом.
ULP
Там ставится пластинка с двумя гибами, приклепывается к корпусу снизу и фиксирует хвостовик у сервера. Я сомневаюсь что кто-то из уважаемых читателей будет этим заниматься.