Привет, Хабр! Это небольшой рассказ о моей домашней лаборатории на которой я обучаюсь различным решениям необходимых DevOps-инженеру. Для начала пробежимся мини-обзором оборудования, а после - расскажу о том, над чем еще стоит поработать.
Сервера
В своем решении я использую сервера на платформе SuperMicro 5017C-MF. К сожалению или счастью, из 4-ех серверов один попался старой конфигурации на базе платы X9SCL-F, остальные же - X10SLL-F. Их отличие - плата 9 поколения поддерживает процессоры первого и второго поколения, а плата 10 поколения, поддерживает процессоры 3 и 4 поколения.
Отличить их можно также по внешнему виду:
Итоговые характеристики серверов в нашей сборке:
- Сервер #1 (консольный) - X9SCL-F, Xeon E3-1220v2, 8GB RAM, 60GB SSD (ОС) + 8TB HDD (NFS-шара)
- Серверы #2,3,4 (воркеры) - X10SLL-F, Xeon E3-1220v3, 16GB RAM, 60GB SSD (ОС)
Коммутация
В роли коммутатора я выбрал Tenda-TEG1016M, т.к. он заинтересовал меня количеством гигабитных портов и функцией VLAN, которая может пригодиться мне в будущем. В дополнение - компактный и весьма солидный вес для такой "игрушки".
ИБП
На данном этапе, вам лучше присесть. Встречайте старичка - APC PowerStack 450. Данный ИБП бородатых годов, но позволяет удобно управлять собой, а также настроить систему алертов благодаря управлению через стандартный COM порт и apcupsd под Linux. Будьте готовы к тому, что взяв данный аппарат никто не парился над сбросом года АКБ в его памяти, а значит - minicom и старые записи на форумах по сбросу всего этого добра станут друзьями на вечер. Как видите - мой экземпляр немного модернизирован - я установил в него блок питания 220v->12v для питания коммутатора, дабы не занимать свободные 4 розетки типа C-13 (спокойно, данный "мод" был сделан после полной проверки ИБП под 100% нагрузкой серверов, дабы понять что для него это не будет перегрузом). ИБП имеет на борту автоматические функции проверки АКБ, панель для быстрого изъятия и замены батарей, а также системы предотвращающие работы под перегрузкой и обширный мониторинг - от напряжения батарей до расчета времени работы от них. Номинальная мощность - 280W, максимальная - 450W.
"Серверный" шкаф
Я не просто так указал слово серверный в ковычках, ведь начало всей данной лабы, судя по комплектующим, уже было достаточно веселым - собираем из того что есть, но красиво.
Ну чтож, первое что мы видим - ящик сделанный из ЛДСП на заказ по внутренним размерам (ширина = 2 рельсы + сервер), также сами рельсы - используются в мебели, на шарах и с механизмом Push-To-Open для защелкивания серверов. Провода прокладывались в небольшые пластиковые площадки под хамуты, а коммутатор закрепляется 4 корпусными винтами в напечатанные на 3D принтере крепления.
Давайте немного подробнее покажу вам как выезжают сервера на данных рельсах, ведь для меня это действительно удобно - можно выкатить оборудование и увидеть все что только может быть нужно, благодаря длине рельс в 450мм сервера не нужно снимать каждый раз.
Итого
Проект собирался на протяжении полугода, постоянно модернизировался и менялся, на данный этап это третья версия - основные проблемы были с самими шкафами, т.к. первые попытки были вместимостью в 8 серверов, из-за чего их приходилось укреплять металлическими углами. На данный момент - ситуация гораздо лучше, а самое главное - это можно масштабировать)
(Я не пошутил - еще один шкаф прикручивается сверху и получается крепкая конструкция состоящая из ячеек)
Остаются мелкие доработки по пропускной способности сети с NFS, а также необходимо сделать какую-то сетку на переднюю панель шкафа, дабы не забивалось быстро пылью.
Заранее отвечу на вопросы - почему вообще я собрал все это, и не использовал обычный серверный шкаф? - Долгое время пытался купить на авито, но постоянно получал отказы на доставку то от Авито, то от покупателей, либо сам шкаф выходил в стоимость куда выше чем я мог бы вложить в этот проект. Плюсом к этому, я видел ряд проблем с креплением серверов - ко мне они попали с "ушками" для установки в стойку, что для меня казалось крайне сомнительной идеей - риск прогиба сервера. Именно поэтому я решил снова изобрести колесо)
Ах да, что же там по цене?
Шкаф: последняя версия - 1т.р. + рельсы 400р*5 + ручки, крепления для проводов, ножки и т.д. ~4т.р.
Сервера: 4.5т.р.*4 + новые кулера 800р*4 + ссд на 60гб 1т.р.*4 ~ 25т.р + 16т.р hdd на 8тб
Коммутатор ~2т.р.
ИБП - 2т.р + новые АКБ 2т.р.
Ну и по мелочи - провода, блок питания в ИБП ~2т.р.
Как итог - данная стойка может запустить на себе в достаточно отказоустойчивый для домашнего использования к примеру Nextcloud, Element, SeaFile и много других сервисов, а также может стать неплохим стартом для изучения IT инфраструктуры, либо просто личной серверной для разработки проектов..но это - уже совсем другая история. Всем спасибо за ознакомление, всем добра!
Комментарии (45)
AoD314
14.04.2026 15:21А можете рассказать зачем такое оборудование потреболось для дома? Почему не взять одну OrangePi 6 Plus и запустить на ней вообще ВСЁ ? Шума нет, питается энергией космоса. Настраивать нужно всего один юнит, а не 4.
2hoursbeforedawn Автор
14.04.2026 15:21Здравствуйте, во первых, как и написал в самом начале - изучение. На нем я Docker Swarm, K3s, K8s учил. Ну и практиковал некую отказоустойчивость на гипервизорах и подах/контейнерах. Самое наверное прикольное было Nextcloud AIO Helm запускать на этом с монтированием БД, Redis на локальный SSD, а остального к NFS-харду и масштабировать если это можно так назвать (ну тут сложно назвать масштабированием..скорее в неком роде отказоустойчивость появляется с единой точкой отказа и чуть большая вместимость людей), а также Nextcloud AIO пихать в Swarm, тоже весело)
scientificus-emigrans
14.04.2026 15:21я не автор, но судя по его описанию он планирует научиться
различным решениям необходимых DevOps-инженеру
на OrangePi 6 Plus нет кровавого энтерпрайза, например IPMI.
scientificus-emigrans
14.04.2026 15:21Шум при старте как от истребителя F-35 или всего-лишь как от Боинга-737? Проект конечно классный, но запускать такое дома -- это ж все сбегут)
2hoursbeforedawn Автор
14.04.2026 15:21У меня мадам тут 19 летняя живет со мной, пока шо жалоб не было)))
А так, да - на старте звучит громковато, но потом - тишина даже при нагрузке (не ну если по приколу - могу гс записать :/scientificus-emigrans
14.04.2026 15:21Это прям удивительно, обычно в серверных невозможно находится без наушников.
Roman_Cherkasov
14.04.2026 15:21В серверных все таки и серверов больше и работают они как правило, при близкой к 100% нагрузке.
Okeu
14.04.2026 15:21при близкой к 100% нагрузке.
разве это нормальный режим работы?)
2hoursbeforedawn Автор
14.04.2026 15:21Ну, да. Сервера на то и сервера что расчитаны на отказоустойчивость при высокой нагрузке, в отличии от неттопов и т.д. (нет, это не значит что неттоп сдохнет спустя год непрерывной работы)
Okeu
14.04.2026 15:21я больше про то, что наверное должен быть горячий запас прочности), ну только если вы не торгуете shared ресурсами
Xelld
14.04.2026 15:21А не думали эти лабы собирать в облаках? При вашем бюджете, кажется, можно полгода собирать стенды по требованию и разбирать их через пару дней.
Заодно познакомитесь с облаками и Terraform.
2hoursbeforedawn Автор
14.04.2026 15:21Я и с облаками играю периодически. Но как по мне - собрать стойку и застроить виртуализацию с нуля (а плюсом ради прикола изучить API и подключить к какому-нибудь самописному сайту для "покупки" виртуалок) - гораздо прикольнее чем наблюдать за надписью "VM Creating...Please Wait" на экране не видя даже на чем она запускается. Ну и плюсом - извините, но я крайне не люблю зависимости от чего-либо, буквально все что есть держу в локальных копиях (я из поколения где музыку еще скачивали и слушали с плееров))
Xelld
14.04.2026 15:21Я предложил исходя из вводных, что вы изучаете DevOps. Поддержка виртуализации, всё же, немного другая область :)
Но конечно здорово, что вы учитесь и пробуете, это хорошее качество.
2hoursbeforedawn Автор
14.04.2026 15:21Блин, мне кажется сейчас вообще трудно судя по HH особенно понять кто такой DevOps..по ощущению это все в одном - от железа до CI/CD, автоматизаций.
Но вообще, как по мне с железом так и так интереснее..как конструктор, так и встретить определенные проблемы. Я к примеру как на k3s пробовал запускать проекты с единой точкой отказа (где три сервера держат чисто воркер-процессы, а на 1 и БД и Nginx) - как оказывается, 1гб сеть крайне быстро можно забить при таком раскладе, а решение - объеденить сервера в дополнительную физическую сеть куда вынести к примеру БД и NFS.
Такого VPS/VDS и облака не дают, поэтому и было выбрано железо)Xelld
14.04.2026 15:21мне кажется сейчас вообще трудно судя по HH особенно понять кто такой DevOps
Вам не кажется, это старый мем.
DevOps и SRE трактуют очень разнообразно. Потом получается, что у кого-нибудь SRE смотрит в zabbix 24/7 и будит кого-нибудь, а DevOps ничего сложнее строчек в yaml написать не может.
2hoursbeforedawn Автор
14.04.2026 15:21Я недавно пытался в Green-API устроится, у них тестовое задание - написать мелкий сайт с вызовом API.
Вообще, на сколько понял я - DevOps это "пограничник" между сис.админами и разработчиками, и его цель - автоматизировать процессы так, чтобы разрабы не тащили свой код прямо к сис.админам для выкатки на прод.
Но тут вопрос конечно - а если я хочу работу и с железом, и с CI/CD, настройкой ОС и т.д.? Что это за профессия уже получается?
SimSonic
14.04.2026 15:21HardSoftDevSecGitQaOpsAdmin :)
Вот поддержу, сам такой же, мне тоже всё интересно )
Aquahawk
14.04.2026 15:21У меня сдохло две x9scm-f подряд в домашнем сервере, перешёл на десктопную материнку и два года уже полёт нормальный
x4team_only
14.04.2026 15:21Как я понял общая цена 56к. Можно позанудствую..
За эти деньги можно было взять пару штук minipc(самому собрать) или неттоп на райзене и в каждом 32гб оперативы + видюха 680м или 760м (или что мощнее но 1 штука), это б.у.
Плюсом такой конфигурации можно было бы поставить proxmox и также llm-ки запускать локально
mukca
14.04.2026 15:21именно или ноут какой с такими же характеристиками.
Одни плоюсы - относительно новое железо, мощьное (уж быстрее суммарных этих серверов), маленькое, тихое, мобильное, не гемморойное, нет проблем отказа что железо старое, да еще ликвидное на вторичке или если надоесть играться, то можно использовать для чегото еще
2hoursbeforedawn Автор
14.04.2026 15:21Господа, не спорю - можно и такое решение использовать. Тут нет "правильного" варианта, каждому что понравилось - то и взял. Я мечтал именно о такой мелкой стойке у себя дома)
aik
14.04.2026 15:2156к - это сегодня цена 32 гигов оперативы для миниПК :(
Я в свою супермикру модули ддр3 на 32 гига брал тысячи по четыре, по-моему. Так что, если не волнуют размеры, шум и энергопотребление, старые сервера ещё вполне поживут.
Tirarex
14.04.2026 15:21Плюс поставил, очень рад видеть железо, особенно серверное на хабре!
Но не проще было взять платы TOPC с процессором типа 7945HX, или Minisforum bd895 или 795i на 7945 и 8945 ? Они по тестам в 4-9 раз быстрее чем 1220 V3, (в зависимости от бенчмарка) при этом потребление райзена = 100W под нагрузкой. При желании он вместе с вентилятором от RTX4090 (дада, вентилятор от видеокарты но с рамкой 120мм, он тоньше обычных 25мм вертушек + сильно больше давления и обороты) он без проблем чувствует себя в 2U корпусе! При должной организации охлаждения, можно добиться гробовой тишины даже под половиной нагрузки. А без нагрузки оно ест ватт 20-30 с розетки.
На нем раскручиваем Proxmox, там хоть десяток виртуалок для экспериментов.
2hoursbeforedawn Автор
14.04.2026 15:21Я не спорю, опять же - можно. Но я хотел именно такой вариант, в котором еще и немного апгрейда пихнуть и колхоза можно)
aik
14.04.2026 15:21Они по тестам в 4-9 раз быстрее чем 1220 V3
А по цене?
Tirarex
14.04.2026 15:21В районе 30к рублей за голую плату без памяти.
С 64гб ддр5 памяти уже не так весело но можно переплатить за производительность, тишину, современное железо итд.
aik
14.04.2026 15:21Тут, считай, в 30к вся "лаба" обошлась. Ну, в 50. А у вас только одна нода уже полтинник будет, если вместе с БП и корпусом.
А переплачивать за " производительность, тишину, современное железо " нужно только в том случае, если это действительно требуется.
BlackSCORPION
14.04.2026 15:21Я собирал что то подобное на 1 литровых пк от HP, elitedesk 800 что то там, их можно купить за дёшево на ебее, энтерпрайз сливает их как только кончается 3х летняя гарантия. В них процессоры посвежее, и они тихие.
Древесный шкаф это не пожаробезопасно.
Lucky715
14.04.2026 15:21Распиши, что поднимал, как конфигурировал, что тестировал, какие сервисы на постоянку, какие периодически смотришь?
Какие CI/CD инструменты интегрировал, автоматизацию развертывания, возможно ansible+teraform уже настроил или планируешь, были ли эксперименты с open stack?
2hoursbeforedawn Автор
14.04.2026 15:21Мне кажется это на отдельную статью тянет, постараюсь выделить время. Хотя то что я там вытворяю вам больше покажется какой-то дичью)))
ewill
14.04.2026 15:21Вы молодец, но словно застряли в середине 10-х. Сейчас все эти лабы собираются в облаках. Коммутаторы и другое сетевое оборудование можно пощупать в EVE-NG.
Более того, сама сборка лабы в облаке даст вам актуальный опыт работы в нем.2hoursbeforedawn Автор
14.04.2026 15:21Выше в комментариях уже ответил, но продублирую - цель была именно с железом поработать. Я не спорю что можно тупо VPS напокупать и сидеть, но оно не даст того-же опыта работы как с серверной стойкой.
smart_alex
14.04.2026 15:21За саму идею люто плюсую, но:
Ящик - это реально треш, есть куча готовых классных решений на любой вкус.
Дома втыкать промышленные сервера с их издержками в виде нагрева, ацкого шума и пр. - это не очерь хорошая идея. Есть куча альтернативных тихих и мощных "бытовых" решений (с упаковкой их в 19" 1U размер.
Серверная стойка без локальной СКС инфраструктуры - это как "свадебная пара без невесты" - большая часть удовольствия и удобства от использования отсутствует.
Ну и находиться всё это должно не в комнате, а хотя бы в отдельной вентилируемой кладовке (тут-то нам СКС и пригодится :)
2hoursbeforedawn Автор
14.04.2026 15:21Мне кажется все эти 4 пункта применимы к prod-ready решениям буквально, а тут именно цель была - немного колхозная домашняя лаба. По поводу ящика - он был выбран просто потому что:
1. Дешевле - 1к ящик стоит vs 3-10к в другом городе нормальный шкаф.
2. Даже если брать шкаф, нужно брать рельсы. Ибо вешать на ушки которые шли в комплекте мне лично стремно, есть ощущение что сервера сзади провиснут. Ну а рельсы для серверов такого формата как оказалось стоят почему-то дороже, чем обычные длинные рельсы для серверов с полкой под диски.
Ну и опять же - нагрева нет от слова совсем, как и шума. У меня нет цели на них 100% нагрузку 24/7 держать и т.д. - это именно хоум-лаба для изучения и возможно каких-то моих личных сервисов.
AlexNixon
14.04.2026 15:21нормальная хоумлаба, плюсую)
у меня, например, подход еще более колхозный - китайские киты на х79/99 с ксеонами, купленные на озоне, как минимум два работает 24/7 уже года два или три, еще из одного сделан гамерский пека (современное ААА в 4К мне не нужно, а для остального за глаза). Полет пока нормальный и прям максимально бюджетный поход)
2hoursbeforedawn Автор
14.04.2026 15:21Тоже не плохое решение, скажу я вам)
Правда мне кажется тут срач начнется по x99/x79 из-за архитектуры которая сейчас вопросы вызывает по актуальности. Хотя сам также сижу на ПК x99 (был выбран из-за дешевизны и наличия): Xeon E5 2650v4, XZ-X99D4M4, GTX1060 6GB, 16GB DDR 4.
Опять же, хоум-лаба на то и хоум лаба - для кого-то просто микро-сервисы запустить для дома по типу Jellyfin и т.д., для кого-то вроде меня - площадка дабы поучиться чему-то и возможно разрабатывать что-то свое.
vagon333
14.04.2026 15:21Как-то у вас все красиво и организовано.
Посмотрел на свой колхоз и нашел себе оправдание: Зато тихо. :)
7 Dell Precision и один старичок Asus затесался.
У всех от 32 до 128 GB RAM.А как вы всем этим железом управляете?
Proxmox or VMware?
Вопрос не праздный.
После сотен часов в терминале я написал решение, которое объединяет в браузере чат-бот и SSH терминал.
Теперь подключаю удаленный сервер через SSH и наговариваю в чат-бот хотелки.Домашний колхоз
2hoursbeforedawn Автор
14.04.2026 15:21В ближайшее время подготовлю обширную статью, где постараюсь рассказать обо всем)
aleksannikit
14.04.2026 15:21Я так понимаю сервера 24/7 запущены? И сколько суммарное потребление в Вт?
2hoursbeforedawn Автор
14.04.2026 15:21Да, верно. Потребление при нагрузке 100% всех четырех серверов в среднем было около 380W включая коммутатор (по информации от ИБП).
sheft
бедные железки... их ждёт недолгая жизнь и ужасная кончина от постоянного перегрева... но возможно автор выкинет их раньше с балкона из за дикого воя спаренных 40мм высокооборотистых вентиляторов..
Фото можно сохранить в недрах интернета, с назиданием потомкам - как делать не надо!
2hoursbeforedawn Автор
Кульки обслужены (вымыты и поменяны подшипники) как и все серваки (термопаста, термопрокладки) и вообще толком не шумят..а по темпам вот с beszel график одного из самых нагруженных серверов за 24ч (в среднем 40-60%):
aik
А откуда перегрев? Это же вполне штатное расположение серверов, фронт и тыл открыты - значит охлаждение работает как задумано. И шума, если сервере не молотит на сто процентов, не так уж и много. Я недавно как раз покупал стоечную супермикру - и она оказалась на удивление тихой. Не уровня спальни, само собой, но в прихожей вполне мог бы поставить.