Потому я не буду тут расписывать то, как я прикручивал материнку и какой термопастой мазал процессор. А пройдусь по некоторым вопросам совместимости железа, охлаждению, энергопотреблению и прикручиванию в корпус пары-тройки непредусмотренных там вещей.
Предыдущие части:
Процессор
Хотя Ryzen 7 1700 у меня завёлся после отката биоса с магазинного на предыдущую версию, работал он нестабильно, зависая в случайные моменты. Но чаще всего это происходило во время долгой работы rsync'a. Я мог десять часов копировать файлы в mc, krusader'е или заливать по сети — и ничего не происходило. А стоило запустить копирование rsync'ом между локальными дисками — и через 3-4 часа компьютер молча зависал.
Возможно, это была неполная совместимость процессора с материнской платой (всё же он официально не поддерживается), а возможно — проблема ранних райзенов при работе с линуксом. Если второе — то оно частично исправлялось некоторыми настройками питания в BIOS'е, но окончательно не уходило.
Но что проблема была в процессоре — это точно. Я переставил сюда Ryzen 5 3600X со своего десктопа — и компьютер заработал без каких бы то ни было проблем, ни единого разрыва.
Но 3600X всё же довольно горячий процессор, плюс шестиядерник, а я уже нацелился на восемь ядер. Потому удалось договориться об обмене 1700 на 3700, под Windows этот 1700 (на материнке с официальной поддержкой 1700) пока работает без проблем. Как и 3700 у меня. А 3600Х пойдёт обратно в домашний десктоп.
Охлаждение
Я писал, что некоторые башенные кулеры (включая мой) на этой материнке придётся ставить так, что вентилятор гонит воздух в потолок корпуса, а не в заднюю стенку. Но, учитывая то, что корпус почти весь состоит из вентиляционных отверстий и позволяет вешать вентиляторы в любом месте, я просто повесил наверх 140мм вентилятор, чтобы он «подхватывал» воздух от процессорного кулера и выкидывал его наружу через отверстия в потолке.
Хотя вообще-то процессор и так практически не грелся. Я отключил авторазгон процессора, ограничив его базовой частотой в 3600. На этой частоте мне не удалось его разогреть выше 50 градусов стресс-тестом AIDA64 — а она хорошо процессоры греет. Может и не самая тяжелая работа, но ненамного отстаёт от prime95 или occt.
Жестким дискам я пока повесил два вентилятора, 120мм на переднюю стенку и 140мм на заднюю. Температуры дисков под нагрузкой в пределах 40 градусов — но и лето пока не началось. Если будет жарко — добавлю ещё один 120мм на переднюю стенку. А может и просто так повешу, когда появится лишний.
Все родные корпусные вентиляторы были трёхпиновыми, потому я их выкинул и заменил на четырёхпиновые. Встроенный в корпус переключатель скорости вентиляторов не использую.
Энергопотребление
Приблизительно измерил энергопотребление от розетки. Приблизительно — потому что это базовая конфигурация, в перспективе прибавится ещё жестких дисков, видеокарта и т.п. Пока же — Ryzen 3700@3.6GHz/32GB RAM/2xSSD, 6xHDD.
- Компьютер выключен, воткнут в розетку, работает IPMI и свитч — 4-6 ватт.
- При включении пиковое потребление — 120 ватт.
- После загрузки, ничего не запущено, кроме самой ОС, все жесткие диски крутятся — 70-73 ватта.
- Запущен массив, одна виртуалка, пара контейнеров — на холостом ходу, без активной работы — 80-83 ватта.
- Проверка парити — 90-95 ватт (активность — чтение на все жесткие диски)
- Стопроцентная нагрузка на все ядра — стресс-тест аиды плюс проверка парити — 120-125 ватт.
- На холостом ходу, когда все диски остановлены — 42-43 ватта.
- Три раскрученных диска — скорее всего, стандартное состояние будет — около 50-55 ватт.
Для сравнения — Microserver с Xeon'ом E3-1265L потреблял примерно 70 ватт на холостом ходу (диски крутились, но их было 4+ssd) и в районе 110 под полной нагрузкой.
Конечно, это не NAS на ARM или шестиваттном целероне, но я знал, на что иду. В перспективе энергопотребление ещё подрастёт — когда добавлю ещё пару-тройку дисков, видеокарту, 10 гигабит. Думаю, что в пике может вырасти раза в полтора. Но реальное потребление будет ощутимо меньше, потому что под 100% загрузкой система нечасто работает.
Для простоты подсчётов, я считаю среднее потребление сервера за 100 ватт. По нынешним расценкам выходит около 300 рублей. Это, конечно, заметная часть семейных расходов за электроэнергию — я 1000 рублей плачу в месяц. Но в общей сумме «расходов на IT» — интернет, мобильники, всякие подписки, облака, белогривые лошадки — эти 300 рублей составляют не такой уж и большой процент. По крайней мере, это не то, с чего я буду начинать экономить, если возникнет такая необходимость.
Всякие аддоны и колхозинг
SATA-контроллер
Мне не хотелось тратить один из трёх слотов PCI-E на контроллер, потому, когда узнал о существовании SATA-контроллеров в слот M.2, сразу себе заказал. Поскольку мне пока не нужны скорости NVME-дисков и я вполне обойдусь SATA'шными SSD, поменять один из двух M2 на 5 SATA я решился без вопросов.
Здесь я в подробностях о контроллере рассказывать не буду, кому интересно — писал отдельный обзор на mysku.
Если вкратце, то работает. Заявленная максимальная скорость передачи данные — 1600-1700 мегабайт/сек. Достигается только в слоте gen3 x2. В слоте gen2 x4 работает на половинной скорости. Все пять портов работают, драйверов не требуется, грузиться с контроллера можно, TRIM на SSD поддерживается, во время работы заметно не греется, светодиоды зелёные. Так что вполне можно покупать и использовать, если требуется что-то подобное.
У себя я его всё же поставил в слот gen2 x4, где он работает на половинной скорости — до 900 МБ/сек. Но я планирую подключать к нему только жесткие диски второй корзины — и на четыре HDD этой скорости хватит с запасом. Пятый порт пока резервный. Первая корзина и SSD подключены напрямую к материнке.
Сеть
Там, где у меня стоит сервер, нет отдельного свитча, а стоит только пятипортовый роутер. Два порта — провайдеры, один порт идёт к телевизору, один порт — к свитчу на моём рабочем месте и в последний порт подключался сервер. Хоть у микросервера было две сетевых платы, я использовал только одну. ILO я тоже настроил так, чтобы оно работало через основной сетевой контроллер, а не через свой собственный.
Нынешняя материнка так не умеет, ей подавай на IPMI отдельный кабель. Но ставить ещё один свитч мне не хотелось, потому я взял маленький пятипортовый свитч, прикрутил его внутри корпуса, запитал его от БП сервера, подключил к нему материнку тремя короткими патчкордами, а четвёртый воткну в свободный порт на роутере.
В будущем конструкцию переделаю — роутер побольше куплю или отдельный свитч на антресолях заведу, но пока поработает так. Пропускную способность не теряю — всё равно сервер висел бы на одном порту роутера.
USB
На материнской плате всего четыре USB-порта — два сзади, два на материнке — под подключение передней панели. Поскольку unraid грузится только с флэшки, один из портов пришлось бы «потратить» на неё. Но мне хотелось все внешние порты сохранить свободными. Потому купил на али пару переходников, простенький хаб и приколхозил его внутри корпуса, подключив к нему передние порты. А загрузочную флэшку воткнул в первый переходник — напрямую в материнку.
Переходник:
Хаб. Тут в перспективе планируется вентилятор, но, думаю, можно будет провода разместить так, чтобы они туда не лезли.
Да, у меня теперь четыре порта подключены к одному, но я сомневаюсь, что мне нужна будет полная пропускная способность USB на все эти порты сразу. Хаб пристроил в отсеке с жесткими дисками, чтобы был к нему доступ при необходимости, всё же там два порта осталось, можно какой-нибудь донгл воткнуть.
Конечно, идеально было бы заиметь именно внутренний хаб, типа Sabrent'a:
Но их нигде нет, цена довольно высокая, а у китайцев я подобного не нашел. Видел только аналогичный на usb2.0 от nzxt.
Update по USB: похоже на то, что кабели на переднюю панель слишком длинные получились, хаб не может нормально обеспечить питанием жесткий диск. При прямом подключении всё работает, а вот если к передней панели подключать, до диск раскручивается и в системе видится, но при попытке его подмонтировать хаб подвисает и приходится перетыкать. Надо будет всё же попробовать к нему внешние питание подключить и подумать в сторону уменьшения длины кабеля до передней панели.
В общем, идея рабочая, а техническое исполнение прихрамывает. Флэшки работают, впрочем.
Укладка кабелей
Сперва стеснялся показывать, но всё же решился. Корпус, в силу своей конструкции, не особо приспособлен для красивой укладки кабелей, но и всё в комок скручивать и пихать под корзину с жесткими дисками не хотелось.
Потому купил пару сорокасантиметровых кабелей питания SATA для БП на 4 разъёма. Родные кабеля метровые и там только 2sata+molex+fdd и 3sata+molex. А эти идеально подошли к корзинам, при этом длина вполне достаточная, чтобы спокойно вынимать корзины из корпуса.
И для тех же жестких дисков купил на али полуметровые SATA-шлейфы на четыре устройства. Они занимают гораздо меньше места, чем восемь обычных кабелей. Для SSD на передней панели использую два обычных шлейфа.
Отсек с материнкой. 140мм вентилятор встаёт близко к памяти, но при этом её не блокирует. На дне есть ещё пара установочных мест под жесткие диски, а у меня три свободных SATA. Так что рано или поздно тут что-то появится. Кабель питания материнки получился почти внатяг, но именно что почти — немножко свободы есть подключать и отключать можно спокойно. Конечно, можно было бы пустить его через большое отверстие сбоку, но я всё же предпочёл так. Кажется аккуратнее и не пересекается с SATA.
Отсек до подключения жестких дисков. Болтаюся SATA-шлейфы для корзин, на задней стенке по диагонали идёт восьмипиновый кабель на материнку, к нему пристриповано питание на свитч. Он питается от одного из родных кабелей питания БП (который 3sata+molex). От него же запитаны SSD на передней панели — благо кабель длинный. Излишки скрутил и зафиксировал на дне одной из штатных стяжек (второй закреплён USB-хаб).
Отсек с жесткими дисками. Не идеально аккуратно, но гораздо лучше того клубка, который был с временным блоком питания (не модульным) и обычными SATA-шлейфами.
Жесткие диски над блоком питания. По отзывам я думал, что SATA-кабеля там на излом пойдут — но получилось вполне нормально.
Конечно, можно было бы сделать аккуратнее, но мне требовалось оставить возможность спокойно вынимать корзины с дисками и вообще копаться в корпусе без того, чтобы каждый раз резать кучу стяжек.
Финансовое
Не буду расписывать по пунктам, но, учитывая все провода и вентиляторы, сервер мне обошелся примерно в 65 тысяч при запланированном бюджете в 50 тысяч.
Учитывая проданный Microserver и скидку в знакомом магазине, живыми деньгами я заплатил тысяч 10-15, что считаю очень выгодным вариантом за переход с Xeon E3-1265L/16GB на Ryzen 7 3700/32GB. Особенно учитывая, что из Xeon'a уже ничего нельзя было выжать, а у Ryzen'а достаточно велики возможности дальнейшего расширения. Я не учитываю тут стоимость unraid, потому что это отдельная статья расходов. Вполне можно было бы на это железо поставить любую другую ОС.
В следующей части будет про использование unraid — как именно я заменил функциональность старого сервера, какими программами.
Комментарии (90)
martinok
23.01.2022 09:45У меня похожее железо:
Корпус Fractal Design Node 804, мать ASRock Rack x470du, процессор AMD Ryzen 2700, блок питания CHIEFTRONIC PowerPlay GPU-550FC, парочка HDD Toshiba MG06 8Tb, парочка SSD NVMe SAMSUNG M.2 970 EVO Plus 500 Гб под кеш.
Понравилась задумка свитч внутри корпуса спрятать, там места действительно хватает.
В будущем планирую видеокарту добавить для транскодирования через Plex. Пока осваиваю докеры Nextcloud + NGINX + Postgres.
Все для меня новое и неизученное, но потихоньку думаю разберусь.
aik Автор
23.01.2022 09:47Кстати, для тех, кому мало штатных посадочных мест под жесткие диски — народ колхозит корзины для отсека с материнкой — ставит их на дно и подвешивает под потолок. Ещё 4-5 3.5" дисков можно пристроить.
icCE
23.01.2022 14:01Я 4 года назад отказался от этого корпуса в итоге. HDD сильно уходят в резонанс и их слышно. Дальше понял, что именно как NAS мне такая мат плата не нужна и надо брать Mini-ITX . Как вариант плоский корпус и выносить HDD отдельно, да бы карзин сейчас продают навалом. До этого использовал HP Gen8, но все те же беды.
aik Автор
23.01.2022 14:08Да я пока какого-то резонанса не заметил, да и диски через демпферы стоят — должно помогать. А вот что 6-8 дисков тихими не будут — это точно.
А ITX мне не хватит, нужны видюшка и 10 гигабит. Конечно, можно было бы поискать ITX с десятью гигабитами на плате, но тут ценник за одну только материнку улетает куда-то в сторону полтинника.Exchan-ge
23.01.2022 14:59+1А вот что 6-8 дисков тихими не будут — это точно.
Зависит от корпуса.
У меня Lian Li PC-V2010B, в корпусе стоит 12 дисков (не считая системного SSD) и четыре вентилятора (правда, все вентиляторы от Noctua :), не считая процессорного (тоже, правда, от Noctua :)Корпус
Схема расположения дисков
Вся система работает очень тихо, настолько, что можно поставить системник в изголовье дивана/кровати и спать спокойно в то время, когда комп перезаписывает одну половину дисков на другую половину :)aik Автор
23.01.2022 15:14Разве что шумоизоляция корпуса хорошая.
У меня антек Р180 был с толстыми стенками.
Точнее, и сейчас есть — на балконе вон стоит, но я из него во что-то меньших размеров решил переехать — благо винтов в нём давно уже нет, только SSD.
А node804 состоит из вентиляционных отверстий, потому с шумоизоляцией у него вообще никак. Вентиляторы у меня be quiet и scythe, их не слышно. А вот винты когда все сразу работают — их слышно хорошо. Не ужасно, спать я могу, когда сервер в двух метрах от кровати (а он сейчас именно тут стоит, остались некоторые финальные штрихи перед отправкой на антресоли). Впрочем, диски на ночь я всё же предпочитаю останавливать.
icCE
24.01.2022 11:39Виброразвязка не всегда спасает, делает лучше но проблематика остается. Сам ты можешь не заметить этого эффекта , а вот hdd да. Ну и новые с SMR записью еще более нежные в этом плане. Уже от 4 дисков желательно начинать, что то думать Ну и технологии типа RAFF и RVS были не просто так придуманы.
Сам для дисков использую Scythe Himuro.
sim2q
24.01.2022 02:32А я не кручу диски уже много лет, используются редко, какие-то раз в неделю могут всего раскрутиться. Часто бывает что samba берёт из кеша и диск даже не трогает (это конечно касается больше листинга директорий).
Это взвешенное решение. Много читал о том, что ДЦ при падении часть дисков просто не поднимаются и тд. Также у меня адаптивное охлаждение, что не сильно даёт прыгать температуре при start/stop (что сказывается на механике как я понимаю, да и разогрев/охлаждение электроники на самой плате - не полезно). Ну главное конечно - шум и вибрация. Да потребление тоже не маловажно, хотя больше психологически, что что то там крутится когда не нужно:)icCE
24.01.2022 23:15Думаю это частный случай. Лично у меня все на дисках, а он уже по 10gb оптики с пекарней. Резервная копия на лентах, но конечно я тутвыборка такая себе и я это понимаю =)
loltrol
23.01.2022 22:28Если есть винт лишний и видео не много, лучше вместо транскода в фоне сразу закодировать под нужные платформы и девайсы. Так себе под ps4 и старенький планшет после закачки прямо на цпу молотил видео. Вышло дешевле по енергопотреблегию сильно.
Clubber_77
23.01.2022 10:07Про укладку кабелей - прям в больное место. Ни у одного корпуса для кастомной сборки NAS нет продуманного варианта. Оно и понятно, вариантов комплектующих тьма, всего не учесть, но блин нет даже намека на то, что кто-то об этом пытался думать.
Надесю у меня дойдут руки выпаять все лишние косы в блоке питания, и нарастить кабели там, где это требует ситуация.
aik Автор
23.01.2022 10:45Конкретно здесь удобства бы добавили несколько точек для крепления стяжек на перегородке — тогда не пришлось бы кабель по диагонали пускать.
Ну и модульные БП всё же здорово добавляют возможностей в данном вопросе, особенно если выбор кабелей имеется, как у be quiet.
linotex
23.01.2022 11:01+3А я поленился что-то собирать и купил Dell R510 для дата стореджа. Установил его в 8-ми юнитовую стойку вместе с сетевым оборудованием. Вроде норм получилось
Nagisa
23.01.2022 11:11+1посмотрел и могу сказать, что автор поторопился, причем сильно. итак приведу рабочий пример конфигурации которым пользуюсь давно:
HP DL360G5 цена тушки с какими-то процами и небольшим размером оперативки - 3-5тыр
апгрейт процов на максимальные для этой серии - 2600р за пару X5460 (процы прекрасно тянут plex и прочие задачи)
апргейт оперативки до максимума 64GB (8х8GB) 7500р
контроллер 6400 - 700р
пару дисков для ОS - 72GB - 1000р
кабель к полке - 1000р
теперь хранилище:
полка MSA20 - 5-10тыр
12шт 2ТБ HDD 54тыр
итого за ~80тыр получаем домашний сервер с хранилищем 20ТБ RAID6
причем к одному DL360G5 можно зацепить максимум 4 полки - те 80ТБ
ps: ну и все диски hot-swap, а не тут где все надо выключить, разобрать....
aik Автор
23.01.2022 11:13+1Размеры, энергопотребление, шум?
И все разбирать на нужно, стенку снял да корзину вынул. Корпус дёргать не нужно.
Хотсвапность мне не нужна особо.Nagisa
23.01.2022 11:37это стандартные стоечные железки:
DL360G5 - 1U
MSA20 - 2U
потребление - DL360G5 - судя по мониторингу Present Power: 274 Watts
у полки все определяется потреблением винтов
> стенку снял да корзину вынул
и предварительно выключил сервер ....
да, совсем забыл сказать у HP есть огромный, просто офигенный плюс относительо любого самосбора - iLO
те можно управлять/наливать сервер не подходя к нему, не цепляя к нему ни клаву, ни мышку, ни монитор!
shadrap
23.01.2022 11:51+1уж лучше тогда G6 брать , они идут с 8-беевыми слотами под диски , мне кажется для дома , больше и не нужно , даже если в зеркало. Одна неприятность - это 20 кг метр на полметра и шум истребителя на взлете при нагрузке , такой конструктив дома тяжело пристроить , плюс еще УПС... а если ставить вертикально нарушается термо-циркуляция и он воет совсем не детски...
В остальном конечно от сервера НР одни плюсы , дешевый, надежный ,сваповость в т.ч. по питанию, Ило тот же.. - идеален для небольшого офиса.
Nagisa
23.01.2022 11:58G6 тоже можно брать, у меня они тоже есть. но есть ньюансы
воткнуть туда 8 дисков не просто - нужен расширитель, те если нет штатно считай пропало - он стоит сильно неприличных денег.
максимум по оперативке - 192ГБ что определенно большой плюс (350$ цена вопроса)
процы -доступный максимум X5670 за 2.5тыр за пару
шум только при запуске, далее он тихий. но причем тут шум ? никому же не придет в голову ставить сервер в спальне ?
к G6 не получится дешево подключить MSA20.
shadrap
23.01.2022 12:20шум при хорошей нагрузке очень ощутимый , не такой конечно как при старте, но сидеть с ним рядом в течении дня , не возможно. Есть вариант перестроить допуски системы охлаждения - опять же очень удобная у НР функция, но до определенного момента
вот же G6 - левый, все что мне попадались наверное были с расширителями. Я так понимаю это сливы - вторичка с провайдеров.
0x131315
23.01.2022 17:33+1Да, шум у серверного железа это что-то. Как-то взял себе одну серверную приблуду, там была 8 сантиметровая вертушка на 4000 оборотов, которая в силу особенностей железки по большей части не работала, но иногда могла по 12 часов подряд молотить на 2000 оборотах. Так вот этот шум слышно было в любой точке квартиры, от него болела голова.
Теперь знаю что это такое и почему не стоит в квартире собирать сервер именно на серверном железе: не всегда там можно обеспечить хорошую продуваемость тихими вертушками, а с таким шумом вообще не вариант жить, под такое железо нужно отдельное нежилое помещение.
Alexsey
23.01.2022 18:35+1Теперь знаю что это такое и почему не стоит в квартире собирать сервер именно на серверном железе
Серверное железо разное бывает. Самосбор на серверной ATX/E-ATX матери с охлаждением от Noctua не будет слышно от слова совсем.
aik Автор
23.01.2022 11:58274 ватта, плюс полка с 20 винтами — ещё 150 ватт примерно. Плюс 3u по размерам. Плюс соответствующее охлаждение. И нахрена мне такие радости дома?
выключил сервер
Не критично. Не очень приятно, но у меня нет дома таких сервисов, которые не выдержали бы получасовое отключение.просто офигенный плюс относительо любого самосбора — iLO
И чем оно так сильно лучше IPMI?можно управлять/наливать сервер не подходя к нему, не цепляя к нему ни клаву, ни мышку, ни монитор!
Это всё я и с IPMI могу. Ну разве что кроме «наливать» :)Nagisa
23.01.2022 12:38> 274 ватта, плюс полка с 20 винтами — ещё 150 ватт примерно. Плюс 3u по размерам. Плюс соответствующее охлаждение. И нахрена мне такие радости дома?
у меня 274Вт это - 2 проца 4ядра, 6 винтов SAS 300GB , 64GB оперативки и все это сейчас работает, а не курит бамбук.
откуда идея, что в вашем решении меньше ? процы / оперативка / винты ничего не кушают ? приведите график энергопотребления ... ах совсем забыл, что IPMI этого не умеет.... и много другого тоже
> Это всё я и с IPMI могу. Ну разве что кроме «наливать» :)
рука-лицо. без обид, но IPMI до iLO как до луны пешком.
я не собираюсь устраивать тут дискурсию о пользе/вреде самосбора, но готовый сервак от HP с его энтепрайз наворотами лучше и удобнее любого самосбора и это просто факт с которым бесполезно спорить. у меня вот остался последний самосборный сервер - и он весной тоже поедет на G6 c 2x X5670 +192GB RAM.
если говорить о шуме и прочем, я уже говорил - никто в здравом уме никакие сервера в спальню не ставит. у меня отдельная серверная, на старой квартире это была хрущевская кладовка, сейчас вообще полноценное помещение. охлаждение идет на лоджию и помогает сушить белье и отапливает ее для цветов зимой. ничего не пропадает, все идет в дело.
Anrikigai
23.01.2022 13:01+2То, что 'ynthghfqpysq сервак лучше самосбора сомнений не вызывает.
Только мне кажется, что при сравнимом "поколении" (условный термин) цена его будет ощутимо выше.
Если же покупать "списанный", то как минимум энергопотребление, шум, размеры сделают его мало пригодными для домашнего использования.
А если совсем упереться в "поколение", то немудрено и на другие ограничения попасть. У меня, к примеру, валяется IBM x3550, так я даже ESX нормально накатить не могу поиграть с Tanzu. Процессоры старые, 7.0 их уже не поддерживает.
aik Автор
23.01.2022 13:42+1То, что 'ynthghfqpysq сервак лучше самосбора сомнений не вызывает.
«Не всё так однозначно».
Есть куча разных переменных, в зависимости от которых оценивается «лучшесть» конкретного решения. Нахрена мне, допустим, болид формулы1, если на нём невозможно ездить по городу, жрёт кучу топлива и не влезает в имеющийся гараж? Хотя, конечно, вершина технологий, разгоняется до 100500 км/ч и всё такое.
aik Автор
23.01.2022 13:25+2откуда идея, что в вашем решении меньше ?
Потому что я измерил это энергопотребление?совсем забыл, что IPMI этого не умеет… и много другого тоже
Так чего именно IPMI не умеет-то? Ну, кроме наливать. Вы изначально только про удалённое управление говорили.
На счёт измерения энергопотребления — зависит от конкретной материнки. Моя не умеет, похоже — по нулям инфу выдаёт.рука-лицо. без обид, но IMPI до iLO как до луны пешком.
У меня шесть или семь лет стоял дома сервер с ILO. Я туда заглядывал реже раза в год. Так что вся эта луна мне не нужна оказалась. Я бы не страдал, если бы на новой материнке IPMI не было — мне несложно подключить к серверу монитор, благо это требуется реже раза в год. Так что при выборе нового железа в списке требований не было ни ILO, ни IPMI — это для меня приятная, но не обязательная плюшка.готовый сервак от HP с его энтепрайз наворотами лучше и удобнее любого самосбора и это просто факт с которым бесполезно спорить
Сильно зависит от предъявляемых требований. Нахрена мне вся эта энтерпрайзность, если она шумит на всю квартиру, жрёт как не в себя и на антресоли не лезет, где сервер стоять должен?у меня отдельная серверная
У меня нету помещения под отдельную серверную. У меня есть полка на антресолях, куда надо влезать. И под нынешний-то корпус там кое-что отпилить придётся. А при попытке сунуть туда стоечные корпуса они будут торчать наполовину — если полка вообще под их весом не рухнет.
Так что вы мне предлагаете более дорогое, более энергопотребляющее, более шумное и занимающее сильно больше места решение ради чего? Только ради того, чтобы ощущать себя причастным к энтерпрайзу? Спасибо, не надо. Для этого у меня работа есть.
IsNoGood
24.01.2022 12:45Моя не умеет, похоже — по нулям инфу выдаёт.
Для отображения потребления обычно нужен БП с поддержкой PM-BUS, и подключение его к соответсвующему БП на материнской плате.
Установка ОС через BMC тоже обычно вполне себе работает.
aik Автор
24.01.2022 13:13+1нужен БП с поддержкой PM-BUS, и подключение его к соответсвующему БП на материнской плате.
Разъём-то на материнке есть, а вот найти бытовой БП с такой фишкой маловероятно, как мне кажется. Хотя вроде у некоторых производителей были свои аналоги, у корсара того же.Установка ОС через BMC тоже обычно вполне себе работает.
Касательно мой материнки — там в районе 2-3 мегабайт/сек ограничение по скорости на подключенные по сети ISO, потому, если ставится какая-нибудь винда, может быть проще дойти до сервера и воткнуть в него диск или флэшку установочную.
icCE
23.01.2022 14:06```Это всё я и с IPMI могу. Ну разве что кроме «наливать» :) `` Если такое дома ВДРУГ надо, всегда есть многострадальный AMT на Q чипсетах и у AMD что то в том же духе.
aik Автор
23.01.2022 14:11У интела, по-моему, не всё так просто было с удалённой консолью.
icCE
24.01.2022 11:31Да все нормально там. Один из моментов относительно недавних с новыми прошивками (и завист от производителя) , что нельзя использовать без монитора. Ставится тупо заглушка. Я не отрицаю , что ilo,ipmi и другие подобные вещи интересны, но часто дома просто не нужны.
aik Автор
24.01.2022 11:42+1Я не отрицаю, что ilo,ipmi и другие подобные вещи интересны, но часто дома просто не нужны.
И я примерно про то же. Я не против наличия встроенной в материнку консоли, но вполне могу и прожить без неё, ибо она обычно нужна только для первоначальной установки ОС, а дальше уже вполне хватает ssh, rdp и т.п. В самом крайнем случае можно подключить монитор или достать сервер с антресолей.
Но некоторые тут считают, что даже дома обязательно должна быть серверная, стойка, сервер с СХД — ну и обязательно с ILO, потому что IPMI чего-то там не может настолько важного, что пользоваться им после этого невозможно.
Roman2dot0
23.01.2022 15:51Да, ILO хорошая вещь, вот только до G7 (где появился NET клиент для винды), пользоваться этим на современной ОС решительно невозможно. У меня есть несколько hp 360 g6, пришлось в отдельную винду ставить джава 6, чтобы хоть какой-то доступ к консоли иметь.
Уж лучше g7 (не намного дороже), а ещё лучше g9 (эти и перезагружаются за минуту, но значительно дороже).Nagisa
23.01.2022 16:13ну проблема преувеличена
если винда7 - там штатный IE прекрасно работает с iLO
если 10ка- ставим старый FF (53й к примеру) в отдельный профиль и все дела
ps: и javа новая, тут нет проблемы, надо просто прописать исключения по ip адресам
lex899
24.01.2022 19:21Ваша сборка хороша и имеет право, но кмк стоит учитывать ряд моментов.
HP DL360G5 - 3-5тыр
полка MSA20 - 5-10тыр
Возможно я не силен в гугле, но таких низких ценников найти не могу. Ну и давайте не забывать что оно будет очень сильно БУ и с ограниченной гарантией, проработает возможно еще 30 лет а может нет и тогда вопрос доступности запчастей.
X5460 (процы прекрасно тянут plex и прочие задачи)
Основное преимущество - цена. Для хранилки/шлюза не принципиально, для виртуализации или видео - проц 2007 года я бы не взял.
Главный вопрос шум - не у всех есть возможность изолировать полноразмерную стойку в
сервернойкладовке/гараже а у некоторых еще и очень чуткий сон.Я наверное что-то делаю не так, но диски дома меняю без выключения и в корпусе без hot-swap, энергопотребление смотрю на UPS да и host систему на домашнем серваке ставил 1 раз; на работе iLo/IPMI не пользовался с момента установки системы. Иметь корзину/iLo/ECC/dual psu хорошо, но гнаться за этим дома?...
Nagisa
25.01.2022 22:11смотрите различные барахолки
реально можно взять и дешевле, просто цены плавают
вот к пример G5 за 3тыр https://www.avito.ru/omsk/tovary_dlya_kompyutera/server_hp_dl-360_g5_2243089426
msa20 - тоже 3тыр
салазки +1тыр если пошариться
> Основное преимущество - цена. Для хранилки/шлюза не принципиально, для виртуализации или видео - проц 2007 года я бы не взял.
конечно, это старое железо но для многих бытовых задач plex/файлопомойка и прочее прекрасно тянет
> Возможно я не силен в гугле, но таких низких ценников найти не могу. Ну и давайте не забывать что оно будет очень сильно БУ и с ограниченной гарантией, проработает возможно еще 30 лет
чисто из опыта, на G5 возможен единственный дефект - 4 конденсатора (электролита) вспухают и требуют замены. (даже если сам не можешь поменять - в мастерской по ноутам поменяют. цена вопроса 1тыр )
шум, это уже вопрос желания что-то делать, imho. если уж в хрущевке можно найти место то в нормальной квартире тем более. да и если держать сервера в жилой части - потом замучаешься чистить их от пыли.
> Иметь корзину/iLo/ECC/dual psu хорошо, но гнаться за этим дома?...
см выше - это дешево и доступно.
Chupakabra303
23.01.2022 12:41Кому покомпактней хочется.
aik Автор
23.01.2022 13:31У меня с подобным колхозом возникают опасения на счёт температурного режима, что бы там хозяин колхоза не заявлял. Просто крутиться они могут и на 30 градусах, но вот если пойдёт активность, да ещё сразу на несколько дисков?
NikaLapka
23.01.2022 12:42-2Я заметил, что люди занимающимся таким обычно делятся на два типа: первые колхозят из того что было и смотря на это ты думаешь: "это его дело, лишь бы потом ко мне не лез - "у меня не работает, или дай денег" и разумеется расчитывать на такого человека я не буду, т.к. здравый смысл шепчет -"ну его нафиг, обходим стороной".
И второй тип людей, которые например, покупают всего 1 ssd, но сразу на 500-1000Гб, со словами, а как же иначе, что за глупость сейчас покупать диск на 128-256 или несколько ssd, они так же покупают всего 1-2 hdd на 2-4-6 Тб со словами, мне хватит, а главное у меня к этим дискам ещё остаётся 10-20 тыс руб, чтобы полностью заменить их через год-два если вдруг что случится. Люблю таких людей - сдох БП, они не ремонтируют у знакомого с паяльником, а покупают новый, и тебе не приходится объяснять им, что "не поставлю я ваше оборудрование со следами ремонта, правила, закон запрещает".
aik Автор
23.01.2022 13:37+1«это его дело, лишь бы потом ко мне не лез
А причём тут вы?покупают всего 1 ssd, но сразу на 500-1000Гб, со словами, а как же иначе, что за глупость сейчас покупать диск на 128-256
Вы это так говорите, будто покупка терабайтного ссд — это большое достижение. У меня в этом сервере стоят два ссд по терабайту, к примеру. И?тебе не приходится объяснять им, что „не поставлю я ваше оборудрование со следами ремонта, правила, закон запрещает“.
Кому это закон запрещает отремонтированное оборудование дома использовать?NikaLapka
23.01.2022 14:15-1Дело в том, что если человек что-то делает, пускай и из хлама, то это лично его хобби, и окружающим нет никакого дела, пока он не начнёт создавать им проблем.
А про ссд, диски, лично моё мнение, что лучше купить 1 хороший диск + оставить на руках такую же стоимость денежек, чтобы заменить его через год-два(аналогично со всеми комплектующими), чем покупать 2-3 "недомерка" или максимальное количество на все деньги, а потом в попыхах чесать голову, когда "что-то глючит, и где взять деньги на новый".
>Кому это закон запрещает отремонтированное оборудование дома использовать?
Например, ипотечный кредитный договор.
aik Автор
23.01.2022 14:42+1Дело в том, что если человек что-то делает, пускай и из хлама, то это лично его хобби
Ну так вы-то тут причём? Почему он к вам пошел деньги просить?лучше купить 1 хороший диск + оставить на руках такую же стоимость денежек, чтобы заменить его через год-два(аналогично со всеми комплектующими)
Как уже сказал — не у всех есть такая возможность. Потому я лучше буду использовать, что есть на руках, потратив небольшую часть суммы на защиту данных. А не менять всё железо каждые пару лет.Например, ипотечный кредитный договор.
А давно у нас ипотека в закон превратилась?
Ну и, насколько знаю, ипотека разве что на перепланировку квартиры ограничения накладывает. Про ограничения на использование отремонтированных телевизоров, к примеру, я никогда не слышал.
Dukat
23.01.2022 15:32Может, спецы по железу подскажут.
Есть ли варианты обрести более двух слотов SATA-III с ЦП i7-3770, т.е. на сокете LGA1155? У меня сейчас плата P8Z77-V-LX. Допускаю возможность её замены, но только с сохранением того же ЦП.
aik Автор
23.01.2022 15:43+1Может в сторону контроллера отдельного посмотреть?
Потому что из чипсета больше не выжать в этом плане.
1dNDN
24.01.2022 02:00+1У ивиков чипсет больше, чем в две SATA-3 плюс россыпь SATA-2 не умеет.
PCI-E контроллер вам поможет, только обратите внимание, что все 1х слоты на вашей материнке pci-e 2.0 (0.5 ГБайт/с), нижний x16 слот работает в режиме pci-e 2.0 x4 (2 ГБайт/с) и только верхний умеет в pci-e 3.0 x16 (15.7 ГБайт/с)
LuchS-lynx
23.01.2022 15:51=) я тоже пришел к этому корпусу, но дело было в 2016м году, поэтому железо старше (думал проапгредится, но дефицит полупроводников и...)
Мой конфиг:
Корпус - Fractal Design Node 804
Процессор — i7 8700k
Мать — ASRock Z390M Pro4
Видеокарта — INNO3D GeForce GTX 1070 iChill X4
PCI-Express Raid-контроллер LSI 9211-8i
HDD - WD Red 4Tb - 8шт.
SSD - Kingston 480Gb - 1шт. (под систему)
Собирал из доступного на тот момент железа, как решение 2 в 1 - игры/работа с хранением данных, поэтому в результате мучений и нескольких итераций по замене матери, о чем даже была написана статья на Хабрахабре, я поставил Proxmox, прокинул ВК в ВМ (для работы и прочих развлечений), а RAID-контроллер пробросил в другую виртуалку, которая отвечает за хранения и бэкапы.
Корпус прекрасен тем, что поддерживает до 12 дисков HDD/SSD, в т.ч.:
2.5-3.5" - 8шт. в двух корзинах
2.5-3.5" - 2шт. отрыто в отсеке с материнской платой, на "полу" корпуса
2.5 - 2шт. во фронтальной панели
Т.к. стандартные материнки имеют до 6шт. SATA, то пришлось ставить контроллер. С Блоком питания тоже не всте так просто, т.к. даже навороченные блоки питания не всегда имеют достаточное кол-во шлейфов для питания дисков SATA, так мне пришлось колхозить переходники с Molex, просто БП модульный, когда закончились комплектные шлейфы на SATA стал колхозить... однако работает без проблем вот уже 6лет
OptimumOption
23.01.2022 17:12Ну вот не знаю… Купил себе HP MicroServer G8, заселил его дисками на 16Тб в ZRaid и накормил 16Гб оперативы, апнул проц — доволен как слон. Proxmox, на нём PFsense и куча виртуалок для экспериментов — хватает выше крыши пока что. Жрёт мало, шумит тихо, места занимает по минимуму — мне нравится.
aik Автор
23.01.2022 18:13У меня zfs работает на gen7 — и там 16 гигов занято под нужды самой zfs.
Где при этом тучу виртуалок держать — даже не знаю. Особенно учитывая то, что парочке по 8 гигов надо.Anrikigai
23.01.2022 21:26Как это у вас выглядит?
Мне казалось, просто вся оставшаяся память отдается под кеш. Но есть вы пару гигов отберете на виртуалки - просто кеш уменьшится, но ничего страшного не произойдет.
По крайней мере на TrueNAS так.
seedkls_play
23.01.2022 17:33Что можно на подобных серваках повертеть помимо файлопомоек? Простаивает сервак с e5 2630l и 24гига озу, а чем нагрузить в голову не приходит
aik Автор
23.01.2022 17:34+1В прошлой части народ делился.
Лично у меня самое тяжелое — виртуалки, большей частью ради них апгрейд затевался.
nidalee
23.01.2022 19:21Plex, свое облако на nextcloud, разнообразные каталоги (например, komga для манги\комиксов, stash для linux iso's), перекодировщик для медиафайлов (на связке (s)ftp+supervisor+ffmpeg, например), игровые серверы, а также еще целая килотонна всякой полезной и не очень лабуды из списка awesome-selfhosted.
У самого такой домашний сервер на 2680v2 и примерно 40ТБ блинов крутится.
AlexanderS
23.01.2022 19:01Unraid вы используете в качестве серверной системы или только как NAS? У меня вот тоже сервачёк собрался наконец-то, но я там изначально гипервизор ставил, а тут понадобился NAS. И вот я читаю, читаю, никак не могу определиться с ОС) Кто OMV ставит, кто XigmaNAS или TrueNAS, а кто Unraid… везде есть свою ±, что выбрать впервые непонятно.
aik Автор
23.01.2022 19:10Почему выбрал unraid — было во второй части. Там требуемые задачи перечислены.
habr.com/ru/post/600069
Конкретика будет в следующей.AlexanderS
23.01.2022 22:24Понятно. У меня-то ESXi крутится — я как-то изначально пошёл по сложному пути. Вы вот там писали, что пользовали TrueNAS Scale — и как оно? С FBSD что-то совсем никак знакомиться неохота. Мне надо просто надёжный многотерабайтный NAS = (SMB & NFS) + ZFS. Была даже мысль самому заняться и на дебиане всё сделать, но… не доходят никак руки…
aik Автор
23.01.2022 22:36пользовали TrueNAS Scale — и как оно?
Минимальненько. :)
Если сравнивать по скриншотам с TrueNAS Core — то всяких кнопок сильно меньше. Фактически, я пока что ничем, кроме создания пула и расшаривания папок там не пользовался. Ну, в домен виндовый загнал да снапшоты включил.
Пытался как-то поставить что-то из аппстора — но у меня очень слабенький комп под это дело стоит (microserver gen7), его с трудом на саму ZFS хватает. Потому решил не мучить животинку и больше ничего не прикручивать.
Но, если нужна только функциональность NAS — думаю, что уже можно пользоваться. Впрочем, я там в консоль ходил только из любопытства, а так всё через веб-интерфейс делается. Так что особой разницы, что там под капотом — фря или линукс — нету, как мне кажется.
dimsoft
24.01.2022 07:13Тушка HPe DL380Gen8 на 12 больших дисков ≈ 50тр
все 33 удовальствия
aik Автор
24.01.2022 07:25+1Особенно в попытках заставить его шуметь поменьше и в ожидании, когда оно свалится на голову с антресолей.
dimsoft
24.01.2022 08:31gen8 - блоки питания уже 80+ с приличным КПД и при нормальной настройке шумит пару минут при холодном старте, потом замолкает.
g6-7 = 500Вт
gen8 = 300Вт но в 2-3 раза мощнее
gen9 = 200Вт но в 2 раза мощнее
aik Автор
24.01.2022 10:25+1gen9 = 200Вт но в 2 раза мощнее
Это как? 400 ватт перемаркированный в 200?
Ну и шумят же не только блоки питания. Охлаждение жестких дисков, процессор, сами жесткие диски.
EmperorXizzle
25.01.2022 17:49Антон, благодарю за серию статей, читал с большим интнресом)
Растолкуйте, пожалуйста, в чём смысл того, что вы сделали со свичём?
Что вижу я: в материнке 3 Ethernet-порта, вы их все объединили через свич. Но зачем?
aik Автор
25.01.2022 17:49Я вроде написал:
Там, где у меня стоит сервер, нет отдельного свитча, а стоит только пятипортовый роутер. Два порта — провайдеры, один порт идёт к телевизору, один порт — к свитчу на моём рабочем месте и в последний порт подключался сервер. Хоть у микросервера было две сетевых платы, я использовал только одну. ILO я тоже настроил так, чтобы оно работало через основной сетевой контроллер, а не через свой собственный.
Нынешняя материнка так не умеет, ей подавай на IPMI отдельный кабель. Но ставить ещё один свитч мне не хотелось, потому я взял маленький пятипортовый свитч, прикрутил его внутри корпуса, запитал его от БП сервера, подключил к нему материнку тремя короткими патчкордами, а четвёртый воткну в свободный порт на роутере.
cepera_ang
Кажется, что если дать процессору снижать частоту, то в простое/под небольшой нагрузкой потребление может уменьшиться ещё ватт на 30. Останутся одни вентиляторы :)
aik Автор
Поправил формулировку. Не зафиксировал частоту, а ограничил сверху. Снижать он её может. Без нагрузки обычно в районе 2ГГц колеблется. А на холостом ходу, если прикинуть, не один ведь только процессор потребляет. Материнка, память, вентиляторы, свитч и usb-хаб. SSD наверняка что-то берут, хоть и не крутятся. Так что процессор из тех сорока ватт может быть 15-20 на себя тратит.
DOGG
Это программа из консоли? Как называется?
aik Автор
bashtop
Она больше для красоты, чем для реального использования, но если хочется повыпендриваться и вывести что-то внушающее на монитор — то это хороший вариант.
vasilchenkome
https://github.com/aristocratos/bpytop
cepera_ang
2ГГц всё равно много как-то. Это норма для АМД или ему что-то в софте глубже спать не даёт?
aik Автор
Ну там всё же веб-интерфейс крутится, три контейнера ещё, самба…
Так что он не просто стоит и ничего не делает. Просто ниже нагрузки на холостом ходу у меня точно не будет.
cepera_ang
Ну, веб-сервер и самба должны по идее ноль циклов потреблять в отсутствие обращений. Просто домашний комп-сервер вполне себе себе сбрасывает частоту до 499MHz на P-ядрах и 399MHz на E-ядрах ("эффективная" частота по hwinfo вообще десятки мегагерц). Правда потребление те же 45-50Вт по китайскому ваттметру, но это мать + проц i5-12600k + 32гб + 1080ti + 7 вентиляторов + внешний hdd. Думаю из этого 1080ti потребляет половину :)
aik Автор
Вебсервер мне дашборд показывает и shell в браузере предоставляет.
А контейнеры — syncthing, plex и urbackup. Сильно много они не хотят, но фоновое шебуршание в них есть.
diaskzn
Есть ли у вас ошибка с правильным временем в плексе?
aik Автор
А что за ошибка? Ни разу не слышал про такую.
sim2q
Мне кажется тут уже надо смотреть сколько сам БП потребляет, если мощный, то могут быть более значительные потери на небольшой мощности. Там ещё APFC колбасит - два преобразования получается.
aik Автор
Я основные тесты проводил на БП 600 ватт FSP без всяких там значков, потом частично повторил после замены на 400 ватт 80 gold be quiet.
Разница в пределах погрешности.
sim2q
имелось в виду, что бы разница была хотя бы в несколько раз, но потом подумал, что 200W БП при потреблении 150 никто ставить не будет, у меня просто на рабочей машине киловаттник, но у неё потребление около 100 Вт в реале, сёрфинг, видюха встроенная в чипсет