![](https://habrastorage.org/webt/rk/ux/pd/rkuxpdv_3i4vll-pt4-kamdt5fm.png)
Начав заниматься фотографией, я быстро ощутил нехватку места на компьютере. Фотографии в RAW имеют большой вес, а про видео говорить ещё страшнее. Решение проблемы очень простое — собрать NAS.
О моём опыте сборки бюджетного NAS на 14 ТБ я напишу далее в статье.
Мои потребности:
- Цена до 400$ (вместе с дисками).
- 10+ ТБ свободного места с возможностью потери одного диска.
- Сетевое соединение на скорости 2,5–10 Гбит.
- Низкое энергопотребление.
- Низкий уровень шума.
- Желательно 1–2U корпус для установки в стойку с глубиной до 30–35 см.
- Возможность расширения дисков/оперативной памяти.
Вооружившись этим списком, я пошёл изучать доступные варианты.
Synology предлагает готовые решения, но соотношение цена/производительность просто печальное, особенно если смотреть на Rack Mount версии. Их операционка прекрасна, но большинство её плюсов можно получить в XPEnology, используя своё железо. В мой бюджет с огромным трудом можно было бы уместить пару б/у дисков и DS224, но покупать такое решение я смысла не вижу, ведь за 300 $ вам предлагают гигабитный порт, 6 ГБ оперативной памяти и Celeron из 2019 года.
Ещё из интересного отмечу Ugreen NASync серию. Это x86 коробки на свежих интелах с операционной системой от Ugreen, которую можно успешно заменить на что-то своё, оставив очень приличное железо за хорошую цену. Но в РФ их просто не купить, а Rack Mount решений у них нет. (Очень жду их появления и буду делать обзор на хабр, кажется, это идеальный конкурент синолоджи по доступным ценам)
Взвесив за и против и прибавив туда свои потребности, я решил собрать NAS сам.
Система была выбрана заранее, и это TrueNas Scale. Система очень приятная и стабильная, поддержка железа просто прекрасная, а функционал очень широк.
▍ Корпус
Началась сборка, конечно же, с корпуса. Странный первый пункт, но он диктовался моими условиями, ведь данный сервер я хочу поставить в стойку, где в данный момент свободно 2U место, поэтому желательно иметь нормальный стоечный корпус на 1–2U.
Сразу же в голове всплыл мой любимый ФСПУ-IP! Так вышло, что эти шлюзы в огромном количестве блуждали по «Авито». Пустой корпус можно было купить от 500 рублей, а уже за пару тысяч можно найти полностью собранный сервер, с хоть и старым, но вполне живым железом. Важно, что моя стойка самодельная и имеет очень малую глубину в 40 см, а это значит, что далеко не каждый корпус сюда встаёт по глубине и не торчит проводами за рамки стойки.
Стало интересно, что же есть на рынке. Может, я что-то теряю, выбирая старый б/у хлам? В поисках истины я наткнулся на ExeGate Pro 2U380-03. Корпус короткий, 2U, и вмещает в себя стандартный ATX блок питания, а также 2×3,5 диска. Но глубина оказалась на 5 см больше, чем мне нужно, а охлаждение блока очень странное, и каким-то образом БП должен забирать воздух с верхней крышки, где уже стоит следующий сервер. В общем, вариант отпал.
Второй интересный вариант — Mastero 2U300. Опять же, короткий (30 см), вмещает пару дисков на 3,5 дюйма, но имеет не самое удачное решение с охлаждением блока питания, а также очень мелкие отверстия для обдува, что плохо скажется на охлаждении дисков (спойлер — тема окажется болезненной).
Поняв, что цены аховые для моего бюджета, а внешний вид и фишки не особо интересные, я вернулся к варианту ФПСУ-IP. Как оказалось, хоумлаб сцена в РФ растёт, и эти корпуса были вычищены с «Авито» и стали редкостью, но за 2 тысячи мне удалось найти полностью собранный сервер. 100 рублей доплаты за комиссию «Авито», 239 рублей за доставку, и минус 68 рублей кэшбека.
Итого 2271 рубль за корпус в моих руках.
Если абстрагироваться от потребления энергии, то можно было бы закрывать вопрос железа на этом этапе, ведь тут стоит вполне себе неплохая материнка Intel S1200BTL с процессором на 2 ядра. 4 слота для оперативки позволяют ставить дешёвую китайскую ECC DDR3 память, а на плате стоит куча SATA портов, которые без каких-либо карт расширения позволят подключить кучу дисков и не знать проблем.
На практике у меня остро стоит вопрос потребления сетевой инфраструктуры, и эта платформа банально слишком много ест и слаба. Кроме того, корпус не располагает местом под установку дисков, а колхозинг креплений под диски на стенку будет нетривиальным. Поэтому всё ненужное (БП, плата, проц, сетевая карта) отправилось на барахолку, где успешно продалось за примерно неделю, тем самым снизив стоимость корпуса до 471 рубля.
▍ Платформа
Теперь, когда есть корпус на руках, можно начать думать о начинке. Я прикидывал разные комбинации, в которых можно установить диски в систему, и только в одном положении я мог оставить 2 вентилятора на выдув, поставить ещё один на обдув дисков. В таком виде в корпус можно поставить пару 3,5 дисков, и даже останется место на пяток 2,5 дисков.
Но под такое решение требуется короткая плата. В идеале Mini-ITX, с которой в корпус полезет буквально всё.
![](https://habrastorage.org/webt/ir/lb/aa/irlbaafqmf1fmzvz4jp99fjq5wq.jpeg)
На практике я вообще не хотел брать ITX. Кроме малого количества слотов расширения, цены на эти платы просто неадекватные. Поэтому я пошерстил рынок и нашёл вот такие платы с интересными габаритами:
- ASRock H310CM-DVS.
- ASRock H110M-DGS.
- GIGABYTE GA-H110M-S2V.
Это такой гибрид в виде ITX платы, но с дополнительным PCIE слотом. Под мои запросы такой формат подходит просто идеально, а стоимость таких плат невысока за счёт старых платформ.
В списке нет плат на платформе AMD, а также новых Intel. Это решение банально продиктовано небольшим бюджетом, редкостью компактных плат, а также требованиями к энергопотреблению. Так вышло, что у меня есть опыт работы с AM4/AM5 платформами, и они показали хорошую производительность, но достаточно высокое потребление с розетки в режиме бездействия (примерно в 2 раза выше, чем у Intel схожей производительности в тесте на рабочем столе Windows с двумя HDD). Свежий Intel я отмёл по тем же самым причинам, банально дорого или много жрет.
Отдельный параграф я бы хотел отдать Intel N100. Это новый процессор с очень приличными показателями энергопотребления и производительности. Если вы собираете NAS и готовы потратить чуть больше, чем я, то берите N100, вы точно не пожалеете. Голые платы под NAS в Китае стоят в районе 12 тысяч рублей. Они имеют на борту сразу 4 порта 2,5GbE, 6 SATA портов, 2 NVME m.2 слота, и при этом TDP 6 Вт, а производительность в 2 раза выше, чем у старых «интелов» типа G4560 которые потребляют во много раз больше энергии. Нюансов тут, конечно же, несколько. Не самая стабильная сеть на некоторых платах, и BIOS от ноунейм китайских друзей. Практика показала, что в целом это рабочие платы.
Ну а я ушёл на барахолки, с малым бюджетом и нежеланием работать с китайским биосом.
Поиск на барахолках занял примерно 4 дня. Адекватная цена за материнку на H110–H310 сокете варьируется в рамках 1500–2000 рублей. Платить больше за этот антиквариат точно не стоит. Процессоры можно найти в рамках 500 рублей, тот же G4400 или более мощный собрат G4560. Мне удалось найти такие варианты:
- ASRock H310CM-DVS + i3 8100 + 16GB DDR4 = 6000 рублей.
- GIGABYTE GA-H110M-S2V + G4400 = 2500 рублей.
Вариант с i3 отпал сразу, продавец просил доплату в 500 рублей за «Авито Доставку», и пока я думал пару часов, этот комплект уже купили.
Поэтому пришлось брать второй за 2500 рублей, а также 13 рублей за доставку (удалось списать бонусы за прошлые покупки корпуса и т. д.) и получить 70 рублей кэшбека, итого 2443 рублей.
Материнская плата пришла в отличном состоянии, но пыльная, в сокете стоял процессор G4400, а охлаждает его сток кулер. После чистки и проверки оказалось, что всё работает отлично, особенно порадовала температура процессора в 20–25 ˚С при 24 ˚С окружающей среды и потребление в какие-то смешные 12 Вт на рабочем столе Windows.
C памятью всё просто, я изначально выбрал систему TrueNAS SCALE, и в её минимальных требованиях стоит цифра в 8 ГБ. На деле оперативная память, особенно DDR4, очень дешёвая, и она в TrueNAS используется как кэш для ZFS, было решено взять 16 ГБ с запасом под кэш и возможные приложения. Можно взять новую китайскую память за 2300 рублей/16ГБ (CUSO, Machinist, KingBank и т. д.), но у меня уже был опыт с китайскими планками, и он был не очень положительный (самые дешёвые чипы и ошибки в долговременной работе даже без разгона), поэтому было решено изучить барахолки. Там за примерно 2500 рублей можно взять качественные планки от Kingston/Crucial/Samsung.
Я нашёл локально 2 планки Crucial по 8 ГБ, после небольшого общения с продавцом мы договорились о цене в 1500 рублей за 2 штуки, и я их купил. Это самые простые и базовые планки, никаких быстрых XMP или улетных таймингов, частота всего 2666 МГц при cl19, печальное зрелище, если вы собираетесь играть на таком наборе в современные игры, но абсолютно нормальные характеристики для моих задач. В плюс же играет малое количество чипов, банально система с такими простыми планками потребляет на 1 Вт меньше, чем с тем же объёмом, но на 8 чипах/планка.
▍ Диски — системный
Гайд от TrueNAS предлагает использовать диски объёмом 8 ГБ и более для системы. Изначально я искал SATA DOM модули либо хорошие серверные SSD диски от Intel/Samsung, но ничего путного и не ушатанного так и не нашлось. Поэтому, покопавшись в закромах, я нашёл, наверное, идеальный вариант — Intel OPTANE!
Звучит громко, но на деле это самый простой OPTANE модуль на 16 ГБ, интересен он своими характеристиками, а именно 368TBW, и в целом отличными показателями скорости. При этом его цена составила примерно 643 рубля с учётом доставки.
Материнская плата, выбранная мной, не имеет слота m.2, поэтому был куплен переходник m.2 на Pcie x1 стоимостью 250 рублей.
В идеальном будущем стоит заменить его одного на пару SATA дисков в зеркале для большей надёжности, но пока имеем, что имеем.
▍ Блок питания
Выбор блока продиктован корпусом. В него нативно встаёт TFX блок, а также FlexATX, либо самосбор с picoPSU. В моём случае блок питания уже был в наличии. Это BeQuiet 300W Gold TFX. С учётом бонусов он вышел очень дёшево, и там, где его уже нет, поэтому в бюджет я бы добавил что-то типа Seasonic 300W в TFX формате. Средняя цена таких блоков на «Авито» — 2500 рублей.
▍ Диски
Выбор дисков на самом деле не стоял. Вариант брать новые с местных магазинов, можно сказать, нереален из-за неадекватных цен. Тот же 14 ТБ диск в DNS обойдётся примерно в 30 тысяч рублей! И это с гарантией в 12 месяцев вместо заводских 5 лет. А на Ozon на момент написания статьи я смог купить пару 14 ТБ дисков примерно по 12–13 тысяч рублей. Цифра 14 ТБ неслучайна, так как диски этого объёма имели лучшее соотношение цена/объём, а статистика Backblaze показала очень оптимистичные результаты для этой модели.
![](https://habrastorage.org/webt/q3/e_/xd/q3e_xdbtvw7llto7yjir9qdl4rc.png)
Но как всегда дьявол кроется в деталях, ведь диски из Китая/с «Озона» — б/у.
Если посмотреть на отзывы, то они в основном положительные с редкими сообщениями о полностью нерабочем диске, в отзывах с тестами видно, что смарт диска затёрт, но репорты виктории вполне адекватные. Я решил проверить качество этих дисков на себе и сделал тестовый заказ 14 ТБ модели.
Едет такая посылка около месяца, и всё это время с ней непонятно как обращалась доставка. Но стоит отдать должное продавцу, упаковка у диска очень достойная и включает в себя наружный слой пупырчатой плёнки + картонную коробку + массивную защиту из поролона с толщиной стенок в 2–3 см, а внутри уже сам диск в антистатическом пакете.
Диск ощущается как новый, но если приглядываться к деталям, то видно, что он всё же б/у. Есть потёртости на контактах и следы от установки диска в салазки.
Смарт, естественно, затёрт, и диск показывает всего 2 включения. Честно говоря, мне решение с затиранием смарта вообще непонятно, и я лучше бы купил б/у диск с честным набором данных о наработке, чем оставался в блаженном неведении.
![](https://habrastorage.org/webt/0n/fr/ce/0nfrceeb-qmq4jcaiqvdsgtuf18.png)
Тест «Виктории» показал в целом хорошую поверхность. Всего пара зелёных блоков, но после изучения отзывов оказалось, что это вполне стандартная ситуация для этих даже в новом состоянии прямо из магазина, так что диск я решил оставить себе и заказать второй.
![](https://habrastorage.org/webt/me/m7/hc/mem7hc8ehu2skbiqfwfho0mqwai.jpeg)
Второй диск в целом идентичный.
![](https://habrastorage.org/webt/pd/ag/v3/pdagv3savs__gxlxyki9cbsoh8k.jpeg)
Из интересного можно отметить гарантию, ведь внезапно она есть! Проверка серийников обоих дисков рапортует о гарантии до 2026 года, но с разницей в пару месяцев (что хорошо, ведь диски из разных партий, и если будут умирать, то есть шанс, что не вместе). Но нюансы, как обычно, кроются в деталях. Скриншот ниже представлен при проверке гарантии в регионе Китай. Если выбрать, например, Казахстан, то появится сообщение «Regional warranty restrictions apply». В его описании говорится, что Seagate может отказать в гарантии, если обратиться по ней не из родного региона. России в списке, кстати, нет.
![](https://habrastorage.org/webt/y-/2j/wr/y-2jwr7glb5q0h7_swhyoqiit10.png)
Стало интересно, откуда DNS берёт такие диски, и, найдя серийник в отзывах, получаем вот такое весёлое сообщение. Притом я проверил как заглавное фото с карточки товара, так и несколько из отзывов, и результат один и тот же. Что же там разобрал поставщик DNS, остаётся только догадываться.
![](https://habrastorage.org/webt/rg/ev/rc/rgevrcdmtroh-g4mezn6r_3pt3o.png)
В итоге покупкой дисков я в целом доволен. Дальше покажет только время, но их состояние можно отметить как отличное.
За 2 диска я отдал 26 тысяч рублей.
▍ Cборка
Начал с корпуса. Его состояние было просто ужасное. Вековая пыль, куча царапин, следы от наклеек и несколько вмятин, видимо, полученных при доставке. Корпус был освобождён от компонентов и отмыт в ванной со средством под названием «Азелит», это чудо химической промышленности позволило оттереть вообще всё, включая клей от наклеек.
Далее с корпусом были проведены мелкие модификации:
- Удалена крышка с замком, защищающая кнопку включения и ресета, ключа у меня просто нет.
- Покрашена область кнопок ресета и старта в цвет корпуса.
- Покрашены заглушки PCIE портов.
- Удалены стойки для ATX материнки, оставлены для ITX.
- Подкрашены царапины.
- Удалены оставшиеся наклейки и логотипы.
- Заменены винты ручек крепления в рэк (были ржавые).
- Удалены некоторые кабель-органайзеры.
- Порядок диодов индикации изменён.
- Заклеена часть ненужных отверстий для воздуха.
![](https://habrastorage.org/webt/jm/ta/ap/jmtaapb0owyvhrliz3ykrahzoro.jpeg)
![](https://habrastorage.org/webt/5b/db/h5/5bdbh5romg_1p2wdljlinqplm90.jpeg)
Устанавливать диски тут некуда, банально нет заводских мест. Это уже не первый такой корпус в моей стойке, и проблема крепления дисков ранее решалась простой кареткой, которую легко напечатать на принтере, но она поддерживает диски формата 2,5, а в моём NAS будут стоять 3,5, поэтому пришлось искать какое-то решение, и нашлось оно достаточно быстро.
Готовая модель каретки под 2 диска с поддержкой салазок. А также универсальные салазки.
Но после небольших расчётов я пришёл к выводу, что салазки банально не выдвинуть в рамках корпуса, отчего они бесполезны. Кроме того, вибрации от шумящих дисков будут сильно передаваться на корпус, и стоило бы их как-то гасить. В итоге было найдено простое крепление для дисков, которое было приклеено ко дну корпуса на вспененный скотч.
Тем самым удалось добиться достаточно надёжного крепления и даже небольшой изоляции вибрации.
Сюда же был установлен вентилятор. Его в бюджете нет, но во время тестов была выявлена проблема с нагревом дисков до 40+ градусов. Решение проблемы было найдено быстро в виде вентилятора Noctua, который обошёлся примерно в 550 рублей с учётом доставки.
![](https://habrastorage.org/webt/aj/pr/vd/ajprvd3upe1xh3c8ztuocg1l8ru.jpeg)
В целом решение оказалось удачным. Диски перестали нагреваться выше 34–35 ˚C даже под продолжительными нагрузками.
![](https://habrastorage.org/webt/c5/mn/5w/c5mn5wbwahojdzv2kyt64uxje14.jpeg)
Материнская плата была почищена, а её стоковый Intel кулер заменён на пассивный Arctic.
![](https://habrastorage.org/webt/aq/so/wq/aqsowqniqtd6ct1yoaxx8xwowus.jpeg)
Радиатор оказался очень массивный, но без проблем влез в 2U корпус с зазором примерно в 1 мм. Неприятный момент с ним всё же есть. Его крепление не имеет бэкплейта, а винты используют очень злые пружины, из-за чего при затяжке винтов плата выгнулась в бублик. Пришлось открутить по 7 оборотов на каждом винте. В качестве прижима и охлаждения потерь не обнаружилось, а плата выровнялась.
Цена вопроса — 407 руб.
![](https://habrastorage.org/webt/rh/mj/5p/rhmj5poyuhmwdqwy9nmcfes9z6m.jpeg)
Проводка вентиляторов простая. Охлаждение дисков через удлинитель подключено в CPU FAN. Таким образом биос не ругается на отсутствие вентилятора, а его обороты регулируются в зависимости от нагрузки на процессор.
Так как охлаждением корпуса будут заниматься родные вентиляторы, я предварительно очистил и смазал их. Это очень неплохие вертушки Sunon EE80251B1-0000-G99, в их плюсы можно записать надёжный шарикоподшипник, очень приличный поток воздуха и достаточно тихую работу. В минусы же запишу 3 pin подключение, высокое энергопотребление, а также шипение шарикоподшипников и хоть и лёгкую, но вибрацию. В целом это очень надёжные вентиляторы, которые я решил оставить. Вентиляторы корпуса подключены в Chasis порт через понижающий резистор (переходник Noctua), таким образом получилось добиться более низких оборотов, чем позволял биос материнской платы по DC управлению.
![](https://habrastorage.org/webt/1x/h3/wp/1xh3wp5vlfd3_a1uxilkmrdgxme.jpeg)
![](https://habrastorage.org/webt/uz/lp/lu/uzlpludaxayhhlmpb0pvljmlq9a.jpeg)
Блок питания BeQuiet также встал на своё место. Провода Molex и питания видеокарты были убраны в пучок и больше не пригодятся. Провод питания SATA оказался коротким, но всё же дотянулся до дисков.
![](https://habrastorage.org/webt/d7/up/pu/d7uppu2gx2tyli5rmc0fdyxku7g.jpeg)
В качестве системного диска был установлен Intel OPTANE в m.2 исполнении через переходник на PCIE X1 порт.
![](https://habrastorage.org/webt/ya/ql/ik/yaqlikwmrhfbqqvcaqm3wvl84ga.jpeg)
Последние штрихи в виде SATA проводов и передней панели.
![](https://habrastorage.org/webt/sw/en/zu/swenzu2-hwcgaa4jh9qra9ma5ds.jpeg)
Под конец сборки я всё же решил установить 10GbE карту Mellanox ConnectX 3, которую можно было встретить в моей прошлой статье про 10Гбит сеть. Эта карта из моего основного ПК, в который переехал Mellanox ConnectX 4 lx.
![](https://habrastorage.org/webt/ej/tv/zm/ejtvzmpyc7hqmfzm9ansmxjp98a.jpeg)
После итоговой сборки сервер отправился на тестирование.
Для тестов я использовал:
- Memtest86 для теста памяти вне Windows.
- Testmem5 с пресетом ANTA777 для тестов памяти в Windows.
- OCCT в режиме CPU TEST для проверки работы процессора.
- Victoria для тестов дисков.
- Iperf клиент и тестирование сети 8 часов на полной нагрузке.
- Aida64 и тест линейной записи для SSD.
![](https://habrastorage.org/webt/1z/nc/sn/1zncsn5uour3krdw8nziuh3acva.jpeg)
▍ Софт и настройки
Нет никакого смысла подробно описывать установку TrueNAS SCALE. Алгоритм установки очень прост и похож на ту же Windows.
- Записать образ на диск (я просто закинул на флешку с Ventoy).
- Произвести установку на SSD диск с дефолтными настройками и своим паролем, попутно запомнить IP адрес, который получит наша машина.
- Перезагрузиться после установки и удостовериться, что ошибок нет.
- Отключить всё, кроме сети и питания.
- Остальные настройки производить в браузере через WebGUI.
![](https://habrastorage.org/webt/l8/c9/ep/l8c9epokizjvolk1rlxdbkbvhde.jpeg)
В WebGUI всё также просто. Заходим в админку, используя логин admin и пароль, указанный при установке.
![](https://habrastorage.org/webt/th/ft/pn/thftpnxh_sikpbrkb7ll29114xu.png)
Далее идём в Storage и создаём новый пул. В моём случае диска 2, и я добавлю их в зеркало. Таким образом можно получить 2 копии данных и уберечь себя от их потери при поломке одного из дисков, повышенные скорости чтения, но при этом общий объём будет равен одному диску, а запись ограничена скоростью одного диска.
![](https://habrastorage.org/webt/mo/6f/ny/mo6fny2lkfpxbnafihxlzb7cvjy.png)
Для работы с NAS в Windows мне понадобится SMB шара. Процесс её настройки прост и потребовал этих шагов:
- Создание датасета.
- Создание группы для юзеров с доступом к SMB шаре (дабы не добавлять каждого юзера и разрешения руками).
- Добавление юзеров для SMB шары и применение группы.
- Запуск SMB сервиса со стандартными настройками.
- Создание SMB Share, в которой будет выбран датасет с первого шага, и добавление группы в ACL список
Список большой, но в целом задача тривиальная, и её можно выполнить, копируя шаги из этого очень подробного видео.
Отдельно отмечу шары без пароля. В самом TrueNAS есть поддержка гостевого доступа, но подключиться без пароля с Windows 10 и выше не получится. Для обхода этого ограничения надо отключить гостевой доступ без защиты, как это сделать написано тут, либо создать гостевого юзера guest/guest.
Теперь, когда все настройки выполнены, можно сделать их бэкап. Это необязательный пункт, и при поломке системного диска данные на дисках с пулом останутся на месте, а пул легко восстановить (если он не шифрован), но он сэкономит много часов пустой работы, которой можно избежать, имея бэкап.
Такой бэкап можно импортировать в свежеустановленную систему, тем самым вернув все настройки.
Делается он просто. Идём в System Settings — General — Manage Configuration (синяя кнопка справа сверху) — Download File.
Соответственно, если произошёл инцидент с системным диском, то достаточно переустановить операционную систему, зайти в это же меню и нажать на Upload File. Система восстановит настройки и перезагрузится.
![](https://habrastorage.org/webt/kv/al/3i/kval3iyud_mjnupo9g1zxx6qcsw.png)
▍ Тестируем 2,5GbE
Тестировать гигабит бесполезно, ведь забить его может буквально один жёсткий диск без кэшей, мам, пап и кредитов, поэтому сразу перейдём к 2,5GbE соединению.
Для тестов я копировал фильм весом 24 ГБ, с ПК на NAS.
В такой нагрузке скорость в начале передачи колебалась на отметке 280 Мбайт/сек, уперевшись в лимит 2,5 Гбит порта на компьютере, но после 8–10 ГБ скорость упала до 210–240 Мбайт/сек. Падение вызвано окончанием ZFS кэша в оперативной памяти. Дальнейшего падения скорости не обнаружено.
![](https://habrastorage.org/webt/f8/1r/hs/f81rhs7lavnxun6dihdttldk3oi.png)
При копировании с NAS на ПК всё опять же упёрлось в порт 2,5GbE, а скорость была стабильной.
![](https://habrastorage.org/webt/tu/6k/8-/tu6k8-a-hvhxogm4ooetnulduzq.png)
Если посмотреть на графики загрузки дисков в TrueNAS, то видно, как запись почти полностью утилизирует все возможности дисков, а чтение загружает их лишь наполовину.
![](https://habrastorage.org/webt/14/y8/2g/14y82gxe7mu-fbsbqzdxdtld7y8.png)
По процессору запас ещё есть, в среднем при операциях я видел загрузку от 30 до 50 %.
![](https://habrastorage.org/webt/iq/di/w-/iqdiw-e_g1u0jamtiocn1bhmpdk.png)
Решение с пассивным радиатором вкупе со слабым процессором показало себя прекрасно. Температуры просто смешные даже под нагрузкой, хотя стоит сказать, что они странные, ведь в комнате во время тестов температура была около 28–29 градусов.
![](https://habrastorage.org/webt/ug/wj/uy/ugwjuyjimxl3y-t9akmlhfzjene.png)
Ну и тест CrystalDiskMark c файлом 64 ГБ просто ради интереса.
![](https://habrastorage.org/webt/xf/u3/3l/xfu33lm70c6zbehn1ewakxz0seg.png)
▍ Тестируем 10GbE
Теперь попробуем 10 гигабит сеть, раз в прошлых тестах мы успешно упёрлись в 2,5 гигабита.
Прогон CrystalDIskMark с файлом 64 ГБ был весёлым, ведь генерация тестового файла на диске идёт на скорости 2 Гбит/сек, а реальные тесты имеют заметно более высокую скорость. Тесты показывают отличную скорость, приближающуюся к SATA дискам, ура?
К сожалению, такие хорошие скорости получены за счёт качественной работы ZFS кэша.
![](https://habrastorage.org/webt/s7/j9/oi/s7j9oidlccu0nm3hmi3kbhn7zrk.png)
В реальности за пределами кэша запись упирается в 2 гигабита, это как раз± максимальная скорость записи «сигейтов» на 14 ТБ.
![](https://habrastorage.org/webt/oy/dy/nu/oydynuwbiyao_nb8hywi7rdqsn4.png)
Скачивание с NAS идёт на скорости 2,6–3 гигабита.
![](https://habrastorage.org/webt/ny/oa/wz/nyoawzcbt5gtfibu0c5c3mibjcc.png)
Как видим, скорость отличная, но, честно говоря, апгрейд до 10 гигабит для сервера с парой жёстких дисков и без какого-либо продвинутого кеширования или больших объёмов оперативной памяти — бесполезен.
▍ Экономика
Бюджет без сетевой карты Mellanox и дисков вышел таким:
- Корпус с учетом проданного из него железа: 417 Руб.
- Блок питания: 2500 Руб.
- Платформа: 2443 Руб.
- Оперативная память: 1500 Руб.
- Системный диск: 643 Руб. + Переходник: 250 Руб.
- Пассивный радиатор: 407 Руб.
- Вентилятор Noctua 80mm: 550 Руб.
Итого: 8710 Рублей за голую платформу с поддержкой четырёх Sata и 2PCIE устройств.
2 жёстких диска вышли в 26026 Рублей, а сетевая карта Mellanox connectX3 2605 Рублей.
Итого за сервер: 37,341 Руб.
▍ Выводы
В целом я полностью доволен этой сборкой. 12 ТБ свободного места, шум минимален, производительность просто отличная, есть возможность расширения путём добавления дисков, и всё это по цене голой коробки от Synology! Собирая следующий NAS, я, скорее всего, заменил бы платформу на N100, оставив всё остальное железо.
На этой ноте я прощаюсь. Если с дисками что-то случится, то я обязательно дополню статью или напишу об этом в комментариях. А в следующей статье я раскрою тему Docker в TrueNas, установлю свой фото сервер, NFS шару для бекапов Proxmox, и многое другое!
© 2024 ООО «МТ ФИНАНС»
Telegram-канал со скидками, розыгрышами призов и новостями IT ?
![](https://habrastorage.org/webt/7u/o0/_9/7uo0_9itb0bkl_y8_0_n1a57vuc.jpeg)
Комментарии (35)
vvviperrr
01.09.2024 13:14многа букав, не читал
jonsbo n2
itx/slim itxtruenas/freenas
диски на выбор
Tirarex Автор
01.09.2024 13:14+1В названии статьи присутствует слово "бюджетный", а это не про ваш вариант где один jonsbo n2 стоит от 13к. Но это не много на фоне ITX материнок с ценами от 6-8к даже за старые сокеты.
00svd00
01.09.2024 13:14Хех. Лично мне больше понравился n1, как-то он для дома выглядит покомпактнее. Хотя если нужен хотсвап дисков - n2 конечно лучше. И если честно - не вижу смысла в спец ОС для NAS, по крайней мере в приложении к домашней хранилке. Обычный дебиан справится не хуже.
vvviperrr
01.09.2024 13:14а мне n1 не понравился от слова совсем. n3 неплохой, но 8 дисков оверхед + неудачное охлаждение (имхо).
n2 идеален во всем. компактные размеры, pcie слот, sfx бп устанавливается вентом наружу, охлаждение, заточенное под топ флоу кулера (перфорация сверху). хотсвап особо преимуществом не считаю, редкая операция для меня. единственное - заменил задний вентилятор на 25мм от be quiet. из за выпирающего молекса влез впритирку. но и шум несравнимый, по сравнению с шумом дисков.И если честно - не вижу смысла в спец ОС для NAS
ну мб кому то чисто под нас - наверное проще. у меня же это фактически резервный пк, поэтому обычный дистр.
Romantik-013
01.09.2024 13:14Очень хорошая статья, единственное, на мой скромный взгляд зеркало из дисков на 14Тб, даже с ZFS, не очень быстро. Могу сказать что 10-й рейд на старых серверных seagate constellation + два samsung 860 pro по 1Тб, в качестве кеширующего пула, работает куда живее. Кстати, система стоит на m10, как и у автора статьи. Очень удачная штука, для подобных кейсов.
А, ещё я напрочь проигнорировал рекоммендацию с ECC, посадив это всё на b150 с 7700 и 32Гб рам. Года уже как три точно, получившаяся шайтан коробка, бесперебойно радует домашних.
werter_l
01.09.2024 13:14+3Спасибо за статью.
Вставлю свои 5 копеек, готовый бюджетный вариант
2 LAN 2.5Гб\с, 1 m2 , 2 hdd
Можно найти такой же вариант с amd ryzen 7 5825u. В нем будет 2 m2, но и стоит он "пустой" под 40к.
Tirarex Автор
01.09.2024 13:14+1На самом деле действительно хороший вариант для дома. Если бы не рэк то я бы такой Nas поставил.
Inoriol
01.09.2024 13:14+3Недавно тоже собирал себе бюджетный (для своих целей) NAS/домашний сервер и получилось подороже чем у вас, конечно, но тоже дешевле покупных вариантов.
Хотелось красивенько, так что пошёл с ITX корпусом KCMconmey 4, который обошёлся мне в 11606 йен.
Поскольку для домашнего сервера нужны определённые мускулы (гонять медиасервер, кучу виртуалок и т.д.), то решил пойти с AM4 сокетом, а как процессор выбрал Ryzen 5700g (встроенного графического ядра должно хватать на плюс-минус адекватный по скорости декодинг). Мать же взял самую дешёвую какую смог найти в сетевом магазине вторичных товаров. В результате вышло
ASRock B550M-ITX - 14450 йен
Ryzen 5700g - 23000 йен
Для виртуалок нужно много оперативки, поэтому взял Patriot Viper (2x32GB) за 17300 йен.
В корпусе ну о-о-о-очень мало место под кулер и на рынке буквально один кулер на АМ4 сокет подходит - Noctua NH-L9a AM4. Он обошёлся в 6300 йен.
И наконец БП. Для копуса нужен либо Flex, либо 1U БП и я взял SilverStone FX350-G 80PLUS за 10081 йену. Это единственный компонент где я немного был неправ, поскольку плашка под БП на корпусе не предполагала кнопку включения. В результате я не очень красиво откусил середину плашки плоскогубцами.
По итогу без учёта накопителей вышло 82737 йен, или 52 тысячи рублей в переводе.
Как жесткие диски взял 4 б/ушные красные ВДшки на 4 tb с хорошими SMART - это обошлось в 7000 йен по 4 раза, то есть 28 тысяч йен. Как диск под систему - дешевенькую m2 ADATA на 512gb за 5 тысяч йен. 117737 йен в сумме, или 74 тысячи рублей в переводе.
Как систему конечно поставил TrueNAS Scale - сочетание удобства, простоты и функциональности у него получше, чем у OMV.
Результатом доволен как слон. На будущее ещё остался свободный PCIe слот под сетевую карту, если захочется, например, ещё и роутер виртуализировать.
Tirarex Автор
01.09.2024 13:14Неплохо! У меня кроме NAS есть основной сервер на 13600к, он уже занимается тяжелыми задачами виртуализации, поэтому на NAS было решено экономить.
Polunochnik
01.09.2024 13:14приветствую! подскажите пожалуйста, вы случаем на свой сервер не ставили Plex Media Server? просто на офф.странице дистрибутива TrueNAS Scale к данному приложению указано что "(Требуется подписка на Plex Pass) "...
Attila23
01.09.2024 13:14+2Plex работает и без подписки, но, к примеру, если Plex-клиент установлен на телевизоре, то может возникнуть проблема с неподдерживаемой кодировкой видеофайла. Если исходная кодировка файла не поддерживается, Plex может декодировать файл, но для этого потребуется эта самая подписка. При использовании клиента Plex на пк таких проблем у меня, к примеру, не возникает даже без подписки.
KorDen32
01.09.2024 13:14минимум шума
Выбор дисков на самом деле не стоял
Если не хочется SSD, то в категории "минимум шума" хорошим вариантом являются WD Red (Plus) на 12 и 14 Тб (WD120EFAX, WD120EFBX, WD140EFFX, WD140EFGX).
В даташитах прямо заявлен более низкий уровень шума (29dB) относительно других моделей, и на практике в сравнении с большинством других дисков объемом от 12 Тб это, пожалуй, самые тихие диски.
Tirarex Автор
01.09.2024 13:14Ага читал про wd на реддите, но их в продаже почти небыло, а сигейты хоть и шумные (звук будто за стенкой сосет в розетку пытается что то воткнуть), но очень дешевые 26к/28тб, и цена была большим приоритетом чем шум.
kenomimi
01.09.2024 13:14+2С "условно новыми" дисками я был бы осторожнее. Откуда их берут, большой вопрос - модели новые, в серверах в ынтерпрайзе в среднем 5 лет диски ходят, совсем новые до 7 - вот и загадка, кто же в таком безумном количестве списывает свежие рабочие диски огромных размеров? Мелочь до 3-5 терабайт да, списывают все подряд, но не 15-30ТБ никак - а рынок просто завален "новыми" большими сигейтами. ИЧСХ, ни одного нет с несброшеным смартом, несмотря на то, что рабочий б\у и псевдоновый ценой не отличаются, спрос на них тоже одинаковый - казалось бы, смысл морочить голову с процедурой сброса...
Есть мысль, что сигейт где-то крупно косякнул, и наделал тонну бракованых ынтейпрайзных дисков - ну и скинул их по себестоимости на китайский рынок неофициальным каналом.
Tirarex Автор
01.09.2024 13:14Я согласен что с бу дисками не все так гладко, но как ни крути а цена слишком решающий фактор. Особенно на фоне дисков из крупного ритейла (днс) которые как оказалось тоже не совсем новые и не совсем белые. В идеале конечно собрать более замороченный рейд с возможностью потери двух дисков.
На счет сигейта и брака ничего сказать не могу, судя по гарантии на их сайте, диски все же разобраны из какой то системы и год минимум уже поработали. Я долго изучал лоты и отзывы и изредка попадались люди которым приходили диски с целым смартом и пробегом 7-12к часов в среднем.
Сколько они проработают я не знаю но как и обещал, отпишу если что то с ними произойдет.
NotSlow
01.09.2024 13:14+2Прямо чувство дежавю :) Optane, Mellanox оптика
Мой нынешний конфиг:
Тоже недавно обновил свою 10g оптику на 25g от Мелланокс. Старое на авито выставил, но судя по просмотрам наверное и за год не продам :(
Intel X520-DA2 и Mellanox ConnectX-2
Был стремный момент по поводу неоригинальности новых 25g карт. На ebay нашел по хорошей цене, но Dell. Однако все прошло нормально, вставились и заработали идеально сразу.
Mellanox ConnectX-4 Lx
Столкнулся правда с проблемой нагрева. X520 тоже была довольно горяча, но на новых температура 70+
Пришлось срочно приколхозить дополнительный обдув
Стало в среднем 55 градусов
2шт 16ки стоят в Raid-0 и вот что на 10г сети замерял:
5g сети для 500+ мб/сек (это может быть и 1 sata ssd например) достаточно
Т.е. даже 10г даже для raid-0 выше крыши. Но всеж в планах позже добавить и nvme дисков сюда.
Пока лишь с RAM-диском загрузить удалось на полную 25g
Чуть сдулась скорость когда записывал видео т.к. перегрелось все после тестов
Tirarex Автор
01.09.2024 13:1425гбит в домашней лабе, завидую белой завистью! Для себя решил что таких нагрузок у меня нет и не предвидится поэтому пока остановился на 10 гигабит, но конкретно NAS скорее всего даунгрейднется до 2,5гбит дабы еще пару ватт срезать и занимать дешевый эзернет порт на свиче (из этой статьи https://habr.com/ru/companies/ruvds/articles/798813/ ) вместо боле дорогого sfp+. Ради интереса сделал бы такую сеть но дешевых свичей просто не существует (дешевле взять ATX мамку на z390 чипсете и напихать в нее 4 меланоксов, выйдет сильно дешевле готового бу свича).
Меланокс 4lx у меня тоже есть но версия на 10гбит с Sfp+ портами (MCX4121A-ACAT) на вид почти как ваши но между портами больше места и стоит какая то мелкая микруха. На 10гбит она не перегревается без активного обдува, но в целом ест по ощущениям даже больше чем тройка. Брал такую на 2 порта за 43$
Меланоксы под 25гбит на али сейчас стоят около 55$
NotSlow
01.09.2024 13:14+1Больше места - это у вас "оригинал" 4121A. У меня просто Dell 4121C и они самую малость отличаются.
В вашу тоже можно вставить 25g трансиверы.
Чтоб совсем слюнями захлебнуться, покажу за сколько взял:
Это за 2 карты и 4 трансивера
NotSlow
01.09.2024 13:14Еще момент, что на 10, что на 25г нужно только ставить MTU 9000 на обоих концах, чтобы получить полную скорость. На стандартных MTU 1500 получалось лишь чуть выше половины максимума
pred8or
01.09.2024 13:14Год назад затеял апгрейд домашнего серверного парка, сервер для виртуализации/приложений и NAS. На 10Гбит смотрел но SoHo коммутаторов с 4 SFP+ и 8 PoE в настольном корпусе пока никто не делает, так что этот вопрос подвешен. Но вот для NAS у меня вышло вот такое:
Очень хотелось чтоб было тихо и холодно. Вроде эта цель достигнута. Да и в остальном тоже нормально. На убунте - Samba с виндовыми шарами, Jellyfin, Immich, ну и по мелочам. Ну и дисков добавилось. Ультрастары хорошо идут
GennPen
Почему бесполезен? ZFS поддерживает дополнительные накопители в качестве кеширования. Можно поставить дополнительный SSD в качестве кеширующего.
Tirarex Автор
В следующей статье как раз будет ссд но под приложений. Для кеша тут нужен хороший износостойкий ссд хорошего обьема, а они не дешевые.
kenomimi
Я использовал под кеши серверные интелы б\у с авито - 128 стоит копьё. 2 штуки в зеркало. Работало отлично.
Tirarex Автор
Когда собирался то ничего интересного ниже 2-3к за 128гб не нашел. Рассматривал вариант с 64гб оперативной памяти (около 10к-13к за 2 планки по 32гб), но пока пришел к выводам что текущего конфига хватает.