Начав заниматься фотографией, я быстро ощутил нехватку места на компьютере. Фотографии в RAW имеют большой вес, а про видео говорить ещё страшнее. Решение проблемы очень простое — собрать NAS.
О моём опыте сборки бюджетного NAS на 14 ТБ я напишу далее в статье.
Мои потребности:
- Цена до 400$ (вместе с дисками).
- 10+ ТБ свободного места с возможностью потери одного диска.
- Сетевое соединение на скорости 2,5–10 Гбит.
- Низкое энергопотребление.
- Низкий уровень шума.
- Желательно 1–2U корпус для установки в стойку с глубиной до 30–35 см.
- Возможность расширения дисков/оперативной памяти.
Вооружившись этим списком, я пошёл изучать доступные варианты.
Synology предлагает готовые решения, но соотношение цена/производительность просто печальное, особенно если смотреть на Rack Mount версии. Их операционка прекрасна, но большинство её плюсов можно получить в XPEnology, используя своё железо. В мой бюджет с огромным трудом можно было бы уместить пару б/у дисков и DS224, но покупать такое решение я смысла не вижу, ведь за 300 $ вам предлагают гигабитный порт, 6 ГБ оперативной памяти и Celeron из 2019 года.
Ещё из интересного отмечу Ugreen NASync серию. Это x86 коробки на свежих интелах с операционной системой от Ugreen, которую можно успешно заменить на что-то своё, оставив очень приличное железо за хорошую цену. Но в РФ их просто не купить, а Rack Mount решений у них нет. (Очень жду их появления и буду делать обзор на хабр, кажется, это идеальный конкурент синолоджи по доступным ценам)
Взвесив за и против и прибавив туда свои потребности, я решил собрать NAS сам.
Система была выбрана заранее, и это TrueNas Scale. Система очень приятная и стабильная, поддержка железа просто прекрасная, а функционал очень широк.
▍ Корпус
Началась сборка, конечно же, с корпуса. Странный первый пункт, но он диктовался моими условиями, ведь данный сервер я хочу поставить в стойку, где в данный момент свободно 2U место, поэтому желательно иметь нормальный стоечный корпус на 1–2U.
Сразу же в голове всплыл мой любимый ФСПУ-IP! Так вышло, что эти шлюзы в огромном количестве блуждали по «Авито». Пустой корпус можно было купить от 500 рублей, а уже за пару тысяч можно найти полностью собранный сервер, с хоть и старым, но вполне живым железом. Важно, что моя стойка самодельная и имеет очень малую глубину в 40 см, а это значит, что далеко не каждый корпус сюда встаёт по глубине и не торчит проводами за рамки стойки.
Стало интересно, что же есть на рынке. Может, я что-то теряю, выбирая старый б/у хлам? В поисках истины я наткнулся на ExeGate Pro 2U380-03. Корпус короткий, 2U, и вмещает в себя стандартный ATX блок питания, а также 2×3,5 диска. Но глубина оказалась на 5 см больше, чем мне нужно, а охлаждение блока очень странное, и каким-то образом БП должен забирать воздух с верхней крышки, где уже стоит следующий сервер. В общем, вариант отпал.
Второй интересный вариант — Mastero 2U300. Опять же, короткий (30 см), вмещает пару дисков на 3,5 дюйма, но имеет не самое удачное решение с охлаждением блока питания, а также очень мелкие отверстия для обдува, что плохо скажется на охлаждении дисков (спойлер — тема окажется болезненной).
Поняв, что цены аховые для моего бюджета, а внешний вид и фишки не особо интересные, я вернулся к варианту ФПСУ-IP. Как оказалось, хоумлаб сцена в РФ растёт, и эти корпуса были вычищены с «Авито» и стали редкостью, но за 2 тысячи мне удалось найти полностью собранный сервер. 100 рублей доплаты за комиссию «Авито», 239 рублей за доставку, и минус 68 рублей кэшбека.
Итого 2271 рубль за корпус в моих руках.
Если абстрагироваться от потребления энергии, то можно было бы закрывать вопрос железа на этом этапе, ведь тут стоит вполне себе неплохая материнка Intel S1200BTL с процессором на 2 ядра. 4 слота для оперативки позволяют ставить дешёвую китайскую ECC DDR3 память, а на плате стоит куча SATA портов, которые без каких-либо карт расширения позволят подключить кучу дисков и не знать проблем.
На практике у меня остро стоит вопрос потребления сетевой инфраструктуры, и эта платформа банально слишком много ест и слаба. Кроме того, корпус не располагает местом под установку дисков, а колхозинг креплений под диски на стенку будет нетривиальным. Поэтому всё ненужное (БП, плата, проц, сетевая карта) отправилось на барахолку, где успешно продалось за примерно неделю, тем самым снизив стоимость корпуса до 471 рубля.
▍ Платформа
Теперь, когда есть корпус на руках, можно начать думать о начинке. Я прикидывал разные комбинации, в которых можно установить диски в систему, и только в одном положении я мог оставить 2 вентилятора на выдув, поставить ещё один на обдув дисков. В таком виде в корпус можно поставить пару 3,5 дисков, и даже останется место на пяток 2,5 дисков.
Но под такое решение требуется короткая плата. В идеале Mini-ITX, с которой в корпус полезет буквально всё.
На практике я вообще не хотел брать ITX. Кроме малого количества слотов расширения, цены на эти платы просто неадекватные. Поэтому я пошерстил рынок и нашёл вот такие платы с интересными габаритами:
- ASRock H310CM-DVS.
- ASRock H110M-DGS.
- GIGABYTE GA-H110M-S2V.
Это такой гибрид в виде ITX платы, но с дополнительным PCIE слотом. Под мои запросы такой формат подходит просто идеально, а стоимость таких плат невысока за счёт старых платформ.
В списке нет плат на платформе AMD, а также новых Intel. Это решение банально продиктовано небольшим бюджетом, редкостью компактных плат, а также требованиями к энергопотреблению. Так вышло, что у меня есть опыт работы с AM4/AM5 платформами, и они показали хорошую производительность, но достаточно высокое потребление с розетки в режиме бездействия (примерно в 2 раза выше, чем у Intel схожей производительности в тесте на рабочем столе Windows с двумя HDD). Свежий Intel я отмёл по тем же самым причинам, банально дорого или много жрет.
Отдельный параграф я бы хотел отдать Intel N100. Это новый процессор с очень приличными показателями энергопотребления и производительности. Если вы собираете NAS и готовы потратить чуть больше, чем я, то берите N100, вы точно не пожалеете. Голые платы под NAS в Китае стоят в районе 12 тысяч рублей. Они имеют на борту сразу 4 порта 2,5GbE, 6 SATA портов, 2 NVME m.2 слота, и при этом TDP 6 Вт, а производительность в 2 раза выше, чем у старых «интелов» типа G4560 которые потребляют во много раз больше энергии. Нюансов тут, конечно же, несколько. Не самая стабильная сеть на некоторых платах, и BIOS от ноунейм китайских друзей. Практика показала, что в целом это рабочие платы.
Ну а я ушёл на барахолки, с малым бюджетом и нежеланием работать с китайским биосом.
Поиск на барахолках занял примерно 4 дня. Адекватная цена за материнку на H110–H310 сокете варьируется в рамках 1500–2000 рублей. Платить больше за этот антиквариат точно не стоит. Процессоры можно найти в рамках 500 рублей, тот же G4400 или более мощный собрат G4560. Мне удалось найти такие варианты:
- ASRock H310CM-DVS + i3 8100 + 16GB DDR4 = 6000 рублей.
- GIGABYTE GA-H110M-S2V + G4400 = 2500 рублей.
Вариант с i3 отпал сразу, продавец просил доплату в 500 рублей за «Авито Доставку», и пока я думал пару часов, этот комплект уже купили.
Поэтому пришлось брать второй за 2500 рублей, а также 13 рублей за доставку (удалось списать бонусы за прошлые покупки корпуса и т. д.) и получить 70 рублей кэшбека, итого 2443 рублей.
Материнская плата пришла в отличном состоянии, но пыльная, в сокете стоял процессор G4400, а охлаждает его сток кулер. После чистки и проверки оказалось, что всё работает отлично, особенно порадовала температура процессора в 20–25 ˚С при 24 ˚С окружающей среды и потребление в какие-то смешные 12 Вт на рабочем столе Windows.
C памятью всё просто, я изначально выбрал систему TrueNAS SCALE, и в её минимальных требованиях стоит цифра в 8 ГБ. На деле оперативная память, особенно DDR4, очень дешёвая, и она в TrueNAS используется как кэш для ZFS, было решено взять 16 ГБ с запасом под кэш и возможные приложения. Можно взять новую китайскую память за 2300 рублей/16ГБ (CUSO, Machinist, KingBank и т. д.), но у меня уже был опыт с китайскими планками, и он был не очень положительный (самые дешёвые чипы и ошибки в долговременной работе даже без разгона), поэтому было решено изучить барахолки. Там за примерно 2500 рублей можно взять качественные планки от Kingston/Crucial/Samsung.
Я нашёл локально 2 планки Crucial по 8 ГБ, после небольшого общения с продавцом мы договорились о цене в 1500 рублей за 2 штуки, и я их купил. Это самые простые и базовые планки, никаких быстрых XMP или улетных таймингов, частота всего 2666 МГц при cl19, печальное зрелище, если вы собираетесь играть на таком наборе в современные игры, но абсолютно нормальные характеристики для моих задач. В плюс же играет малое количество чипов, банально система с такими простыми планками потребляет на 1 Вт меньше, чем с тем же объёмом, но на 8 чипах/планка.
▍ Диски — системный
Гайд от TrueNAS предлагает использовать диски объёмом 8 ГБ и более для системы. Изначально я искал SATA DOM модули либо хорошие серверные SSD диски от Intel/Samsung, но ничего путного и не ушатанного так и не нашлось. Поэтому, покопавшись в закромах, я нашёл, наверное, идеальный вариант — Intel OPTANE!
Звучит громко, но на деле это самый простой OPTANE модуль на 16 ГБ, интересен он своими характеристиками, а именно 368TBW, и в целом отличными показателями скорости. При этом его цена составила примерно 643 рубля с учётом доставки.
Материнская плата, выбранная мной, не имеет слота m.2, поэтому был куплен переходник m.2 на Pcie x1 стоимостью 250 рублей.
В идеальном будущем стоит заменить его одного на пару SATA дисков в зеркале для большей надёжности, но пока имеем, что имеем.
▍ Блок питания
Выбор блока продиктован корпусом. В него нативно встаёт TFX блок, а также FlexATX, либо самосбор с picoPSU. В моём случае блок питания уже был в наличии. Это BeQuiet 300W Gold TFX. С учётом бонусов он вышел очень дёшево, и там, где его уже нет, поэтому в бюджет я бы добавил что-то типа Seasonic 300W в TFX формате. Средняя цена таких блоков на «Авито» — 2500 рублей.
▍ Диски
Выбор дисков на самом деле не стоял. Вариант брать новые с местных магазинов, можно сказать, нереален из-за неадекватных цен. Тот же 14 ТБ диск в DNS обойдётся примерно в 30 тысяч рублей! И это с гарантией в 12 месяцев вместо заводских 5 лет. А на Ozon на момент написания статьи я смог купить пару 14 ТБ дисков примерно по 12–13 тысяч рублей. Цифра 14 ТБ неслучайна, так как диски этого объёма имели лучшее соотношение цена/объём, а статистика Backblaze показала очень оптимистичные результаты для этой модели.
Но как всегда дьявол кроется в деталях, ведь диски из Китая/с «Озона» — б/у.
Если посмотреть на отзывы, то они в основном положительные с редкими сообщениями о полностью нерабочем диске, в отзывах с тестами видно, что смарт диска затёрт, но репорты виктории вполне адекватные. Я решил проверить качество этих дисков на себе и сделал тестовый заказ 14 ТБ модели.
Едет такая посылка около месяца, и всё это время с ней непонятно как обращалась доставка. Но стоит отдать должное продавцу, упаковка у диска очень достойная и включает в себя наружный слой пупырчатой плёнки + картонную коробку + массивную защиту из поролона с толщиной стенок в 2–3 см, а внутри уже сам диск в антистатическом пакете.
Диск ощущается как новый, но если приглядываться к деталям, то видно, что он всё же б/у. Есть потёртости на контактах и следы от установки диска в салазки.
Смарт, естественно, затёрт, и диск показывает всего 2 включения. Честно говоря, мне решение с затиранием смарта вообще непонятно, и я лучше бы купил б/у диск с честным набором данных о наработке, чем оставался в блаженном неведении.
Тест «Виктории» показал в целом хорошую поверхность. Всего пара зелёных блоков, но после изучения отзывов оказалось, что это вполне стандартная ситуация для этих даже в новом состоянии прямо из магазина, так что диск я решил оставить себе и заказать второй.
Второй диск в целом идентичный.
Из интересного можно отметить гарантию, ведь внезапно она есть! Проверка серийников обоих дисков рапортует о гарантии до 2026 года, но с разницей в пару месяцев (что хорошо, ведь диски из разных партий, и если будут умирать, то есть шанс, что не вместе). Но нюансы, как обычно, кроются в деталях. Скриншот ниже представлен при проверке гарантии в регионе Китай. Если выбрать, например, Казахстан, то появится сообщение «Regional warranty restrictions apply». В его описании говорится, что Seagate может отказать в гарантии, если обратиться по ней не из родного региона. России в списке, кстати, нет.
Стало интересно, откуда DNS берёт такие диски, и, найдя серийник в отзывах, получаем вот такое весёлое сообщение. Притом я проверил как заглавное фото с карточки товара, так и несколько из отзывов, и результат один и тот же. Что же там разобрал поставщик DNS, остаётся только догадываться.
В итоге покупкой дисков я в целом доволен. Дальше покажет только время, но их состояние можно отметить как отличное.
За 2 диска я отдал 26 тысяч рублей.
▍ Cборка
Начал с корпуса. Его состояние было просто ужасное. Вековая пыль, куча царапин, следы от наклеек и несколько вмятин, видимо, полученных при доставке. Корпус был освобождён от компонентов и отмыт в ванной со средством под названием «Азелит», это чудо химической промышленности позволило оттереть вообще всё, включая клей от наклеек.
Далее с корпусом были проведены мелкие модификации:
- Удалена крышка с замком, защищающая кнопку включения и ресета, ключа у меня просто нет.
- Покрашена область кнопок ресета и старта в цвет корпуса.
- Покрашены заглушки PCIE портов.
- Удалены стойки для ATX материнки, оставлены для ITX.
- Подкрашены царапины.
- Удалены оставшиеся наклейки и логотипы.
- Заменены винты ручек крепления в рэк (были ржавые).
- Удалены некоторые кабель-органайзеры.
- Порядок диодов индикации изменён.
- Заклеена часть ненужных отверстий для воздуха.
Устанавливать диски тут некуда, банально нет заводских мест. Это уже не первый такой корпус в моей стойке, и проблема крепления дисков ранее решалась простой кареткой, которую легко напечатать на принтере, но она поддерживает диски формата 2,5, а в моём NAS будут стоять 3,5, поэтому пришлось искать какое-то решение, и нашлось оно достаточно быстро.
Готовая модель каретки под 2 диска с поддержкой салазок. А также универсальные салазки.
Но после небольших расчётов я пришёл к выводу, что салазки банально не выдвинуть в рамках корпуса, отчего они бесполезны. Кроме того, вибрации от шумящих дисков будут сильно передаваться на корпус, и стоило бы их как-то гасить. В итоге было найдено простое крепление для дисков, которое было приклеено ко дну корпуса на вспененный скотч.
Тем самым удалось добиться достаточно надёжного крепления и даже небольшой изоляции вибрации.
Сюда же был установлен вентилятор. Его в бюджете нет, но во время тестов была выявлена проблема с нагревом дисков до 40+ градусов. Решение проблемы было найдено быстро в виде вентилятора Noctua, который обошёлся примерно в 550 рублей с учётом доставки.
В целом решение оказалось удачным. Диски перестали нагреваться выше 34–35 ˚C даже под продолжительными нагрузками.
Материнская плата была почищена, а её стоковый Intel кулер заменён на пассивный Arctic.
Радиатор оказался очень массивный, но без проблем влез в 2U корпус с зазором примерно в 1 мм. Неприятный момент с ним всё же есть. Его крепление не имеет бэкплейта, а винты используют очень злые пружины, из-за чего при затяжке винтов плата выгнулась в бублик. Пришлось открутить по 7 оборотов на каждом винте. В качестве прижима и охлаждения потерь не обнаружилось, а плата выровнялась.
Цена вопроса — 407 руб.
Проводка вентиляторов простая. Охлаждение дисков через удлинитель подключено в CPU FAN. Таким образом биос не ругается на отсутствие вентилятора, а его обороты регулируются в зависимости от нагрузки на процессор.
Так как охлаждением корпуса будут заниматься родные вентиляторы, я предварительно очистил и смазал их. Это очень неплохие вертушки Sunon EE80251B1-0000-G99, в их плюсы можно записать надёжный шарикоподшипник, очень приличный поток воздуха и достаточно тихую работу. В минусы же запишу 3 pin подключение, высокое энергопотребление, а также шипение шарикоподшипников и хоть и лёгкую, но вибрацию. В целом это очень надёжные вентиляторы, которые я решил оставить. Вентиляторы корпуса подключены в Chasis порт через понижающий резистор (переходник Noctua), таким образом получилось добиться более низких оборотов, чем позволял биос материнской платы по DC управлению.
Блок питания BeQuiet также встал на своё место. Провода Molex и питания видеокарты были убраны в пучок и больше не пригодятся. Провод питания SATA оказался коротким, но всё же дотянулся до дисков.
В качестве системного диска был установлен Intel OPTANE в m.2 исполнении через переходник на PCIE X1 порт.
Последние штрихи в виде SATA проводов и передней панели.
Под конец сборки я всё же решил установить 10GbE карту Mellanox ConnectX 3, которую можно было встретить в моей прошлой статье про 10Гбит сеть. Эта карта из моего основного ПК, в который переехал Mellanox ConnectX 4 lx.
После итоговой сборки сервер отправился на тестирование.
Для тестов я использовал:
- Memtest86 для теста памяти вне Windows.
- Testmem5 с пресетом ANTA777 для тестов памяти в Windows.
- OCCT в режиме CPU TEST для проверки работы процессора.
- Victoria для тестов дисков.
- Iperf клиент и тестирование сети 8 часов на полной нагрузке.
- Aida64 и тест линейной записи для SSD.
▍ Софт и настройки
Нет никакого смысла подробно описывать установку TrueNAS SCALE. Алгоритм установки очень прост и похож на ту же Windows.
- Записать образ на диск (я просто закинул на флешку с Ventoy).
- Произвести установку на SSD диск с дефолтными настройками и своим паролем, попутно запомнить IP адрес, который получит наша машина.
- Перезагрузиться после установки и удостовериться, что ошибок нет.
- Отключить всё, кроме сети и питания.
- Остальные настройки производить в браузере через WebGUI.
В WebGUI всё также просто. Заходим в админку, используя логин admin и пароль, указанный при установке.
Далее идём в Storage и создаём новый пул. В моём случае диска 2, и я добавлю их в зеркало. Таким образом можно получить 2 копии данных и уберечь себя от их потери при поломке одного из дисков, повышенные скорости чтения, но при этом общий объём будет равен одному диску, а запись ограничена скоростью одного диска.
Для работы с NAS в Windows мне понадобится SMB шара. Процесс её настройки прост и потребовал этих шагов:
- Создание датасета.
- Создание группы для юзеров с доступом к SMB шаре (дабы не добавлять каждого юзера и разрешения руками).
- Добавление юзеров для SMB шары и применение группы.
- Запуск SMB сервиса со стандартными настройками.
- Создание SMB Share, в которой будет выбран датасет с первого шага, и добавление группы в ACL список
Список большой, но в целом задача тривиальная, и её можно выполнить, копируя шаги из этого очень подробного видео.
Отдельно отмечу шары без пароля. В самом TrueNAS есть поддержка гостевого доступа, но подключиться без пароля с Windows 10 и выше не получится. Для обхода этого ограничения надо отключить гостевой доступ без защиты, как это сделать написано тут, либо создать гостевого юзера guest/guest.
Теперь, когда все настройки выполнены, можно сделать их бэкап. Это необязательный пункт, и при поломке системного диска данные на дисках с пулом останутся на месте, а пул легко восстановить (если он не шифрован), но он сэкономит много часов пустой работы, которой можно избежать, имея бэкап.
Такой бэкап можно импортировать в свежеустановленную систему, тем самым вернув все настройки.
Делается он просто. Идём в System Settings — General — Manage Configuration (синяя кнопка справа сверху) — Download File.
Соответственно, если произошёл инцидент с системным диском, то достаточно переустановить операционную систему, зайти в это же меню и нажать на Upload File. Система восстановит настройки и перезагрузится.
▍ Тестируем 2,5GbE
Тестировать гигабит бесполезно, ведь забить его может буквально один жёсткий диск без кэшей, мам, пап и кредитов, поэтому сразу перейдём к 2,5GbE соединению.
Для тестов я копировал фильм весом 24 ГБ, с ПК на NAS.
В такой нагрузке скорость в начале передачи колебалась на отметке 280 Мбайт/сек, уперевшись в лимит 2,5 Гбит порта на компьютере, но после 8–10 ГБ скорость упала до 210–240 Мбайт/сек. Падение вызвано окончанием ZFS кэша в оперативной памяти. Дальнейшего падения скорости не обнаружено.
При копировании с NAS на ПК всё опять же упёрлось в порт 2,5GbE, а скорость была стабильной.
Если посмотреть на графики загрузки дисков в TrueNAS, то видно, как запись почти полностью утилизирует все возможности дисков, а чтение загружает их лишь наполовину.
По процессору запас ещё есть, в среднем при операциях я видел загрузку от 30 до 50 %.
Решение с пассивным радиатором вкупе со слабым процессором показало себя прекрасно. Температуры просто смешные даже под нагрузкой, хотя стоит сказать, что они странные, ведь в комнате во время тестов температура была около 28–29 градусов.
Ну и тест CrystalDiskMark c файлом 64 ГБ просто ради интереса.
▍ Тестируем 10GbE
Теперь попробуем 10 гигабит сеть, раз в прошлых тестах мы успешно упёрлись в 2,5 гигабита.
Прогон CrystalDIskMark с файлом 64 ГБ был весёлым, ведь генерация тестового файла на диске идёт на скорости 2 Гбит/сек, а реальные тесты имеют заметно более высокую скорость. Тесты показывают отличную скорость, приближающуюся к SATA дискам, ура?
К сожалению, такие хорошие скорости получены за счёт качественной работы ZFS кэша.
В реальности за пределами кэша запись упирается в 2 гигабита, это как раз± максимальная скорость записи «сигейтов» на 14 ТБ.
Скачивание с NAS идёт на скорости 2,6–3 гигабита.
Как видим, скорость отличная, но, честно говоря, апгрейд до 10 гигабит для сервера с парой жёстких дисков и без какого-либо продвинутого кеширования или больших объёмов оперативной памяти — бесполезен.
▍ Экономика
Бюджет без сетевой карты Mellanox и дисков вышел таким:
- Корпус с учетом проданного из него железа: 417 Руб.
- Блок питания: 2500 Руб.
- Платформа: 2443 Руб.
- Оперативная память: 1500 Руб.
- Системный диск: 643 Руб. + Переходник: 250 Руб.
- Пассивный радиатор: 407 Руб.
- Вентилятор Noctua 80mm: 550 Руб.
Итого: 8710 Рублей за голую платформу с поддержкой четырёх Sata и 2PCIE устройств.
2 жёстких диска вышли в 26026 Рублей, а сетевая карта Mellanox connectX3 2605 Рублей.
Итого за сервер: 37,341 Руб.
▍ Выводы
В целом я полностью доволен этой сборкой. 12 ТБ свободного места, шум минимален, производительность просто отличная, есть возможность расширения путём добавления дисков, и всё это по цене голой коробки от Synology! Собирая следующий NAS, я, скорее всего, заменил бы платформу на N100, оставив всё остальное железо.
На этой ноте я прощаюсь. Если с дисками что-то случится, то я обязательно дополню статью или напишу об этом в комментариях. А в следующей статье я раскрою тему Docker в TrueNas, установлю свой фото сервер, NFS шару для бекапов Proxmox, и многое другое!
© 2024 ООО «МТ ФИНАНС»
Telegram-канал со скидками, розыгрышами призов и новостями IT ?
Комментарии (219)
vvviperrr
01.09.2024 13:14многа букав, не читал
jonsbo n2
itx/slim itxtruenas/freenas
диски на выбор
Tirarex Автор
01.09.2024 13:14+4В названии статьи присутствует слово "бюджетный", а это не про ваш вариант где один jonsbo n2 стоит от 13к. Но это не много на фоне ITX материнок с ценами от 6-8к даже за старые сокеты.
RTFM13
01.09.2024 13:14+1N4 на сегодня стоит 10,5К и в него встаёт обычная mATX. По сравнению с "корпусом" из статьи - своих денег явно стоит, если не упарываться в RM корпуса.
Сначала тоже смотрел в сторону ITX но понял что нет смысла. Выбор материнок под мои хотелки никакой, а выигрыш в габаритах минимальный. Если уж прям совсем экономить габариты, то покупать коробочки на N100 как ниже привели.
vvviperrr
01.09.2024 13:14+1а еще в названии статьи не присутствую слова "диски хрен пойми откуда". но ты такие поставил.
Volodichev
01.09.2024 13:14На фоне стоимости дисков это бюджетно.
К тому же есть n4 и анонсированный n5. Они под matx, а n5 даже под atx-овый БП. Atx-овую мать и БП, можно условно "на помойке" взять.
Другой вопрос, что совсем не стоечные и не совсем тихие (виброшайбы не сильно спасают в n4).
В принципе, всё от поставленной задачи зависит. Вам видимо Ваш вариант больше подходит. Меня, мой с N4 пока тоже устраивает.RTFM13
01.09.2024 13:14Если нужна совсем тишина, надо ставить тихие харды и пассивное охлаждение. Тихие харды еще и жрут меньше и соответственно меньше греются, но работают медленней.
Упарываться в звукоизоляцию - тупиковый путь. N4 как по мне вполне разумный баланс между затратами и эффективностью. Приглушает самые неприятные высокие частоты - и ладно.
Вообще решение с салазками там мне понравилось своей оригинальностью и дешевизной. Хотя это больше на прибыль производителя влияет чем на потребительские свойства, но тем не менее.
00svd00
01.09.2024 13:14+1Хех. Лично мне больше понравился n1, как-то он для дома выглядит покомпактнее. Хотя если нужен хотсвап дисков - n2 конечно лучше. И если честно - не вижу смысла в спец ОС для NAS, по крайней мере в приложении к домашней хранилке. Обычный дебиан справится не хуже.
vvviperrr
01.09.2024 13:14а мне n1 не понравился от слова совсем. n3 неплохой, но 8 дисков оверхед + неудачное охлаждение (имхо).
n2 идеален во всем. компактные размеры, pcie слот, sfx бп устанавливается вентом наружу, охлаждение, заточенное под топ флоу кулера (перфорация сверху). хотсвап особо преимуществом не считаю, редкая операция для меня. единственное - заменил задний вентилятор на 25мм от be quiet. из за выпирающего молекса влез впритирку. но и шум несравнимый, по сравнению с шумом дисков.И если честно - не вижу смысла в спец ОС для NAS
ну мб кому то чисто под нас - наверное проще. у меня же это фактически резервный пк, поэтому обычный дистр.
Romantik-013
01.09.2024 13:14+5Очень хорошая статья, единственное, на мой скромный взгляд зеркало из дисков на 14Тб, даже с ZFS, не очень быстро. Могу сказать что 10-й рейд на старых серверных seagate constellation + два samsung 860 pro по 1Тб, в качестве кеширующего пула, работает куда живее. Кстати, система стоит на m10, как и у автора статьи. Очень удачная штука, для подобных кейсов.
А, ещё я напрочь проигнорировал рекоммендацию с ECC, посадив это всё на b150 с 7700 и 32Гб рам. Года уже как три точно, получившаяся шайтан коробка, бесперебойно радует домашних.
werter_l
01.09.2024 13:14+15Спасибо за статью.
Вставлю свои 5 копеек, готовый бюджетный вариант
2 LAN 2.5Гб\с, 1 m2 , 2 hdd
Можно найти такой же вариант с amd ryzen 7 5825u. В нем будет 2 m2, но и стоит он "пустой" под 40к.
DennisP
01.09.2024 13:14Прикольная штука, тоже на неё смотрю. Хочется сделать два в одном - NAS плюс медиа плеер возле телевизора, пока не совсем понимаю, какую ос и софт ставить, чтобы решить эти две задачи
werter_l
01.09.2024 13:141 Ставим proxmox ve на m2 + собираем из вебки прокса zfs raid1 из 2х hdd.
2 На проксе ставим lxc с alpine linux и в нем в докере:
https://blog.kye.dev/proxmox-series Разделы: Setting up the Servarr stack Configuring GPU passthrough
avspnz
01.09.2024 13:14+2К слову, неделю назад на али заказывал себе такое ведерко с 5825u за 25к.
У китайцев ещё можно купить AOOSTAR WTR Pro на 4 HDD. Есть модели так же на n100 и 5825u. Характеристики, цена ± такая же, но неизвестно сколько будет стоить доставка.
battlemixerpilot
01.09.2024 13:14Выглядит интересно, но на ру алике также не нашел.
Вообще хотел бы прикупить что-нибудь такое компактное и энергосберегающее, но смущает ограничение в количестве дисков и охлаждение, четыре харда в стеке друг друга прилично греют на 40-43 градуса точно. Да и систему привык ставить отдельно от основного массива хранения.
С другой стороны моя домашняя хранилка на 6 дисков RAID6 из обычной старой пекарни так жрет электричество, что я её почти перестал включать, и использую больше как склад файлов на черный день включения полного Чебурнета. Но ATX пекарни хороши тем, что они расширяемые и легкообслуживаемые.
Мини-ПК на два диска в качестве NAS это смешно и не понятно для чего заморачиваться тогда. На 4 уже имеет смысл.
NetBUG
01.09.2024 13:14Оно прям полноценный комп? С UEFI и развлекайся-как-хочешь с ОС?
DaemonGloom
01.09.2024 13:14Да, это просто компактный комп с удобным корпусом. Любой софт ставите сами.
Inoriol
01.09.2024 13:14+11Недавно тоже собирал себе бюджетный (для своих целей) NAS/домашний сервер и получилось подороже чем у вас, конечно, но тоже дешевле покупных вариантов.
Хотелось красивенько, так что пошёл с ITX корпусом KCMconmey 4, который обошёлся мне в 11606 йен.
Поскольку для домашнего сервера нужны определённые мускулы (гонять медиасервер, кучу виртуалок и т.д.), то решил пойти с AM4 сокетом, а как процессор выбрал Ryzen 5700g (встроенного графического ядра должно хватать на плюс-минус адекватный по скорости декодинг). Мать же взял самую дешёвую какую смог найти в сетевом магазине вторичных товаров. В результате вышло
ASRock B550M-ITX - 14450 йен
Ryzen 5700g - 23000 йен
Для виртуалок нужно много оперативки, поэтому взял Patriot Viper (2x32GB) за 17300 йен.
В корпусе ну о-о-о-очень мало место под кулер и на рынке буквально один кулер на АМ4 сокет подходит - Noctua NH-L9a AM4. Он обошёлся в 6300 йен.
И наконец БП. Для копуса нужен либо Flex, либо 1U БП и я взял SilverStone FX350-G 80PLUS за 10081 йену. Это единственный компонент где я немного был неправ, поскольку плашка под БП на корпусе не предполагала кнопку включения. В результате я не очень красиво откусил середину плашки плоскогубцами.
По итогу без учёта накопителей вышло 82737 йен, или 52 тысячи рублей в переводе.
Как жесткие диски взял 4 б/ушные красные ВДшки на 4 tb с хорошими SMART - это обошлось в 7000 йен по 4 раза, то есть 28 тысяч йен. Как диск под систему - дешевенькую m2 ADATA на 512gb за 5 тысяч йен. 117737 йен в сумме, или 74 тысячи рублей в переводе.
Как систему конечно поставил TrueNAS Scale - сочетание удобства, простоты и функциональности у него получше, чем у OMV.
Результатом доволен как слон. На будущее ещё остался свободный PCIe слот под сетевую карту, если захочется, например, ещё и роутер виртуализировать.
Tirarex Автор
01.09.2024 13:14+1Неплохо! У меня кроме NAS есть основной сервер на 13600к, он уже занимается тяжелыми задачами виртуализации, поэтому на NAS было решено экономить.
werter_l
01.09.2024 13:14+3Обратите внимание на амд - нынче они на коне. Они пока не заигрались с Е- и Р-ядрами как интел. Появилось такое мощное чудо от китайцев:
Polunochnik
01.09.2024 13:14+3приветствую! подскажите пожалуйста, вы случаем на свой сервер не ставили Plex Media Server? просто на офф.странице дистрибутива TrueNAS Scale к данному приложению указано что "(Требуется подписка на Plex Pass) "...
Attila23
01.09.2024 13:14+5Plex работает и без подписки, но, к примеру, если Plex-клиент установлен на телевизоре, то может возникнуть проблема с неподдерживаемой кодировкой видеофайла. Если исходная кодировка файла не поддерживается, Plex может декодировать файл, но для этого потребуется эта самая подписка. При использовании клиента Plex на пк таких проблем у меня, к примеру, не возникает даже без подписки.
ornic
01.09.2024 13:14Плекс декодирует и без подписки. Но тогда там декодинг софтовый.
nidalee
01.09.2024 13:14Plex бесплатно не конвертирует цветовое пространство HDR в SDR, если клиент не умеет HDR.
ornic
01.09.2024 13:14Это выглядит вариантом не для домашнего использования.
Хотя... если есть два телевизора, один старенький, один новый, а посмотреть очень хочется, а новый занят... :)
То проще поставить призму и посмотреть SDR на SDRnidalee
01.09.2024 13:14Это выглядит вариантом не для домашнего использования.
Я пару раз порывался с работы посмотреть кино, но поскольку все фильмы качаю в максимальном доступном качестве, то качается зачастую HDR. И тут либо смотреть блеклую фигню, либо не смотреть вообще.
CaptGg
01.09.2024 13:14+3А Jellyfin в качестве более свободной альтернативы не рассматривали?
rostislav-zp
01.09.2024 13:14Я пробовал.оказалось он все время лагает.на форуме пишут, что лечится только покупкой премиума.дальше не стал разбираться и вернулся на плекс
CaptGg
01.09.2024 13:14+2лечится только покупкой премиума
Звучит как типичная история Plex и Emby. Вы с последним не перепутали? У Jellyfin аппаратное кодирование бесплатно, что собственно и является его основным преимуществом.
Jellyfin is descended from Emby's 3.5.2 release and ported to the .NET Core framework to enable full cross-platform support. There are no strings attached, no premium licenses or features, and no hidden agendas: just a team who want to build something better and work together to achieve it.
aik
01.09.2024 13:14Плексу нужна подписка для аппаратного транскодинга на GPU и для того, чтобы не покупать клиентский софт на каждого клиента.
Если у вас достаточно мощный процессор и смотрите видео через браузер - можно и бесплатным плексом спокойно пользоваться.
InikonI
01.09.2024 13:14+4А я под домашний NAS/сервер беру б/у сервера, они и стоят не дорого.
У меня сейчас под основной сервер Lenovo ST550, год назад брал его за 30000 йен.
Поменял ЦП на Xeon Gold 6230 +30000 йен
и добавил памяти 4 планки по 32ГБ (всего стало 6 планок по 32ГБ) +15000 йен
Бесплатным бонусом идет удаленное управление и хотсвап корзинки.
Так же энергоэффективный БП уровня platinum.
Итог 75т йен (~50т. руб).
Диски я вынимал из внешних коробок WD, покупал новыми раньше, выходило 20000 йен за 10ТБ диск.Недавно еще Dell Poweredge T440 купил за 20000 йен.
У Dell мне импонирует, то что я все диски смогу разместить в пределах корпуса.
У Lenovo часть (3 диска) пришлось размещать снаружи, что мне не очень нравится.
KorDen32
01.09.2024 13:14+1минимум шума
Выбор дисков на самом деле не стоял
Если не хочется SSD, то в категории "минимум шума" хорошим вариантом являются WD Red (Plus) на 12 и 14 Тб (WD120EFAX, WD120EFBX, WD140EFFX, WD140EFGX).
В даташитах прямо заявлен более низкий уровень шума (29dB) относительно других моделей, и на практике в сравнении с большинством других дисков объемом от 12 Тб это, пожалуй, самые тихие диски.
Tirarex Автор
01.09.2024 13:14Ага читал про wd на реддите, но их в продаже почти небыло, а сигейты хоть и шумные (звук будто за стенкой сосет в розетку пытается что то воткнуть), но очень дешевые 26к/28тб, и цена была большим приоритетом чем шум.
werter_l
01.09.2024 13:14+5Внимание! Диски hdd брать только с CMR - с SMR не брать. Поискать почему.
В магазине и 3-х букв это выглядит так:
VADemon
01.09.2024 13:14Ладно, я хоть и уважаю "задачки пытливым чтецам", но чтобы не было безмозглого "веруем, что SMR - плохо" расскажу в двух словах: при SMR при записи пересекаются дорожки, потому они ведут себя как TLC/QLC SSD. А именно, когда исчерпается место под кэш (обычная запись), то запись продолжается в SMR области и медленно. Потому что для записи 1 дорожки приходится, условно, перезаписывать еще 2. У меня это выливалось в 10-30 МБ/с (вроде как на "не-SMR" White label, но другого логичного объяснения не найду, при минимальной read нагрузке).
То есть если SMR у вас как read-only - без проблем. В RAID избегать как огня.
kenomimi
01.09.2024 13:14+9С "условно новыми" дисками я был бы осторожнее. Откуда их берут, большой вопрос - модели новые, в серверах в ынтерпрайзе в среднем 5 лет диски ходят, совсем новые до 7 - вот и загадка, кто же в таком безумном количестве списывает свежие рабочие диски огромных размеров? Мелочь до 3-5 терабайт да, списывают все подряд, но не 15-30ТБ никак - а рынок просто завален "новыми" большими сигейтами. ИЧСХ, ни одного нет с несброшеным смартом, несмотря на то, что рабочий б\у и псевдоновый ценой не отличаются, спрос на них тоже одинаковый - казалось бы, смысл морочить голову с процедурой сброса...
Есть мысль, что сигейт где-то крупно косякнул, и наделал тонну бракованых ынтейпрайзных дисков - ну и скинул их по себестоимости на китайский рынок неофициальным каналом.
Tirarex Автор
01.09.2024 13:14+2Я согласен что с бу дисками не все так гладко, но как ни крути а цена слишком решающий фактор. Особенно на фоне дисков из крупного ритейла (днс) которые как оказалось тоже не совсем новые и не совсем белые. В идеале конечно собрать более замороченный рейд с возможностью потери двух дисков.
На счет сигейта и брака ничего сказать не могу, судя по гарантии на их сайте, диски все же разобраны из какой то системы и год минимум уже поработали. Я долго изучал лоты и отзывы и изредка попадались люди которым приходили диски с целым смартом и пробегом 7-12к часов в среднем.
Сколько они проработают я не знаю но как и обещал, отпишу если что то с ними произойдет.
werter_l
01.09.2024 13:14+1Если нужна надежность , то собирать raid-z1\2\3. Но это минимум 3 диска для -z1 и 4 для -z2.
RTFM13
01.09.2024 13:14+2Всякие облачные хостеры, видеохранилища с уличных камер и т.п. списывают по ресурсу превентивно. Допустим знают что после 100 перезаписей начинает сыпаться - на 90 списывают. В домашнем NAS он за 10 лет 2-3 цикла записи только наработает. Там это меньше погрешности, только если очень не повезёт.
CherryPah
01.09.2024 13:14+2Откуда их берут, большой вопрос - модели новые, в серверах в ынтерпрайзе в среднем 5 лет диски ходят, совсем новые до 7.
В кровавом ынтерпрайзе неважно сколько диск ходит, важен гарантийный срок / срок обслуживания, когда вам вендор NBD замену предоставит.
кто же в таком безумном количестве списывает свежие рабочие диски огромных размеров?
Мне как-то в партии попался один незатертый с чиевскими плотами. И это в 2024!
сигейт где-то крупно косякнул, и наделал тонну бракованых ынтейпрайзных дисков
Не только сигейт, все вендоры есть есть в продаже. Не могли же они все разом накосячить.
А еще несколько лет назад все авито было завалено 4/6/8/10 терабайтными тошибами, но там хоть смарт не нулили, честно говорили что бу, но пробеги тоже небольшие. По слухам, и по наклеенному ДСП штрихкоду с буквой Я - сливались из Яндекса
kenomimi
01.09.2024 13:14когда вам вендор NBD замену предоставит.
С какого-то момента, и довольно давно, старые диски у крупных клиентов тот же сигейт стал выкупать назад, давая скидку на новые. Они старье восстанавливают и продают подешевке - но там жирно написано на наклейке, что восстановленный - лично видел такие. Клиенту это выгодно - утилизация стоит денег всё-таки...
Хотя, чел выше верно сказал - могли снимать с видеонаблюдения китайского - аналитика шагнула вперед, и хранить весь поток стало просто не нужно... Датацентры там были колоссальные, диски списывают, взамен ставят уже ссд местного разлива...
VADemon
01.09.2024 13:14Скрытый текст
Stop hard drive shredding. Shift to a mindset of sustainability. Despite modern state-of-the-art sanitization techniques, data security remains the biggest concern in adopting drive circularity. This leads to widespread hard drive shredding, with over 200 million devices disposed yearly. We're enabling the circular economy by providing a trusted and certified level of erasure.
https://www.seagate.com/gb/en/innovation/circularity/ может быть это оно и есть. Рециркуляция рабочих дисков.
Xtrr
01.09.2024 13:14+1Бывает что партия готового решения с диском всего на пару баксов дороже такого же решения, но без диска (©Маркетинг). Если есть канал куда диски сбыть хотя бы за треть цены, то берется вариант с дисками.
vvzvlad
01.09.2024 13:14Который раз беру б/у диски на авито, с пробегом в год-два, предварительно отобрав модели по backblaze. Все живы, смарт в норме, не затерт, битых секторов нет, живут годами. Но конечно, такое только в зеркало.
NotSlow
01.09.2024 13:14+3Прямо чувство дежавю :) Optane, Mellanox оптика
Мой нынешний конфиг:
Тоже недавно обновил свою 10g оптику на 25g от Мелланокс. Старое на авито выставил, но судя по просмотрам наверное и за год не продам :(
Intel X520-DA2 и Mellanox ConnectX-2
Был стремный момент по поводу неоригинальности новых 25g карт. На ebay нашел по хорошей цене, но Dell. Однако все прошло нормально, вставились и заработали идеально сразу.
Mellanox ConnectX-4 Lx
Столкнулся правда с проблемой нагрева. X520 тоже была довольно горяча, но на новых температура 70+
Пришлось срочно приколхозить дополнительный обдув
Стало в среднем 55 градусов
2шт 16ки стоят в Raid-0 и вот что на 10г сети замерял:
5g сети для 500+ мб/сек (это может быть и 1 sata ssd например) достаточно
Т.е. даже 10г даже для raid-0 выше крыши. Но всеж в планах позже добавить и nvme дисков сюда.
Пока лишь с RAM-диском загрузить удалось на полную 25g
Чуть сдулась скорость когда записывал видео т.к. перегрелось все после тестов
Tirarex Автор
01.09.2024 13:1425гбит в домашней лабе, завидую белой завистью! Для себя решил что таких нагрузок у меня нет и не предвидится поэтому пока остановился на 10 гигабит, но конкретно NAS скорее всего даунгрейднется до 2,5гбит дабы еще пару ватт срезать и занимать дешевый эзернет порт на свиче (из этой статьи https://habr.com/ru/companies/ruvds/articles/798813/ ) вместо боле дорогого sfp+. Ради интереса сделал бы такую сеть но дешевых свичей просто не существует (дешевле взять ATX мамку на z390 чипсете и напихать в нее 4 меланоксов, выйдет сильно дешевле готового бу свича).
Меланокс 4lx у меня тоже есть но версия на 10гбит с Sfp+ портами (MCX4121A-ACAT) на вид почти как ваши но между портами больше места и стоит какая то мелкая микруха. На 10гбит она не перегревается без активного обдува, но в целом ест по ощущениям даже больше чем тройка. Брал такую на 2 порта за 43$
Меланоксы под 25гбит на али сейчас стоят около 55$
NotSlow
01.09.2024 13:14+2Больше места - это у вас "оригинал" 4121A. У меня просто Dell 4121C и они самую малость отличаются.
В вашу тоже можно вставить 25g трансиверы.
Чтоб совсем слюнями захлебнуться, покажу за сколько взял:
Это за 2 карты и 4 трансивера
NotSlow
01.09.2024 13:14Еще момент, что на 10, что на 25г нужно только ставить MTU 9000 на обоих концах, чтобы получить полную скорость. На стандартных MTU 1500 получалось лишь чуть выше половины максимума
pred8or
01.09.2024 13:14+1Год назад затеял апгрейд домашнего серверного парка, сервер для виртуализации/приложений и NAS. На 10Гбит смотрел но SoHo коммутаторов с 4 SFP+ и 8 PoE в настольном корпусе пока никто не делает, так что этот вопрос подвешен. Но вот для NAS у меня вышло вот такое:
Очень хотелось чтоб было тихо и холодно. Вроде эта цель достигнута. Да и в остальном тоже нормально. На убунте - Samba с виндовыми шарами, Jellyfin, Immich, ну и по мелочам. Ну и дисков добавилось. Ультрастары хорошо идут
BugM
01.09.2024 13:14+1И опять х86 и даже с вентиляторами. Ну зачем? Для таких целей есть более подходящие архитектуры. Отдавать/принимать 10гбит это не та задача для которой надо х86 брать.
Tirarex Автор
01.09.2024 13:14Диски просто лёжа на столе уже больше 40 греются без обдува. Ну и одноплатников с sfp+ Я не припомню (как минимум по адекватной цене).
Кроме того в следующей статье расскажу побольше о работе приложений в трунас, а это докер и x86
BugM
01.09.2024 13:1440 градусов это вообще не температура для железа. Не надо ее обдувать.
10гбит с двух hdd дисков никак не выжать. Даже гигабит в более-менее реальных сценариях не выжать. 10гбит ставят туда где оно надо. Под десяток дисков или около того. Таких решений сколько угодно на рынке.
Tirarex Автор
01.09.2024 13:14+3Вы точно статью читали ?
Да и 40 градусов в бездействии для жёстких дисков это вообще не нормально...
BugM
01.09.2024 13:14+340 градусов это абсолютно нормально. Рабочие температуры дисков в типичных серверах гораздо выше. И они там работают по много лет без особых проблем. Где-то до 60 градусов можно вообще про температуру не думать. Чуть дальше стоит подумать про радиатор. Его хватит чтобы снизить температуру до тех же 60 градусов.
Тесты делаются не так. Но это не важно. Реальные скорости hdd дисков при реальной нагрузке в общем известны и не меняются уже много лет. Производители в курсе типичных скоростей. И гигабита хватает.
Минусовать карму это универсальный аргумент, понимаю.
vp7
01.09.2024 13:14+4Я не знаю, где вы видели такие температуры дисков. Наверное в "псевдо дата центрах", в которых нет нормально охлаждения.
В нормальных датацентрах температура дисков обычно не превышает 30-35 градусов.
zatim
01.09.2024 13:14В нормальных датацентрах обычно есть кондиционирование до температуры плюс 15-17. Соответственно, перегрев сочтавляет ~20 градусов относительно среды. Если у вас комнатная температура 25-30 градусов, то с тем же перегревом диск нагреется до 45-50 градусов. Если еще и с обдувом плохо, то 55-60 будет.
Tirarex Автор
01.09.2024 13:1460 для ссд это вполне нормально, 60 для hdd Это верхняя планка, работа на предельной температуре никогда в плюс диску не будет. (даташит сигейта, 60 это предел https://www.seagate.com/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-2-1904US-en_US.pdf ).
Не знаю какие производители в курсе, но если бы вы прочитали статью то узнали бы что тут 2 диска в зеркале + ZFS. Они без проблем работают на скорости 2,2гбит/сек на запиь и в районе 2,4гбит на чтение по сети.
nidalee
01.09.2024 13:14Производители в курсе типичных скоростей. И гигабита хватает.
Гигабита "хватает", но ZRAID из 4 WD Red (5400) дисков легко забивает на чтение 2.5Г сеть. Помышляю о 10Г и выше дома уже. Пока лень разбираться, плюс производители десктопного железа экономят линии PCI-E, а значит сеть будет работать в ущерб 4090 (или что там после нее будет)...
DaemonGloom
01.09.2024 13:14На видеокарту (и первый M.2) обычно идут отдельные линии, так что можете не беспокоиться по этому поводу. Всё остальное на десктопах чаще всего идёт через чипсет, соответственно не помешает играм/рендерингу/ИИ.
nidalee
01.09.2024 13:14На видеокарту (и первый M.2) обычно идут отдельные линии, так что можете не беспокоиться по этому поводу.
Это действительно так. Но есть нюанс: эти линии опционально работают либо как 1х16, либо как 2х8.
Я нагуглил инфографику о линиях на Zen 4...
...и 8 линий там можно выбить только если ужать GPU до x8. А сетевушки на 25Г это гарантированно х8, как я понимаю. Даже 10-гиговые SFP обычно уже используют 8, хотя в основном на "уставшем" PCI-E 2. Получается некрасиво... Если только не искать сетевушку на PCI-E 4 или 5. Но что-то мне подсказывает, что они стоят дороже всего остального моего железа вместе взятого. Надо изучить вопрос.
DaemonGloom
01.09.2024 13:14PCI-E 3.0 x4 - это примерно 25 гигабит и есть (в теории - до 32 гигабит, но на практике недостижимо). Соединение между процессором и чипсетом - в два раза быстрее. Так что хватит ещё и на SSD. По отзывам на реддите - у людей MCX4121A-ACAT даёт 23 гигабита на 3.0x4.
VADemon
01.09.2024 13:14Microsoft выпускали (давно) paper о темп. дисков и проценте отказов. По памяти: идеально макс. 25 градусов, до 34 терпимо, дальше выше, лучше выше 40 не держать, (если не обкатанный RAID, где юзеру понятно и просто поменять). Но, понятно, это было до гелия и новых технологий wear levelling.
zuek
01.09.2024 13:14Вот данные за последние пару месяцев с моего домашнего NAS:
Тут даже близко нет 60 градусов
boroda230
01.09.2024 13:14+1Он точно статью читал. )) И я с ним абсолютно согласен, 10 гигабит с зеркала на HDD оно смешно. 8-10 дисков в 6-м массиве, да тогда имеет смысл. Если что, у меня стоит тоже самое что вы делали, только правильно сделанное. 8х4Тб 6-й массив, 10Gbe и очевидно что на серверной матери с нормальным SAS контроллером и в нормальном серверном кейсе от супермикро.
Tirarex Автор
01.09.2024 13:14А может и не читал)) Все же ZFS кеш никто не отменял, а в моем случае на данный момент это +-12гб. Для мелких файлов пока хватает. В следующей статье про софт возможно как раз закину апгрейд до 32/64гб в бюджет.
Но да, как и писал 10 гигабит тут не сильно нужно пока, можно остановиться на 2,5.
GennPen
01.09.2024 13:14+1На однопоточном копировании мелких файлах узкое горло - это производительность сети и производительность операционной системы. От сети мало что зависит, и на мелких 4к файлах она примерно одинакова что на 1G, что на 10G. Samba тоже имеет свои особенности при работе с мелкими файлами в один поток.
Скрытый текст
Вот максимум что получалось вытянуть при работе через samba. Массив из нескольких SSD, кэш 32 Гб, 10 vCPU.
По сетке 1G:
И по сетке 10G:
К сожалению, такие хорошие скорости получены за счёт качественной работы ZFS кэша.
И да, у вас скорости не соответствуют тем что должны быть при работе через кэш. Вот здесь все хорошо расписано как работает ZFS: Основы ZFS: система хранения и производительность / Хабр (habr.com)
Tirarex Автор
01.09.2024 13:14У меня тесты синтетика и копирование огромных файлом, там zfs кеш мало чем поможет как мне кажется (особенно при тестовом файле который сильно больше кеша).
AiR_WiZArD
01.09.2024 13:14И как по шуму? Купил недавно китайский сервер на зионах, так что бы уровень шума опустить на уровень "в соседней комнате не слышно в простое", пришлось заменить вентиляторы на тихие и снять переднюю панель для накопителей, потому что потоку воздуха мешала и добавляла температуры (мне 2х 2.5 ссд в зеркале для серверных задач хватает, остальное на +- таком же что и у автора NAS хранится). Если частный дом, то завидую, но в квартиру с мини-серверной в коридоре ставить полноценный сервер и запихивать туда диски... Слишком шумно, хотя максимальными оборотами стоковыми 30Вт вертушками можно соседей призывать ;)
boroda230
01.09.2024 13:14По шуму средне. У меня под него отдельное помещение - кладовка. При закрытой двери меня особо не напрягает, тем более что в квартире редко бываю, живем загородом.
nidalee
01.09.2024 13:14+2И опять х86 и даже с вентиляторами. Ну зачем?
Дешево и совместимо со всем, с чем может быть совместимо. Легко масштабируется, легко заменять \ апгрейдить компоненты.
vvzvlad
01.09.2024 13:14И опять х86 и даже с вентиляторами. Ну зачем? Для таких целей есть более подходящие архитектуры.
Так может поделитесь конкретными моделями?
ptr128
01.09.2024 13:14А почему в сторону одноплатников не смотрели? Тот же Banana Pi BPI-R2 вроде вполне в бюджет попал бы.
LF69ssop
01.09.2024 13:14А смысл в truenas если фактически ничего из его возможностей не используется?
anton_tereshko
01.09.2024 13:14+1Ещё из интересного отмечу Ugreen NASync серию.В сторону Ugreen не смотри, только если решишь накатывать trueNas или что-то другое. Операцинка от Ugreen очень сырая. Плюс надо будет делать моддиг(менять термопасту, менять кулер) говорю по опыту, у самого dxp4800plus
c46fd3da
01.09.2024 13:14Есть в хозяйстве дома такой корпус, годное приобретение, если вентиляторы в те-же самые отверстия поставить с наружной стороны (а не с внутренней), то на заднюю стенку можно приделать в вертикальном положении ВАГОН С ТЕЛЕЖКОЙ дисков 2.5 дюйма (в том числе SSD MICRON душевного объема и ресурса). Не жертвуя при этом ценнейшим внутренним пространством под слоты.
Diman89
01.09.2024 13:14Диски на 14ТВ ведь с черепичной записью? Если да - не стремновато ее сочетать с ZFS?
NotSlow
01.09.2024 13:14Откуда эти сплетни?
https://www.seagate.com/gb/en/products/cmr-smr-list/
Exos - это верхний (enterprise) уровень, их не бывает SMR
Хотя я бы в целом не доверял никакому Seagate :) но это уже вопрос религии.
Мой самый старый на данный момент диск. Может кто похвастать таким же пожилым Seagate?
Diman89
01.09.2024 13:14Я как минимум не особо верю в CMR на 20ТВ, поэтому не верю и в остальное
Alexsey
01.09.2024 13:14+1Мы тут вроде не в церкви чтобы верить во что-то. На конкретные диски есть конкретные даташиты. Если даташитов мало, то тот факт что диск не CMR всплыл бы буквально в течение пары дней после выхода диска на рынок как только покупатели начали бы их грузить.
P.S. У меня в использовании CMR диски WD на 8, 10, 14, 16 и 20 тб.
nidalee
01.09.2024 13:14Там не совсем дураки сидят все-таки: диски таких размеров без RAID не особо жизнеспособны, а SMR (условно) несовместим с RAID. У меня 3 TOSHIBA MG09ACA1 на 18ТБ - CMR. Найти SMR такого объема сложнее, чем CMR - они никому не нужны.
dv0ich
01.09.2024 13:14У моего Seagate, который стал моим последним hdd, счётчик power_on_hours обнулился - видимо, по достижении 65536 часов (хз, почему так). Вообще, из всех винтов у меня только Seagate не сдыхали, в отличие от WD и Toshiba. Такой вот опыт.
Zara6502
01.09.2024 13:14+2за 20 лет имею опыт созерцания примерно 300 мёртвых seagate, пара wd и ни одного samsung. Тот sams что у меня еще остался, на 1 Тб, наработал ~65000 часов и трудится дальше. У wd знаю точно умирают часто в ноутах, но они там и крутятся в беспощадных температурах, просто регулярно такие меняю людям на ssd. Такие я не считаю, так как 7-10 лет при температурах за 60С это очень неплохо.
dtmse
01.09.2024 13:14+1На работе собираю в БД смарты у дисков на всех АРМ самописной утилитой. И тоже заметил, что у некоторых Сигейтов аттрибут часов наработки обнуляется после какого-то значения. Но не у всех. У данного диска переполнение произошло после ~78000 часов.
Seagate Surveillance А у этого нет, несмотря на более чем почтенную наработку.
Seagate Barracuda 7200.10
Zara6502
01.09.2024 13:14бюджетный, $400, 14Tb - несочетаемые слова. Если конечны взять бентли, то тойота камри будет несомненно бюджетным авто.
Zara6502
01.09.2024 13:14+1Цена до 400$ (вместе с дисками).
10+ ТБ свободного места с возможностью потери одного диска.
Сетевое соединение на скорости 2,5–10 Гбит.
Низкое энергопотребление.
Низкий уровень шума.
Желательно 1–2U корпус для установки в стойку с глубиной до 30–35 см.
Возможность расширения дисков/оперативной памяти.
Начал читать, уже и 10 гигабит и стойка в наличии и расширение дисков и тишина - с такими запросами бюджетный нас вы не соберете, что и понятно.
nidalee
01.09.2024 13:14Кто-то за эти бабки умудряется продать коробку без дисков на 4 ядра и 2 гига оперативы... Важно знать, что есть альтернативы.
Zara6502
01.09.2024 13:14не вижу связи со статьёй. моя претензия основана на том, что 400уе это нифига не бюджетно, это раз, а небюджетно это и потому что 14Тб диск (-и) по своей сути вообще не про бюджетность. вот если бы статья изучала цены, а потом рассказывала как собрать такое за 3000 руб, это бюджетно. А новое и дорогое за те же деньги - ну в жизни всякое бывает.
автор вон селерон 19 года забраковал, а потом пентиум 4400 купил, в общем много странного.
nidalee
01.09.2024 13:14+1вот если бы статья изучала цены, а потом рассказывала как собрать такое за 3000 руб, это бюджетно.
Вы просто рубли в доллары переводите и сразу поймете безнадежность такой затеи. :)
NAS - это по-определению коробка с дисками, а дисков за 3000 не бывает, только утиль. На 3000 можно купить себе флешку, максимум.
Zara6502
01.09.2024 13:14так в том и будет ценность статьи, а взять 400уе и купить б/у железки разве проблема?
nidalee
01.09.2024 13:14+2Ценности у такой статьи не будет, потому что купить хоть что-то на 100 уе - это просто удача, повторяемость у такого результата будет околонулевая, скорее просто хвастовство без практической пользы.
Zara6502
01.09.2024 13:14вы придумываете, а я говорю о соответствии названию. Если бы автор написал "Как с собрал NAS на 14Тб за 400уе", то вопроса к названию не было бы вообще.
nidalee
01.09.2024 13:14+2NAS на 14ТБ за 400$ - бюджетный. Это полтора новых диска из магазина по текущим ценам (ST14000VE0008 на 14ТБ - 19 тысяч рублей). Реальность такова, что по цене ниже... Ну, скажем, 30 тысяч рублей, в 2024 нельзя собрать ничего полезного (на 10ТБ и выше). Если целиться в ниже 10ТБ, то непонятно, зачем тогда вообще NAS - логичнее просто купить диск и поставить его в компьютер.
Zara6502
01.09.2024 13:14Это полтора новых диска
Цена дисков тут не имеет значения, так как диски могут быть любые. В конкретно этом случае раз диски куплены не новые, то как по мне - куплены они дорого, так как средняя цена не дороже 20К за два диска, что уже <200уе, остальные железки вообще нет смысла считать просто потому что у всех разные запросы, но даже если посчитать, то он еще 20К влупил в то, что можно собрать за 5000 - мы же б/у собираем, а там цены очень разные. У меня есть комплект - корпус на 2 диска и мини-ITX мать с miniPCI SATA для системы, с ноутбучной ОЗУ. На вторичке такого полно. У меня получится NAS на 14Тб за 25000, а не за 37000 как у автора, что в 1.5 раза дешевле. Отсюда мы и видим что заголовок не соответствует содержимому статьи.
battlemixerpilot
01.09.2024 13:14Главная проблема с дисками из статьи это то, что они непонятно сколько прослужили и какие данные фиксировал смарт. Если брать объемные диски, то предполагается, что на них будут долгосрочно храниться хоть сколько-нибудь ценные данные, а в этом случае даже примерно не предсказать, когда такие диски прикажут долго жить.
aik
01.09.2024 13:14400 баксов за системник с 2*14ТБ - это бюджетно, учитывая то, что там только диски 600 будут стоить, если их новые брать.
Zara6502
01.09.2024 13:14представьте статью "покупаем бюджетный автомобиль" и там вам предлагают из США заказать Бентли за 18 млн, а новый стоит 36 - бюджетненько же получилось.
В статье самое главное это NAS как таковой, диски туда можно ставить любые и автор собрал совсем не бюджетный вариант изначально, об этом и речь.
aik
01.09.2024 13:14Только статья называется не "покупаем бюджетный автомобиль", а "покупаем бюджетный бентли". Бюджетность - это понятие относительное, а не абсолютное.
самое главное это NAS как таковой, диски туда можно ставить любые
Я лично пришел в статью смотреть, как он два диска по 14 терабайт в бюджет засунул, да ещё так, чтобы на сам NAS осталось. Если бы статья называлась "собираем бюджетный nas за 100 баксов", то я бы и не дёргался, наверное.
Zara6502
01.09.2024 13:14+1Я лично пришел в статью смотреть, как он два диска по 14 терабайт в бюджет засунул
Ну тут была уже статья тоже про что-то бюджетное, где у автора просто "лежало в шкафу" 90% от необходимого. И ничё, всем зашло. Так что как он приобрёл два 14 Тб диска было абсолютно неинтересно, чудес не бывает. Куда интереснее были требования к самому NAS, которые не являются признаком бюджетности.
Бюджетность - это понятие относительное, а не абсолютное.
Добро пожаловать на Грамота.ру:
БЮДЖЕТНЫЙ, -ая, -ое. 1. к Бюджет. Б-ые расходы. Б-ая политика. Работник бюджетной сферы. Б. год (годовой срок действия бюджета государства, предприятия). 2. Имеющий лишь самое необходимое для использования; предназначенный для лиц с ограниченным достатком. Б. автомобиль. Б-ое жильё. Б-ая ценовая категория товаров.
Смотрим второе и видим, что автор ничего бюджетного в NAS не поставил, за исключением б/у дисков непонятного качества.
Если статья про NAS как таковой, то он нифига не бюджетный, если в название вставить обязательное условие например в 10 гигабит, то тоже не бюджетный и т.д. Сам по себе нас из статьи не бюджетный совсем. Диски вообще дело десятое. Вот если бы он умудрился NAS собрать за копейки, но с оптимальными характеристиками, то и был бы интерес. А так только охлаждения озотом не хватает для звание самого бюджетного NAS.
aik
01.09.2024 13:14+1Так что как он приобрёл два 14 Тб диска было абсолютно неинтересно, чудес не бывает.
Вам может и не интересно, а мне было интересно. После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
предназначенный для лиц с ограниченным достатком
"Ограниченный достаток" - это тоже субъективное определение. Для кого-то какой-то автомобиль может быть "бюджетным", а для кого-то любой автомобиль будет роскошью.
если в название вставить обязательное условие например в 10 гигабит, то тоже не бюджетный
Он будет бюджетным в заявленной категории.
Zara6502
01.09.2024 13:14Вам может и не интересно, а мне было интересно. После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
И что вы ожидали там прочитать? Адрес в Москве где раздают диски даром?
"Ограниченный достаток" - это тоже субъективное определение
Как бэ - нет.
Он будет бюджетным в заявленной категории.
Нет, потому что автор помимо 10 Гб туда понапихал всякого.
aik
01.09.2024 13:14И что вы ожидали там прочитать? Адрес в Москве где раздают диски даром?
Узнать про какие-нибудь скидки, допустим. Или про очередной вариант "доставать диски из usb-коробок". Мало ли вариантов бывает.
Как бэ - нет.
Да. Достаток у людей разный и понятие дорого/дёшево тоже будет разное.
Нет, потому что автор помимо 10 Гб туда понапихал всякого.
А что, не имел права?
Tirarex Автор
01.09.2024 13:14После того, как прочитал, что это диски со стёртым смартом с барахолки, стало не интересно.
Или не читали? Диски с озона а не с барахолки, обещан 1 год гарантии, на озоне она кстати вполне работает.
aik
01.09.2024 13:14А на озоне они откуда? С барахолки. Или, думаете, что это manufacturer refurbished?
Tirarex Автор
01.09.2024 13:14А вы знаете откуда? Мы можем только предполагать что это бу или рефаб. И если вы читали статью то заметите что даже новые диски из DNS на практике уже и не новые.
Ну и к вопросу интересно/неинтересно. Я провел опыт на себе купив такие диски а не просто взяв готовые с магазина, это уже опыт, который в интернете никто не делал, не знаю кому как а мне было бы интересно узнать о таком опыте, особенно спустя N времени.
aik
01.09.2024 13:14А вы знаете откуда?
Ниоткуда. Но у того же сигейта этикетки были другие на восстановленных дисках, к примеру, отличающиеся от новых.
новые диски из DNS на практике уже и не новые.
То, что они OEM'ные, ничего не говорит про то, что они не новые.
не знаю кому как а мне было бы интересно узнать о таком опыте, особенно спустя N времени.
Один случай ничего не скажет. Диски могут вылетать любые - как новые, так и бэушные. Потому в них главное - гарантия. Да, статистика по отказам поможет выбрать потенциально более надёжную модель, но не застрахует от того, что диск вылетит через полтора года.
Tirarex Автор
01.09.2024 13:14То, что они OEM'ные, ничего не говорит про то, что они не новые.
Они OEM с разборки, ехали не просто в трее а в готовом сервере который уже разобрали (на дисках с днса есть следы установки прямо с магазина), и гарантия уже не для рф.
Сама гарантия так же всего год.
Один случай ничего не скажет. Диски могут вылетать любые - как новые, так и бэушные. Потому в них главное - гарантия. Да, статистика по отказам поможет выбрать потенциально более надёжную модель, но не застрахует от того, что диск вылетит через полтора года.
1 случай лучше чем 0 случаев, но на деле покупателей там было море, просто мой случай теперь задокументирован и будет иметь логи. Считаю уже Win на фоне нулевых отчетах о этой ситуации.
Собственно так же как и вы, я буду еще писать о своей серверной дома.
aik
01.09.2024 13:14и гарантия уже не для рф.
"Для РФ" сегодня гарантии нет ни у кого из производителей дисков. Сейчас вся гарантия на продавце.
Считаю уже Win на фоне нулевых отчетах о этой ситуации.
Но всё равно отчёт особо полезной информации нести не будет. Ну выжил у вас диски или не выжил - это всё равно рэндом был. Как с тем динозавром из анекдота.
Собственно так же как и вы, я буду еще писать о своей серверной дома.
Пишите, я что, возражаю? Про сеть, к примеру, было интересно почитать. Я себе всё пытаюсь сделать бюджетные десять гигабит, но что-то пока не придумывается, как это лучше сделать.
khajiit
01.09.2024 13:14Оттуда, что озон завален хламом вроде Snapdragon 888+ M2 MTK5785/12GB/1TB/Android12, на деле оказывающимися перешитой древностью с API level 24
Это бесконтрольная помойка, по определению и сути
dv0ich
01.09.2024 13:14+2Разве есть смысл брать одинаковые диски для raid1? Логика подсказывает, что брать нужно разные модели от разных производителей. А полностью одинаковые теоретически могут и накрыться одновременно.
Zara6502
01.09.2024 13:14тут скорее вопрос в вероятности попасть на бракованную партию/модель, тут вероятности складываются. А вот накроются ли одновременно диски из одной партии (у автора партии разные)? Думаю это никак не посчитать.
Мы для универа за год закупали классы по 500 ПК, там из одной партии диски были чаще всего, вот из тех самых 500 умирали 1-2 за ближайший год-два, как правило в рамках гарантии.
Alexsey
01.09.2024 13:14В теории - да. На практике всегда парами брал диски из одной партии и никаких проблем с массовым вылетом дисков не было. Один раз был случай когда из двух взятых 3ТБ дисков один помер где-то через 3 месяца. Второй уже лет 10 живет.
werter_l
01.09.2024 13:14+1Про proxmox, zfs, pfsense etc
https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-%D0%B8-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2/
aectaan
01.09.2024 13:14+9Занялся этим вопросом в прошлом году. Во главу угла ставил эстетику и низкий уровень шума, так как единственное пригодное место для установки постоянно работающей железки было в туалете на виду. За примерно 30-35 тысяч собрал себе Jonsbo N1 + i7-3770 + 16Gb RAM + два красных WD на 3Tb под рейд с фотками и (пока) один фиолетовый на 6 терабайт под плекс, файлопомойку, торренты и прочее. Все, кроме корпуса, брал на барахолке.
Результатом доволен, жалею только о том, что при ремонте новостройки не заложил ethernet в санузел, но кто же знал, что он там понадобится.
rpm9000
01.09.2024 13:14+1А как решили вопрос с интернетом в санузле? Или пока в процессе/проработке?
Tirarex Автор
01.09.2024 13:14+5С влажностью проблем нет? У меня в сан узле датчик стоит, показывает до 90% влажности если в душе мыться. Боюсь с такими показателями NAS у меня покрылся бы ржавчиной за год.
Zara6502
01.09.2024 13:14а почему вентилятор у вас вниз воздух гонит?
AiR_WiZArD
01.09.2024 13:14Видимо что бы пылесосом не подрабатывал
Zara6502
01.09.2024 13:14пыль не растёт на полу, она на пол падает сверху, по вашей логике фильтры для очистки воздуха вообще никогда не забьются, они вообще на стене висят далеко от пола?
battlemixerpilot
01.09.2024 13:14Падает на пол и там копится. А если есть домашние животные, кошки, например, то фильтр БП компа, стоящего на полу забивается за неделю. Такого не происходит, если ПК поставить на стол, например.
Zara6502
01.09.2024 13:14Падает на пол и там копится
ну и пусть копится, у вас зона под NASом никогда не будет с пылью, она же вся скопилась на крыше.
не переоценивайте тягу кулеров, они не в состоянии затягивать в корпус пыль с пола, они тянут только пыль из воздуха.
А если есть домашние животные, кошки, например, то фильтр БП компа, стоящего на полу забивается за неделю
А причем тут ПК на полу, если мы говорим про NAS на столе в туалете???
Такого не происходит, если ПК поставить на стол, например
Потому что шерсть не летает по воздуху в товарных количествах, а на полу вы и кошка пинаете эту шерсть, вот и запинываете её к ПК. В любом случае это к теме не относится, мы же говорим про железку автора, который поставил её в туалете на стол и зачем-то вентилятором вниз дует на HDD, хотя логичнее прохладный воздух снизу протягивать через корпус и выбрасывать вверх, а не нагнетать теплый воздух сверху.
battlemixerpilot
01.09.2024 13:14А причем тут ПК на полу, если мы говорим про NAS на столе в туалете???
Потому что пример наглядный
Говоря о хранилке в туалете - тут больше стоит вопрос как влажность в комнате будет влиять на железки. Вряд ли критично, но местами может начать ржаветь
khajiit
01.09.2024 13:14Это если СУ совмещенный
Впрочем, в таком случае и выпадение конденсата на плату — вопрос времени
Zara6502
01.09.2024 13:14Потому что пример наглядный
Наглядный в чём? Я поинтересовался тем, как автор разместил кулер. Вспомнили и пылесос и шерсть и пыль на полу, теперь вот влажность приплели - это всё не имеет к вопросу никакого отношения.
hexus7
01.09.2024 13:14А под 10" стойку кто-нить видел корпуса? Есть вариант колхозить из бескулерных железок на N-серии (с прикручиванием либо ушей либо установке на лоток), но вдруг что-то под ITX уже годное вышло? И тихое.
Okeu
01.09.2024 13:14А кто-нибудь может что-то плохое/хорошее сказать о USB DAS? Например Orico - насколько это допустимый вариант для домашнего зеркала (сливать туда бекапы, фотки, торренты)?
Tirarex Автор
01.09.2024 13:14+1Есть такие, работают, но использовать их нативные функции рейда я бы не стал так как его восстановление не будет простым.
Если же подключить к пк то можно юзать диски отдельно, но делать софтовый виндовый рейд я бы тоже не стал, он медленный и майки на него давно забили.
Okeu
01.09.2024 13:14Спасибо за ответ! Но если рейд не виндовый делать? Например есть интел нюк, на нем можно поднять нужную ось (нативно или в виртуалке, например proxmox) и к нему по usb можно подцепить такую штуку, пробросить оба диска и софтовый рейд запустить - не будет ли корнем проблемы сам по себе USB?
Я с таким вопросом общался на форуме 4pda около месяца назад, в целом народ высказывался негативно. Скоростные ограничения USB для двух дисков меня не очень беспокоят)Alexsey
01.09.2024 13:14Более оптимальный вариант был бы какую-нибудь Б/У SAS коробку внешнюю прикупить. Но тут два нюанса - не знаю есть ли такие на малое количество дисков и нужна pci-e SAS карта с внешним разъемом, а такое не куда засовывать в NUC.
Tirarex Автор
01.09.2024 13:14+1Лучше все же софтовый рейд но более современный типа ZFS. Его хоть восстановить можно легко в отличии от hba с рейдом, где придется искать такую же в случае проблем
Alexsey
01.09.2024 13:14Так SAS карта это просто интерфейс для подключения дисков. Переключить/перешить ее в IT режим и делать с этим можно что хочется.
nidalee
01.09.2024 13:14А вот это уже смотря что за плата. Не все можно прошить.
Alexsey
01.09.2024 13:14Ну с LSI 9211-8i и всякими перебрендированными под вендоров версиями проблем вроде бы обычно не возникает. Прошиваемая LSI с внешним SAS разъемом вроде должна существовать. Так то понятное дело что бездумно покупать SAS карту не стоит, как и любое серверное железо.
GennPen
01.09.2024 13:14На Алике брал LSI 9240-8i уже прошитую в IT. Если поискать, то там многие продают уже в IT прошитые LSI карты.
Tirarex Автор
01.09.2024 13:14+2С USB В целом все нормально, главное взять проверенные боксы, и что бы питания/охлаждения хватало.
Okeu
01.09.2024 13:14+1да, про это я как раз смотрел отзывы. В обсуждении на 4pda была мысль, что могут быть критические "против", но никто особо ничего не смог придумать, изредка проскакивали неуверенные сомнения (например - по USB будет постоянно отваливаться софт рейд). Поэтому читая статью, решил еще и тут спросить, больше шансов встретить человека с релевантным опытом)
VADemon
01.09.2024 13:14+2У меня вопрос схожий возникает, пока единственный минус USB: более высокая нагрузка на проц (в kernel space). Оно-то и на Linux NTFS на SATA не весело, но при 8 ядрах можно подзабить. Собственно, видно должно быть и при обычном USB диске под нагрузкой.
Если речь про винду, то там в настройках диска (через Disk Management удобнее добраться) надо повключать кэши для конкретного USB диска при наличии ИБП.
InikonI
01.09.2024 13:14+2Кстати, по поводу нагрузки на ЦП.
У меня есть мини ПК с ЦП i5-5200U к которому подключен диск 8ТБ через USB.
Используется для бэкапов. И сам мини ПК используется только для миграции на него роутера и нескольких других контейнеров на время обслуживания основного сервера.
Так вот во время scrub этого диска (читаются все записанные данные и проверяется контрольная сумма) нагрузка на ЦП выглядит так (см. прикрепленную картинку).
scrub начался в 00:00 и закончился в ~14:00
Думаю для современных ЦП цифры будут еще меньше.
werter_l
01.09.2024 13:14Да, для ssd только с поддержкой UASP - в ней trim реализован.
Это ОЧ важно для ssd.
event1
01.09.2024 13:14+1У меня такой стоит. Производства некоего MAIWO с алика. Там 3х2Гб WD purple в btrfs raid5. Управляется старым лаптопом от тошибы. 4 года, полёт нормальный.
Okeu
01.09.2024 13:14Спасибо! значит в целом схема рабочая.
пс: для меня как раз Orico был как будто ноунейм из китая, но кто-то сказал, что это достаточно известный производитель в заинтересованных кругах.
Основные сомнения были высказаны (их и тут в треде высказали) касаемо встренных инструментов рейда, но так же были замечания касаемо USB как таковогоevent1
01.09.2024 13:14+1были замечания касаемо USB как такового
У меня USB2. Для фоток и видео вполне хватает. Если бы старый лаптоп поддерживал USB3, был бы USB3. Хотя для меня это и излишне. 10Гб/с сети у меня нет и не будет. И даже 1Гб/с скорее всего не будет.
kondorkm
01.09.2024 13:14+1
chenbro rm252 
задняя сторона не совсем бюджетное решение, стойка в кладовке, вместе со стиральной машиной стоит. По поводу корпуса на фото под пультом от кондиционера, тоже искал короткий корпус до 480мм, взял такой от chenbro rm252, чем он хорош, первое это габариты( но тут и минус салазки я так и не смог к нему подобрать для моей стойки), второе обратная сторона корпуса имеет 4ре вертушки и два блока, на фронтальной корзина на 6дисков, сетевая меланокс 25г, и стоит 4 pcie диска samsung. Проц xeon 2680v4 x2, озу 256. Охлаждается корпус шикарно (но тут еще и заслуга кондиционера в кладовке). Минусы: ни документации, ни маломальски понятного наполнения корпусов, ни-че-го, даже у самого производителя запрашивал документацию на бекплейн (прислали, но информации там кот наплакал), найти комплектующие с каждым днем все труднее и труднее, качество родных кабелей отвратительное( ооочень тонкие кабеля передней панели), пришлось покупать их отдельно от другой серии корпусов
werter_l
01.09.2024 13:14Имхо, оно жрет как не в себя (
Картинку на ТИХУЮ железку с МОЩНЫМ цпу (амд райзен 5825U ) давал выше.
Сейчас железка эта с 2 хдд по 14 ТБ у знакомого стоит. На ней проксмокс, в нем все, что для жизни надо, мощности более чем хватает.
nidalee
01.09.2024 13:14+6Раз тут все хвастаются, то и я похвастаюсь.
Нашкафный домашний "сервер" Не бюджетно, зато второе R в Reduce, Reuse, Recycle.
Все 13 HDD влезли во вполне себе консьюмерский корпус, а поскольку это Fractal Design, то шум от них даже не мешает спать.
Начал путь с ASUS E2KM1I-DELUXE со встроенным процессором в корпусе Node 304, потом понял, что расти буду дальше безудержно.
Сейчас засматриваюсь на стойку и перенос всех компьютеров и сервера в рэковые корпуса, но что-то все стоечные решения мне не нравятся пока... И стоят как крыло от самолета, если компактные.
AMD Ryzen 9 3900X, ASUS X570-PRO, 64ГБ ECC RAM, GeForce RTX 3060, Intel 82599ES 10-Gigabit SFI/SFP+ и целый зоопарк WD Red:
raidz2-0 из 5 дисков по 8ТБ
raidz1-0 из 5 дисков по 3ТБ
raidz1-0 из 3 дисков по 18ТБ
Zara6502
01.09.2024 13:14и как ваш сервер относится к категории NAS? я могу фото ноутбука показать который лежит на полке 24/7 и тоже сервер самый настоящий.
FreeNickname
01.09.2024 13:14+2Дилетантский вопрос: скажите, пожалуйста, а как определить, что SMART затёрт?
Tirarex Автор
01.09.2024 13:14Только косвенно.
Еще до сво я брал диски для разных задач и ни разу небыло такого что смарт просто по нулям. Всегда даже у дисков с большой гарантией и в запаянных упаковках, в смарте уже были часы наработки.
Кроме того у этих сигейтов были следы устаовки, мелкие потертости на корпусе, контакты явно не раз перетыкали. В общем как то много движухи для нового диска.
aik
01.09.2024 13:14Не доверяю я таким дискам. В дисках главное - это гарантия.
Но, к сожалению, у магазинных дисков сейчас гарантии год. :(
dtmse
01.09.2024 13:14+1Отдельное спасибо за рекомендацию проверить диски из DNS по серийному номеру. Два WD Ultrastar HC310 6Tb, купленные мной год назад в домашний NAS и пришедшие в явно заводской установке, тоже оказались со статусом NO LIMITED WARRANTY, что было расшифровано как "диск для сборщика готовых систем, к которому и надо обращаться за получением гарантии".
Кстати, этот домашний NAS, собранный на основе простейшей материнской платы AM4 и процессора Ryzen 3 4100, в простое потреблял чуть более 20 Вт, правда измерялось это при единственном установленном SSD под систему, до установки серверных HDD, и с откровенно второсортным блоком питания. Мощность мерялась внешним ваттметром. Но зато этот процессор достаточно бодрый, пригодный для виртуализации и поддерживающий ECC-память.
aik
01.09.2024 13:14тоже оказались со статусом NO LIMITED WARRANTY, что было расшифровано как "диск для сборщика готовых систем, к которому и надо обращаться за получением гарантии".
Учитывая то, что в России сейчас гарантия и так на магазинах, ничего особо страшного в таком статусе нет. Хуже то, что в 12 месяцев гарантии сегодня у винтов стало.
домашний NAS, собранный на основе простейшей материнской платы AM4 и процессора Ryzen 3 4100, в простое потреблял чуть более 20 Вт
Ryzen 7 3700 с шестью крутящимися винтами на холостом ходу - порядка 50 ватт. Впрочем, даже при текущих ценах на электричество я ещё не вижу смысла бороться за каждый ватт.
По моим прикидкам, мне сервер обходится порядка 5000 рублей в год (из расчёта средней потребляемой мощности в 100 ватт). На деле, скорее всего, поменьше.
Tirarex Автор
01.09.2024 13:14Ryzen 7 3700 с шестью крутящимися винтами на холостом ходу - порядка 50 ватт. Впрочем, даже при текущих ценах на электричество я ещё не вижу смысла бороться за каждый ватт.
Я тут вклинюсь.
Вообще ватты для меня в статье это не про деньги которые я отдам за свет, а про нагрев и шум. Зимой ладно бонус хороший, но летом грелка 100вт 24/7 вносит приличный импакт в климат квартиры.
aik
01.09.2024 13:14Лично я сомневаюсь, что от дополнительных 100 ватт как-то заметно жарче становится.
По крайней мере, прихожая, где стоит сервер - далеко не самое жаркое место летом.
Chelyuk
01.09.2024 13:14Интересно, но ради 2х диском, я бы так не заморачивался. Первый мой NAS был DLink 325. Сначала в нём умерло 2 Сигейт Барракуды, причём практически одновременно, за что я теперь их очень не люблю. Потом, пока занимался вопросами здоровья жены, и не отключил ΝΑS, прилетел CR1PT0R. А DLink просто положио на пользователей, ведь дыра была оставлена DLink в виде статичных кредов, которые они оставили для тестирования в продакшен версии прошивки. За что теперь я не люблю DLink. Но даже так идея уменьшать ёмкость в 2 раза рейдом мне не сильно нравилась и тогда я просто настроил автоматическое копирование критических данных как фотографии, фильмотеку и видео я не копировал, чтобы не забивать этим пространство. На следующий раз после шифровальщика - я купил AsusTOR 6404 потому что уже хотел миниму 4 диска. Тогда уже можно и пожертвовать 1м в пользу рейда. Тоже прилетал какой-то шифровальщик, но мне в этот раз повезло, NAS был выключен и я закончил игры с выбрасынием доступа к нему. Теперь только доступ в локальную сеть через VPN. Ну и поддержка BTRFS тоже радует. Единственное, что не радует политика всех вендоров против KODI(XBMC). Это был один из аргументов покупки данного вендора, но потом поддержку KODI выпилили с кривой аргументацией по настоянию правообладателей контента, якобы KODI активно используется в пиратстве. Я же подозреваю, что по настоянию Plex, чтобы ничего бесплатного людям не давать и подсаживать на подписки.
В общем ΤrueNAS - определённо плюс к безопасности и управлению. Но зачем мастерить стоечный NAS аж на 2 диска - я не очень понял.
AiR_WiZArD
01.09.2024 13:14Точно такой же NAS уже пару лет работает, в точно таком же корпусе, но у меня получилось впихнуть 4 ЖД, повернув их на 90*, никой PCI карты не влезет, но зато места больше, а для торрентов много скорости и не надо
merkel
01.09.2024 13:14Почему не ARM? Raspberry Pi 5 + SATA-шильд позволит NAS очень компактным и экономичным по питанию сделать (что рефреном идет по статье). Понятно что полно применений где вычислительной мощности на весь спектр задач (даже домашних) может и не хавтить, x86 все -же имеет право на жизнь в домашнем NAS, но хотелось бы попобробнее. З.Ы. Вопрос не праздный, на зиму озадачился сборкой своего хранилища, пока звезды сходятся на Raspberry Pi-5 + Шильд на M2. Иными словами - ультракомпактный full-ssd накопитель. Понятно что 14 терабайт не получу, за вменяемые деньги, но цели такой и не ставлю. Поделитесь задачами, может быть будет полезно.
nidalee
01.09.2024 13:14+1Проблема в том, что если вы захотите расширяться, добавлять еще диски или мощностей - ARM такое не умеет. Будете менять "мозги" целиком и полностью.
У б\у зеона за копейки мало того, что оперативы огромный обьем, так и поставить можно хоть SAS в PCI-E, хоть SATA, хоть быструю сеть, хоть видеокарту (мало ли решите аппаратное кодирование видео или типа того).
Плюсы ARM непонятны. Шум? Шумят все равно диски. Энергопотребление? В РФ не особо актуально. Форм-фактор разве что, но лично я не увлекаюсь компактностью.
merkel
01.09.2024 13:14Так в том то вопрос и был - что еще по вашему опыту в домашних условиях может потребовать большей вычислительной мощности. Опять же низкое подребление ARM вкупе с SSD дисками позволит сильно снизить шум, и запихнуть NAS в шкаф.
nidalee
01.09.2024 13:14Мощности: аппаратное кодирование видео (Plex), ML для распознавания объектов и лиц на изображениях в домашнем облаке (Immich), выделенные игровые серверы, виртуалки \ Docker
Платформа x86: большое количество ОЗУ для кеша ZFS, возможность воткнуть целый зоопарк плат PCI-E (а следовательно и большое количество дисков, потому что диски дешевле добавлять, чем менять).
Tirarex Автор
01.09.2024 13:14+1Потому что ARM это не так дешево, не быстро, и костыльно.
Предложенная вами RPI5 на 8гб начинается от 7 тысяч рублей, почти как весь мой сервер без дисков. Rpi sata hat еще 6 тысяч на али, и вот мы уже далеко за рамками бюджета с учетом дисков, при этом все еще слабый ARM, слотов расширения нет, памяти всего 8гб (zfs ее для кеша использует), и список для покупок еще далеко не пуст.
Если бы брал что то компактное то наверное смотрел бы Zimaboard, там хотя бы пара sata нативно есть.
werter_l
01.09.2024 13:14Малина нынче стоит как х86.
Лучше ПОЛНОЦЕННЫЙ бокс на N100 - сам цпу 6 Ватт кушает только.
merkel
01.09.2024 13:14Куда катится мир. Радиинтереса сконфигурировал стартовый набор для NAS на новых деталях за 40k. На Raspberry Pi в 34k вышло. Тут, конечно если повнимательнее по рынку пошарить можно разницу еще уменьшить. Так что выбор в пользу x86, похоже.
tutitututu
01.09.2024 13:14топовые поколения одноплатников совсем не бюджетные.
Есть ещё такое на M2 SSD https://habr.com/ru/articles/823814/
werter_l
01.09.2024 13:14Так и есть. Сборки на n100 или столько же или дешевле, но ГОРАЗДО мощнее и универсальнее.
ArtemSmit
01.09.2024 13:14
Лучше корпуса чем Fractal Design Node 304 до сих пор не встречал, трудится верой и правдой как NAS уже несколько лет, материнка с авито за 1000 рублей, 16 гигов оперативки, старенький Core i3, для файлопомойки-торрентокачалки с Plex и несколькими контейнерами Docker хватает за глаза. В качестве хост-системы OMV, по сути Debian с удобной нашлепкой в виде web-админки, 6 hdd WD Red по 3 tb через raid-контроллер и один ssd под систему на 240 gb. А рядом малыш-nuc с home assistant ))) Раньше жил на NAS в виртуалке, но потом отпочковался в отдельное устройство.
old_bear
01.09.2024 13:14+3Отличное сочетание статьи и переписи NASоводов в комментах. :D
ArtemSmit
01.09.2024 13:14Отличный обмен опытом на самом деле, единственное не пойму желание некоторых дома серверную устроить, меня бы жена выгнала из квартиры если бы в тумбочке пара юнитов стояла. Поэтому при сборке было обращено особое внимание на эстетичный внешний вид и отсутствие шума.
GennPen
Почему бесполезен? ZFS поддерживает дополнительные накопители в качестве кеширования. Можно поставить дополнительный SSD в качестве кеширующего.
Tirarex Автор
В следующей статье как раз будет ссд но под приложений. Для кеша тут нужен хороший износостойкий ссд хорошего обьема, а они не дешевые.
kenomimi
Я использовал под кеши серверные интелы б\у с авито - 128 стоит копьё. 2 штуки в зеркало. Работало отлично.
Tirarex Автор
Когда собирался то ничего интересного ниже 2-3к за 128гб не нашел. Рассматривал вариант с 64гб оперативной памяти (около 10к-13к за 2 планки по 32гб), но пока пришел к выводам что текущего конфига хватает.
tutitututu
бу sata можно посмотреть не только интел, есть другие варианты по запросу "SSD MLC". Масса дисков ~6-10летней давности ssd была на MLC (вопрос какая там скорость записи). Kingston KC400 терабайтный у меня с 2016 года около 5 лет использовался в ноуте как единственный диск (система+данные) и до сих пор показывает 100% живости. Подозреваю обманывает :-)
Intel DC в современных спеках указывают уже 3d TLC. Из новых интересно узнать про Micron, по TBW он схож с интелом при более низкой цене. TBW разительно растёт с ростом объёма диска.
Sau
Недавно на хабре была статья как из MLC-диска сделать SLC. Износостойкость увеличится.
https://habr.com/ru/companies/ruvds/articles/816463/
GuessWho
Ну это здорово, конечно, но метод не универсальный, а для конкретного диска, чтобы с другим такое провернуть, нужно обладать соответствующим инструментом и квалификацией
Fedorkov
Зачем износостойкий? Если потеря диска чревата потерей некритичных данных за небольшое время, то этим риском можно пренебречь.
nidalee
Как показывает практика, для вменяемой работы кеширующего SSD нужно выделить еще больше оперативной памяти, чем для работы без него.
Вот здесь есть расчеты:
Но TL;DR в том, что на деньги, что вы потратите на SSD, лучше докупить ОЗУ. SSD под кеш начинает приносить пользу примерно после 64ГБ ОЗУ под основной ARC.
moooV
Л2АРК начинает приносить пользу когда рабочий объем сильно превышает размер оперативки. У меня дома хранилка на 170тб на трунас кор, л2арк на 256гб, оперативы 64. Размер данных с которыми работаю в проекте примерно 1-4 тб. Хитрейт в л2 около 50% (но после тюнинга чтобы туда выгружало данные быстрее).
В общем, надо статью тоже пилить как собрал очень-очень задешево нас из говна, палок, поддержанных винтов после chia, дисковой полки с алиэкспресса и тумбочки из икеи.
nidalee
У меня на 100ТБ, я подключил 1ТБ L2ARC SSD, и не увидел вообще никакой разницы в скорости доступа. Оперативки (из 64ГБ) оно сожрало при этом больше... Поэтому склонен согласиться с выводами в статье выше, но возможно все зависит от данных.
moooV
Это зависит еще и от размера блока. Оно держит в оперативке еще и таблицу на л2, и чем больше блоков тем она больше. У меня стоит 1мб размер блока (тупо максимальный что доступен в гуи) - таблица размещений где-то 200мб примерно занимает.
Но у меня именно данные такие (большинство их) что большие блоки лучше всего: футаж с видеокамер blackmagic, по 500-800гб одним файлом. Ну или равки фоток или файлы фотошопа - там по 1гб на файл легко.
nidalee
Аналогично. В чем же смысл их сгружать в L2ARC? Для монтажа? Есть ощутимая разница?
moooV
Да, но было не заметно на гигабитной сети. Как сделал 10гбит сразу стало лучше.
nidalee
Хммм, а есть техническая возможность прогнать какой-нибудь Pudget Bench в Premiere с L2ARC и без? Я не уверен, что он покажет разницу в производительности дисков, но если она будет, то наверняка из-за наличия или отсутствия L2ARC.
VADemon
Есть идея записать ETW трейс или с ProcessMonitor по I/O всего процесса. Потом с помощью скрипта воспроизводить эту нагрузку на диск. Думаю так PCMark и некоторые другие и делают. То есть сложности две: парсинг и подготовка свободного места под "тестируемые" файлы (не блочным же доступом к диску обращаться?).
moooV
Потестить не могу, тк не хочу рисковать целостностью массива с невосстановимыми данными удаляя л2 девайс из пула: где-то пишут что это не поддерживается в трунасе, где-то пишут что можно из консоли, где-то пишут что опензфс начиная с какой-то версии не даёт так делать.
Но могу сказать свои наблюдения: я когда поставил л2 заметил разницу только после тюнинга (причем сильную) - там по дефолту стоит лимит на скорость заполнения (feed rate) типа 20мб/с, большой порог на горячесть данных и что-то ещё.
Сейчас пытался найти гайд по которому тюнил, не получается. Если буду делать отдельный пост про свой сервак то попробую в истории найти, ну и свой конфиг выложу.
nidalee
L2 точно можно свободно удалять и добавлять, пробовал лично, когда крутил OpenZFS на Ubuntu. Но если рисковать не хочется, то не то чтобы это прям сильно нужно. Может быть у меня руки дойдут потестировать, правда у меня сеть всего 2.5Г.
Буду ждать пост :)
FreeNickname
Так и знал, что это Вы) Будем ждать стаьтью)