02.05.2018 15:48
artiom_n 232 24800 Источник

image


Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
"Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.


Если вы считаете, что всё так и есть, краткий ответ на вопрос в заголовке: нет, собирать NAS самостоятельно не нужно.


Эта статья может быть полезна следующим категориям читателей:


  • Тем, кто ещё решает надо ли ему собирать свой NAS или всё-таки лучше обоснованно выбрать готовое решение.
  • Тем, кто выбирает готовый NAS для небольшого офиса. Им, прежде всего, может быть полезен краткий обзор под спойлером в разделе "Покупка NAS: что предлагает рынок", в качестве отправной точки. С удовольствием дал бы ссылку на полный, но я такого не нашёл.

Тут рассматриваются NAS верхней границы "домашнего" сегмента и начального бизнес-сегмента, позволяющие удовлетворить запросы взыскательного пользователя, либо офиса на 50-100 человек.


Рынок хранилищ очень большой, потому здесь сознательно не рассматриваются решения типа:


  • "NAS на Arduino" или "Диск + старый роутер".
  • "Dell EMC Isilon Scale-Out NAS Storage, Starting at US List Price: $42,552.00".
  • SAN.
  • Решения для стоек (т.к. стойки я в квартире не имею и не собираюсь).

Также, DAS и подключаемые дисковые корзины лишь мельком упомянуты в обзоре.


Цели, задачи, требования


Я делал систему под конкретные задачи, которые могут не пересекаться с решаемыми вами, но являются достаточно общими для тех, кому требуется NAS.
Здесь я хочу их очень кратко обрисовать.
Если мне сообщат, что есть интерес, я могу описать данные темы в отдельных публикациях.


Точка синхронизации


Прежде всего, NAS является точкой синхронизации между разными устройствами.
Это может быть пофайловая синхронизация (например, используя rsync или syncthing), облако, общие репозитории и т.п…
В моём случае, в качестве сервисов обеспечивающих точку синхронизации, выступают:


  • Репозитории на базе Git.
  • Облачное хранилище.

Git


Первая основная задача.
В качестве системы управления репозиториями, я выбрал Gtilab.
Это решение может показаться спорным.
Однако, Gitlab хорошо проработан, имеет очень широкий функционал и большие возможности для интеграции.


Облако


Мне требуется хранилище, в которое я и некоторые другие пользователи смогут безопасно (в том числе, не доверяя серверу) складывать свои файлы с разных устройств. С версионированием и возможностью ими поделиться.


Есть разные решения, я изо всех претендентов выбрал Seafile.


Резервное копирование


Вторая основная задача.
Очень большая тема. Здесь я говорю только о резервном копировании данных с "внешних" по отношению к NAS машин.
В перспективе требуется поддержка репликации в облако.


Приложение для резервного копирования, которое меня устраивает — UrBackup.


Медиацентр


Пока ещё не доделал. На роль приложений, которые будут мне предоставлять его функционал, претендуют: Plex, Kodi, MiniDLNA (возможно, что только DLNA сервера будет достаточно), Emby.


В данном случае, я ещё не дошёл до выбора.


Безопасность


  • Сохранность данных пользователя должна обеспечиваться дополнительной репликацией в облако.
  • Защита от НСД при физическом доступе должна обеспечиваться, в основном, дисковым шифрованием.
  • Должна обеспечиваться сетевая безопасность: моё устройство доступно из Интернета.
  • Должна обеспечиваться сохранность конфигурационных данных системы.

В моём случае, сохранность данных системы обеспечивается путём:


  • Зеркалирования системных SSD средствами ZFS.
  • Копирования системных файлов на пул, используя плагин резервного копирования в Open Media Vault.

Сетевая безопасность обеспечивается стандартным файрволлом и контейнеризацией.
Контейнеризация — отдельное пожелание к системе, потому что это очень удобно.


Синхронизация пользователей


Мне нужно, чтобы я мог централизованно управлять пользователями.


Большинство из вышеуказанных систем поддерживает LDAP, чем я и воспользовался.


Покупка NAS: что предлагает рынок


Итак, теперь стоит посмотреть, есть ли доступные на рынке решения, удовлетворяющие моим требованиям.
Ведь NAS сейчас не делает только ленивый, и их ассортимент не ограничивается QNAP и Synology, которые у всех на слуху.


Краткий обзор под спойлером.


Краткий обзор готовых решений

Asustor



Я рассматриваю AS7008T, который считается сервером уровня предприятия (скорее, переходный вариант).


Характеристики:


  • Intel i3 3.5GHz с AES-NI.
  • DDR3 2 ГБ, расширяется до 16 ГБ.
  • SATA-3, 8 дисков, максимум 96 ТБ (плюс, есть устройство расширения, с ним 240 ТБ) с JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10. Горячая замена.
  • Дисковое шифрование AES-256.
  • Внутренняя ФС — ext4.
  • Поддерживаются FAT32, NTFS, EXT3, EXT4 и HFS+.
  • Ethernet 1 Гб/с x 2, возможно подключить карту на 10 Гб/с через PCI Express.
  • Слот PCI Express.
  • USB 3.
  • ОС — модифицированный Linux.
  • Максимальная мощность 250 Вт.

Предоставляет:


  • Резервное копирование в облако. Поддерживается MS OneDrive, HiDrive, Dropbox, Google Drive, hubiC, Yandex Disk.
  • Резервное копирование посредством Rsync (сервер Rsync).
  • Резервное копирование одним касанием.
  • Поддержку виртуализации с VmWare и Citryx.
  • Поддержку VirtualBox (на нём из коробки возможно запускать ВМ).
  • Управление фотогалереей.
  • Управление музыкальной коллекцией (SoundsGood).
  • Медиасервер с DLNA.

Особенности:


  • Есть ИК приёмник.
  • Ж/к экран.
  • S/PDIF выход.
  • Шумноват: 27.6 Дб с остановленными дисками.
  • Поддерживает iSCSI.
  • Настраиваемые страницы входа в систему.
  • Есть поддержка iTunes сервера.
  • Предоставляет почтовый сервер.
  • VPN сервер и VPN клиент.

Часть NAS Asustor делается на Celeron, часть на Core.
За Core i3 с 2-4 Гб non-ECC RAM цена весьма не маленькая.
Диски, из того, что я посмотрел, были только SATA.


В качестве ОС там используется несколько модифицированный Linux, пусть и не самый свежий, но вполне себе пригодный к использованию.
Возможно установить свой Linux отдельно и пробрасывать GUI по сети.
Диски шифруются, AES-256, всё серьёзно.
GUI, как и полагается, ориентирован на пользователя и представляет собой модный ныне "набор значков на рабочем столе", похожий на QNAP.
В NAS уже включены сервисы, типа интегрированного DLNA, установки дополнительных приложений в один клик и т.п..


NAS подходит для того, чтобы решить вышеописанные задачи: если чего-то не хватает, всегда возможно запустить это в виртуальной машине (пусть и с дополнительными расходами).


$1300-$1600


Buffalo



Серьёзный американский NAS от серьёзного американского производителя.
Интересующая линейка выглядит солидно и солидно же называется: Terastation.


Позиционируется больше, как "бытовое устройство для хранения и распространения данных", чем как универсальный компьютер с расширяемой ОС.


Характеристики:


  • Annapurna Labs Alpine Processor AL314 (похожий используется в некоторых моделях QNAP), ARM.
  • DDR3 с ECC, 4 ГБ.
  • SATA-3, максимум 8 дисков (Pre-tested NAS grade Hard drives included with RAID pre-configured), горячая замена.
  • Дисковое шифрование AES-256.
  • Ethernet 1 x 10 Гб/с, 2 x 1 Гб/с.
  • USB 3.
  • Про ОС ничего сказать нельзя, хотя вероятно это Linux.
  • Максимальная мощность 150 Вт.

Предоставляет:


  • Персональное облако.
  • Медиасервер с DLNA.
  • Интеграцию с облачными хранилищами и возможность репликации в облако прямо с NAS (поддерживается Amazon S3).
  • Своя система резервного копирования NovaBackup.
  • Виртуализацию с Citryx или VmWare.

Особенности:


  • Есть замок на дверцу.
  • Есть встроенный антивирус от TrendMicro (вряд ли он нормально что-то ловит).
  • Для управления используется программа NASNavigator2.
  • Есть возможность репликации между NAS.
  • При замене дисков, придётся покупать их у Buffalo (см. список поддерживаемых дисков в спецификации).

Web GUI:


Ну и три года гарантии, как полагается.


NAS подходит для того, чтобы решить вышеописанные задачи, но всё-таки я бы не стал его покупать: дорого, не так много возможностей даже по сравнению с Asustor, не слишком гибко.


Цена порядка $1970.


Cisco



Конечно же, Cisco не мог остаться в стороне.


Модель уже снята с производства, а выпущена была аж в 2012-м.
Тем не менее, я не мог пропустить данную фирму.
Да и купить её агрегат, при желании, ещё возможно.


Характеристики:


  • Процессор Intel Atom D510 1.66 GHz (Dual Core).
  • DDR-2, 1 ГБ.
  • До 6-ти SATA дисков, которые могут быть аппаратно организованы в любой из типов RAID или представлены, как JBOD.
  • Дисковое шифрование по AES-256.
  • Внутренняя ФС — ext4.
  • 512 МБ флэш памяти.
  • Ethernet 1 Гб/с x 2.
  • ОС Linux, со старым даже для 2012-го, ядром 2.6.
  • Максимальная мощность 250 Вт.

Предоставляет:


  • Поддержку бэкапа с Rsync.
  • Интегрированный on-line бэкап в Mozy.
  • Медиасервер с DLNA.
  • Возможность виртуализации с VmWare и Hyper-V.

Особенности:


  • Поддерживает множество протоколов.
  • Имеет возможность предоставлять iSCSI таргеты.
  • Поддерживает наблюдение за состоянием ИБП.
  • Есть пользовательские квоты.
  • Есть SMS оповещения.
  • Есть ограничение на количество соединений (это не касается локального подключения): 10 Web или мобильных подключений за день, не более 30 минут подключения по Web, только одно Web соединение.

Полную спецификацию возможно посмотреть на этой странице.


Предоставлялась "Cisco Small Business Support Service" на три года.
Я бы не стал покупать данный NAS, не только потому, что он несколько устарел, но ещё и по причине лимитов на количество подключений: как Web-сервер без доработки его не попользуешь.
Не вполне понятно, с какими целями "эффективный менеджмент" Cisco ввёл такие ограничения.


Цена впечатляет: $3300


Drobo


image


Drobo представляет собой персональный DAS.
На постсоветском пространстве и в Европе не популярен. Зато вполне известен в США.
Работает он только с NTFS и HFS+.


Здесь я его привёл, потому что он любопытен двумя вещами:


  • Он не имеет Web интерфейса. Управление производится через приложение, которое правда, работает только на MacOS и Windows.
  • Он использует свою технологию "BeyondRAID". Это RAID массив с избыточностью, но позволяющий использовать диски разных размеров. Кроме того, я так понял, что он пофайловый. Т.е. резервируются не блоки, а файлы, и при разрушении массива, всё равно возможно восстановить часть файлов с оставшихся носителей.

Если нужны подробности, смотрите обзор 2017-го года на IXBT.


Подходит оно для фотографов, но для моих задач не устраивает даже, как дисковая корзина.


С 5-ю дисками на 4 ТБ стоит он порядка $1600.


FreeNAS



Это FreeNAS.


Характеристики:


  • Intel Avoton, 8 ядер (он напаян, используется известная плата от ASRock).
  • 16 ГБ DDR3 с ECC, с возможностью расширения до 32-х (ограничение платы, в новых до 64-х).
  • 8 hot-swap SATA-3 дисков.
  • Поддержка ZRAID.
  • Всё на ZFS, включая корень.
  • XTS шифрование пула по AES-256.
  • Максимальная мощность 80 Вт.

Предоставляет:


  • Во FreeNAS из коробки поддерживается контейнеризация.
  • Всё остальное, что поддерживает FreeNAS.

Особенности:


  • Есть замок.
  • На корпус стоит обратить особое внимание: он действительно хорош и где-то я видел, что продаётся отдельно.

У них всё хорошо.


ПО в пояснениях и комментариях не сильно нуждается.
Но есть минусы, относящиеся к самому FreeNAS: установщик системы примитивный, и соответственно, стоит ожидать, что ОС в данной системе установлена на один носитель без шифрования.
Шифруется только пул.
Впрочем, ничто не мешает установить на это железо что-угодно: данная плата и остальное железо очень хорошо поддерживаются, как Linux, так и различными BSD.


Железо тоже не особенно нуждается в комментариях.
В качестве платы используется одна из весьма известных в кругах строителей NAS плат ASRock:
C2550D4I, либо C2750D4I.
Своего железа "от FreeNas©" там нет, что не может не радовать.


NAS подходит для того, чтобы решить вышеописанные задачи, скорее всего его бы я и выбрал, в случае покупки, несмотря на то, что железо меня не совсем устраивает.


Цена без дисков: $1350-$1520
На 48 ТБ: $3500.


Helwet-Packard ProLiant Microserver



Строго говоря, NAS не является, но может выполнять его функции.
Я не особенно жалую продукцию HP, но его попросили включить в обзор.


Обзор на IXBT (от 2017-го года).


Это уже 10-е поколение Microserver.
8-е было на Xeon, и стоило дороже, а теперь они зачем-то делают сервера на AMD.


Характеристики:


  • AMD Opteron X3421 Processor (2.1-3.4GHz, 4 вычислительных ядра, 8 графических).
  • DDR4 с ECC, 8 ГБ с возможностью расширения до 32 ГБ.
  • SATA-3, 4 диска, без горячей замены, RAID контроллер
  • Ethernet 1 Гб/с x 2. Контроллер от Broadcom.
  • Слот PCI Express x4.
  • Слот PCI Express x8.
  • USB 3 x 2.
  • ОС — ClearOS на базе Linux, но возможно установить, как Windows, так и RHEL.
  • Максимальная мощность — 200 Вт.

Предоставляет:


  • Поддержку резервного копирования через BackupPC и Rsync.
  • Виртуализацию "из коробки".
  • Персональное облако.
  • Синхронизацию с облаком: Dropbox.
  • Поддержку бэкапов в облако через Remote Data Backup.

Особенности:


  • Есть два Display port.
  • Есть защита от malware и вирусов.
  • IDS/IPS.
  • OpenVPN.
  • Платная подписка на некоторые приложения.

С полным списком приложений возможно ознакомиться на сайте ClearOS


Web-интерфейс:


Сервер на процессоре AMD и с сетевыми контроллерами Broadcom для меня однозначно — не вариант.


Цена: $580


Iomega/Lenovo



Тут возможно посмотреть спецификацию.


Когда-то, когда в ходу ещё были дискеты, я поражался огромной ёмкостью Iomega Zip в 100 МБ и больше (тогда ещё HDD были сотни мегабайт и гигабайты).
И NAS от той же компании, пусть это и старое решение, которое снято с производства, вызвал ностальгию.
Однако, компания же давно куплена китайцами в лице Lenovo.
И NAS они более не производят.


Поддержка окончилась в 2017-м.
Обзор 2012-го года


Характеристики:


  • Intel Atom D525 (2 ядра, 4 потока, 1,8 ГГц)
  • DDR2 2 ГБ, возможно расширить, установив второй модуль.
  • 6 x SATA-3 дисков, RAID 0, 1, 10, 5, 6 и JBOD, горячая замена.
  • Внутренняя ФС — XFS.
  • Ethernet 1 Гб/с x 2 (но контроллеры Realtek RTL8111E, не лучшие).
  • USB 3.0 один разъём.
  • PCIe 4x.
  • ОС установлена на USB flash Samsung объемом 1 ГБ.
  • ОС — Iomega Storage Manager на базе Linux.

Предоставляет:


  • Бэкап через Rsync.
  • Поддержку Amazon S3 и Mozy.
  • Personal Cloud, но своё облако нужно регистрировать на серверах Iomega, так что вероятно, это уже не работает.
  • Поддержку репликации между NAS.
  • Медиасервер с DLNA.

Особенности:


  • SMB отключить его нельзя.
  • Поддержка технологии Windows DFS для объединения нескольких внешних сетевых ресурсов в одной общей папке в px6-300d.
  • Поддерживает iSCSI.
  • Поддержка резервного копирования Time Machine.
  • Вентиляторы с PWM.

WEB интерфейс симпатичный:


Когда-то была неплохая система. Сейчас в обзоре этот NAS лишь для истории.
Хотя, даже с ним возможно решить мои задачи.


Б/у стоит порядка $980.00 (при изначальной цене $2000+).


Netberg



Весьма своеобразное решение, которое позиционируется не как NAS, а как сервер для малого офиса.
Они делают его под ключ, так что даже сломанные диски заменят, если что, но самостоятельно лезть руками нельзя, даже чтобы заменить диск: сразу аннулируется гарантия.
Уровень сервиса у них не очень: я связался с ними, мне ответили, но потом всё надолго затихло.
Через неделю или две тот же менеджер мне написал, что у них была реорганизация.


Характеристики:


  • Intel Xeon E5-2603 v3 6C/6T, 1.6GHz (15MB кэш, 6.4GT/s). В базовой комплектации указан E-3.
  • 8GB DDR3 ECC+REG, возможно расширить до 16 ГБ (цена указана с 8-ю).
  • SATA-3 4 ТБ x 2.
  • Ethernet 1 Гб/с x 2. Intel.
  • Слот PCI Express 3.
  • Стоит ли что-то в качестве ОС неясно: меня интересовало железо.
  • Максимальная мощность 250 Вт.

Особенности:


  • Есть IPMI 2.0.
  • KVM over IP с выделенным Ethernet портом.

Вообще, неплохое железо, по достаточно приемлемой цене.
Хорошо совместимо с Linux и BSD.
Если бы не особенности общения с клиентами, я бы задумался над его приобретением.


Цена: $1372


Netgear



Характеристики:


  • Intel D-1508 2,2 ГГц.
  • 8 дисков, максимум поддерживается 130 ТБ, RAID.
  • DDR4 4 ГБ с ECC.
  • 2 x 10 ГБит Ethernet.
  • Есть iSCSI, DLNA.
  • ОС — ReadyNAS OS 6.9.
  • Максимальная мощность 250 Вт.

Предоставляет:


  • Поддержку Amazon Cloud Drive, Dropbox, Google Диск, OneDrive и Azure.
  • Проприетарное облачное хранилище ReadyCLOUD.
  • Поддержку виртуализации на базе VmWare.

Вроде как, неплохой NAS, но дальше я не интересовался: если у кого-то есть личные впечатления, допишу сюда.
Мои задачи с помощью этого вполне возможно решить.
Цена, правда, немалая.


Цена порядка: $1600 без дисков.


Promise technology



Это DAS, но прежде чем я понял это (смотрел на цену), пришлось лезть в его мануал.


Характеристики:


  • Процессор PMC Sierra 8067.
  • 1 ГБ DDR3-1866 SDRAM.
  • 8 SATA дисков, максимум 48 ТБ, RAID 0, 1, 5, 6, 10, 50, 60.
  • Максимум 250 Вт.

Предоставляет:


  • ПО ChronoSync Pegasus Edition для резервного копирования.

Особенности:


  • Поддержка Thunderbolt 3.

На сайте Promise Technology много рекламных материалов, среди которых нет даже нормальных характеристик железа. Видимо, их менеджер по рекламе посчитал, что знать характеристики процессора для пользователей — лишнее.
Пришлось искать.


В качестве дисковой корзины этот DAS вполне себе может подойти: на его основе возможно строить NAS (хотя и дорого).


Цена: $3400-$4500


QNAP



О QNAP написано и так много.


Компактный корпус на 8 дисков, каждый из которых легко достать.
Над каждым диском индикатор.
Это их "фирменный стиль".
У QNAP, наверное, самая широкая линейка NAS среди всех производителей, под большое количество рыночных сегментов, линейка CPU, соответственно также широкая: Atom, Core i3-i7, Xeon (обычно в стоечных моделях), даже AMD Ryzen с конца 2017-го.


Изо всех моделей я рассматриваю TVS-871-i7-16G.
Это модель 2015-го года, но сейчас она подойдёт для большинства применений.
По ней есть обзор на PCGamer.


Для разнообразия — обзор персонального NAS на IXBT (за 2017-й)


Характеристики:


  • Intel Core i7-4790S 3,2 ГГц, 4 ядра.
  • DDR3, 16 ГБ.
  • SATA-3, 8 дисков, 96 ТБ максимум (576 ТБ с модулями расширения, например UX-800P или UX-500P), RAID 0/1/5/6/10, RAID 5/6/10, однодисковый том + резервный диск, горячая замена.
  • Дисковое шифрование AES-256.
  • 512 МБ флэш памяти.
  • Внутренняя ФС — ext4.
  • Ethernet 1 Гб/с x 4.
  • PCIe x8 x 2.
  • Аппаратное шифрование.
  • USB 3.0 x 3.
  • ОС — доработанный Linux, называемый QTS.
  • Максимальная мощность 350 Вт.

Предоставляет:


  • Сервер удаленной репликации (на основе Rsync).
  • Поддержку бэкапа от сторонних производителей: Veeam Backup & Replication, Acronis True Image, ARCserve Backup, EMC Retrospect, Symantec Backup Exec, LaCie SilverKeeper и т.д.
  • Виртуализацию на базе KVM и позволяет установить, например, произвольный Linux не ломая прошивки NAS.
  • Поддержку виртуализации с VmWare, Citrix, etc..
  • Контейнеризацию из коробки.
  • VJBOD, позволяющий объединить несколько QNAP NAS.
  • Сервер и клиент LDAP, также есть RADIUS сервер.
  • Синхронизацию с облачными хранилищами: Amazon S3, ElephantDrive, Symform, Dropbox и Google Drive.
  • Персональное облако через myQNAPcloud.
  • Простую синхронизацию между несколькими устройствами, в т.ч. мобильными.
  • Медиасервер с DLNA, для чего надо отдельно установить приложение (в два клика).

Особенности:


  • Модули расширения возможно подключать по SAS.
  • На каждый диск есть отдельный замок.
  • Система полнотекстового поиска Qsirch.
  • Есть множество приложений, адаптированных для QNAP.
  • Предоставляет iSCSI.
  • Есть бондинг портов (режимы: Balance-RR, Active Backup, Balance XOR, Broadcast, IEEE 802.3ad/Link Aggregation, Balance-TLB и Balance-ALB).
  • Поддержка DDNS.
  • Возможна привязка услуг к указанным сетевым интерфейсам.
  • Поддержка Apple Time Machine.
  • Встроенный антивирус.
  • Web GUI системы тоже очень проработан и удобен. Такие ошибки, как в OMV, тут пользователю даже в страшном сне не приснятся.
  • Из коробки организуется станция видеонаблюдения на 72 канала максимум.
  • Есть HDMI выход.

Картинка с внутренним устройством QNAP "с высоты птичьего полёта":
Виртуализация в QNAP


Очень неплохой NAS по средней цене. Если же что-то не устраивает, есть модели "чуть ниже" и "чуть выше".
Конечно же с использованием данной системы я могу решить все вышеуказанные задачи.


Цена: $2000-2500


QSAN



Характеристики:


  • Процессор Intel Celeron 2.9 GHz Dual-Core.
  • RAM 8GB DDR4 SO-DIMM с ECC, расширяется до 32GB.
  • 8 дисков SATA 6Gb/s (максимальная сырая емкость 82TB), RAID 0, 1, 5, 6, 10, 50, 60 и JBOD.
  • SSD кэш на чтение и запись.
  • Flash 8GB USB DOM (видимо, сюда установлена ОС).
  • Дисковое шифрование AES-256, сертификация FIPS 140-2.
  • Внутренняя ФС — ZFS.
  • Ethernet 1 Gb x 4
  • Есть слот PCIe Gen3x8 для карт расширения 10/40 GbE / Thunderbolt 3.0/SAS.
  • USB 3.0 x 5.
  • ОС — QSM 3.0 (QSAN Storage Management 3.0) на основе Linux.

Предоставляет:


  • Копирование в облако Amazon S3.
  • Синхронизация с облаком Google Drive, Windows OneDrive и Dropbox.
  • Бэкап через Rsync (работает, как rsync сервер).
  • Поддержку стороннего ПО резервного копирования: Acronis True Image, CA Brightstor ARCserve Backup, EMC Retrospect, Symantec Backup Exec, LaCie Silverkeeper, Snapshot replica, Time machine backup server.
  • Поддержку виртуальных машин (в том числе резервное копирование и снэпшоты). Пишут, что данный NAS сертифицирован по VMware Ready, Citrix Ready и Microsoft Hyper-V. Т.е. виртуализация и работа с известными гипервизорами поддерживается "из коробки".
  • Media библиотеку.
  • Медиасервер с DLNA.

Особенности:


  • Отличный корпус и хорошая идея для смены дисков. Редкий случай, когда я вспоминаю про "дизайн". Просто он классно смотрится.
  • Широкий набор возможностей на все случаи жизни.
  • Поддерживает Thunderbolt.
  • Есть открытие ISO образов.
  • Возможность автоматической публикации в facebook, twitter, weibo.
  • Есть мобильное приложение для доступа к облаку.
  • Встроенный антивирус.
  • Есть "технология многоуровневого хранения". Наиболее часто запрашиваемые данные перемещаются на самый скоростной уровень, наименее востребованные, переносятся на медленный уровень.
  • Синхронизация данных между несколькими NAS: XMirror.
  • Поддержка дисков SED (это те, которые самошифрующиеся, и это в дополнение к AES шифрованию). Если владельцу необходимо перенести такие диски с данными в другой XCubeNAS, поддерживается экспорт ключа аутентификации.

Они используют ZFS, которую они почему-то называют "собственной отлаженной" (по-моему, QSAN — не Sun, хотя и похоже по звучанию, но ZFS они не разрабатывали).


XMirror поддерживает однонаправленное зеркалирование: данные, измененные на локальном NAS, будут изменены на удаленном NAS, но любые изменения данных на удаленном NAS будут проигнорированы.
И двунаправленное зеркалирование: при любых изменениях данных на любом из NAS данные будут изменены и на другом NAS.
Файлы версионируются (до 64-х версий).
Возможно организовать геораспределённое хранилище.


Web GUI чем-то напоминает QNAP:


Я написал письмо на info@qsan.ru, где попросил указать цену.
На письмо мне не ответили, но производитель отписал о цене в комментариях к данной статье.
Есть нарекание к процессору: всё-таки двухядерный Celeron не самое лучшее решение.


Купить данный NAS возможно связавшись с QSan: в магазинах пока что его ещё не найти.
Рекомендуемая производителем розничная цена: $3000.


Sans Digital


Данные системы не являются NAS — это корзины-расширители, вмещающие несколько дисков.
Они интересны прежде всего тем, что они единственные изо всех приведённых поддерживают не только SATA, но и SAS.
Приведу здесь две разные модели: башню и "лежачий" корпус.


Image
На сайте производителя


Характеристики:


  • 8 SAS/SATA дисков на 2.5", JBOD, максимум 16TB.
  • Максимальное потребление 300 Вт.

$500


Image


Характеристики:


  • 12 SAS (12 Гб/с) или SATA (6 Гб/с) дисков 3.5" с горячей заменой (поддерживается максимум — 120 ТБ), JBOD, или опциональный RAID контроллер.
  • Максимальное потребление 300 Вт.
  • Есть также модель на 8 дисков.

Быстрое подключение по SAS, цена средняя. Вполне приемлемое решение, как для расширения NAS, так и для построения хранилища на их основе.


На сайте производителя
Цена: $1100


Synology


О Synology написано также много, как и о QNAP, и не имеет смысла повторяться.
Поэтому, очень кратко:


  • У них есть множество решений, ориентированных на разные рыночные сегменты.
  • Потому, линейка используемых CPU очень широка: от Atom до Xeon.
  • На данных NAS своя ОС на базе Linux.

DS3617xs на 12 дисков



Это мощный сервер, для которого заявлено, что он поддерживает до 4000 пользователей.


Характеристики:


  • Intel Xeon D-1527, 2.2-2.7 ГГц, 4 ядра.
  • DDR4 ECC SO-DIMM 16 ГБ, с возможностью расширения до 48 ГБ.
  • SATA-3, 12 дисков 3.5"/2.5" (до 36-ти с устройством расширения) с горячей заменой, максимум 144 ТБ (432 с устройством расширения), Synology Hybrid RAID, Basic (видимо, имеется ввиду однодисковая конфигурация), JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10.
  • Дисковое шифрование по AES-256.
  • ФС Btrfs или ext4.
  • Ethernet 1 Гб/с x 4.
  • Слот PCI Express x8 x 1.
  • USB 3 x 2.
  • ОС — Synology Disk Station Manager (DSM), открытый и основанный на Linux.
  • Максимальная мощность 500 Вт.

Предоставляет:



Особенности:


  • Три скорости вентилятора: максимальная, охлаждение, тихий.
  • Предоставляет iSCSI.
  • Есть проверка подлинности через Kerberos.
  • Антивирус от McAffee, правда Trial.
  • Из коробки поддерживается чат.
  • Есть Web-оффис, в котом возможно организовать совместную работу.
  • Предоставляет VPN сервер.
  • Почтовый сервер.
  • Может работать, как "станция слежения": возможно подключить до 40 IP камер.
  • Поддерживает максимум 8 виртуальных машин.
  • Поддерживает технологию PetaSpace.
  • Возможна двухфакторная авторизация.
  • Есть замок на корзину.

Цена без дисков: $2500-$3100.


DS1817 на 8 дисков



Характеристики:


  • Intel Atom C2538, 2.4 GHz, 4 ядра.
  • DDR3 2 ГБ с возможностью расширения до 16 ГБ.
  • SATA-3, 8 дисков 3.5"/2.5" (до 18-ти с устройством расширения) с горячей заменой, максимум 96 ТБ (216 с устройством расширения), Synology Hybrid RAID, Basic, JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10.
  • ФС Btrfs или ext4.
  • Ethernet 1 Гб/с x 4.
  • Слот PCI Express x8 x 1.
  • USB 3 x 4.
  • Максимальная мощность 250 Вт.

Максимальное количество виртуальных машин тут 4.
И по характеристикам эта модель ближе к NAS, тогда как предыдущая ближе к серверу.
В остальном, всё тоже.
Также, есть похожее решение на 12 дисков, но с меньшим количеством RAM (2GB, расширить возможно только до 6GB).


Цена без дисков: $950


Вывод


Хорошие NAS. Качественный корпус, большое количество сервисов, открытая ОС и множество доступных приложений.
Несколько претит идея ограничивать лицензией количество подключений к VPN серверу и количество виртуальных машин.
Но, в целом, вариант на Xeon вполне подошёл бы для решения моих задач без особых сложностей в настройке, даже без наличия серьёзных технических знаний.
Стоит признать, что разработчики действительно сделали продукт грамотно, а также его верно позиционируют.


Thecus


На сайте производителя


Характеристики:


  • Intel Core i3 2120 (3.3GHz Dual Core)
  • DDR3 4GB с возможностью увеличения до 32GB.
  • SATA III, 8 жёстких дисков, RAID 0, 1, 5, 6, 10, 50, 60 и JBOD.
  • Дисковое шифрование AES-256.
  • Из ФС поддерживаются EXT*, XFS, BtrFS.
  • Ethernet 1 Гб/c x 2.
  • Ethernet 10 Гб/с (возможно 2 штуки).
  • Два 8-полосных разъема PCI Express.
  • USB 3.
  • ОС — ThecusOS, на основе Linux (графика обеспечивается через X).
  • Максимальная мощность 400 Вт.

Предоставляет:


  • Rsync сервер.
  • Резервное копирование утилитами от Thecus и от Acronis.
  • Поддержку DropBox, ElephantDriver, Amazon S3.
  • LDAP.
  • Синхронизацию между NAS.
  • Возможность объединения NAS в кластер.
  • Медиасервер с DLNA.
  • Фото сервер "Piczza!".

Особенности:


  • Приятная особенность: сенсорный экран.
  • Поддерживает объединение каналов (Load balance, Failover, 802.3ad, Balance-XOR, Balance-TLB, Balance-ALB).
  • Много приложений.
  • Возможность установить модуль с антивирусом.
  • Возможность создания и записи ISO.
  • Поддержка iSCSI.
  • Возможно использовать, как сервер видеонаблюдения и подключить до 10 IP-камер.
  • Есть графика через выход HDMI.

Обобщающая картинка с их сайта:


Типичный NAS, не очень дорогой, средне производительный. Сенсорный экран — интересное решение. Про виртуализацию и контейнеризацию ничего не написано, но с учётом того, что ОС на основе Linux, с Docker или KVM проблем возникнуть не должно, а железо вполне себе поддержит несколько виртуальных машин.
Возможно брать, если нравится, мои задачи он вполне решает.


Цена: $1700


Western Digital



Конечно, Western Digital тоже не мог остаться в стороне от систем хранения данных.


Характеристики:


  • Marvell ARMADA 388, 1,6 ГГц. ARMv7, 2 ядра.
  • DDR3 2 ГБ.
  • Максимум 4 диска, RAID 0, 1, 5, 10 или JBOD.
  • Ethernet 1 Гб/с x 2.
  • ОС — WD My Cloud OS 3.

Предоставляет:


  • Резервное копирование.
  • Поддержку DLNA через "Twonky DLNA".
  • Поддержку облачных Dropbox, OneDrive и Google Drive.

Позиционирование достаточно странное: исключительно домашний сегмент (и даже их NAS верхнего уровня явно не дотягивают), при этом — дорого.
И смотреть тут особо нечего, я привожу их NAS только разве для порядка.


С дисками на 32 ТБ цена порядка: $1450


Zyxel



Zyxel тоже отметился.


Характеристики:


  • FreeScale Dual Core Cortex-A9 1.2 GHz.
  • DDR3 1 ГБ.
  • SATA II, 4 диска до 48 ТБ (2.5" или 3.5"), JBOD, RAID 0/1/5/6/10, RAID 5+ с горячей заменой.
  • На дисках ext4.
  • Ethernet 2 Гб/с x 2.
  • Максимальная мощность 36.5 Вт.

Предоставляет:


  • Возможность резервного копирования.
  • Поддержку Google Drive, Dropbox, Memopal, ownCloud, SynBackupfree, NetDrive и свой myZyxelCloud.
  • Создание своего облака, используя Zyxel Drive, zCloud или ownCloud.
  • Репликацию между NAS (по шифрованному каналу, всё как полагается).
  • DLNA через Twonky media server с DLNA 1.5.
  • Поддержку iSCSI.
  • Поддержку фото-альбомов (галерею).

Особенности:


  • Есть SDXC кард-ридер.
  • iTunes сервер.
  • Есть клиент и сервер RSS.
  • Поддерживает Apple Time Machine.
  • Автозагрузка фоточек и видео на YouTube/Flickr/FTP server.
  • Возможно хостить свой сайт: встроен WordPress.
  • Есть предупреждение при превышении температуры (я так понял, звуковое).

Обзор


Решение не вполне подходящее под мои требования, однако как недорогой персональный NAS очень даже сгодится.


Цена: $650.


Выводы


Исходя из данного обзора, возможно видеть, что рынок сейчас достаточно насыщен.
Разными производителями представлены линейки систем, позволяющих решать почти любую задачу.
Покрыт, как сегмент индивидуальных пользователей, так и крупных предприятий (сегмент дата-центров, естественно покрыт давным давно, но по условиям задачи я его не рассматривал), при этом почти каждый производитель предоставляет целый набор моделей для взыскательного пользователя (у них они позиционируются, как модели для малых и средних предприятий), которые меня интересуют.


Производитель позаботился за вас о:


  • Интеграции железа и ПО. Вам не нужно настраивать софт так, чтобы он понимал железо, на котором работает. Всё уже сделано, все драйвера есть, всё работает "из коробки".
  • Отладке ПО. Вам не придётся находить баги, их отлаживать и самостоятельно публиковать патчи.
  • Необходимом наборе ПО. Производители предоставляют множество самописных, либо адаптированных приложений, которые удовлетворят запрос абсолютного большинства пользователей.
  • Дополнительных сервисах. Системы уже включают интеграцию с широко распространёнными облачными хранилищами. Часть производителей предоставляют свои private clouds. Есть репликация между NAS.
  • Исправлению поломок и замене неисправного оборудования. Вам предоставляется гарантия. Даже на диски.

Отсюда вполне однозначный вывод: почти всегда лучше купить NAS, чем делать свой.


Сборка своего NAS


Зачем ты это сделал?


Я руководствовался не только ценой железки и быстрым решением задач:


  • Мне просто хотелось собрать систему самостоятельно.
  • В процессе я глубже разобрался с некоторыми технологиями (LDAP и контейнеризация в их числе), что тоже планировалось.
  • Я хотел "более серверное" решение на базе SAS: на рынке таких я не нашёл.
  • Хотелось сделать всё "под себя", чего готовые решения не предоставляют.
  • Я набрал достаточно качественные компоненты, а то что предоставляют производители, ещё не факт, что самое лучшее.

Программное обеспечение


Требования:


  • Поддержка ZFS, на основе которой реализуется надёжное хранилище.
  • Возможность организации слоя прозрачного полнодискового шифрования.

Операционная система


В связи с тем, что существует большое количество качественных свободных ОС,
ориентированных на работу с NAS, коммерческие решения не рассматриваются.
По этой же причине не рассматриваются универсальные ОС.


Список ОС
  • FreeNAS
    Наиболее распространённая ОС на базе FreeBSD. Удобный, современный и проработанный Web-интерфейс.
    Большое количество функций. Широко используется в коммерческих NAS.
    ZFS в поставке.
  • OpenMediaVault
    Вторая по распространённости ОС для NAS. Основана на Debian Linux.
    ZFS требуется устанавливать отдельно, есть плагин.
  • Nas4Free
    Форк FreeNAS.
    ZFS в поставке.
  • OpenFiler
    ZFS в поставке нет. Видимо, проект не развивается: последняя версия была в 2011-м году.
  • XPEnology
    Synology DSM. Используется в коммерческих NAS от Synology.
    Простой Windows-подобный Web-интерфейс.
    Имеет большое количество подготовленных для NAS пакетов.
  • Amahi
    ZFS в поставке.
  • Rockstor
    Основан на CentOS. Интерфейс современный и удобный.
  • Nexenta CE
    ZFS в поставке.
    Свободная версия может поддерживать хранилища объёмом до 18ТБ, что неприемлемо.
  • CryptoNAS
    Система недостаточно проработана.
    Нет русскоязычного интерфейса.

В качестве управляющей ОС используется OMV.


Хотя ZFS в Linux недостаточно стабилен в настоящий момент (например, имеется баг с очисткой кэшэй), Linux более гибок, и его проще настроить под требуемые задачи.
Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.
Причём, если эта проблема решаема, проблема с шифрованным корнем не решается простыми средствами во FreeNAS, а в OMV такой вариант
установки поддерживается инсталлятором.
Выбран OpenMediaVault.


Корпус


Большинство корпусов рассчитано на 4-6 дисков. Корпусов на 8 дисков не так много.
По крайней мере, на AliExpress были найдены корпуса только для 6 дисков.
Цена доставки равна примерно половине стоимости корпуса.
Кроме того, корпус не является основной статьёй расходов.
Потому, имеет смысл брать корпус более высокого качества.


По результатам исследования были выбраны корпуса SilverStone Case Storage DS380
и SilverStone Case Storage CS280.


Плюсы:


  • Дверца с замком.
  • 8 дисков горячей замены 3.5"/2.5".
  • Поддержка до 12 дисков.
  • Противопылевые фильтры на магнитных защёлках.
  • Поддержка блоков питания SFX.

Silverstone DS380 выбран, как наиболее универсальный.
Подобрать диски с требуемыми характеристиками на 2.5" крайне сложно.


Альтернативные варианты:


  • Norco ITX-S8
    Корпус больше, чем корпуса SilverStone. Не имеет замка. Менее распространён.
    Нет противопылевых фильтров. Поддержка ATX блоков питания.
  • Модульные корпуса CaseLab
    Дороже монолитных корпусов и нет готовых отсеков под горячую замену 8-ми дисков.
    Есть противопылевые фильтры.

Дополнение от PeterZha:


  • Norco ITX-S8 исключительно имеют хорошее охлаждение: корзина продувается насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37 на тех же дисках, что использовал я.
    Но два 80 мм вентилятора сильно жужжат, потому приходится из менять (например, на Noctua).
  • Есть неплохой корпус от Supermicro. По нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro.
  • FreeNAS не продаёт отдельно корпуса, они продают только готовые решения с железом внутри.

Дополнение от ACooper:


Стоит обратить внимание на шведские корпуса от Fractal Design:


  • NODE 804 — 8 x 3,5?, 4 x 2,5” или до 10 x 3,5”, 2 x 2,5? жестких дисков и SSD.
  • NODE 304 — 6 х 3,5" или 2,5" жестких дисков/SSD. К этим 6 у меня получилось добавить еще по одному SSD и HDD.

Съёмная корзина и, соответственно замок, отсутствуют, но корпуса неплохи.


Цена Silverstone DS380: $155.37.


Управляющий компьютер


HDD


Форм-фактор HDD — 3.5".
У 2.5" в среднем ниже потребляемая мощность, чем у 3.5", но гораздо сложнее подобрать диск.


Производитель: HGST или Toshiba, поскольку по статистике Backblaze у них самый низкий процент отказов.


Различия между SATA и SAS
  • Статистика Backblaze есть только на SATA диски 3.5".
  • Для SAS сложнее найти плату форм-фактора mini-ITX/mini-DTX.
  • В среднем, SAS диски стоят дороже. Замена SAS диска, при его выходе из строя, обойдётся дороже.
  • Цена за мегабайт на SAS дисках выше ($0.06 на HGST 2.5" SATA3 1TB, 7200rpm и $0.08 на HGST 2.5" SAS 300GB, 10000rpm).
  • SAS более производительны вследствие (~300 iops против ~80 iops):
    • Более высокого числа оборотов (не применимо, поскольку выбраны диски на 7200 оборотов).
    • Полнодуплексного интерфейса (SATA полудуплексный).
    • Более быстрого восстановления после сбоя чтения/записи сектора (7-15 с. к 30+ с.).
    • Механизма multipath.
  • SAS более надёжны, вследствие (1.2 10^6 часов наработки на отказ против 7 10^5 у SATA):
    • Полной проверки целостности данных (включая данные, проходящие через интерфейс, чего нет у SATA).
    • Предельной рабочей температуры выше на ~20 C.
    • Наличия сенсоров для компенсации вибрации.
    • Механизма multipath.
  • К SAS контроллеру возможно подключать SATA диски.

В итоге, были выбраны диски SAS 3.5", 7200 rpm, HGST/Hitachi, с учётом статистики Backblaze для SATA дисков HGST.
Объём дисков: 4 Тб.
Вероятно, диски на 3 Тб получаются из отбраковки 4 Тб дисков. Значит, при их производстве
уже был нарушен технологический процесс. Т.е., процент отказов должен быть выше.
Статистика Backblaze, в основном, это подтверждает.
У дисков на 4 Тб самый низкий процент отказов (кроме одной модели HGST на 3 Тб).


HGST Ultrastar 7K4000 HUS724040ALS640 4 TB 3.5-Inch Internal Hard Drive:
2 x $169.10.


Дополнительно было докуплено ещё 2 диска с целью создания Z-RAID:
2 x $167.99.


Два диска на 4 TB, как результат ошибки магазина, приславшего диски на 6 TB:
2 x $167.00.


Системный носитель


Для ОС использован SSD. Кроме того, SSD достаточной ёмкости может быть использован для того, чтобы хранить или кэшировать журнал ZFS.
Имеет смысл покупать SSD на 500-250 Гб., поскольку у них наиболее оптимальная цена за Гб.
При этом, хотя цена за Гб в SSD на 500 Гб, как правило меньше, чем на 250 Гб,
стоят они почти в два раза дороже.
Чтобы уложиться в бюджет был выбран SSD на 250 Гб.
Дополнительно будет куплен второй SSD с целью зеркалирования первого.
Третий носитель предназначен для кэша L2ARC.
Итак, цены.


Система и SLOG:


  • Micron mtfddak256tbn: $113
  • Samsung 850 Pro: $140.35

L2ARC:


  • Samsung 850 EVO 250GB 2.5-Inch SATA III Internal SSD (MZ-75E250B/AM): $89.99

Motherboard


Требования и ограничения

  • Ограничение, накладываемое корпусом: форм-фактор mini-ITX/mini-DTX.
  • Желательна поддержка IPMI.
  • Энергопотребление CPU, поддерживаемого платой должно быть низким, особенно во время простоя.

Варианты плат

Были рассмотрены следующие платы
  • ASRock E3C224D4I-14S
    Плата с поддержкой 8-ми SAS портов от 2-х mini SAS коннекторов.
    Основной минус: форм-фактор Extended mini-ITX.
    Требует незначительных доработок корпуса. Дополнительно имеется 4 SATA III и 2 SATA II.
    USB 3.0 x 4, USB 2.0 x 5. 4 USB гнезда выведено на заднюю панель.
    DDR3/DDR3L с ECC 32GB max.
    1 GBit LAN x 2.
    Есть IPMI.
    Сокет 1150 под Xeon E3-1200 (4 ядра + HyperThreading).
    Есть WatchDog.
    Поддерживает FreeBSD 9.1, Debian.
  • ASRock C2750D4I
    Плата с поддержкой 12 SATA портов. CPU Intel Avoton (Atom) с 8 ядрами.
    Процессор впаян.
    Атом менее производителен, чем Xeon, хотя и более энергоэффективен и экономичен.
    Есть IPMI.
    Остальные характеристики сходны ASRock E3C224D4I-14S.
    Плата не рассматривается, т.к. в ней отсутствует поддержка SAS.
  • Asus P9A-I C2750
    2xSATA3.
    4 x MiniSAS connector(Marvell 88SE9485 x 2).
    USB 2.0.
    Сокет C2750 под Intel Atom.
    Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
  • Asus P10S-I
    6 x SATA3 6Gb/s ports, ASUS PIKE II 3008-8i 8-port SAS 12G RAID card(Optional).
    USB 3.1 + USB 2.0 x 2
    Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
  • Asus P9A-I C2550
    USB 2.0.
    Сокет C2550 под Intel Avoton (Atom).
    Нет IPMI, но есть "ASMB7-iKVM for KVM-over-Internet", совместимый с IPMI 2.0.
  • Платы Supermicro.
    Не имеют поддержки SAS, при этом в два-три раза дороже конкурентов.

Также были рассмотрены китайские платы. Не было найдено ни одной китайской платы форм-фактора mini-ITX, соответствующей моим требованиям.
Хорошо подходит плата ASRock E3C224D4I-14S под Xeon, но требует модификации корпуса.
Плата относительно старая — 2014 года разработки, но зато она хорошо поддерживается, как Linux, так и FreeBSD.
Она была выбрана, как наиболее приемлемый вариант.
В итоге, корпус пришлось доработать напильником.
В прямом смысле.


ASRock Rack Motherboard E3C224D4I-14S стоила $330.78 (сейчас $360).


CPU


Одним из лучших (в том числе и по цене) CPU на LGA1150 является Core i7 4790K.
Но он не имеет поддержки ECC, что не соответствует требованиям.
Xeon 1276 более производителен, но стоит дороже ($404 vs $329), то не оправданно.


Выбран Intel Xeon E3-1231V3B 3.4, socket LGA1150: $329.87.


RAM


Т.к. используется ZFS, требуется минимум 8 ГБ RAM с корректировкой ошибок.


Выбрано DDR3L (1.35 Вольт) 2x8 GB ECC.
Наиболее известными производителями, реализующими качественный RAM, являются Crucial и Kingston.
По результатам исследования был выбран Crucial DDR3L 16GB kit (EUDIMM — память с ECC).
По цене $245.07.
Сейчас цены на память упали, и она стоит около $200.


Блок питания


В среднем, 3.5" диск потребляет 6 Ватт по спецификации и порядка, 20 Вт, с учётом тепловых потерь.
Достаточно считать, что диск не может потреблять более 25 Вт.
Корпус вмещает до 12 дисков.
Итого, на диски достаточно максимум 300 Вт.
Процессор потребляет максимум 95 Вт.
Кулер потребляет не более 6 Ватт, итого 18 Вт.
Память DDR3 потребляет 3 Ватт на планку, итого 6 Вт.
Материнская плата потребляет от 25 до 40 Вт.
P = 300 + 95 + 18 + 6 + 25 = 459 Вт.


Это пиковая нагрузка, с округлением в большую сторону.
Т.е., блока питания на 450 Вт достаточно для системы данной конфигурации, с учётом её расширения.


Выбран блок питания Silverstone 450W SFX ST45SF-G.
Цена: $93.99.


Сетевые адаптеры


В случае использования внешних сетевых адаптеров, согласно руководству по аппаратному обеспечению FreeNAS, желательно использовать адаптеры следующих производителей:


  • Chelsio (лучший выбор).
  • Intel.
  • Emulex.

От Broadcom и Realtek следует воздерживаться.
Выбранная плата ASRock имеет адаптеры от Intel.


Прочее


Кабели. $25.47.
Фильтр. $7.99.
Кулер (с TDP не ниже 80W для socket 1150 в mini-ITX) SilverStone Technology NT08-115X Low Profile 48mm 95W TDP LGA 115X: $20.99.
Паста теплопроводная Arctic MX-4. $8.97


ИБП


Как FreeNAS, так и OMV имеют в своём составе демон NUT.
Также, обе системы поддерживают UPS от APC.
Список поддержки Nut


По результатам анализа рынка был выбран ИБП Eaton 9130 700 ВА двойного преобразования,
наилучший в рамках бюджета.


Его цена не учтена в итоговой стоимости.


Итого


Цена компонентов без учёта доставки: $2580


Доставка


Все компоненты, кроме ИБП и двух SSD, были заказаны с Amazon и доставлялись через "Бандерольку" в виде пяти посылок со страховкой.
Также, потом дополнительно пришлось заказать SAS to SATA кабель, чтобы подключить три SSD (в РФ найти не удалось), что здесь не учтено.


Сумма доставки и упаковки (включая страховку): $470.87


Что получилось


В итоге, я имею работающий NAS на серверном Xeon ценой чуть более $3000 с 28 ТБ "сырого объёма" (из которых пока только 16 введено в строй) и 16 ГБ ECC памяти.
По мощности он соответствует приведённым в обзоре рынка системам примерно того же сегмента.
На него затрачено около трёх-пяти месяцев времени, причём в основном на программную часть.
Хотя аппаратная тоже заставила походить за компонентами.
Конечно, я занимался им, в основном на выходных, но времени ушло, как на полноценный проект, а не как на быстро реализуемое устройство.
Я бы не сказал, что система вышла дешевле того, что продают.


Какие были проблемы


Проблемы с "Бандеролькой":


  • Сначала были известные "Новогодние праздники", когда они задерживали посылки на пару недель.
  • В другую посылку я ждал компонент (не для NAS), который заказывал, используя "помощь при покупке": посылка из-за этого задержалась на месяц, и ни техподдержка, ни "операторы" не могли даже объяснить почему (модуль был доставлен в "Бандерольку" за пару дней, и валялся там неизвестно где), а не то что чего-то сделать.

В остальном, по качеству упаковки и доставки нареканий не было: компоненты пришли не битые.
После того, как я начал рассылать письма на разные адреса "Бандерольки", посылка резко нашлась. Моё обращение со своего форума они удалили.
В итоге, данным сервисом я стараюсь не пользоваться.


Проблемы с железом:


  • Для меня было сложно найти серверные компоненты, даже нужные SSD. А кабели пришлось дозаказывать.
  • Компоновка получилась достаточно плотной. Сложно даже вентилятор установить, а для каждой манипуляции надо снимать основную корзину. Что тоже сложно.
  • Под плату придётся делать отдельную заднюю панель, отверстия в которой сдвинуты на 9 мм.

Проблемы с охлаждением:


  • Рост температуры. Температура некоторых дисков превысила 52 C.
  • Шум. Вентиляторы шумят. Особенно, своими мощными вентиляторами славятся ИБП Eaton. Админы рвут волосы и выбегают из серверной после пяти минут нахождения там без наушников. Вентиляторы меняют, но грёбаный Eaton просто так не сдаётся: у него нестандартный вентилятор, средний провод которого идёт не на управление оборотами, а на датчик блокировки ротора.

Сначала я насверлил дырок на противоположной стенке, напротив дисков, чтобы поток воздуха был сильнее.
Затем, штатные вентиляторы я поменял на низкошумящие Noctua NF-S12A с PWM, установив их на антивибрационные болты. Температура дисков упала и сейчас держится на 47 C, при 900 оборотах. Шум стал меньше.


В Eaton я заменил вентилятор на низкошумящий вентилятор Blacknoise M8-S1, на антивибрационных уголках.
Разъём пришлось перепаивать, взяв его от старого вентилятора.
Температура не растёт, шума серверной теперь нет.
Но сейчас наблюдается проблема с тем, что блок периодически не видит вентилятор.
Решается замыканием центрального вентилятора провода на его минус.
В остальном, Eaton очень хороший ИБП за неплохую цену.


Проблемы с ПО:


  • Как я указывал в своей предыдущей статье: в ОС далеко не всё, работает так, как нужно. Пришлось фиксить и отправлять патч.
  • OMV 4 глючноват. Пришлось фиксить плагин ZFS. Исправление приняли, но теперь вешают на меня дополнительную работу. Не все баги ещё исправлены (в частности, есть один злостный плавающий, о котором знают все, но не могу поправить уже более года).
  • Docker и статьи о нём типа, "как всё настроить по-быстрому" — это отдельная тема. Патчить не пришлось. Пока. Зато, с конфигами пришлось повозиться немало: это заслуживает отдельной статьи.
  • Docker с /var/lib/docker, вынесенным на пул ZFS, ломает загрузку. Это решилось через воркэароунд в виде симлинка, который подсказали разработчики OMV.
  • В OMV периодически что-то ломают. После очередного обновления сломался плагин бэкапа ОС. Надо бы завести баг...

Чтобы я поменял


  • Корпус. Взял бы корпус от FreeNAS. В нём больше места и не потребовалось бы в нём ничего выпиливать.
  • Плату, при возможности найти такую же, я бы взял поновее: с поддержкой DDR4 и большего объёма RAM. Но, в целом, плата которую я использовал, меня устраивает.
  • Может взял бы диски с ещё большим объёмом кэша.
  • Память придётся добивать до 32 ГБ: много потребляет gitlab.

Фото


Фото под спойлером

Внешний вид:




Вид изнутри, основная дисковая корзина на месте:


Вид изнутри, дисковые корзины сняты:



Когда действительно стоит


Есть несколько причин, когда сборка собственного NAS имеет смысл:


  • Когда вам это ничего не стоит. Если имеются лишние компьютеры и компоненты, действительно возможно сделать его дешевле. Также, если вы можете по низкой цене купить серверное оборудование, доставку которого вам не придётся оплачивать.
  • Рынок не предлагает решения для вас. Такую ситуацию представить сложно, но возможно. У вас может быть ограничен бюджет, список производителей, набор компонентов, использоваться высоко специфичная конфигурация, секретность и т.п..
  • У вас много свободного времени и денег, при этом нечем заняться. В таком случае ресурсы возможно потратить на что угодно, в том числе и на сборку NAS.
  • Вы энтузиаст и хотите собрать NAS самостоятельно. Всё понятно. Без комментариев.
  • Вы хотите разобраться в некоторых технологиях, изучить рынок, пропатчить операционную систему, понять "как это работает".

Может быть ещё один вариант: вы хотите выйти на рынок со своим NAS. Хотя, вряд ли вы будете читать эту статью в таком случае. И, как я уже говорил, рынок NAS достаточно насыщен, потому я не вижу в этом особого смысла.


Небольшое дополнение


Диски в составе моего NAS стоят порядка $1000. В итоге, я получаю мощное серверное железо за чуть более, чем $2000. Synology на Intel Xeon D-1527 стоит от $2500 до $3100.
Если же вычесть сумму доставки компонент — $470, я получаю NAS приблизительно за $1600.
По такой цене возможно найти только решения на Atom или на ARM.


Благодарности


Хочу поблагодарить Власова Алексея и Ершова Сергея за анализ и проверку статьи, замечания по материалу и исправление ошибок.


Отдельное спасибо пользователю PeterZha за ценные дополнения к статье.
Спасибо ACooper за дополнение по корпусам.

Комментарии (232)


  1. vdemon
    02.05.2018 19:38
    #10785640

    Спасибо за обзор, познавательно!
    Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?
    ЗЫ. Мне freenas как-то не зашел, поэтому остановился на nas4free.


  1. artiom_n Автор
    02.05.2018 19:46
    #10785648

    Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?

    По этому вопросу я не могу подсказать: SAMBA мне хотя и может потребоваться, но она далеко не в первом приоритете.
    Кроме того, это зависит от конкретного NAS: надо искать для каждого решения отдельно.
    Однако, я могу предположить, что в большинстве он включен по умолчанию. Например в руководстве по Synology нет ничего про full_audit, зато возможно включить отладочные логи, что позволяет предположить: логирование уровнем ниже отладочного включено (в т.ч. и отдельные модули логирования).


    Тем не менее, лучше всё-таки уточнить на форумах производителя конкретного NAS, который вас интересует.


    Если же вопрос в том, возможно ли править конфиг самбы вручную, чтобы подключить модули, которые хочется, то обычно нет: конфигурирование производится через Web-интерфейс, и если разработчики не предусмотрели, штатными средствами, очевидно, никак.


  1. vdemon
    02.05.2018 19:49
    #10785652

    Связку nas4free + syslog сервер и авторизация пользователей из AD я поборол. Но хотелось бы готовое решение, думаю это было бы надежнее чем самосбор.
    ЗЫ. full audit соответственно включил


  1. Dorlas
    02.05.2018 20:11
    #10785674

    Интересная статья, спасибо.
    Вставлю свои 5 копеек, так как занимаюсь «строительством» NAS уже достаточно давно и пока успешно (пока не было ситуаций, когда приходилось от построенного руками решения отказываться в пользу готового).

    Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.

    Софт: Увы, пока универсальный швейцарский NAS помоему еще не создан. Чтобы все было, и ничего за это не было )))) Вот если посмотреть на рынок сетевых роутеров — то тут Mikrotik может претендовать на это звание (швейцарский роутер )))). Но с NAS-ами пока «серебряной пули нет». И лично мне пока проще и быстрее решить задачу на FreeBSD + ZFS + CBSD, чем изучать очередной черный ящик, который приготовили за меня. Любезно «заминировав» неожиданные места.

    Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов. Так как все кейсы давно пройдены, документированы в WiKi, есть которые инструкции и шаблоны контейнеров. И работает оно потом годами, и обновлять его можно без особых неожиданностей, и обновлять уязвимое ПО просто (pkg audit то штатный).
    Если опыта нет — то «готовый NAS» кажется манной небесной. И только потом понимаешь, что оно «ограничено» знаниями и желаниями разработчика. И либо придется с этим мириться, либо делать самому.


    1. artiom_n Автор
      02.05.2018 20:28
      #10785704

      Увы, пока универсальный швейцарский NAS помоему еще не создан.

      Контейнеризация очень сильно в этом помогает.
      Да и в современных NAS "из коробки" есть почти всё.
      Вплоть до станции видеонаблюдения.


      Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки).

      Да, этот пункт у меня есть.


      Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов.

      Это уже подход производителя NAS, пусть и в мелкой серии. В этом случае, условия другие, в том числе налажены цепочки поставки компонентов. Я данный вариант не рассматривал.


    1. Kwisatz
      03.05.2018 03:18
      #10786128

      Мне кажецо готовые нас сильно как то много денег хотят. Почему даже новая комплектуха на матери супермикро оказывается вдвое дешевле? Да и собственно кроме диска все спокойно же можно брать бу

      ЗЫ а можете поподробней почему именно ZFS? У меня с ней ка кто не складываются
      отношения.


      1. artiom_n Автор
        03.05.2018 08:37
        #10786276
        +2

        Там стоимость некоторых NAS указана с дисками.


        Про ZFS уже комментировал здесь. Много возможностей предоставляет, которые не предоставляют другие ФС, меньше сущностей, всё в одном. Выше надёжность.


        1. Dorlas
          03.05.2018 09:13
          #10786332
          +1

          Полностью согласен — использую ZFS с 2009-го года (с FreeBSD версии 7.2-STABLE, с 13-й версии пула). Опыт инсталляций — под сотню самых разных конфигураций (и десктопное, и серверное железо, и память как с ECC так и без).
          Нигде не было ситуаций, что пришлось бы от использования ZFS отказываться в пользу другой файловой системы.
          Исключительно надежная, гибкая и удобная технология.


          1. Kwisatz
            03.05.2018 09:40
            #10786372

            Весьма любопытно, надо попробовать. Несколько раз отказывался поскольку многие пишут, что ZFS дает хорошую нагрузку на цпу


            1. artiom_n Автор
              03.05.2018 11:18
              #10786590


            1. equand
              03.05.2018 13:17
              #10786896

              ZFS на цпу не дает особой нагрузки. Вот память любит. И да дедуп не включайте. Он дохлый по умолчанию, т.к. удаление файлов вызывает лок всей системы.

              Как-то был бекап, который стал забывать удалять файлы после себя. В итоге 20ТБ хранилось на 1ом ТБ. Размер дедап таблицы был примерно 18-20гб. При этом в системе было 56гб памяти. В момент удаления файлов все к чертям зависло. Перезагрузили, запустили дестрой всего датасета с дедапом — завис полностью сервер. Перезагрузили и продолжили в single user mode.

              Учтите датасет будет говорить что он удален, но на самом деле данные не будут освобождены! За этим надо следить через пуловый сеттинг freeing.

              В итоге 12 часов спустя дедупленный датасет удалился и освободился.

              Короче в ZFS дедуп таблица общая на весь пул, соответственно если удаляется целый датасет даже и с последними блоками то ZFS будет проверять каждый dedup блок.

              Чуток получилось увеличить скорость засчет metadata limit, который маловат по умолчанию, но все равно все висело пока происходил бекграундный дестрой.


        1. Kwisatz
          03.05.2018 09:42
          #10786376

          Про ZFS уже комментировал здесь.

          Как бы это еще найти.

          Много возможностей предоставляет

          А можно для примера килер-фичу?


          1. athacker
            03.05.2018 11:10
            #10786568
            +3

            Снапшоты, компрессия, дедупликация (правда, это очень специфическая фича, дома не нужно использовать), возможность увеличения объёма пула на лету (путём добавления дисков или замены дисков на более ёмкие), возможность хранения блоков отдельных датасетов в нескольких местах (настраиваемый replica factor на уровне датасета), ARC, возможность организации тонких блочных хранилищ (это скорее в сценарии хранилища под виртуализацию).


            1. Kwisatz
              03.05.2018 11:18
              #10786594

              ну для больших файловых хранилищ мб дедупликация и и увеличение объема интересны, они у меня как раз самые частые.

              Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

              Зы спасибо 8)


              1. artiom_n Автор
                03.05.2018 11:23
                #10786618

                Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

                ZFS — не файловая система. Это комплексное решение для организации хранения данных.
                Он сам реализует RAID и может предоставлять, как файловые системы, так и "сырые" тома.


                Поверх массива ставить ZFS крайне не рекомендуется.


                1. Bonio
                  03.05.2018 15:18
                  #10787126

                  То есть поверх Raidz пула нужно будет создавать логические диски с любой привычной файловой системой?


                  1. artiom_n Автор
                    03.05.2018 16:16
                    #10787242

                    Зачем?
                    RAIDZ — нижний уровень, как физический том LVM.
                    ZFS вам может либо «файловые системы» создавать на нём, либо предоставлять блочные устройства (zvol).


                    1. Bonio
                      03.05.2018 17:11
                      #10787374

                      Я правильно понимаю, что на основе пула я смогу сделать либо «том» с файловой системой ZFS, либо блочное устройство (zvol) с любой другой файловой системой?


                      1. artiom_n Автор
                        03.05.2018 17:21
                        #10787404

                        Да.


                        https://docs.oracle.com/cd/E18752_01/html/819-5461/gaypm.html
                        https://docs.oracle.com/cd/E18752_01/html/819-5461/gaypf.html


                        с любой другой файловой системой

                        На которое возможно записать произвольные данные.


              1. artiom_n Автор
                03.05.2018 11:24
                #10786624

                Да, ещё. Дедап там сильно жрёт память.


                Насчёт добавления дисков в пул. Насколько я помню, добавить их в пул просто так было нельзя. Может, уже реализовали это.


              1. nidalee
                03.05.2018 11:31
                #10786648

                У дедупликации очень злостные требования к ОЗУ.

                • If performance isn't critical, and if you expect to save more than 20% of storage capacity through deduplication, then go for it but add at least 5GB of L2ARC SSD capacity per TB of pool data to store the dedup table in.
                • If performance is important, wait until you expect at least a 2:1 reduction in storage space through deduplication, and add 30GB of RAM to your system for every TB of disk capacity to make sure that the dedup table is always in memory so optimal write performance is ensured.


                1. equand
                  03.05.2018 13:18
                  #10786898

                  Дедап в ZFS тупой:
                  habr.com/post/353012/#comment_10786896

                  Это с учетом размера записей в 1МБ!!!


            1. Bonio
              03.05.2018 15:16
              #10787120

              А можно запустить raidz из трех дисков с дальнейшим апгрейдом до пяти дисков без потери информации?


              1. Grey4ip
                03.05.2018 19:45
                #10787686

                Нет. Надо разбивать vdev и собирать новый из 5 дисков.


                1. Bonio
                  03.05.2018 19:50
                  #10787696

                  Значит, чтобы произвести апгрейд, надо иметь куда забекапить много терабайт инфорамции? Неудобно, даже невозможно.


                  1. Grey4ip
                    03.05.2018 20:04
                    #10787726

                    Можно увеличить размер пула, заменив один диск на больший по объёму, дождаться завершения ресильвера, потом так же другой диск, а потом и третий. После замены третьего диска — полезный объём увеличится (если autoexpand=on) или самому надо будет дать команду на экспорт/импорт.


          1. artiom_n Автор
            03.05.2018 11:21
            #10786608

            А можно для примера килер-фичу?

            Я не искал киллер-фичей. Почти всё возможно сделать иными средствами.
            Снэпшоты через LVM (они будут тяжелее, чем ZFS), RAID через md, контрольные суммы файлов рядом с ними хранить.
            Но зачем, когда уже всё это реализовано лучше и работает?


            Ну, если хотите, ZFS установленный на голый диск, определит оптимальный размер сектора, сам включить кэш записи и т.п..


            1. Kwisatz
              04.05.2018 18:40
              #10789204

              Ясно спс. Мне задать параметры для ext4 не очень лениво, снепшоты на файловых хранилищах мне не нужны, инкрементального бекапа вполне хватает.


  1. PeterZha
    02.05.2018 20:15
    #10785680
    +2

    Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда. В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.
    С 2006 года эксплуатирую дома под холодильником сервер (поначалу на VMWare Server for Linux, с 11 года ESXi), прошедший долгий путь мутаций. Поначалу это был обычный минотавр от INWIN на каком-то Athlon 5400, который в дальнейшем мигрировал на i5-2500K в ящике CFI-A2059 с двумя хардами в RAID-1, затем в ящик CFI-A7X79 с четырьмя хардами в RAID-10 на LSI 9260-4i, и вот на новый год переселил все это хозяйство в Norco ITX-S8 с контроллером LSI 9265-8i, на данный момент 8 дисков в RAID-10. Все извращения вызваны к жизни доступным местом под холодильником :)
    Так вот с 32 гигами DDR-3 и на стареньком i5-2500K эта железка нормально тянет четыре активных виртуалки — файлопомойку под линуксом (гигабит она нормально загружает), виндовый сервер для Veeam, семерку для бухгалтерии, рабочий виртуализованный линукс десктоп и какие-то экспериментальные сервисы, причем на данный момент все упирается в память, а не в процессор. На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.
    Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики? Взял Norco ITX-S8 исключительно из соображений нормального охлаждения — там два вентилятора 80мм (стоковые ужасно жужжат, заменил на Noctua без PWM от 12в) продувают корзину насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37, винты 4 и 6 Tb от HGST. Ну и подключение корзины к контроллеру двумя проводами SFF-8087 — SFF-8087 очень сильно способствует порядку внутри.
    Есть еще неплохой корпус от Supermicro www.supermicro.com/products/chassis/tower/721/SC721TQ-250B но по нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro :).
    Сейчас я бы поменял плату и процессор, думаю дождаться выхода восьмиядерных интеловских камней и потом уже что-то думать на эту тему, есть платы от той же Supermicro с Xeon D SoC, с 10G и поддержкой до 128Gb RAM, но с довольно негуманным ценником.
    Резюмируя — если нужен именно NAS, то лучше купить железный NAS. Но если фантазии простираются несколько дальше простого перемещения файлов по сети, то железный NAS за те же деньги сильно проигрывает в итоговой производительности серверу похожего форм-фактора.


    1. artiom_n Автор
      02.05.2018 20:26
      #10785698

      Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда.

      Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер. Да и вообще большинство современных NAS являются именно сервером, а не исключительно сетевым хранилищем.


      В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.

      1. В плате, которую я использовал, есть слот PCI Express, на крайний случай.
      2. Я использую бондинг, так что фактически, у меня канал 2 Гбит/с.
      3. При организации CI на NAS и сборки проектов, кэш и "лишние" диски сразу видятся в ином свете.

      На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.

      Опять же: есть решения на Core i, на Xeon и на Avoton (это весьма мощный многоядерный Atom).


      Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики?

      Пепепроверил. Тут действительно мой недосмотр. Отдельно корпусов нет: если покупать, то вместе с их железом.


      Описание корпусов из вашего опыта могу добавить в статью.


      1. PeterZha
        02.05.2018 21:01
        #10785734
        +1

        Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер


        Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки, то вырисовывается такая картина — либо процессор шлак, либо памяти зачем-то 8 гиг, либо добавить память можно только какими-нибудь экзотичными SO-DIMM с ECC. И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.
        Но это на самом деле цветочки, ягодки там в фирмвари, которую собирают люди с альтернативным видением мира, чем-то напоминающим RPMы для линукса образца 90х годов — выключенные стандартные опции в ядре и в сервисах, намеренная кастрация внешних eSATA-портов, совершенно убойные стартап-скрипты и так далее. Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.
        У меня есть на хозяйстве четырехдисковый QNAP на i7, из которого сделали веб-сервер с LAMP на стандартной прошивке, но количество костылей к ней прикрученных уже зашкаливает за ресурсы моей памяти; каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.
        В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды, подключив к нему монитор по VGA и клавиатуру с мышью через USB-хаб, но чисто в качестве извращения.

        Я использую бондинг, так что фактически, у меня канал 2 Гбит/с


        Любой бондинг, кроме round-robin с тем же количеством активных портов на клиенте, что и на сервере (и при этом в разных вланах) между двумя точками будет ограничен скоростью одного интерфейса в бонде. То есть для самой полезной задачи, вроде скопировать терабайт видео с компа на файлопомойку, получится загрузить только один гигабит.
        Но матери с 10G в форм-факторе mini-ITX уже есть от Supermicro, так что глядишь еще год-другой и все станет совсем с этим хорошо.


        1. artiom_n Автор
          02.05.2018 21:49
          #10785784

          Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки

          Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой.
          Стоечных вариантов там нет.


          И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.

          Две стороны: с одной конечно плохо, сам поправишь — конец гарантии (не могу сказать какова ремонтопригодность у всех железок), с другой — есть гарантии и производитель всё починит, если что (о сохранности данных не говорю, решается другими средствами).


          Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.

          Это известный факт. Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).


          каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.

          Docker не спасает от костылей?


          В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды

          Но зачем?
          Не для таких ли случаев там сделана виртуализация?


          с этим хорошо

          Только не с ценой и поддержкой SAS.


          1. PeterZha
            02.05.2018 23:09
            #10785884
            +1

            Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой

            Из этого всего я готов рассматривать QNAP и Synology, потому что остальное за гранью на самом деле в плане прошивок. У меня на поддержке есть и мелкие и большие устройства обоих производителей, несколько стоечных железок от Synology, и даже дома есть QNAP, даже два. И когда меня спрашивают за сервер под файлопомойку я их рекомендую без зазрения совести.
            Но вот эти все фишечки, типа виртуализации, нативного докера, видео-транскодинга и проч — они для них вторичны и пользуется ими дай бог 2% пользователей, поэтому я скептически отношусь к их использованию даже в домашнем продакшене. И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

            Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).

            Так-то да, но нет (с). Вот дома стоит QNAP 239 Pro II под локальные бэкапы. Отличный девайс, там QNAP в стоковой прошивке сделал так, что шары NFS по дефолту монтируются с async, даже если просят об обратном, поэтому из-под ESXi выдает как внешнее хранилище честные 110 MB/sec без битья в бубен. И внутри там линукс. И ныне он unsupported, чисто из маркетинговых соображений, так как внутри там x86.
            И что мы имеем? Сорцов прошивки нет, неофициальных прошивок тоже нет, но можно поставить дебиан, лол. Можно туда DSM от Synology впилить путем нетривиальных манипуляций, но вряд ли это принесет радость. Ну или долго пинать QNAP на предмет GPL, да.

            Docker не спасает от костылей?

            Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

            Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу. Да, к нему нету IT фирмвари и он не поддерживает JBOD, так что для чистого ZFS это плохой выбор, но это полноценный SAS RAID даже с RAID 60. Так что от производителей матерей на самом деле нужно только 10G, желательно SFP+, и все :)


            1. artiom_n Автор
              02.05.2018 23:41
              #10785922

              И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

              И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.


              Ну или долго пинать QNAP на предмет GPL, да.

              Ну это да, печально, однако сейчас меняется к лучшему. Пинать, думаю, бесполезно. Далеко не факт, что у них остались исходники прошивок, снятых с поддержки.


              Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

              Не знаю для чего менеджерам по продажам создавать сайты. Но ладно.
              Я про запуск Апача в докере, а то как в Web-интерфейсе реализуете, это уже вторично. Сразу часть проблем снимается. По крайней мере, с конфликтами версий пакетов.


              Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу.

              Неплохо, но такое решение применимо не для всяких задач, а уж в свете последних блокировок адресов Amazon, стоит трижды задуматься.


              1. nidalee
                03.05.2018 08:45
                #10786288

                И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.
                Тут штука в чем (КМК) — если вы купили железку на 5 дисков, то в лучшем случае вы можете поставить еще плату расширения PCI (если повезет найти подходящую и если коробка позволяет это сделать) на пару дисков. При этом еще и останется вопрос куда эти диски физически девать.
                Если же мне с моим самосборным NAS понадобится еще 5 дисков, то мне достаточно купить платы расширения (потому что слотов под них обычно на материнках несколько), в крайнем случае еще заменить материнскую плату, если слотов PCI недостаточно. То есть по необходимости я могу заменить любой компонент системы, если требования изменились. Зачастую даже всего лишь один, далеко не за цену нового NAS.
                В случае с готовым NAS я могу только купить только новую (дополнительную?) коробку.


                1. artiom_n Автор
                  03.05.2018 09:09
                  #10786326

                  Ну у ASRock, которую я взял, один PCI Express (да и в корпусе, как у меня, туда не всякую плату засунешь), SAS каналы там все уже забиты (остался один незаполненный, который через SAS->SATA), заменить плату — это почти тоже самое, что поменять NAS.
                  В случае же с покупным NAS возможно купить дисковый модуль расширения на n дисков (у некоторых предусмотрено).


                  1. nidalee
                    03.05.2018 09:30
                    #10786362

                    Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.
                    Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?
                    Опять же, это новая плата из магазина — можно взять б\у. У меня есть большие сомнения, что готовые NAS можно так масштабировать. Дешевле 30 тысяч я вообще приемлемых вариантов не припоминаю. А уж на 18 дисков…
                    Ну это так, полет фантазии конечно. Хотя должно сработать.


                    1. artiom_n Автор
                      03.05.2018 11:10
                      #10786566

                      Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.

                      1. Не всегда. Плат с SAS мало.
                      2. Это дорого, хотя и не так, как заменить всё, конечно.
                      3. Если менять только плату, то вы ограничены конкретным сокетом, а это значит, что платами определённого года выпуска. Но необходимость замены, как правило, возникает из-за того, что мощностей не хватает, а на тот момент когда плата была куплена, лучше ничего не было (если покупалось с запасом и осознанием перспектив роста нагрузки).

                      Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?

                      Что-то мне подсказывает, что вы сейчас не о форм-факторе mini-ITX.
                      Тут да, несколько проще.


                      Далее. Заменили вы плату. Загрузится ли на ней существующая ОС?
                      Какие изменения вам придётся вносить в конфигурацию?


                      1. nidalee
                        03.05.2018 11:21
                        #10786602

                        Я еще ничего не менял и не улучшал, только добавлял диски. Если так пойдет, то необходимость замены у меня появится когда будет больше некуда втыкать новые диски. Сначала корпус (тут уже придется скорее всего забыть про mini-ITX и компанию, хотя могут быть корпуса-исключения), потом материнская плата. Процессор и память, при этом, можно оставить — а это примерно 50% стоимости.

                        Если чипсет тот же и при этом не использовался WIFI, то все должно заработать. На голых дисках без ZFS, а может и с ним — не знаю, ZFS я еще банально не пробовал, как видно по моим вопросам. Вероятно, отвалится сеть — надо будет перенастроить.
                        Да, я не о mini-ITX, а об обычных ATX. Какого размера ставить коробку на шкаф, кмк, не очень принципиально. Сейчас стоит в корпусе mini-ITX, но чувствую, что рано или поздно придется менять и корпус. Все равно выйдет дешевле, чем менять все диски с X Тб на X+N Тб. Старые, опять же, продавать или что…
                        Но опять же, возвращаясь к тому, с чего все началось: если бы у меня был готовый NAS, то я бы сейчас думал не о замене корпуса и МП, а о покупке нового (дополнительного) NAS или (если бы мне очень повезло) о покупке дискового модуля расширения.
                        У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…


                        1. artiom_n Автор
                          03.05.2018 11:39
                          #10786668

                          Тогда всё-таки замена платы уже не видится такой сильной необходимостью, и не сильно влияет на выбор покупного решения.


                        1. artiom_n Автор
                          03.05.2018 11:41
                          #10786672
                          +1

                          У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…

                          Подозреваю, что он живёт один. С тремя NAS. Либо, это свой дом, а NAS стоят в подвале: шум даже от тихих NAS с активным охлаждением будет постоянным и ощутимым.


                          Но у такого решения есть и плюс: возможно настроить между ними репликацию. Это повысит надёжность.


                          1. nidalee
                            03.05.2018 11:43
                            #10786690

                            Живет не один, но шума я от них не слышал. Может, спали.
                            Горизонтальные, дисков на 5-6 вроде как, подробности не узнавал.
                            Репликацию все же лучше делать совершенно в другое место, за пределами квартиры.


                            1. artiom_n Автор
                              03.05.2018 11:49
                              #10786708

                              Однозначно — активное охлаждение. Странно. Я шум слышу даже от трёх 120 мм. вентиляторов Noctua, не на полных оборотах.


                    1. PwrUsr
                      04.05.2018 08:16
                      #10788226

                      У меня стоит обычная материнка x8 занят 10гигабиткой, еще х8 контроллер SAS (8 SATA портов), на х4 (работает через DMI так процессор десктопный больше 16 линий не дает PCI-E) стоит еще 1 контроллер SAS — у него 4 порта используются локально как SATA (и того с предыдущим контроллером 12 портов локально), а еще 1 SAS порт (4 линка) уходит наружу — там подключается к SAS Expander на 16 портов (в дополнительной коробке еще 15 дисков) и того всего 27 дисков.
                      В принципе если выкинуть 10 гигабит (если он не нужен), то к любой метеринке через SAS контроллер и SAS Expander — можно подключить без проблемм примерно 32-40 дисков (можно и больше)
                      Проблемма в корпусе и блоке питания…
                      И для этого не нужно кучу PCI-E (но они очень не лишнии)


  1. Grey4ip
    02.05.2018 21:49
    #10785786

    Спасибо за статью.
    Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.
    Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?
    Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.
    На хоботе уже 13 часть NAS своими руками (часть 13)


    1. artiom_n Автор
      02.05.2018 21:55
      #10785790

      Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.

      По объективным причинам я не могу этого сделать: у меня нет лаборатории, которой производители предоставляют свои железки.
      Материал я изначально собирал для себя, и уж не обессудьте, что накопал, то и есть.
      Кроме того, обзор и так получился немаленький, и в таком случае написание статьи бы неслабо затянулось.


      Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?

      Не у всех же RAIDZ, а там где он есть, вы вольны выбирать любой, это ограничено только количеством дисков.
      I/O сейчас определяется, в основном, дисками и кэшем (ну, либо прямой записью), так что не сильно зависит от продукта (считаю, что там DMA, а CPU почти не задействован для генерации трафика, который пишется и не обрабатывает то, что читается).
      Да, возможно актуально для систем, которые используют гибридные технологии (перемещение часто используемых данных на SSD, к примеру).


      Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.

      Это вопрос или утверждение?
      Наверное есть. Лично мне это пока не требуется.


      1. Grey4ip
        02.05.2018 22:01
        #10785800

        Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.
        Про 10Гбит/с — это утверждение.


        1. artiom_n Автор
          02.05.2018 22:05
          #10785806

          Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.

          А, это я мерял. Как на железо, так и на ФС. Даже скидывал в рассылку, вроде. Но это в другой статье будет: сколько iops даёт голое железо мало кому интересно, а ФС и прочие наслоения к железу, которое здесь описано, в общем-то не относятся.


    1. artiom_n Автор
      02.05.2018 22:02
      #10785802

      На хоботе уже 13 часть NAS своими руками (часть 13)

      Статьи там я, кстати, читал. Тоже ими вдохновился. Но там пишут с излишним энтузиазмом и несколько умалчивают о подводных камнях.


  1. Alexsey
    02.05.2018 21:50
    #10785788

    Когда собирал NAS, сознательно не стал использовать готовые NAS-дистрибутивы. Как оказалось не зря. Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

    И с докером проблем вроде бы особо не было. Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.


    1. artiom_n Автор
      02.05.2018 21:59
      #10785796

      Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

      Вы про OMV? Мне он нужен, как система управления.
      Я его не использовал, как дистрибутив. Он ставится пакетом на обычный Debian.
      Первые же сюрпризы из-за того, что я не использовал штатный установщик ОС (ставил вручную) из-за желания сделать корень на ZFS.


      И с докером проблем вроде бы особо не было.

      Не столько с самим докером (там-то проблемам особо возникать неоткуда), сколько со связкой Docker+ZFS (и его ZFS бэкэнд) и с конфигурацией диспетчера.


      Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.

      restart: always, я так понимаю, установлен?


      1. Alexsey
        02.05.2018 23:32
        #10785908

        restart: always, я так понимаю, установлен?

        Разумеется


        1. artiom_n Автор
          02.05.2018 23:42
          #10785926

          Ну, здесь только копать логи и разбираться.


    1. nidalee
      03.05.2018 08:51
      #10786292

      Поддерживаю насчет NAS-дистрибутивов. У меня стоит обычная Ubuntu, на ней Webmin и netdata для мониторинга. Через Webmin большинство полезных вещей настраиваются удобно и быстро. И без всяких подводных камней.


  1. zacat
    02.05.2018 22:06
    #10785808
    +1

    Приложение для резервного копирования, которое меня устраивает — UrBackup.
    Urbackup'ом только винду бэкапите?

    Как-то вробовал его на линукс натравить, столкнулся с несколькими проблемами:
    1. Образы на линуксе не работают из коробки
    2. Нельзя выкачать бэкапы больше 4GB из web'a
    3. Невозможность восстановиться из urbackup-livecd без образов

    Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».


    1. artiom_n Автор
      02.05.2018 22:10
      #10785812

      Urbackup'ом только винду бэкапите?

      Пока только поднял его в контейнере. Ещё не бэкаплю. Из работающих сервисов сейчас контейнеры со LDAP, nginx-proxy, gitlab и локальным nginx (перенаправление на хостовый OMV).
      Бэкапить собираюсь, в основном, Linux пофайлово. На моих личных машинах винды нет.
      Там дальше, как пойдёт.


      Образы на линуксе не работают из коробки
      Нельзя выкачать бэкапы больше 4GB из web'a
      Невозможность восстановиться из urbackup-livecd без образов
      Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».

      Спасибо, ваш комментарий учту. Бэкап у меня ещё в процессе разработки: есть несколько альтернативных инструментов, но из них пока Urbackup выглядел лучше остальных.
      Политику и регламент ещё надо доработать.
      Если интересует, по факту работы могу сделать статью на эту тему (хотя, их уже и так много).


  1. a0fs
    02.05.2018 22:33
    #10785838

    Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.

    Скорей всего, такое поведение представляет более общий шаблон использования, когда систему ставят на флешку, а диски объединяют в ZFS пулл. ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть). Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

    И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.


    1. artiom_n Автор
      02.05.2018 22:38
      #10785850

      Скорей всего, такое поведение представляет более общий шаблон использования,
      когда систему ставят на флешку, а диски объединяют в ZFS пулл.

      Не обязательно на флешку, но да, шаблон именно такой.


      ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть).

      Там шёл вопрос не о настройке, а о установке.
      И ответ мне запомнился: "FreeNAS is not operating system, FreeNAS is an appliance". :-/


      Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

      А как настраивать? Каждый раз заходить по SSH? Или использовать Web GUI для управления сервером?
      Первое — слишком муторно, второе — избыточно. Именно для того, чтобы "среднюю" нишу заполнить, FreeNAS/OMV и подобные нужны.


      И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.

      Посмотрите на объём статьи, вместе с обзором и картинками: порядка 80-ти страниц.
      Однозначно, что данная тема, ещё более объёмная, для другой статьи.


  1. Caravus
    02.05.2018 22:38
    #10785846

    Я наверное хочу странного, но спрошу, раз тут есть знающие люди:
    Есть ли железные NAS с поддержкой Plex? Не так чтобы там рядом поставить как-то, а с нормальной поддержкой изначально.


    1. artiom_n Автор
      02.05.2018 22:39
      #10785854

      Почти все современные.
      В большинстве случаев, где есть «мультимедийный сервер с DLNA», стоит Plex.
      В некоторых случаях Kodi или что-то проприетарное (есть более редкие вещи но их, соответственно, меньше).


      1. Caravus
        02.05.2018 22:45
        #10785860

        Спасибо, буду искать значит. Из этой статьи узнал и про Kodi и про Plex, попробовал оба — думаю копать в сторону Plex. Пока что поставил на комп, а там посмотрим :)


        1. artiom_n Автор
          02.05.2018 23:15
          #10785888

          Их больше, чем два, это лишь наиболее популярные, но многое зависит от задачи.


    1. cccco
      03.05.2018 08:35
      #10786270

      Посмотрите на их сайте: https://support.plex.tv/articles/201373803-nas-compatibility-list/


      1. Caravus
        03.05.2018 09:51
        #10786388

        Спасибо. Смотрел в сторону WD, а они чего-то в FullHD не могут…


  1. inkvizitor68sl
    02.05.2018 22:45
    #10785858

    Ctrl-F «microserver» не сработало по странице, а зря. Если речь про 4 дисковые решения (+ssd под систему), и с местом для установки проблем нет — то и конкурентов HP в этом месте нет.


    1. artiom_n Автор
      02.05.2018 22:48
      #10785864

      Нет, речь больше про 8+ дисковые решения (лишь несколько упомянуты 4-х дисковых в обзоре). А микросервер я как-то давно смотрел. Всё-таки это не NAS, хотя вы правы: возможно было добавить, ради приличия.


      1. inkvizitor68sl
        02.05.2018 23:20
        #10785896

        Ну raw 28TB можно сейчас и из четырех дисков сделать (на самом деле 48). Если рассматривать NAS именно как хранилище (всё же 12 ТБ по скорости такие себе диски).


        1. artiom_n Автор
          02.05.2018 23:34
          #10785914

          28 ТБ — не предел, это просто объём, который есть сейчас, причём два слота у меня вообще без пока дисков.

          Добавил в обзор. Весьма кратко, но по ссылкам возможно пройти и составить более подробное представление.


    1. man55
      02.05.2018 23:07
      #10785878

      HP Microserver Gen6 под Nas4Free, WD Red, 4Gb ECC
      не энтерпрайз конечно, но мои потребности закрыты на ближайшие ххх лет
      А с учетом того, что сам серверок я купил за 50 баксов (контора закрывалась и распродавалась) так совсем счастье.
      Железка сделана наотлично, аптайм месяцами, останавливаю только пропылесосить


      1. artiom_n Автор
        03.05.2018 00:34
        #10785990

        за 50 баксов

        С дисками?


        1. man55
          03.05.2018 10:41
          #10786484

          только с родным Seagate 250Gb. И у меня не настолько железные яйца, чтобы покупать в NAS диски б/у.


          1. artiom_n Автор
            03.05.2018 10:51
            #10786504

            Вопрос насколько б/у: если оно в той конторе месяц проработало, и вы купили, то не вижу проблемы.
            В любом случае $50 — почти задаром.


      1. CactusKnight
        03.05.2018 00:45
        #10786012

        Когда оно достается практически задаром — это действительно хороший вариант. Но сейчас, когда за Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), а за 25k — уже и Synology, особого смысла покупать НР (и потом еще возиться с установкой/настройкой) я не вижу


    1. CactusKnight
      02.05.2018 23:17
      #10785894

      старые генерации (до 8 включительно) — были хороши. А вот MicroServer Gen10 — так себе вышел, имхо. И в сочетании с появлением относительно недорогих готовых NAS это выглядит уже не очень интересным вариантом


      1. inkvizitor68sl
        02.05.2018 23:22
        #10785898

        Десятую я пока не видел, как раз последнюю восьмую смотрел. По высоте на шкаф не влезла, в итоге потратил столько же денег на менее производительную систему. Думал сделать менее шумную конфигурацию, в итоге — фиг, microserver шумит так же, как один вентилятор в корпусе на реостате в минимум.

        upd: посмотрел что 10й на amd, неудивительно, что он не очень. Тот первый из продаваемых в РФ (он, кажется, шестой или пятый) на amd тоже был не очень =) Я рассматриваю только те, что на интелах сделаны — у них есть какой-никакой ценовой диапазон по потребностям, в итоге есть и копеечные на пентиуме для дома, и толковые на LV-xeon для SMB.


        1. CactusKnight
          03.05.2018 00:39
          #10786006

          Дело не только в НР, изменилось еще и окружение: во времена царствования Gen7 (и даже Gen8) выбор готовых NAS был небогат и стоили они вдвое дороже, чем НР. А сейчас за MicroServer Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), где все будет работать «из коробки», что критично для SOHO-сегмента. И даже законодатель мод — Synology — сейчас предлагает свои четырехдисковые модели по цене от 25k.
          Поэтому сейчас нет особого смысла покупать железку, с которой нужно возиться, если за ту же цену (а то и ощутимо дешевле) можно купить готовое решение, в котором изначально будет и само файлохранилище, и медиасервер, и принт-сервер, и торрентокачалка, и видеонаблюдение, и прочие вкусняшки


        1. vp7
          03.05.2018 01:13
          #10786048

          В Gen10 убрали iLo, а это было одной из двух killer feature'ов Gen8 (первая — возможность замены процессора). Теперь это просто красивый корпус с довольно посредственным процессором (чисто для NAS очень даже ничего, но не более того)


  1. Reply_msk
    02.05.2018 23:15
    #10785890

    А зачем для NAS'а с такими требованиями к функциональности Xeon?
    Я сейчас пересобираю свой старый NAS на базе HP Microserver gen7 на новом поколении Microserver gen10. Там обрезанный проц AMD, 4 слота под винты.
    При желании можно туда воткнуть и аппаратный рейд Smartarray с ebay'я, если уж сильно хочется RAID5 без насилования CPU…


    1. artiom_n Автор
      02.05.2018 23:17
      #10785892
      +1

      Это не все требования, лишь основная часть функциональных.
      Ну и серверная плата, которая с SAS как-бы предполагает, что там сокет для Xeon.
      Кроме того, мне требовалась поддержка ECC для ZFS.
      И AES-NI, а также VT-X в перспективе.


      1. Reply_msk
        02.05.2018 23:33
        #10785912

        SAS как протокол спорное требование… Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)? ECC в microserver'е однако есть…
        У меня, кстати, конфиг после пересборки будет HP microserver gen7 + 250Gb система + smartarray Raid5 4x3Tb SATA на одной «площадке» и HP microserver gen10 + 256GB SSD система + ZFS 4x3Tb SATA на другой. Взаимная репликация через Syncthing внутри VPN-туннеля. Из фич: samba (локально), webdav (в инет), torrent, ldap, sms-tools, telegram-bot.


        1. artiom_n Автор
          02.05.2018 23:47
          #10785932

          Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)?

          HGST с 3 млн. часов MTBF похожи на SAS...


          256GB SSD система

          Я поставил на зеркало. И просто под систему — это слишком много.


          ZFS 4x3Tb

          Какой ZRAID и сколько процент потерь?


          ldap

          Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?


          1. Reply_msk
            03.05.2018 00:02
            #10785954

            HGST с 3 млн. часов MTBF похожи на SAS...

            А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k… Кстати, есть и переходники для подключения SATA в SAS…
            У меня в рабочем компе так винты подключены на SAS RAID-контролллер.

            Я поставил на зеркало. И просто под систему — это слишком много.

            Сорри, 120Gb SSD, 256Gb действительно много… ;) Самый дешевый в ближайшем магазе взял. По цене, что самый дешевый шпиндель, что SSD — примерно одна цена. С учетом весьма неактивной нагрузки на загрузочный диск — риск выхода его из строя минимален. Даже если и сдохнет, то есть реплика на другой «площадке» :)

            Какой ZRAID и сколько процент потерь?

            Пока не определился. Собран тестовый том с десятком файлов, к концу мая планирую переехать уже на него, тогда и видно будет. Если результаты будут неудовлетворительные, то воткну Smartarray и RAID5.

            Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?

            В первую очередь приложения из коробки. Пользователей полтора ;)


            1. artiom_n Автор
              03.05.2018 00:06
              #10785960

              А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k…

              7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.
              Плюс, SAS гарантирует сквозной контроль (самокорректирующийся код, исправление ошибок в канале, чего SATA не делает).


              Кстати, есть и переходники для подключения SATA в SAS…

              Использую для подключения SATA SSD: именно этот кабель пришлось дозаказывать.


              В первую очередь приложения из коробки. Пользователей полтора ;)

              Тогда всё-таки LDAP несколько избыточен. Разве что, для централизованной смены пароля.


              1. avelor
                03.05.2018 00:27
                #10785978

                7.2 — 90% что nl-sas. Плюсы по сравнению с сата конечно есть, но всё ж не полноценный sas.
                Впрочем ИМХО sas уже практически не нужен. Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.


                1. artiom_n Автор
                  03.05.2018 00:33
                  #10785988

                  Впрочем ИМХО sas уже практически не нужен.

                  Он развивается быстрее SATA, и последний SAS-4, который до 24 Гб/с по сравнению с последней SATA-3, которая 6 Гб/с, выигрывает по всем показателям.


                  Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.

                  NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA (ok, в моём случае SAS 6 Гб/с, но это SAS, который всё-равно надёжнее, чем SATA).


                  1. avelor
                    03.05.2018 00:58
                    #10786030

                    Выигрывает, кто ж спорит. Только смысла собирать огромную полку, на который эти винты вылетают как семечки (sas винты в моей практике дохнут чаще чем ентерпрайз-сата, думаю что из-за скорости) становится всё меньше, даже all-flash выходит хоть и дороже, но шустрее.
                    И да, я выразился несовсем корректно. Sas как интерфейс — очень даже нужен, например для подключения тех же полок. А вот с дисками со шпинделем — ИМХО их время проходит.

                    Nmve как раз не костыль, а новый протокол, который не тянет набор команд scsi и прочую шнягу из далёкого легаси. Опять же ИМХО.


                    1. artiom_n Автор
                      03.05.2018 01:01
                      #10786036

                      А вот с дисками со шпинделем — ИМХО их время проходит.

                      Ну куда же они денутся-то? В SSD столько недостатков, что с HDD никто уходить не собирается (кроме, специфичных приложений). А всякие новые технологии, типа мемристоров, ещё далековато, и неизвестно, какие там всплывут проблемы.


                      1. avelor
                        03.05.2018 01:14
                        #10786052

                        Reram и mram смотрим конечно. Но повторюсь — я именно про сас-диски со шпинделем.
                        Так посмотрим конечно что будет дальше и как пойдет развитие, может действительно будут решать nl-sas для холодных данных… но лично я уже довольно давно перестал покупать sas для новых инсталляций. Sata ssd — да, nmve ssd — да, sata hdd — да.


                        1. artiom_n Автор
                          03.05.2018 01:18
                          #10786054

                          Reram и mram смотрим конечно.

                          Да про это я не совсем в курсе.


                          Но повторюсь — я именно про сас-диски со шпинделем.

                          Так если SATA HDD, почему не SAS HDD на 7200k?


                          1. avelor
                            03.05.2018 01:37
                            #10786072

                            Это вот как раз всякие мемристоры и новые технологии которые вот-вот отправят ссд в небытие))

                            Стоимость внедрения и стоимость владения.


                  1. snp
                    03.05.2018 11:18
                    #10786596

                    NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA

                    А вы уверены, что это костыль?


                    «NVMe has data transfer performance characteristics of PCIe Gen 3 and therefore has bandwidth of around 1Gbps per lane – up to 16Gbps in a 16-lane configuration. PCIe Gen 4 will likely double that and is set for release in 2017.


                    At the same time, NVMe is built to handle more queues than SAS and SATA at the drive, with 65,000 queues and 65,000 command queue depths possible. This compares to one queue for SAS and SATA, and queue depths of 254 and 32 respectively.»


                    1. artiom_n Автор
                      03.05.2018 11:34
                      #10786656

                      Я в курсе про скорость. И про цены на NVMe устройства (хотя, может сейчас к лучшему что-то поменялось).
                      Несколько коробит то, что при наличии отдельной шины для дисковой подсистемы, они используют общую шину PCI Express, для работы с ними.


                    1. artiom_n Автор
                      03.05.2018 11:37
                      #10786664

                      Ну и с учётом SAS, который 24 Гб/с, 16 Гб/с кажется большим числом только относительно SATA.
                      Размер очереди команд, с точки зрения пользователя меня вообще не интересует.
                      Скорость же выше у SAS-4, при этом слоты PCI Express лишние не занимаются.


                      1. snp
                        03.05.2018 11:43
                        #10786686

                        PCIe Gen 4 will likely double that and is set for release in 2017

                        Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.


                        Размер очереди команд, с точки зрения пользователя меня вообще не интересует.

                        Он повышает производительность. Особенно если много процессов параллельно работает (например, сервер с виртуалками). На сторадже — зависит от того, что хранится и от нагрузки.


                        1. nidalee
                          03.05.2018 11:46
                          #10786700

                          Господа, я может чего-то не понимаю, а что за диски у вас выдают 16, 24 и 32 Gb/s? Куда вам интерфейсы с такой скоростью?


                          1. snp
                            03.05.2018 11:53
                            #10786722

                            Вопрос не в скорости самой по себе, а в latency.


                            1. artiom_n Автор
                              03.05.2018 11:57
                              #10786740

                              В любом случае, это очень специфичный случай из разряда быстрых SSD хранилищ для кэширования результатов большого объёма вычислений.
                              К NAS, которые хранят данные и периодически их отдают пользователю это слабо относится.
                              Несколько оффтопик.


                        1. artiom_n Автор
                          03.05.2018 11:52
                          #10786720

                          Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.

                          Но в SAS возможно подключать к диску два канала.
                          Опять же, вопрос: а надо ли даже 32 Гб/с?


              1. Reply_msk
                03.05.2018 20:14
                #10787744

                7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.

                Вот что пишут на амазоне про этот диск:
                HGST Ultrastar™ 7K4000 is the world's first 4TB 7200 RPM hard drive with a 2.0 million hours MTBF specification and backed by a full 5-year warranty, originally offered with SATA 6Gb/s and now also available with a SAS interface.


                Т.ч. точно NL-SAS…


                1. artiom_n Автор
                  04.05.2018 08:08
                  #10788212

                  Да, значит NL-SAS.


  1. dittohead
    02.05.2018 23:33
    #10785910

    Долго хотел собрать свой NAS, в итоге купил HPE Microserver gen8, привезти из США корпус Supermicro Superchassis CSE-721TQ-250B, как на фото с Netberg дороговато выходит.


  1. CactusKnight
    02.05.2018 23:38
    #10785920

    Спасибо.
    Я бы с удовольствием почитал статью про Seafile. Или даже две статьи: первую — про то, чем оно лучше аналогов, а также про особенности версий и лицензирования (хватит ли Community Edition или для каких-то рутинных задач нужен именно Professional Edition (у него вроде как даже есть бесплатная лицензия на 3 юзеров)); а вторую — собственно, про сам процесс установки/настройки/подводные камни и лайфхаки всего этого хозяйства


    1. artiom_n Автор
      02.05.2018 23:50
      #10785940

      Статей про то, "как он хорош" много. Про лицензии ничего не знаю, вы наверное имеете ввиду планы использования. Они актуальны только для покупки облака у них. Для того, чтобы установить и использовать Seafile у себя никаких лицензий не нужно, и он опенсорсный.
      Настроек тоже почти не нужно.
      Просто используете Docker образ seafileltd/seafile и настраиваете по инструкции, которая там есть (как на гитхабе, так и на докерхабе).


  1. Lordbl4
    02.05.2018 23:58
    #10785948

    Сейчас в области «насо-строения для человеков» есть несколько путей, на развилке которых окажется любой желающий заиметь свою хоронилку.

    Откинем не-тру-way «купил-забыл-привет супорт» и рассмотрим привычный хэнд-мэйд со стороны ПО:

    — идёшь в обитель XPEnology… железо совместимо? установил? всё работает? поздравляю, у тебя, %username, в руках приличный софт с кучей фич и возможностей, но не спеши его обновлять на самый свежий релиз.

    — хренология — хрень? не завелась? загрузчик не загружает? на форуме не решили твои проблемы? ковыляешь в обитель FreeNAS и любителей всяческих bdsm BDS, там у них контора серьёзная и гуй есть, и фичи, и zfs из коробки, и ram докупи, а если non-ecc — добро пожаловать в клуб «ты обязательно потеряешь данные, это вопрос времени»

    — фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

    — не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.


  1. artiom_n Автор
    03.05.2018 00:01
    #10785952

    фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

    OMV поддерживает ZFS.
    Я бы не сказал, что Nas4Free красивее и функциональнее FreeNAS: скорее, наоборот.


    не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.

    Не конфликтует с предыдущим пунктом. Я, например, ставлю OMV пакетом. Вполне нормально.


  1. Lordbl4
    03.05.2018 00:04
    #10785956

    По поводу конечной стоимости — в подавляющем большинстве случаев готовые решения поставляются без дисков. Данный факт существенно меняет отношение к ценовому подходу при выборе хоронилки.

    — «В смысле ещё ~100к на диски? В прошлом месяце же хранилище покупали...»


    1. artiom_n Автор
      03.05.2018 00:09
      #10785962

      Там указано, в некоторых случаях, что с дисками, что без.
      В этом плане diskless Synology за $3100 конечно проигрывает. :-)


  1. vp7
    03.05.2018 00:20
    #10785968

    Тут уже многие отписались, но и я свои пять копеек добавлю.
    Давно планировал собрать нормальный NAS, до этого были:
    1. Самосбор на Core2Duo с 2x1Tb дисками под данные + 320 Gb под систему. Жив и сейчас, но включается редко, только для копирования бекапов туда/оттуда
    2. Однодисковый NAS WD My Cloud 3Tb. В какой-то момент прошивка в нём окирпичилась, а благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux (зато есть отличный софт под Windows, который с лёгкостью монтирует такие разделы в R/O). Процессор довольно тормозной, перезаливать в итоге не стал и использовал HDD отдельно от самого NAS'а
    3. WD My Cloud 4Tb — более производительная версия NAS, уже с USB3.0 на борту.
    Используется по сей день для торрентов и бекапов.

    Долго думал на чём же можно запустить нормальный NAS и небольшой домашний сервер (для нескольких виртуалок, всяких экспериментов и т.д.), много думал о самосборе,… но в итоге выбор пал на HP Microserver Gen8.

    Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).

    Долгое время считал цену микросервера завышенной, пока не начал ставить систему.
    Оказалось, что для установки системы не то, что не нужен монитор, но и вообще физический доступ к серверу не требуется. Все необходимые операции можно делать через iLo — он и KVM даёт и кнопку soft/hard перезагрузки и возможность подключить виртуальный DVD диск.
    В общем, мечта админа для систем, которые стоят не совсем под рукой.

    Из минусов:
    1. Всего 4 диска под данные (+ один 2.5" под систему)
    2. Только гигабитные порты (две штуки), 10G нет
    3. Максимум 16Gb ECC, причём ещё и Unregistered памяти (она заметно дороже, плюс на рынке сейчас очень много дешевой б/у серверной ECC Registered памяти, а вот с Unregistered всё грустно)

    Из плюсов:
    1. Один слот PCI-E, в который можно:
    1.1. Поставить 10G карту и получить 10 гигабит (вместо 2 гигабит, которые можно получить bonding'ом с родных карт), либо:
    1.2. RAID контроллер с возможностью подключить внешнюю дисковую полку (тут уже явно б/у, т.к. новые SAS/SATA полки будут стоить как десяток микросерверов)
    2. ECC память
    3. Очень удобный iLo


    1. artiom_n Автор
      03.05.2018 00:28
      #10785980

      благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux

      Linux не видит ext4, а windows видит? o.O


      proxmox

      В моём случае не нужен: хватает плагина OMV (для докера).


      Максимум 16Gb ECC

      Маловато для ZFS (хватит, но маловато).


      1. vp7
        03.05.2018 01:36
        #10786070

        Linux не видит ext4, а windows видит? o.O

        Ошибся, 64k это размер блока.
        В линуксе у модуля ext4 максимальный размер блока = PAGE_SIZE.
        NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
        Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

        Маловато для ZFS (хватит, но маловато).

        Понимаю, что маловато.
        Но для малонагруженного домашнего NAS'а она даже на 8Gb вполне неплохо живёт (правда сейчас занято всего ~1.5Tb из 6Tb на RAIDZ, 3Tb+3Tb+3Tb).


        1. artiom_n Автор
          03.05.2018 08:34
          #10786268

          NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
          Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

          Любопытный выверт, ни разу с таким не сталкивался (и слава Богу).


          RAIDZ

          RAIDZ-1, судя по тому, что 30% издержек. Возможно было ещё один диск докинуть в массив.


    1. avelor
      03.05.2018 00:30
      #10785984

      Основной минус — на замену ему вышло merde, и gen8 нужно доставать.

      Мз плюсов — он кастомизируется, например сдром меняется на ссд под систему/кэш, проц меняется на xeon и все такое. Радуюсь, что успел не одному клиенту gen8 поставить))


    1. CactusKnight
      03.05.2018 01:28
      #10786058
      +1

      Долгое время считал цену микросервера завышенной

      во времена, когда Gen8 только появился, уго цена была более чем вкусная. Сейчас его цена приемлемая, если рассматривать его именно как сервер для рабочих задач, но однозначно завышена, если сравнивать именно с «бытовым» NAS — за те же 25k можно взять новый Synology DS418j и радоваться жизни


    1. nidalee
      03.05.2018 08:57
      #10786298

      2. Однодисковый NAS WD My Cloud 3Tb.
      На него можно поставить Clean Debian, что я вам и советую сделать. Именно после таких манипуляций я решил окончательно отказаться от коробок и собирать свой NAS. Потому что понял, что получится как минимум не хуже. Ну и масштабирование.
      Кстати, никаких проблем с его монтированием у меня на десктопе не было. Я просто скачал загрузочный образ UBUNTU и производил все манипуляции их под него.
      Другое дело, что я не ставил перед собой задачи сохранить данные, а сразу же форматнул диск по-нормальному.


      1. artiom_n Автор
        03.05.2018 08:59
        #10786306

        Про WD тоже есть в обзоре. Далеко не лучшая система: я бы не стал покупать. А такие манипуляции требуются далеко не на всех покупных NAS.


  1. avelor
    03.05.2018 00:36
    #10785998

    В своё время изрядно поел невкусной субстанции со всякими готовыми насами. Глюки незапуска синолоджи (запускаем с 1 диском, потом с двумя, потом с тремя, потом с четырмя), баги в прошивках wd (типа полного игнорирования вентиляторов), да и медленные довольно они. Из всех насов что работал — реально радовали леново (перестали выпускаться), нетгиры были ничего ну и qnap.
    Но смотришь на цену, считаешь цену с дисками и понимаешь что собрать «на коленке» выходит ощутимо дешевле, и при этом без геморроя с неведомыми глюками и совметимостью.

    Hp microserver gen8 стоимостью 18к был настоящим подарком в качестве nas/soho сервера. На gen10 — без ilo и с распаяным процессором плеваться не перестаю.

    По части интерфейсов — OMV хорош, но с zfs порой возникали траблы, в решениях на bsd оно более стабильно. Также в своё время порадовала nexenta (на базе солярки, хз жива ли она ещё).


    1. artiom_n Автор
      03.05.2018 00:42
      #10786010

      и при этом без геморроя с неведомыми глюками и совметимостью

      Ну это спорное утверждение: я их выловил достаточно.


      OMV хорош, но с zfs порой возникали траблы

      У меня возникли — пофиксил, но времени пришлось затратить ощутимо.


      1. avelor
        03.05.2018 00:48
        #10786016

        А ещё возникает вопрос — так ли он нужен, этот zfs для NAS с гигабитным интерфейсом?)


        1. artiom_n Автор
          03.05.2018 01:02
          #10786038

          А какое отношение имеет скорость сетевого интерфейса к файловой системе?


          1. avelor
            03.05.2018 01:07
            #10786040

            Раскрываются ли все прелести фс, если скорость доступа к данным существенно ограничена.


            1. artiom_n Автор
              03.05.2018 01:09
              #10786042

              Вполне. По крайней мере, лёгкие снэпшоты, сжатие на лету, управление томами, прозрачная проверка целостности файлов, уменьшение фрагментации с использованием SLOG. Возможно ещё что-то, сходу не вспомню.


              1. avelor
                03.05.2018 01:40
                #10786076

                Ну, если вы всё это используете, тогда конечно. Кстати, а OMV умеет из красиво из коробки бэкапить zfs?


                1. artiom_n Автор
                  03.05.2018 08:31
                  #10786266

                  Конечно использую: это базовые возможности ZFS.
                  Сжатие у меня включено, тома ZFS (кроме нижнего слоя, но это лишь потому, что в стабильном Linux ZFS не было шифрования), проверка целостности по хэшам там есть всегда, ZIL включен по умолчанию.
                  Бэкапить куда?
                  Есть пакет zfs-auto-snapshot, но к OMV он не относится.


            1. vp7
              03.05.2018 01:50
              #10786080

              Основные прелести ZFS — живучесть (благодаря Copy-On-Write и RAIDZ), лёгкие snapshot'ы, удобное управление файловыми системами, сжатие на лету.

              Скорость это отдельная тема (нужно тюнить, нужен SSD кеш,...), но дома лично мне даже гигабита — за глаза.


              1. artiom_n Автор
                03.05.2018 09:00
                #10786310

                Да ну, особо тюнить там не нужно. atime отключить, SLOG на SSD вытащить. Возможно и дальше, но в большинстве случаев хватит.


              1. nidalee
                03.05.2018 09:47
                #10786386

                SSD кеш может быть на диске с системой? Какого объема он нужен?
                И я правильно понимаю, что ZFS подходит только для «устоявшегося» набора дисков — 1 или 2 диска туда так просто не добавить?


                1. artiom_n Автор
                  03.05.2018 11:00
                  #10786528

                  Может. Но у меня он на отдельной SSD, которую возможно выбросить и заменить.
                  С выключенной дедупликацией порядка ~1 GB L2ARC на 1 TB данных, но определяется не только объёмом хранимых данных, а также интенсивностью ввода-вывода.


                  В общем, про объём L2ARC почитать лучше на профильных форумах: статей и обсуждений на эту тему много.


                  Кроме того, перед тем, как L2ARC задействовать, крайне желательно максимально расширить объём RAM.


                  У меня на диске с системой — SLOG, это не кэш, а журнал. Его надо выносить на отдельную SSD, чтобы не увеличивать количество обращений к HDD, при каждой записи.


                  Насчёт добавления диском в zpool — да, так просто сейчас не добавить. Есть возможности расширения объёма пула путём постепенной замены дисков на диски большего объёма, но просто добавить новые диски в уже созданный пул нельзя.


  1. Age1mar
    03.05.2018 07:20
    #10786226

    Спасибо за статью, у самого было несколько вариантов NAS — диск подключенный к Asus WL500gp, неттоп DNS и самосбор в интересном корпусе Mustiff MX-31-A11.
    Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных. Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.


  1. artiom_n Автор
    03.05.2018 08:28
    #10786256

    Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных.

    1. Почему именно с ARM, а не с Atom?
    2. Некоторые NAS нижнего уровня делаются на ARM.
    3. Многие роутеры на ARM поддерживают подключение внешнего жёсткого по USB 3, возможно этого будет достаточно.

    Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.

    Тут есть поддержка SATA-2.


  1. Cobolorum
    03.05.2018 08:35
    #10786272

    Автор как всегда забыл рассмотреть самый ходовой вариант- использовать б/у сервера. Цены более чем приемлемые. Единственный недостаток шумные системы охлаждения ну тут как раз есть место для творчества.


    1. artiom_n Автор
      03.05.2018 09:02
      #10786314

      Я не забыл, в выводах в самом конце обзора они упомянуты. Если такой вариант у вас есть и приемлем (да, я в курсе, что «посмотреть на Avito», но это не всегда работает), то стоит задуматься надо ли покупать NAS за $3000.
      Но б/у сервера доступны не всем (к тому же, если это сервер, то он, как правило, для стойки).


    1. fdroid
      03.05.2018 11:12
      #10786576
      +1

      Не нашёл я что-то тех самых приемлемых цена на б\у серверы, о которых так много говорят. На авито вообще неадекватные цены. Типичная картина — продавцу на шару достался списанный сервер типа и он пытается продать его по конской цене, мотивировка простая — «ну это ж сервер, он не может стоить дешёво!» А то, что сервер отмолотил несколько лет в режиме нон-стоп, давно снят с поддержки, никаких официальных драйверов на системы новее WS2008 просто нет. Ну и комплектующие, если вдруг что, в ближайшем магазине не купишь, особенно если МП полетит. Вот потому и списываются железки по цене лома, а выкружившие их пытаются продать подороже. В конторах, которые торгуют б\у с гарантией, тоже цены далеки от реальных, но тут хоть год-два ремонт это не проблема покупателя. А дальше что? И всё равно при попытке что-нибудь скомпоновать из б\у вдруг выясняется, что лучше чуток докинуть и взять уже новый какой-нибудь ML — они не особо дорогие и тихие, в отличие от стоечных. Ну или самосбор.


      1. artiom_n Автор
        03.05.2018 11:29
        #10786636

        Кстати, если говорить о "серьёзных" серверах, я вспоминаю старые HP Proliant: с ними пришлось году в 2012-м повозиться в серверной.
        Отвратительно шумят (они были старее 2012-го).
        Даже в серверной рядом с ними тяжело находиться, тем более, когда их больше двух.
        Это не "домашнее" решение.
        Раз уж вопрос именно о серверах.


        1. Areso
          03.05.2018 13:30
          #10786928

          Батарея 40мм жужжалок, работающих на скоростях за 4К оборотов, будет отвратительно шуметь у любого бренда.


          1. artiom_n Автор
            03.05.2018 14:08
            #10787000

            Те Proliant-ы, как не удивительно, было хорошо слышно даже в общем фоне серверной.


  1. Lodary
    03.05.2018 09:35
    #10786364

    Несколько лет назад при проектировании наса остановился тоже на самосборе, но в качестве софта выбрал решение unraid. У меня уже были диски разных объемов, что накладывало дополнительное требование на использование технологий резервирования.

    Unraid кастомный дистрибутив slackware с проприетарным драйвером. Драйвер использует до двух дисков для хранения битов четности и распределяет файлы по дискам данных. Восстановление данных возможно при выходе из строя до двух дисков (в зависимости от количества дисков четности).

    Из преимуществ для меня, для дисков данных используются штатные линуксовые файловые системы. Объединение для внешнего доступа делается драйвером по аналогии с unionfs. Поддерживаются диски разного размера. При желании можно развернуть драйвер хоть на дебиане. Благодаря минимально модифицированному линуху штатно поддерживается контейнеризация и виртуализация с управлением через вебморду. При доступе к данным раскручивает только тот диск, с которого нужно прочитать файл, остальные остяются спящими (когда дисков около десятка это приятно). По опыту эксплуатации с 2010 года вполне стабильно работает в режиме «настроил и забыл». С дисками пока везло, вышел из строя всего один, данные при замене восстановлены без потерь.

    Из недостатков, лицензия платная в зависимости от количества дисков от $60 до $130. Разработку ведет всего два человека, автобусоустойчивость низкая. Под четность нужно отдавать диск равный по размеру наибольшему диску данных.


    1. Alexsey
      03.05.2018 15:30
      #10787152

      У unraid есть минус в том, что он вообще не проверяет что записал на диск. У данных вообще нет никакой чексуммы.

      Так же не ковырял unraid досконально, но что-то мне подсказывает что разработчики не очень хотят, чтобы пользователь залезал внутрь системы, то есть уровень красноглазия для задач, которым не подходит docker/vm будет зашкаливать. Сюда же можно закинуть то что исходников системы нигде нет.


  1. Qsan
    03.05.2018 10:26
    #10786464

    Собственно, основной минус: я не видел, где он продаётся.
    Я написал письмо на info@qsan.ru, где попросил указать цену.
    Никакого ответа. Меня просто проигнорировали.
    С таким уровнем сервиса я бы поостерёгся его покупать: битый купишь, потом не обменяешь, потому что о покупателе тут не заботятся.

    Ничего удивительного в этом нет, т.к. сайт производителя расположен в домене su, т.е. правильный адрес info@qsan.su. Соответственно, нет никакого секрета о том, где купить, как осуществляется техподдержка и гарантия.


    1. artiom_n Автор
      03.05.2018 10:29
      #10786470

      Перепроверил. Моё письмо с запросом цены было на info@qsan.su. Но не через форму на сайте, а напрямую. По привычке в публикации я написал ru.
      Цены искал, не нашёл, собственно потому и задавал вам вопрос, на который мне не ответили.


      1. Qsan
        03.05.2018 10:57
        #10786520

        К сожалению, нет писем от вас. Отправьте письмо еще раз или можно здесь задать вопросы.


        1. artiom_n Автор
          03.05.2018 11:01
          #10786532

          Собственно, вот содержание письма от 22.04.18 в 14:09:22:


          Здравствуйте.

          Я пишу статью на Хабр, которая включает в себя краткий обзор рынка NAS.
          Ваш XCubeNAS XN5008T показался мне очень любопытным, но я не смог найти
          цену.
          Почти все решения продаются на amazon, но вашей системы там нет.
          Не могли бы вы сказать диапазон цен в долларах на ваше устройство?

          Вопрос остаётся прежним.


        1. artiom_n Автор
          03.05.2018 11:05
          #10786540

          Озвучьте пожалуйста цену на ваше решение, которое описано в статье.
          Кроме того, я так понимаю, на Amazon XCubeNas не продаётся?
          Только на постсоветском пространстве?


          1. Qsan
            03.05.2018 11:22
            #10786610

            XCubeNas продается в России. Но это пока не стоковый продукт, и вы не найдете его на полках магазинов. Производитель ориентируется прежде всего на проектный бизнес, поэтому открытого прайс листа не существует. Есть конечно рекомендуемые розничные цены, но они имеют весьма далекое отношение к реальности.


            1. artiom_n Автор
              03.05.2018 11:26
              #10786630

              Так всё-таки, его может купить физическое лицо?
              И если да, то по какой цене?
              Вопрос, кажется, очевидный.


              1. Qsan
                03.05.2018 11:29
                #10786640

                Может конечно. ~3K USD


                1. artiom_n Автор
                  03.05.2018 11:31
                  #10786644

                  Ok.
                  Это цена именно на ту модель с Celeron?
                  Данную цену я могу добавлять в статью?


                  1. Qsan
                    03.05.2018 11:36
                    #10786658

                    Да, это цена на модель XN5008T. Добавляйте с пометкой «рекомендуемая розничная цена».


                    1. artiom_n Автор
                      03.05.2018 11:46
                      #10786698

                      Добавил.
                      На всякий случай уточню: это цена без дисков?


                      1. Qsan
                        03.05.2018 11:53
                        #10786726

                        Да, разумеется без дисков.


                        1. Qsan
                          03.05.2018 11:59
                          #10786746
                          +1

                          И, память ЕСС используется


                          1. artiom_n Автор
                            03.05.2018 12:07
                            #10786772

                            Поправил.

                            Посмотрел спецификации. Действительно, сейчас есть селероны с поддержкой ECC памяти, как ни странно.


  1. Gen_by
    03.05.2018 11:25
    #10786626

    Есть клон корпуса supermicro. chenbro sr30169


    1. artiom_n Автор
      03.05.2018 11:25
      #10786628

      Но 4 диска...


    1. achekalin
      03.05.2018 11:42
      #10786682

      Когда-то супермикру брали как дешевый аналог «взрослых» серверов. С тех пор они повзрослели, но все равно недороги и привычно хороши. Но брать его «аналог»…


  1. zedalert
    03.05.2018 12:02
    #10786754

    Возможно установить свой Linux отдельно и пробрасывать GUI по сети.

    В готовом NAS ставить свою систему с костылями, и это за кровные $1600 за Core i3 — какой тогда смысл в готовом NAS?)


    1. artiom_n Автор
      03.05.2018 12:04
      #10786758

      Не на замену прошивке NAS, а вместе с ней. Там есть виртуализация. И установка своего Linux поддерживается штатно, не ломая прошивку.


  1. Disbeleiver
    03.05.2018 12:53
    #10786858
    +1

    Меня статья в том, что почти всегда лучше купить готовый NAS, вообще не убедила.
    Готовые решения, в том числе и перечисленные в в статье, на мой взгляд делятся на две категории (не считая полок и прочих нормальных серверов):
    1. Кубическое нечто со специфическим процессором, зачастую слабосильным, память нерасширяема, прошивка от производителя. Сомнительная схема охлаждения (один вентилятор, стоящий за платой). Все работает хорошо (да и то не у всех), пока пользуешься функционалом, шедшим из коробки — просмотр фоточек и DLNA. Установка или запуск торрент-клиента, рекомендованного производителем, вызывает тормоза. Установка чего-либо, не предусмотренного производителем — страдания с бубном и тормоза. Запуск apache — обычно да. Запуск ownCloud — может быть. Запуск агента Swarm в вируталке, билдагента, Gitlab CE — обычно даже речи не идет.
    Плюсы:
    — Небольшие габариты.
    — Шаринг файлов работает из коробки.
    Минусы:
    — Нерасширяемость даже в пределах возможностей железа — все задушено программно, политически.
    — Почти всегда убогий интерфейс управления. То мобильное прилоожение, то веб-интерфейс, править конфиг руками — через бубен. Веб-интерфейс ладно бы, но практически всегда этот веб-интерфейс невыносимо отвратителен (скажем, у QNAP). Эта вот эмуляция рабочекго стола макоси — она зачем? Зачем мне платить за эти потуги маркетологов, от использовния которых браузер по швам трещит и потом еще страдать, совершая сотни излишних телодвижений со значками, мастерами, идиотскими вопросами, идиотской терминологией?
    — Спорная цена. Железо уровня Raspberry PI стоит от $300. Да, корпус обычно хорош, но толку, если в него ничего нормального не вставить без изготовления новой материнской платы.
    Диагноз — решение для домохозяек, при первом отказе или сбое — фтопку.

    2. Более-менее толковые изделия с нормальным x86-процессором. Могут все, что я могу захотеть. Но не всегда. Иногда нормальная железка кастрирована опять же по политическим соображениям (не все устройства можно заставить загрузиться с диска в корзине, а не со своей флешки, со всеми вытекающими типа «есть xeon, но только через веб-интерфейс, пока не прицепился прошить через JTAG»).
    Плюсы:
    — Умеренные габариты.
    — Зачастую это просто микросервер.
    Минусы:
    — Иногда все равно черный ящик с вебинтерфейсом без должной кастомизации.
    — Дорого. Иногда просто дорого, как HP microserver (бытовое железо такой производиельности стоит в два раза дешевле, а сервером его я все равно считать не могу, пока там нет двух блоков питания и агрессивного охлаждения). Иногда неадекватно дорого, скажем, Thecus чего-то там из статьи. i3, 2гб памяти и корпус с двумя слотами pcie. $1700. Судя по форме корпуса и наличию этих самых слотов — это тупо писюк. В розницу мать, процессор и память стоят $200 (если просто купить в магазине у дома). Блок питания — $100 (пущай будет 600+ ватт, один раз живем). Корпус и опенсорсный софт — остальные $1400? Серьезно? Нет, идите на , спасибо, я еще посмотрю. Бывает довод «зато там все подогнано и не надо тратить время на настройку, мое время дорого» — настолько ли дорого? Полторы штуки заморских для большинства айтишников — месячная зарплата, для прочих — двухнедельная или двухмесячная. Если за две-четыре недели человек не может изучить линукс и гугл в объеме, достаточном для запуска RAID, samba и transmission — это немного пичалька. Впрочем, бывает всякое, некоторые и дизайн рисуют в макоси, им это не близко. Окей, можно по-барски нанять на месяц толкового админа, который вам этот нас соберет и настроит в мелочах, и все равно будет дешевле.

    Поэтому всю эту лавочку я откладываю и иду в магазин (лето 2017).
    День первый. MiniITX на 775 сокете, zotac, 6 sata + 2 esata, новая, в моем городе (центр мухосранской области) — 3,5к. Xeon X3380 с наклейкой — 2,5к там же. Скорей всего, б/у, это не принципиально для процессора. 8гб памяти DDR3 беру из коробочки (3к б/у, память тоже без проблем покупается бушной и служит годами, если на момент покупки тест прошла. Ну да ладно, пусть даже совсем новая за 4к). Блок питания TFX 300W — 2,5к новый. Сложили в кучку. Идем на авито. «сервер купить в мухосранске без смс.» Не то, преджлагают актуальные линейки. Расширяем на мухосранскую область. Ага. Серверы и Dell SFF, модели неизвестны, выбор из кучи в гараже, самовывоз с 20го километра шоссе на Урюпинск. Беру такси, еду. Корпус 2U Chenbro, спереди шесть корзин 3,5 и полноразммерный сидюк, внутри какое-то железо. Просят 6к. Дорого за это, ну да ладно. Такси 500р туда-сюда. Везу домой, блок питания мертвый, мать живая, но дрова с Pentium D. Мать с камнем и памятью — на авито за тыщу (забрали за 700). Три вентилятора ничотак, один засран. Два кладу в кучку к остальным покупкам. На корпусе рисую маркером линии вдоль внутренней перегородки с вентиляторами (остается где-то 40% глубины сервера), несу в автосервис (у самого руки кривые болгаркой резать). Через 20 минут отрезано, оставляю красить «в темный цвет». Дядя Вася почти всегда не против покрасить небольшую хреновину заодно с какой-нибудь дверью или бампером за малую мзду, просто кладет ее в боксе рядом с нормальной деталью, подобранная краска все равно пропадает.
    День 2. Прихошу в себя после пьянки, забираю обрезанное и окрашенное изделие из сервиса. Денег даю тыщу. Несу домой. Впихиваю заглушку матери в слот сидюка (кто не в курсе — он короче заглушки платы на 3мм, достаточно ножницами эту заглушку обрезать) Под мать ставлю четыре стойки — вопрос высверливания 4х отверстий, резьбу можно не резать, и так сойдет. Блок питания за платой на термоклее, вентиляторы на родные места в перегородке, снаружи и внутри на них декоративные решетки 80мм (4х110р). Вывод силового кабеля на заднюю стенку через удлинитель мама-папа (единственное, что нужно было спаять, запчасти ну пусть 200р), остальные разъемы соединяю, закрываю крышку. Снизу приклеиваю мягкие ножки-кругляши из мебельного. Серверные вентиляторы шумные, подключил к матери, задушил PWM до состояния «обычный ПК». Бумажки к решеткам все равно присасываются. Время два часа второго дня. Ем-гуляю-фтыкаю в игры, вечером ставлю дебиан, настраиваю программное зеркало, ставлю самбу и gitlab для левака (раньше крутился gogs на eeepc b202, там задребезжал вентилятор). Все, я сделяль. Денег потрачено ~21к, ~$350 + времени часов 10-12. Имею 6 горячих корзин с индикаторами наличия диска в нешумном компактном корпусе из миллиметровой стали с двумя вентиляторами прямо за корзинами с дисками, достаточно мощный процессор (quad core extreme семилетней давности без проблем поспорит с текущими i3), достаточно много памяти, легко заменяемые компоненты, и какое-никакое развлечение на выходные. Для интереса смотрю интернет-магазин в данной ценовой категории: Synology DS214 [2x3.5", 1066 МГц, 512 Мб, USB 2.0 x 1, USB 3.0 x 2]. Прискорбно.

    В статье было замечение «не у всех рядом продается корпус для NAS, а доставка составит полцены от стоимости корпуса» — ну так у этих людей скорей всего и 95% NAS, перечисленных в статье, рядом не продаются и их доставка чего-то будет стоить. И даже если доставка корпуса будет стоить в 2 раза дороже его самого, это скорей всего выйдет дешевле готового изделия.


    1. artiom_n Автор
      03.05.2018 14:01
      #10786984

      Внёс в статью дополнение: если исключить диски, доставку, разборки с ОС и пакетами, выходит дешевле.


      Если за две-четыре недели человек не может изучить линукс и гугл в объеме, достаточном для запуска RAID, samba и transmission — это немного пичалька.

      Вводные вы, похоже, не дочитали.


      Впрочем, бывает всякое, некоторые и дизайн рисуют в макоси, им это не близко. Окей, можно по-барски нанять на месяц толкового админа, который вам этот нас соберет и настроит в мелочах, и все равно будет дешевле.

      Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС "с нуля" (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.


      1. Disbeleiver
        03.05.2018 15:18
        #10787122

        Вводные вы, похоже, не дочитали.

        Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.

        Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС «с нуля» (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.

        Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся. У девайсов нижней ценовой категории ширпотребных брендов (врочем, вы их не затронули особоо) поддержка вообще призрачна.

        ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо? Мы собираем нас на базе писюка, где можно поставить серверную убунту (а то и с иксами) и производительности почти не убудет. Ну будут в фоне 10 ненужных служб молотить и жрать 100 метров памяти — никто и не заметит.


        1. artiom_n Автор
          03.05.2018 16:36
          #10787288

          Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.

          С точки зрения производителя есть ещё амортизация затрат на разработку. С точки зрения потребителя — это не только предустановленная ОС, но и поддержка разработчика, если что-то сломается, плюс меньшее количество багов. Кроме того, всё из коробки: это просто не надо досконально настраивать, и тратить время.


          Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся.

          Да такой риск есть, но для серьёзных брендов он меньше.


          ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо?

          Не для этого, а для того, чтобы реализовать сложную конфигурацию, и сложность не обязательно следствие железных ограничений.


          1. Disbeleiver
            03.05.2018 17:45
            #10787454

            С вашими доводами согласен, поддержка, особенно там, где она официальная — важный параметр.
            Но я что забыл спросить-то еще в первом посте — вы собрали сервер сами (да, я вижу именно сервер, на который поставили ориентированную на нас ось), а общественности рекомендуете все же брать готовый NAS. Почему? Только по стоимости (у вас вышло по сумме не сильно дешевле готового)? Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость? Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.


            1. artiom_n Автор
              03.05.2018 18:01
              #10787474

              а общественности рекомендуете все же брать готовый NAS. Почему?

              Я подхожу в одну из упомянутых категорий: мне просто было интересно, и я собирал его во много, как исследовательский проект.
              Идея зрела давно, а катализатором стало то, что у меня на стационарной машине сдох старый IDE диск, на который делались бэкапы.
              После этого я решил: "Собираю". Изначальный обзор конкурентов, для себя, я делал не с целью выбрать себе NAS, а с целью изучить возможности, которые они предоставляют.
              Собирая NAS, я отнял время у других проектов.
              И если бы для меня это был бы исключительно инструмент, зная сколько времени и усилий это займёт, я бы купил готовый.


              Только по стоимости (у вас вышло по сумме не сильно дешевле готового)?

              Да, вышло так. Хотя, в комментариях Krey вы можете видеть, что он может собрать сходную конфигурацию в два раза дешевле. Тут бы я всё-таки сделал скидку на опыт: не знаю сколько NAS он уже собрал, но далеко не факт, что человек в теме новый достигнет подобной эффективности сразу.


              В любом случае, то что я хотел, я получил.


              Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость?

              В обзоре написано. XCubeNas весьма неплох, если забыть, что он на Celeron и стоит $3000 без дисков.
              Synology неплохая машинка по железу, да и ОС тоже, пусть и хотелось бы, чтобы там был ZFS, как в вышеупомянутом XCube.
              FreeNAS вполне возможно было бы купить, и ставить туда что-угодно (я и сам задумывался над тем, не взять ли плату с Avoton).


              Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.

              Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?


              1. Disbeleiver
                03.05.2018 18:26
                #10787534

                Спасибо за ответы, я во всем наконец-то разобрался. Сам-то, я конечно, останусь при своем мнении «собираем из спичек и желудей», но и ваши доводы вполне логичны и имеют аудиторию.

                Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?

                Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.

                Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть. Испоользуется какойнить iSCSI — вот тебе и NAS.

                А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.


                1. artiom_n Автор
                  03.05.2018 18:33
                  #10787546

                  Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.

                  А вот это: https://www.dellemc.com/ru-ru/storage/isilon/index.htm ?


                  Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть.
                  Испоользуется какойнить iSCSI — вот тебе и NAS.

                  Это уже ближе к SAN.


                  А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.

                  И, при этом, по крайней мере, для некоторых железок из обзора, которые NAS, гитлаб есть в их "магазине приложений", а где нет, там его возможно установить в контейнере.
                  А в обзор просили добавить (и я добавил) Microserver от HP.
                  Фактически, NAS и домашние сервера сейчас трудно отделить.


                  1. Disbeleiver
                    03.05.2018 21:04
                    #10787780

                    А вот это: www.dellemc.com/ru-ru/storage/isilon/index.htm ?

                    Ну это NAS, там же какая своя ось специализированная.

                    Это уже ближе к SAN.

                    Да, не совсем корректный пример привел, слишком низкий уровень.

                    Фактически, NAS и домашние сервера сейчас трудно отделить.

                    Да вообще сервер от «несервера» трудно отделить. Формфактор не показатель давно, железо — тоже. Половина Hetzner на десктопном железе крутится и ничо. Все плохо, ничего непонятно (


      1. Krey
        03.05.2018 16:04
        #10787216
        -2

        Вот кстати про баги в OMV и прочее. Вот зачем самому себе рыть яму? ZFS управляется двумя простенькими командами в консоли.
        И так во всем. Зачем нужен микротик, который по сути оболочка над линуксом с его нетфильтром, при том что синтаксис nftables прост и компактен для восприятия по сравнению с веб-интерфейсом из миллиона вкладок и работает быстрее.

        Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.


        1. artiom_n Автор
          03.05.2018 16:22
          #10787254

          Вот кстати про баги в OMV и прочее. Вот зачем самому себе рыть яму? ZFS управляется двумя простенькими командами в консоли.

          Ну в общем-то не двумя. Да и не простенькими. Это сильное утрировано.


          Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.

          Это вы к чему сейчас? Существуют разные типы интерфейсов, и у каждого своя ниша. Для визуализации данных и быстрого решения типовых задач подходит GUI, для обработки данных и пакетных задач CLI, для слепых людей и тех, которые плохо видят, делают интерфейсы Брайля и синтезаторы, ну и так далее.


          К чему тут этот оффтопик?


          1. Krey
            03.05.2018 16:48
            #10787316
            +1

            К тому, что выбор ОС и инструментов в данной теме не офтопик.
            Про zfs — это команды zpool и zfs. Других команд нет. Есть ряд настроек, должно быть общее понимание принципов работы этой ФС — это все безотносительно к типу интерфейса.
            Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
            Это что за сферический плюс такой в вакууме? Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом? Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.


            1. artiom_n Автор
              03.05.2018 17:27
              #10787414

              Оффтопик — это спор GUI vs CLI. Я на это уже ответил: одно не противоречит другому.
              Хотите — заходите каждый раз по SSH, пишите


              Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
              Это что за сферический плюс такой в вакууме?

              А, это из моей документации прилетело, не заметил. У меня все машины на Debian, потому и плюс. Убрал.


              Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом?

              См. выше: это недосмотр.


              Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.

              У omv некоторый плюс действительно есть: он легко ставится из пакета на "голый" Debian.


              1. artiom_n Автор
                03.05.2018 17:34
                #10787428

                *Хотите — заходите каждый раз по SSH, пишите hddtemp /dev/sd{a-f}, например, а мне удобнее через web интерфейс выполнять типовые действия.
                Для того он там и есть. Хотя, сейчас я им мало пользуюсь: в основном всё приходится делать из консоли.


            1. artiom_n Автор
              03.05.2018 17:40
              #10787442

              > Про zfs — это команды zpool и zfs. Других команд нет.

              Если придраться:

              dpkg -L zfsutils-linux |grep "bin[^$]"
              /sbin/fsck.zfs
              /sbin/mount.zfs
              /sbin/zdb
              /sbin/zfs
              /sbin/zhack
              /sbin/zinject
              /sbin/zpios
              /sbin/zpool
              /sbin/zstreamdump
              /usr/bin/zgenhostid
              /usr/sbin/arc_summary
              /usr/sbin/arcstat
              /usr/sbin/dbufstat


              Ok, это основные команды, но каждая из них сложносоставная, а каждая подкоманда имеет свой набор опций.
              ZFS достаточно сложная система и объём документации на неё большой.


              1. Krey
                03.05.2018 17:58
                #10787470

                Если придраться, то из OMV все что вы написали кроме двух основных команд использовать тоже не получится. И вы таки полезете за ними в консоль.


                1. artiom_n Автор
                  03.05.2018 18:05
                  #10787482

                  Так я и делаю всё в консоли сейчас, а где-то фоном работает OMV.
                  Чем он удобен: я могу быстро посмотреть все пулы, ФС, снэпшоты, а также их параметры (там ещё докер понасоздавал).
                  Ну и через его интерфейс возможно легко, быстро и, в основном, безошибочно абсолютное большинство действий с ZFS выполнять.


  1. Krey
    03.05.2018 15:44
    #10787172

    Сильно завысили мощность БП. На 8 дисков 250Вт выше крыши. Завышение мощности ведет к снижению эффективности, а при 50% завышении всякие рейтинги 80+Bronze можете смело игнорить. А ведь можно еще озаботиться последовательным стартом дисков.

    Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается. Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.

    Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.


    1. artiom_n Автор
      03.05.2018 16:31
      #10787280

      Сильно завысили мощность БП. На 8 дисков 250Вт выше крыши. Завышение мощности ведет к снижению эффективности, а при 50% завышении всякие рейтинги 80+Bronze можете смело игнорить. А ведь можно еще озаботиться последовательным стартом дисков.

      На пиковых нагрузках не особенно "выше". Рейтинги, конечно: я же не попадаю в Мощность блока ± 10%. Ну разве что, он более стабильное напряжение даёт.


      Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается.

      Без амазона — мне сложно было бы найти серверное железо.
      Без посредника — амазон не присылает в РФ.
      Без страховки — "скупой платит дважды".


      Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.

      Вместе с дисками? Вопрос только когда, и насколько примерный. В таком случае, конечно, было бы выгодно.


      Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.

      Да, там есть Smart fan, но сейчас я поставил на полные обороты, чтобы не грелось.


      1. Krey
        03.05.2018 16:40
        #10787292

        Пиковые нагрузки у HDD — только при старте, раскручивании шпинделя. И они укладываются в 250Вт с вашей системой и 8-ю шпинделями. В остальное время у вас и 150Вт не набирается, купите ваттметр и убедитесь.

        500$ без дисков естественно. Но возможно с системным ССД.

        SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.


        1. artiom_n Автор
          03.05.2018 17:31
          #10787422

          Пиковые нагрузки у HDD — только при старте, раскручивании шпинделя. И они укладываются в 250Вт с вашей системой и 8-ю шпинделями. В остальное время у вас и 150Вт не набирается, купите ваттметр и убедитесь.

          Ток я могу замерить и сейчас. Блок брался в расчёте на пиковые нагрузки. По расчёту в 250 Вт не укладывается.


          500$ без дисков естественно. Но возможно с системным ССД.

          Плюс, диски $1000, в лучшем случае. Ну ok, $1500, в два раза дешевле.
          SSD у меня — три.


          SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.

          Температуру платы. Но там есть только smart fan, а программно кулером управлять пока не получается: pwmconfig не видит его. Потом может разберусь, если руки дойдут. Сейчас на полной мощности, я шума не слышу (NAS в коридоре).


          1. Krey
            03.05.2018 18:07
            #10787488

            Как раз на почте меня дожидаются три 8ТБ по 160$. Не призываю, не спорю. Просто указываю на то что суммы завышены.


            1. artiom_n Автор
              03.05.2018 18:12
              #10787504

              Привёл цены, за которые купил на Amazon. Asus брать не хотелось, а Supermicro вообще стоит каких-то нереальных денег. Собственно, ограничение по ОЗУ и нестандартный форм-фактор — это основные минусы данной платы, а так она крайне неплоха, пусть и 2014-й год.


              1. Krey
                03.05.2018 18:46
                #10787572

                Если не гнаться за встроенным SAS, отдав его внешней платке, или за форматом, похожим на itx, то и у супермикро можно много из чего выбрать. Например itx мамка с впаянным xeon, 4x полноразмерных сима (до 128Гб ECC ОЗУ), 2x 10 Gb сеть. 30к руб, что вполне норм за такую степень интеграции. В более просторных формфакторах выбор из платок SM просто огромный.


                1. artiom_n Автор
                  03.05.2018 18:54
                  #10787586

                  Любопытно. Возможно всё-таки стоило посмотреть на Supermicro. Хотя, впаянный процессор, конечно минус.
                  А можете подсказать модель платы или дать ссылку на неё?
                  Хотя бы посмотрю, на будущее.


                  1. Krey
                    03.05.2018 18:59
                    #10787596
                    +1

                    www.regard.ru/catalog/tovar268962.htm

                    Но подпрыгнувший курс бакса подпортил цену :(


                    1. artiom_n Автор
                      03.05.2018 19:05
                      #10787604

                      Спасибо.


                    1. artiom_n Автор
                      03.05.2018 19:31
                      #10787658

                      Всё-таки и на Amazon, эта плата в районе $500, в 1.5 раза дороже, чем ASRock.


            1. Bonio
              03.05.2018 18:19
              #10787518

              Это где такие дешевые hdd?


              1. Krey
                03.05.2018 18:48
                #10787574

                Амазон, ебей, берем внешние USB WD на 8ТБ и расковыриваем, вытаскивая оттуда зачастую WD Red. Внешний корпус и БП будет приятным бонусом :)


                1. Bonio
                  03.05.2018 18:49
                  #10787576

                  А почему они в корпусе настолько дешевле, чем те же самые hdd, только отдельные.


                  1. Krey
                    03.05.2018 18:54
                    #10787584
                    +1

                    Тут много теорий, не буду вас загружать. Скорее всего просто слитие излишков без урона для основной линейки продуктов. Ну или просто маркетинг в диком мире копроэкономики.

                    Кроме них есть refubrished винты, тоже раза в два дешевле магазинной цены и тоже новые.


                    1. artiom_n Автор
                      03.05.2018 18:56
                      #10787588

                      А HGST или Hitachi так не «сливают» (особенно какой-нибудь SAS)?


                      1. Krey
                        03.05.2018 19:00
                        #10787598

                        HGST и Hitachi — одно и тоже. Может вы тошибу имели ввиду?
                        Во внешних боксах не видел. Но их много refubrished, правда не новых. У ВД есть раздел refubrished прям на основном сайте.


                        1. artiom_n Автор
                          03.05.2018 19:14
                          #10787632

                          Да, Toshiba.


                    1. Alexsey
                      03.05.2018 23:28
                      #10787936

                      Тут много теорий, не буду вас загружать. Скорее всего просто слитие излишков без урона для основной линейки продуктов. Ну или просто маркетинг в диком мире копроэкономики.


                      Скорее уж слитие того что не прошло по качеству для того чтобы быть тру-red дисками.


  1. tus
    03.05.2018 16:23
    #10787260

    возможно видеть, что рынок сейчас достаточно насыщен

    если бы так было на самом деле, то производители не накидывали бы к стоимости железа еще два-три раза по столько же за веб-интерфейс к линуксу


    1. artiom_n Автор
      03.05.2018 16:24
      #10787262

      То, что они не демпингуют, ещё не говорит о том, что рынок не насыщен.


  1. alexkuzmenko7
    03.05.2018 16:25
    #10787268

    ИМХО
    бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
    и никаких проблем с охлаждением, да шумно но сервер есть сервер
    Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить

    Да и на zfs гнать не нужно zfs = solaris и никаких проблем
    И по поводу бекапа ОС — в соляре есть такая штука beadm)


    1. artiom_n Автор
      03.05.2018 16:26
      #10787272

      бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
      и никаких проблем с охлаждением, да шумно но сервер есть сервер

      И серверную впридачу.


      Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить

      Там ZRAID, хотя и 1-й. На вылет я проверял. Вытаскивал диск, пул оставался рабочим.


      1. alexkuzmenko7
        03.05.2018 16:35
        #10787286

        так в том то и суть пул остается рабочий, но со статусом дегрейдет, а сбойный он автоматом заменит на резервный и перейдет в статус онлайн. (т.е. в случае каких либо проблем он сам заменит диск, а не вам нужно его мониторить)

        из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1 резервный в случае вылета


        1. artiom_n Автор
          03.05.2018 16:43
          #10787302

          Минус тут будет в том, что получу один диск, который будет простаивать, а даже с ZRAID1 у меня почти 40% издержек в моей конфигурации.
          Что мне мешает, в таком случае, просто сделать ZRAID2?


          Но возможно подробнее, как такая конфигурация реализуется?


          из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1

          Кэширование на SSD есть (пока только SLOG, и ещё там swap, который я фактически не использую).


          1. Krey
            03.05.2018 16:57
            #10787350

            Raidz1, не коверкайте плиз.
            alexkuzmenko7 HotSpare заработало в ZOL (если я правильно помню) только с 0.7, соответственно в стабильный дебиан и уж тем более в гуй OMV еще не завезли.


            1. artiom_n Автор
              03.05.2018 17:17
              #10787396

              Raidz1, не коверкайте плиз.

              Да, извиняюсь, называю их когда как, правильно конечно же RAIDZ.


  1. invite_ciel
    03.05.2018 17:15
    #10787388
    +1

    Немного оффтоп.
    На собственном опыте проверял, что поддержка HGST по запросу (с указанием партномера и серийника диска) высылает для своих дисков новые прошивки и утилиты для их заливки (под Windows и Linux).


    Вероятно, WD придерживается той же политики.


  1. vconst
    03.05.2018 17:34
    #10787432
    +1

    По теме сказать нечего, я не спец. Просто спасибо за подробнейший разбор вопроса домашнего NAS. И не меньшая благодарность — за комментарии их авторам. Много информации сконцентрированной в одном месте, это ценно.


  1. kot23russia
    03.05.2018 17:42
    #10787446
    -2

    Одного не пойму нахрена дома дисковое хранилище в десятки ТБ???, т.е. шумящее, жрущее существо, что хранить???? Ну а для офиса… т.е. фактически когда два человека работают в команде уже как бы файлопомойка не панацея, нужны более эффективные средства. И получается железяка с «топовым» железом для хранения фоточек которые ни кто, и никогда не будет смотреть???


    1. artiom_n Автор
      03.05.2018 17:42
      #10787450
      +2

      Очевидный ответ: если вы не знаете, зачем оно вам, скорее всего оно вам не нужно.


      1. kot23russia
        03.05.2018 18:57
        #10787594

        Но логику то понять нужно, ибо коментов дочерта, значит вещь популярна, возможно я что то не знаю или не понимаю, и как следствие не пользуюсь «дешевыми» NAS а использую дорогущие сервера с дорогущей инфраструктурой…


        1. Krey
          03.05.2018 19:09
          #10787616

          Я например продаю место на дисках. т.е немаленький НАС потихоньку сам себя окупает.


          1. Bonio
            03.05.2018 19:28
            #10787648
            +1

            Это как? Можно поподробнее?


            1. Krey
              03.05.2018 19:52
              #10787698

              Storj.io
              Правда сейчас не лучшее время что бы туда входить, сеть переделывают.


              1. fdroid
                04.05.2018 04:43
                #10788078

                Опять? Что-то колбасит их в разные стороны, народ разбегаться начнёт.


        1. artiom_n Автор
          03.05.2018 19:33
          #10787660

          и как следствие не пользуюсь «дешевыми» NAS а использую дорогущие сервера с дорогущей инфраструктурой…

          Свои или арендуете мощности?


          1. kot23russia
            03.05.2018 19:37
            #10787668

            Свои, привычка, скажем так есть очень негативный опыт от аренды (и дело не в сервисах которые предоставляют мощности), по старинке работаем, мощности не большие но нужно хранить наработки десятилетиями, как говорится это долгая и грустная история…


    1. CactusKnight
      03.05.2018 21:14
      #10787808

      За топовые железки ценой в несколько килобаксов не скажу, но вот NAS на 2-4 диска (ценой в 200-500 баксов) для дома очень удобны — хотя бы просто для того, чтобы хранить всякий контент на одно компактном и маложрущем энергию устройстве, которое доступно для любого девайса в сети и за счет RAID1/5 имеет хоть какую-то отказоустойчивость. Не говоря уж о всяких фотографах, дизайнерах, моделлерах и прочих товарищах, которым нужно дофига места, чтобы хранить свои файлы


      1. kot23russia
        03.05.2018 21:22
        #10787820

        Обратно согласен, для дома до 3-х ТБ вполне, и железка что бы не шумела и кушала как зарядка от телефона, т.е. хранить «честно украденные» сериальчики, фоточочки… Но на счет надежности тут не согласен… надежное хранение это когда инфу записываешь на 3 DVD, один прячешь на полочку для «быстрого доступа», второй прячешь в сейф для сохранности, а третий прячешь в сейф на удалении 2000 км от первого сейфа на случай ракетно-бомбового удара, хотя если по тебе нанесут ракетно-бомбовый удар вряд ли тебе будут важны твои файлики


        1. Alexsey
          03.05.2018 23:31
          #10787942

          надежное хранение это когда инфу записываешь на 3 DVD, один прячешь на полочку для «быстрого доступа», второй прячешь в сейф для сохранности, а третий прячешь в сейф на удалении 2000 км от первого сейфа на случай ракетно-бомбового удара, хотя если по тебе нанесут ракетно-бомбовый удар вряд ли тебе будут важны твои файлики


          Если уж следовать правилу 3-2-1 то данные должны быть минимум на 2 разных носителях.


          1. kot23russia
            03.05.2018 23:37
            #10787948

            ну скажем так, «одинаковость» носителей компенсируем двумя сейфами и расстоянием между ними


            1. Alexsey
              04.05.2018 00:25
              #10787992

              Ну так использование разных носителей это, в первую очередь, защита от минусов конкретного вида носителя. Вот хранится у нас бекап в виде 3 копий на DVD, и все 3 копии помрут от disc rot и что делать? Никакое раздельное хранение не спасет от такого.


              1. kot23russia
                04.05.2018 01:43
                #10788034
                -1

                еще раз, мой юный друг, не забываем про регламент… как говорится это что то вроде устава, ну и если все делается правильно то в принципе и ядерная война не страшна, ну а вы если боитесь «disc rot», советую как в старом фильме, отойти в окоп по дальше, и выстрелить себе в рот, помогает, реально потом боятся будет нечего…


          1. kot23russia
            03.05.2018 23:37
            #10787952

            ну и конечно не забываем про регламент использования диска №1 и №2


        1. artiom_n Автор
          04.05.2018 08:15
          #10788222

          Но на счет надежности тут не согласен… надежное хранение это когда инфу записываешь на 3 DVD

          Степень избыточности диктуется требованиями. Если вы проживаете в Сирии, вам требуется защищать данные от ракетно-бомбового удара. В России, например, пока не требуется. Значит, например, оценив вероятность пожара или кражи, возможно обойтись и без этого или, условно, использовать огнеупорный сейф.


          1. kot23russia
            04.05.2018 11:15
            #10788512

            кража, пожар, затопление, да падение спутника может случится, мы не знаем что может случится, поэтому и разносим на большое расстояние. Ракетно-бомбовый это как пример, хоть и мало вероятный


            1. artiom_n Автор
              04.05.2018 13:13
              #10788760

              Важно, какова цена вопроса и насколько вероятны события, от которых вы хотите защититься.
              Ну и ещё, потребуются ли данные после этого.
              Ото всего защититься нельзя, в принципе.


              1. kot23russia
                04.05.2018 14:38
                #10788860

                Цена вопроса как раз мизерна, ну так получилось, но схема работает с 2002 года, еще не было проблем, ну кроме проблем связанных с распиздяйством


                1. artiom_n Автор
                  04.05.2018 14:39
                  #10788864

                  Любопытно было бы узнать про данную схему.


  1. ACooper
    04.05.2018 13:37
    #10788780

    В качестве корпусов для NAS (даже не NAS, а гиперконвергентного решения) использовал красивые, на мой взгляд, корпуса от Fractal Design:


    • NODE 804 вместимостью 8 x 3,5?, 4 x 2,5” или до 10 x 3,5”, 2 x 2,5? жестких дисков и SSD
    • NODE 304 вместимостью 6 х 3,5" или 2,5" жестких дисков/SSD. К этим 6 у меня получилось добавить еще по одному SSD и HDD.

    Да, у них нет съемных корзин и нет защиты от физического доступа в внутрь, но для дома по мне этого и не надо. Внутрь залазил только два раза, когда собирал NODE 304 и когда переезжал из него в NODE 804. Работают тихо, температура дисков не превышает 40 градусов.


    1. artiom_n Автор
      04.05.2018 13:47
      #10788804

      Спасибо.
      Добавил в статью.


    1. Alexsey
      05.05.2018 01:37
      #10789520

      Для любителей tower можно вспомнить еще про «народный» define r5. 8 3.5"/2.5" дисков в стоке + можно еще достать корзину на 3 доп. диска + отдельное крепление под 2 2.5".


    1. Arki_LKK
      05.05.2018 13:53
      #10789804

      Можете написать, какую мат. плату/доп. контроллеры/доп. вентиляторы использовали при сборке в 804 корпусе? И делали ли шумоизоляцию? У самого такой только что приехал, подбираю оптимальную комбинацию железа, интересен Ваш опыт…


      1. artiom_n Автор
        05.05.2018 14:49
        #10789854

        Внесу свои 5 копеек.
        Кулеры Noctua докупал тут, чтобы не заказывать:
        www.coolera.ru

        На их сайте, по крайней мере, возможно посмотреть, что есть.
        Если интересует, могу подробнее впечатления расписать.

        По кулерам есть «законодатели мод», это: Noctua, Scythe, с натяжкой сюда возможно припихнуть Zallman (хотя, они больше по радиаторам и процессорным кулерам).
        Ещё мне очень понравился кулер от NoiseBlocker: и как сделано крепление (не эти резиновые стойки, которые в труднодоступных местах хирургическим зажимом приходится вытаскивать, а резиновые уголки и крепление на обычных металлических винтах), и низким уровнем шума, а уровень вибраций, по ощущениям, ниже, чем у Noctua.

        Ещё момент: хотите хороший тихий и надёжный кулер, во-первых смотрите в спецификации, сколько децибел (или Сон) он даёт, во-вторых старайтесь не брать кулера с подшипниками скольжения — берите магнитные или масляные (вот тут Noctua обычно выигрывает).

        По шумоизоляции, например вот: www.coolera.ru/tovar.php?tovar=12407
        Я себе хотел ещё противовибрационный коврик взять, но пока не купил: плотный многослойный лист.

        Если проблемы с охлаждением CPU, стоит изначально смотреть в сторону термоинтерфейса.
        Жидкий металл (и Thermal Pad, соответственно, который тоже самое, однако проще наносится) тут бьёт все термопасты (и Arctic MX-4, которую я взял, тем более).

        Ещё могу посоветовать обратить внимание на современные «водянки»: они малошумные, как правило, компактные, находятся внутри корпуса, да и теплоноситель там уже давно не вода.


  1. TrllServ
    05.05.2018 14:58
    #10789856

    Читая статья держу в памяти 2 начальные задачи:

    Тут рассматриваются NAS верхней границы «домашнего» сегмента и начального бизнес-сегмента, позволяющие удовлетворить запросы взыскательного пользователя, либо офиса на 50-100 человек.
    Прежде всего, NAS является точкой синхронизации между разными устройствами.
    Это может быть по файловая синхронизация (например, используя rsync или syncthing), облако, общие репозитории
    И просматривая варианты начинается казаться, что ТС просто не куда потратить деньгивыбирает слишком избыточное решение для NAS.
    При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)
    Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?

    PS:
    Мой предыдущий NAS был собран из говна и палокна мамке с G31 + C2D + 2gb ddr2 + 6 x 2Tb HDD(добиралось по мере заполнения). Ни одного потерянного файла.


    1. artiom_n Автор
      05.05.2018 15:06
      #10789858

      Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?

      Потому что, это слишком избыточное решение. Посмотрите цены на "хорошие рэйд-контроллеры". Это первое. О софт-контроллерах тоже много было говорено. А тут всё бесплатно.
      Второе: известная проблема в том, что при выходе из строя рэйд-контроллера, вам придётся искать аналогичный, иначе данные на массиве потеряны. А это сложно и дорого (особенно, если компания-производитель закроется к тому моменту). Проблема описана неоднократно.
      Третье: почти все (или все?) рэйд-контроллеры — это программно-аппаратные комплексы, и в них тоже есть говнокод баги.
      Ну и четвёртое: есть интегрированное решение, которое, в целом, проще связки компонентов, вами предлагаемой, хорошо работает и ничего мне не стоит, — так если нет разницы, зачем платить больше?


      При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)

      Где-то тут есть мой скриншот htop: нагрузка, которую даёт дисковая подсистема минимальна, порядка 0.5 — 2% (там ещё и гитлаб в это время работает). Кажущаяся избыточность нужна мне для других задач (например, для организации CI, в будущем).


      Нашёл скриншот:


      1. TrllServ
        05.05.2018 16:49
        #10789902

        Позвольте, коллега, тогда я настаиваю на не верных формулировкках у вас, вводящих в заблуждение читателя. Например в статье написано:

        В итоге, я имею работающий NAS на серверном Xeon ценой чуть более $3000

        А в комментарии:
        А тут всё бесплатно.… хорошо работает и ничего мне не стоит

        И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».

        Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.

        PS:
        Стоит отметить, что:
        * Софт-рейд я не рассматриваю и не предлагаю по понятным причинам.
        * Проблема поломки аппаратного рейда имеет место быть, но сильно раздута. Мы знаем об этом, потому что есть статистика или возвраты. И решается использование пары одинаковых для пары массивов дисков. У меня где-то были пара PCI рейд контроллеров, ушедших в коробку из-за морального устаревания. Пара, как раз, чтоб восстановить, если один выйдет из строя. Но этого так и не случилось.
        * Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS


        1. artiom_n Автор
          05.05.2018 17:54
          #10789924

          И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».

          Но не на RAID контроллер: с ним вышло бы дороже. И не вполне понятно, какие бы мне дало это плюсы (нагрузка на CPU сейчас низкая). А память с ECC явно не лишняя для любой ФС.


          Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.

          Об этом тоже уже здесь говорили. Как и подавляющее большинство (все?) NAS сейчас (см. обзор).


          Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS

          Да, без сомнения. Даже я бы сказал: в ZFS есть баги. Но правятся они наверняка активнее, чем баги в прошивке контроллера.