Я сразу скажу, что сетевой накопитель создавался и выбирался исходя исключительно из параметров комфорта эксплуатации, так как пользователи обладали различной квалификацией. То есть главные требования предъявлялись следующие: простота пользования, надежность, возможность удаленной работы через Интернет, работа с торрентами, возможность синхронизации нескольких устройств, организация бэкапов. Последнее не стояло в приоритетах, но, как оказалось, очень пригодилось впоследствии. Итак, я начал с создания собственного домашнего сервера.
Самостоятельный NAS
Первым делом хотелось собрать домашний сервер самому. Для этого был куплен компактный корпус и плата форм-фактора microATX на базе Nvidia ION.
Такое решение позволило собрать не самый производительный сервер, зато он был практически бесшумным. Блок питания был разобран, а на весь корпус установлен малооборотистый кулер диаметром 120 мм. В качестве системы был выбран не FreeNAS, а WindowsXP, так как иногда хотелось управлять функциями удаленно. Для комфорта работы с торрентами в настройках uTorrent был включен web-интерфейс. Скорости работы хватало на все, а удаленно работать можно было через TeamViewer или Ammyy Admin. Все было хорошо, пока я не попробовал настоящий NAS.
Плюсы: возможность установки любого софта, возможность удаленной работы внутри системы, возможность использовать в качестве HTPC
Минусы: самостоятельное конфигурирование всей системы
Первый NAS. Первый опыт
Netgear ReadyNAS Duo RND2000 v2
Очень приятная и крайне компактная модель. Металлический корпус имеет отличную вентиляцию, сзади стоит большой и тихий кулер, жесткие диски можно заблокировать от случайного вытаскивания, да и выглядит он стильно. Работает накопитель на процессоре ARM-архитектуры, то есть и энергопотребление, и температурный режим очень комфортный. Все в нем было хорошо, кроме интерфейса. Сделан он с умом, но не для домашнего пользователя. Можно было настроить общий доступ и на этом ограничиться. Качать торренты тоже крайне неудобно. Так я продолжил поиски.
Плюсы: строгий дизайн, крепкий корпус, простой монтаж дисков, тихая работа
Минусы: недружелюбный интерфейс
Второй NAS. Начало дружбы
QNAP TS-212
Пожалуй, один из самых «домашних» сетевых накопителей. Достаточно потратить буквально пять минут на монтаж пары дисков и можно запускать систему. Организация RAID-массивов (0,1) или JBOD — все, как у любых других NAS. Очень приятный интерфейс и малые габариты позволили поставить его за плоским телевизором на тумбочку и забыть. Забыть до ночи, потому что при активной работе закачек, заметно нагревался процессор, и маленький вентилятор системы охлаждения начинал довольно отчетливо гудеть на всю комнату. Решений было несколько: переместить накопитель в другое место (пришлось бы тянуть кабель), организовать закачки только в моменты бодрствования (тогда занят канал или данные уже нужны), снизить принудительно скорость вращения вентилятора (увеличение нагрева всего NAS). Я решил пойти по пути наименьшего сопротивления и выставил порог температуры срабатывания кулера повыше, благо подобные настройки в меню присутствовали. Этот девайс радовал меня своей работой ровно до того момента, когда система сообщила о заполнении пространства на 90% (максимум — 2 диска по 4 Тб). И я перешел к следующей модели.
Плюсы: удобный интерфейс, простота конфигурирования, множество сервисов, отличный дизайн
Минусы: громкая система охлаждения при активной работе, яркие индикаторы работы
Третий NAS. Наращиваем объем
QNAP TS-469L
Четырехдисковый монстр с процессором Intel Atom способен сохранить до 32 Терабайт данных на 4 дисках. Красивый корпус, надежные металлические салазки, простая установка и пара гигабитных Ethernet-портов — это уже не столько система для хранения домашней медиаколлекции, сколько серьезный накопитель для резервирования важных данных в средней компании. Собственно, второй такой экземпляр и был установлен у мня на работе после домашних опытов с системой. Уже знакомый интерфейс (а он един для всех QNAP) позволил быстро сконфигурировать все смонтированные диски и перегнать все данные со старого накопителя. Есть несколько способов переноса данных: пошаговое перемещение дисков со старого устройства на новое, синхронизация или бэкап. Я поступил проще: оба устройства были подключены к гигабитному свитчу и запущен бэкап по папкам — так я подстраховался от всего, потому что появилась резервная копия всех данных. Накопитель заметно шустрее своего предшественника и с легкостью переваривает даже перекодирование на лету, чем я иногда пользовался, заходя на накопитель удаленно. Что важно, кулер, установленный на задней панели, имел диаметр 80 мм, поэтому даже при интенсивной работе он не издавал абсолютно никаких звуков.
Плюсы: производительный, тихий, удобный интерфейс, большой объем данных
Минусы: заметная цена для домашнего накопителя
Четвертый NAS. Как же остановиться?
QNAP TS-451
В определенный момент встала задача не просто раздавать данные между несколькими компьютерами, но и иметь полный дубль всех файлов в двух разных домах. Вопрос о выборе производителя NAS даже не стоял, но определиться с моделью было сложнее. В итоге была выбрана модель QNAP TS-451 за 4-дисковую комплектацию, прекрасный дизайн и высокую производительность. На этот раз система комплектуется процессором Intel Celeron 2,4 ГГц и 1 или 4 Гигабайтами ОЗУ с возможностью расширения до 8 Гбайт. Помимо уже знакомых плюшек с организацией RAID-массивов, двумя гигабитными портами и массой USB портов, расширились мультимедийные возможности. Например, конвертация HD-видео на лету для просмотра через браузер делает из накопителя собственный кинотеатр без рекламы, которую так любят сетевые киносервисы. Кроме того, накопитель оснащен HDMI выходом, благодаря которому можно смотреть видео на телевизоре или проекторе и наслаждаться 7.1-канальным звуком. То есть мы возвращаемся к идее HTPC и NAS в одном флаконе. Виртуализация, собственное облако, масса фирменных приложений и синхронизация файлов на любых девайсах: от смартфона до любого типа компьютера — все это на новом сетевом накопителе. А главное: размер вентилятора охлаждения еще увеличили и его совершенно не слышно даже при полной тишине в комнате.
Плюсы: очень производительный, работа в качестве плеера, большой объем хранения данных
Минусы: заметная цена для домашнего накопителя
Какие диски использовать?
В своем первом NAS я использовал диски WesernDigital серии GREEN, так как малая скорость вращения теоретически должна повысить ресурс накопителя. В последующих системах я пользовался дисками этой же компании сeрии RED, которая создавалась специально для работы в NAS: тут и большое время наработки на отказ и высокая производительность. Кстати, скорость работы с данными действительно отличается при работе с дисками обладающими скоростями вращения шпинделя 5400 и 7200 об\мин — это заметно не только на синтетических тестах, но и в реальной работе.
В последнем накопителе я решил отойти от традиций и попробовать новые диски HGST DESKSTAR NAS емкостью 3 Тбайт. (Правда HGST теперь принадлежит WD, но диски серии RED продаются отдельно.) Причем это минимальная емкость дисков этой серии, есть также диски на 4, 5 и 6 Тбайт. Напомню, что QNAP TS-451 поддерживает диски емкостью до 8 Тбайт. Но поскольку такого объема данных у меня пока нет и в ближайшей перспективе я вряд ли смогу заполнить даже 12 Тбайт данных, я остановился на младшей модели. Время наработки на отказ у этих дисков составляет 1 000 000 часов, а количество парковок головок 600 000. Таким образом, диски могут проработать, в лучшем случае, более 100 лет. Температурный режим для работы этих дисков варьируется от 5 до 60 градусов Цельсия, а в моей системе они работают на уровне 40-42 градусов.
Что касается скоростных характеристик, то более емкие диски на 5 и 6 Тбайт обладают большими скоростными показателями и большим буфером памяти 128 Мбайт против 64 Мбайт у моделей на 3 и 4 Тбайт. Тем не менее, даже младшие модели работают настолько шустро, что скорость чтения упирается в производительность гигабитного интерфейса NAS.
За сохранностью данных следят сразу два G-сенсора, распаянных на плате, которые призваны запарковать головки сразу же, как только параметры вибрации выйдут за пределы нормы. Что касается скоростных показателей, то диски серии HGST DESKSTAR NAS несколько опережают WD RED — сказываются новые наработки и опыт, так как WD RED являются, по сути, предшественниками.
Отдельно стоит сказать о вариантах поставки этих дисков. Они комплектуются по 1, 2 или 4 штуки. В моем случае, я взял диски по одному и был удивлен размерам упаковки, а после был приятно удивлен бережностью, с которой диски были упакованы.
Под катом фотографии упаковки диска и монтажа в систему. Заодно решил продемонстрировать крайне тихую систему охлаждения QNAP TS-451.
Заключение
Пользуясь NAS уже более 6 лет, я совершенно перестал следить за презентациями новых облачных сервисов. Новые компании дарят каждому пользователю от 1 до 20 Гбайт пространства в облаке, а в случае утечки данных никто ни за что не отвечает. Имея свой сервер, установленный дома или же в каком-то не очень доступном для всех месте, настроив правильную политику безопасности и разграничив права доступа, можно пользоваться собственным облаком и не зависеть от воли сторонних сервисов. Кроме того, снимается ограничение на объем хранимых данных. Пользуясь домашним NAS из любой точки мира я уверен, что легко смогу пополнить коллекцию фотографий или поставить на закачку новую коллекцию файлов. Регулярная синхронизация двух NAS между собой, которая выполняется по расписанию, гарантирует, что даже в случае утери одного из них (пожар, стихийное бедствие), я останусь с собственными файлами.
Буду ли я менять QNAP TS-451 на что-то другое? Возможно, со временем. На что-то более емкое, если 32 Тбайт в какой-то момент перестанет хватать, но даже текущий функционал перекрывает все мои требования к домашнему NAS.
Комментарии (105)
Raegdan
17.11.2015 11:18У меня самосборный NAS, полностью устраивает и менять на что-то готовое не хочется, разве что сделать небольшой апгрейд, о котором дальше.
Корпус — Bitfenix Prodigy: под mini-ITX маму, с 5 отсеками 3.5, шестой винт можно по-советски положить в 5.25 или заюзать переходник на 3.5, и три «кармана» 2.5 для SSD. Мать — на интегрированном AMD C-70 (аналог Атома) с гигабитной сетью. Винты — 4 зелёных трёхтерабайтника WD в двух софтовых RAID1. ОС — OpenMediaVault, установленная на две 8ГБ флешки, чтобы не тратить саты.
Теперь по поводу апгрейда: у процессора нет AES-NI, поэтому бутылочное горлышко возникает в скорости работы LUKS. Однако у большинства материнок miniITX с нужными процессорами только две саты, так что придётся брать ещё и PCIE контроллер.
navigator666
17.11.2015 12:06+1BitFenix Prodigy — это вообще вершина корпусостроения. Я его под vmware сервер использую.
Raegdan
17.11.2015 14:19Для хранения — да, но по поводу «вообще» — не могу согласиться. Материнка-то детская. Для числодробилки на видеокарте ещё можно. Для шлюза, медиаприставки или чего-то подобного такая тумба тоже не нужна — маленький mini-ITX корпус, с одним винтом и slim-блоком питания.
navigator666
17.11.2015 15:04Ну, я имел в виду использование под домашний сервер vmware. Для этих целей — идеал. ИМХО.
aik
17.11.2015 11:55+5Дорого. Настоящий гик соберёт себе NAS сам.
В крайнем случае — купит HP Microserver за 220 евро вместе с доставкой.
akubintsev
17.11.2015 12:52Можете подсказать, где именно по такой цене можно купить?
Raegdan
17.11.2015 14:09В Ситилинке по 17к, только что смотрел. Примерно так и будет в евро.
aik
17.11.2015 14:2917990 ;)
Raegdan
17.11.2015 14:32+3Чёртовы маркетинговые девятки. Я до сих пор не умею их правильно интерпретировать при беглом взгляде :(
aik
17.11.2015 14:37Я думал взять в ситилинке (правда тот, что за 18990, с четырьмя гигами). Но посчитал — и с доставкой он бы мне в 19500 обошелся бы, да еще полдня тратить на поездку до ближайшего пункта выдачи заказов.
Потом решил подождать месяц, но сэкономить 3000. Заказ у немцев обошелся примерно в 16200, придёт на почту.
aik
17.11.2015 14:28www.computeruniverse.ru/products/90620980/hp-proliant-microserver-gen8-819185-421.asp — 193, плюс 29 за доставку (придет по почте). ну там еще 3-5 евро комиссия за оплату, то есть 225-227 будет.
Либо можно взять в ситилинке — у них много куда доставка есть, но там несколько дороже будет:
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/851611 — 18 тысяч
www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/servers/327304 — 19 тысяч
Различие в количестве оперативки, 2 и 4 гигабайта. У немцев 4 гигабайта.
Но даже покупка микросервера в ситилинке обойдётся дешевле, чем покупка упомянутого в статье NAS.htol
19.11.2015 09:49Пользовался дома Gen8. Продал через месяц. Очень шумный, если использовать дискретный контроллер дисков. Тогда его встроенная система не может мониторить температуру дисков и повышает скорость вращения вентиляторов примерно до 30%, что очень дофига и громко. Если исмпольовать все встроенное и диски, которые отдают температуру по смарт, то все ок. Жить можно.
aik
19.11.2015 10:19Ниже сказали, что это уже исправлено.
В крайнем случае можно поменять вентилятор на более тихий, там даже паять ничего не надо, просто закоротить два контакта.htol
19.11.2015 10:31Нет не решена. Ниже говориться про AHCI режим. Я же говорю про отдельный контроллер.
aik
19.11.2015 10:39Если вы поставили дискретный контроллер, то и замену кулера осилите. Иначе какой вы гик после этого? :)
htol
19.11.2015 11:04Я пошел несколько дальше поставив свой контроллер и на вентилятор. А потом обратился в поддержку HP, что и стало окончательным решением об отказе использовать эту платформу.
aik
19.11.2015 11:20А я не вижу смысла из-за таких мелочей отказываться от довольно выгодного предложения.
Самосбор аналогичный будет не дешевле, как минимум. А цены мощные NAS'ы вообще в два-три раза выше. Да даже простенький длинк четырехдисковый стоит столько же.htol
19.11.2015 11:32Смысл есть всегда. Теперь у меня 64Гб оперативной памяти на платформе micro-ITX. Да, ценник выше, но не на много.
shuvaevgl
19.11.2015 13:25Вы там web-сервер подняли или кучу виртуалок запускаете?
htol
19.11.2015 13:29Много виртуалок. Небольшая домашняя лаборатория.
shuvaevgl
19.11.2015 13:36А какой софт используете для виртуалок?
htol
19.11.2015 13:54В зависимости от задачи, чаще всего бесплатный ESXi но есть и XEN/KVM/Openstack. ESXi потому что проще всего без бубна удалось запустить nested virtualization. На остальных тоже заработало, но намного позже.
Внутри разный софт для работы с сетями, около 30 инстансов маршрутизаторов. Трафик генератор. Большой NAS, который раздает потом диски по iSCSI, и содержит много еще чего сервисного, как web сервер например. Несколько машин, которые грузятся по iSCSI. RADIUS сервер.
aik
19.11.2015 14:35Если вам надо 64 гигабайт оперативки, то микросервер — это просто не ваше предложение. Он всё же микро.
orosz
23.11.2015 12:18Таможня заработает на посылках
За покупки в зарубежных интернет-магазинах дороже €22 предложено доплачивать €15
Задумался о срочной покупке.
shuvaevgl
17.11.2015 17:45Что-то мне подсказывает, что микросевер будет громче, даже если производительнее.
guglez
17.11.2015 19:49У меня есть микросервер в том числе — самая громкая деталь в нем — жесткий диск.
alexrett
17.11.2015 20:07Вот тут Вы правы. Стоит такой в шкафу уже третий год. Не скажу, что его прям очень слышно, но в полной тишине вполне себе ощутимо шуршит. Но правда и возможностей у него на порядок больше :)
aik
17.11.2015 20:17Вентиляторы там негромкие, а если хочется, то можно и на совсем бесшумные поменять. Но это, конечно, если вы туда не засунете xeon погорячее. :)
shuvaevgl
17.11.2015 20:39Особо оценил TS-451 за здоровый кулер и средние 450 об\мин при активной работе :)
aik
17.11.2015 21:06Microserver G7 почти бесшумный (после замены вентилятора в БП).
А вот с G8 извращенцы из НР наизвращались и скорость вентилятора завязали на RAID. То есть если винты не в RAID'е, то вентилятор постоянно крутится на максимальных. А если создать RAID из одного диска, то вентилятор скидывает скорость до 10-20%.
Что-то там на счет того, что биос не может измерять температуру винтов не в RAID'e.shuvaevgl
17.11.2015 21:34а датчика температуры нет? или ручного управления вентиляторами через тот же биос или внутренний софт?
aik
17.11.2015 21:58+1Так проблема в том, что температуру биос умеет брать с винтов только если они в RAID'е.
А если не знает температуру, то считает, что она высокая — потому и крутит вентилятор на максимальных оборотах.
Но вообще лично меня шум не особо волнует — всё равно сервер стоит в прихожей, чтобы не тянуть далеко в комнаты входящие кабели от всех провайдеров.
nitro80
18.11.2015 04:20Меня вопрос про шум всегда удивляет.
Зачем ставить файлопомойку там, где она мешает шумом?? Всю жизнь стоит компьютер на кухне на холодильнике, абсолютно никому не мешает, ибо звук с кухни просто не долетает
alexkuzko
17.11.2015 23:08Вы ошибаетесь. Ответственно заявляю что в биосе 2014-го эта проблема решена. Теперь скорость регулируется и для AHCI режима. Настраивал такой сервер на прошлой неделе. И как раз ставил туда xpenology.
Шум сервер издаёт только при старте, раскручивая вентиляторы до максимальных оборотов. Потом работает весьма тихо.aik
17.11.2015 23:15Это хорошо. У меня самого-то пока G7, G8 щупал в прошлом году, но себе созрел заказать только сейчас. Несколько часов назад выпущен с таможни в Калининграде. :)
alexkuzko
18.11.2015 09:21Если соберетесь устанавливать XPEnology и будут вопросы — можете задавать.
Помню, долго бился, пытаясь заставить клавиатуру работать. А не нужно было ;) Ведь после загрузки все управление через локалку! Такой мелкий нюанс, про который почти никто не пишет.aik
18.11.2015 10:46XPEnology точно ставить не буду, мне полноценная ОС нужна.
shuvaevgl
18.11.2015 10:48Для удаленной работы?
Мне не хватает только браузера в интерфейсе QNAP, чтобы удаленно серфить — бывает такая необходимость. VPN делать пока не хочуaik
18.11.2015 11:02Задачи — роутинг с поддержкой нескольких каналов, файлопомойка с автоматическим дублированием отдельных папок на разных дисках, торренты, виртуальные машины, vpn-сервер. Изредка — удаленное подключение для получения собственного рабочего стола (браузер там, офис, еще по мелочи что-нибудь).
Может быть еще plex media server поставлю, хотя пока не решил, нужно ли оно мне.
navigator666
17.11.2015 12:04А я вот уже лет 5 сижу на iOmega ix4-200d. В процессе эксплуатации (после того, как EMC продала iOmega компании Lenovo) перешил устройство в ix4-200d Cloud Edition. Полет нормальный. Единственный недостаток — поддержка далеко не всех дисков. Да и на сайте производителя HDD support matrix именно для моей модели просто нет в природе. А так, да — NAS — это здорово!
dMac
17.11.2015 12:06+3Тема бесперебойного питания для NAS совершенно не раскрыта.
Или такая задача не ставилась?
За статью спасибо, было интересноaik
17.11.2015 12:46А что особенного в бесперебойном питании для NAS'ов? Вопрос в получении данных с бесперебойника?
Soulveig
17.11.2015 12:54+1С UPS проблем то никаких, вставляете usb кабель от UPS в NAS, он определяется и работает. Synology DS1812+ \ APC ES 700G
shuvaevgl
17.11.2015 17:46У меня бесперебойник простой на 1000 VA — его заряда хватает на 8-12 часов. Любые авралы переживал.
xxxFeLiXxxx
17.11.2015 13:10+1Всё, что останавливает от самостоятельной сборки NAS — это необходимость ещё одного приложения на телефоне. С гуглом всё понятно — драйв идёт в комплекте, плюс Google Photos это очень удобно — захотел показать родственникам — расшарил в два клика. Покупаю 100 Гб для всей домашней коллекции хватает пока. Если бы можно было подключить собственное хранилище, но чтобы получать доступ через инфраструктуру гугл — было бы идеально.
Gavric
17.11.2015 13:15Можно синхронизировать папку на NAS c Google Drive. Но в этом случае, конечно, от гугловских ограничений по объёму никуда не деться. Ну и в качестве альтернативы доступ через Web-интерфейс всегда есть.
shuvaevgl
17.11.2015 17:48Доп приложение — эт не страшно, если сделано грамотно. QNAP еще пару лет назад не очень заморачивался с софтом под смарты, а сейчас утилиты вполне толковые. Особенно удобно по пути домой ставить новые торренты на закачку.
dMac
17.11.2015 14:16+1Попробую ответить за автора, ссылками в тему
geektimes.ru/post/256806
bash.im/quote/411292
geektimes.ru/post/256806/#comment_8576442
Ну и вот здесь, кажется, совсем ненормальный:
extrememediaservers.blogspot.com
guglez
17.11.2015 15:26+1Вставлю свои 5 копеек. Имею 6 кунапов в офисе. Старшие модели — TS-EC1279U (27 Тб доступного пространства в рейд6) и TS-EC2480U-RP (114 Тб доступно в рейд6). Мой вывод — для средней компании эти девайсы совершенно не пригодны. ИМХО кунап более чем на 2 или 4 (с натяжкой) диска — брать смысла нет никакого. Поясню:
прошивка кунапа основана на Linux (который очень знатно почикали). Но с какого-то перепугу там нету даже LVM. Управлять квотами эффективно нельзя — а это значит, что любой юзер у которого етсь доступ до вашего НАСА может положить всех юзеров, которые имеют доступ к тому же волюму. А по скольку гибко волюмами упроавлять вы не можете (LVM-то нет — вы врятли заходите разбивать ваши диски на много волюмов т.к. в этом случае вы будете терять впустую свободное место)
Нет поддержки снапшотов
Репликация работает очень плохо.
В прошивках имеются баги, которые проявляются особенно заметно под нагрузкой. Чего только стоит отвал всех волюмов при высоком IO.
Иногда отваливается вебморда — как выход — ребут.
Техподдержка вам понравится, если вы домашний юзер и не знаете как жамкать мышкой по вебморде.
Сообщения вида
5261950.895372] EXT4-fs (dm-0): error count: 1
[5261950.896221] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5261950.897097] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.181484] EXT4-fs (dm-0): error count: 1
[5348207.182353] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5348207.183240] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.850787] EXT4-fs (dm-0): error count: 1
[5434463.851701] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5434463.852518] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.529023] EXT4-fs (dm-0): error count: 1
[5520720.529855] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5520720.530680] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.187554] EXT4-fs (dm-0): error count: 1
[5606977.188435] EXT4-fs (dm-0): initial error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5606977.189277] EXT4-fs (dm-0): last error at 1438389614: __ext4_get_inode_loc:3503: inode 1906558979: block 30504649888
[5664324.422063] Set msys_nodify as 31743
[5664324.422937] Set msys_nodify as 31743
[5665809.126359] file[3237]: segfault at f74a63ac ip 00000000f7658da9 sp 00000000ffe54b34 error 4 in libc-2.6.1.so[f75f1000+12e000]
[5665809.131380] file[3239]: segfault at f747d3ac ip 00000000f762fda9 sp 00000000ff9eab24 error 4 in libc-2.6.1.so[f75c8000+12e000]
и
[109168.814261] EXT4-fs (dm-0): ext4_da_update_reserve_space: ino 1449200770, allocated 2 with only 1 reserved metadata blocks
[109168.814262]
[109168.815954] ------------[ cut here ]------------
[109168.816753] WARNING: at fs/ext4/inode.c:294 ext4_da_update_reserve_space+0x230/0x250()
[109168.817566] Hardware name: QV99
[109168.818346] Modules linked in: iscsi_tcp(O) libiscsi_tcp(O) libiscsi(O) scsi_transport_iscsi(O) iscsi_target_mod target_core_file target_core_iblock target_core_mod fbdisk(O) 8021q uvcvideo videobuf2_vmalloc videobuf2_memops videobuf2_core v4l2_common videodev v4l2_int_device snd_usb_caiaq snd_usb_audio snd_usbmidi_lib snd_seq_midi snd_rawmidi fnotify(PO) udf isofs iTCO_wdt rtcmod(O) cryptodev(O) thfsplus(O) tntfs(PO) ufsd(PO) pl2303 usbserial i915_hsw i2c_algo_bit drm_kms_helper drm intel_agp intel_gtt intel_ips agpgart flashcache(O) qdm_main dm_thin_pool dm_persistent_data dm_bufio hal_netlink(O) coretemp igb(O) e1000e(O) mpt3sas(O) mpt2sas scsi_transport_sas raid_class usb_storage xhci_hcd usblp uhci_hcd ehci_hcd
[109168.823562] Pid: 22304, comm: flush-253:0 Tainted: P O 3.4.6 #1
[109168.824439] Call Trace:
[109168.825328] []? ext4_da_update_reserve_space+0x230/0x250
[109168.826224] [] warn_slowpath_common+0x8b/0xc0
[109168.827115] [] warn_slowpath_null+0x15/0x20
[109168.827977] [] ext4_da_update_reserve_space+0x230/0x250
[109168.828870] [] ext4_ext_map_blocks+0x199b/0x1a30
[109168.829743] [] ext4_map_blocks+0x10a/0x390
[109168.830700] []? __switch_to+0x146/0x3f0
[109168.831647] []? _raw_spin_lock+0x9/0x10
[109168.832500] [] mpage_da_map_and_submit+0xd4/0xc00
[109168.833355] []? mpage_da_map_and_submit+0x6dc/0xc00
[109168.834204] []? read_tsc+0x16/0x40
[109168.835053] []? start_this_handle+0x4a7/0x4c0
[109168.835876] []? _raw_spin_lock_irqsave+0x2f/0x50
[109168.836713] []? delayacct_end+0x85/0xa0
[109168.837538] []? find_get_pages_tag+0xc1/0x150
[109168.838365] [] mpage_add_bh_to_extent+0x75/0xe0
[109168.839184] [] ext4_da_writepages+0x61b/0xa70
[109168.839997] [] do_writepages+0x33/0x70
[109168.840774] [] writeback_single_inode+0x10e/0x2a0
[109168.841582] []? _raw_spin_lock+0x9/0x10
[109168.842386] [] writeback_sb_inodes+0x145/0x230
[109168.843181] [] __writeback_inodes_wb+0x84/0xc0
[109168.843964] [] wb_writeback+0x1d3/0x1e0
[109168.844720] [] wb_do_writeback+0x108/0x1a0
[109168.845501] [] bdi_writeback_thread+0x66/0x140
[109168.846271] []? inode_wb_list_del+0x80/0x80
[109168.847022] [] kthread+0x99/0xb0
[109168.847754] [] kernel_thread_helper+0x4/0x10
[109168.848517] []? kthread_freezable_should_stop+0x60/0x60
[109168.849269] []? gs_change+0x13/0x13
[109168.850012] ---[ end trace 2bf021b85307c12f ]---
поддержкой игнорируются начисто. Никаких коментариев кроме «у вас что-то сломалось?» — нет. Как по мне это очень похоже на кернел баг, но я не девелопер и расшифровать не могу.
Сейчас я очень озадачен тем, как поставить на эти железки FreeNAS или хотя бы обычный Linux. Да, меня покусал ZFS и да, я считаю RAID устаревшей технологией. При современных объемах данных использовать RAID не очень эффективно.
Накипело.shuvaevgl
17.11.2015 17:52+1Про RAID вы так зря. У вас еще не подыхали три диска из четырех в RAID 10 :)
Админы делятся на тех, кто еще не делает бэкапы и на тек, кто уже делает (с)bash.org.ru
Raegdan
17.11.2015 17:53А как вы обеспечите сохранность данных в процессе износа винта? Я вот, напротив, не представляю себе, как можно хранить ценные данные не на рейде. Логика проста: конкретно взятый винт может сдохнуть внезапно, а два винта вряд ли сдохнут настолько одновременно, чтобы не успел среагировать админ. Отказал винт — спокойно выключил NAS и пошёл в магазин.
shuvaevgl
17.11.2015 17:56Некоторые системы не отключаются годами. Винты меняются на горячую. Поэтому только дублирование! Лучше трехкратное. Позволяют финанскы — четырехкратное.
guglez
17.11.2015 20:00Вы не решите задачу сохранности данных только лишь использованием рейда. У рейда есть свои проблемы. В данном случае следует упомянуть о том, что при ребилде рейда вероятность потерять все данные в массиве относительно высока. В случае ZFS например — файловая система сама будет заботиться о целостности данных в т.ч. будет решать т.н. проблему cold data corruption. Вы уверены, что ваш рейд контроллер решает эту проблему? Я — нет. Об этом писали на хабре еще году в 2008-2009. Например при создании аналога рейд0 при помощи ZFS в отличии от простого рейда сбойный блок на одном из дисков не приведет к полной потере данных. Вы потеряете только один файл, и вы будете знать какой. Так же рейд не защитит вас от ошибочных действий пользователя — например если кто-то удалит ваши файлы — то рейд тут не поможет. А если вы используете ZFS и снапшоты — вы легко переживете такую оказию.
aik
17.11.2015 20:23+1RAID — это не сохранность данных, а бесперебойность доступа к ним. Сохранность — это бэкапы.
Если вы выключаете систему при проблемах в RAID'e, то он вам не нужен. Лучше второй винт под бэкапы использовать — поможет не только в случае смерти винта, но и в случае, если что-то удалите, не так сохраните и т.п.
А RAID нужен тогда, когда вам нужна круглосуточная доступность. Сдох один из винтов — заменили, не выключая систему. Бэкапов это не отменяет.shuvaevgl
17.11.2015 20:41+1У меня боевой сервак на RAID 5, другой сервак на RAID 10. С обоих каждую ночь идут бэкапы на один NAS. И этот NAS дублируется вторым, стоящим за много километров… на всякий случай :)
И это… я не параноик, я из тех, кто «уже делает бэкапы»guglez
17.11.2015 20:48Тут где-то считали, что после выхода из строя первого диска в рейд5, вероятность выхода из строя (или возникновения ошибки чтения) может достигать 25%?
Ну и если в уравнение добавить SSD, то все может стать еще веселее. Тут сразу выяснится что определенные типы рейдов использовать практически бесполезно и что ваш контроллер скорее всего не сможет загрузить SSD по полной.shuvaevgl
17.11.2015 21:36собирал на сервере RAID5 в 2009 году. С тех пор менялись только правила файрвола, да добавлялись пользователи, настраивались группы. В начале этого года сдох винт, узнал это случайно от бухгалтерии (что-то 1С начала подтормаживать). Поменял сдохший винт и запустил Rebuilding. Больше бед не знаю. RAID на SSD — это из разряда небедной фантастики :)
guglez
17.11.2015 20:42Вас не смущает, что концепт рейда появился где-то в 80х годах? А кто-то может еще припомнить похожие имплементации из 60х.
aik
17.11.2015 21:10Нет, не смущает. А почему должно?
guglez
18.11.2015 16:06Ну это все равно что ездить на жигулях классике, когда можно дешевле на ракете полететь.
aik
18.11.2015 16:24Ну, во-первых, они как-то для разных целей нужны. Жигуль — на работу ездить и на дачу, а ракета — летать на луну и марс.
А во-вторых, концепт ракеты придумали еще китайцы 100500 лет тому назад со своими фейерверками. ;)
Acid_Jack
17.11.2015 18:28У меня самосборный NAS из китайского «атомного» неттопа и коробки на 8 дисков Mediasonic Probox, подключенной по USB3.0.
Ну и ищё ИБП до кучи.
На неттопе помимо функций NAS развёрнута ещё куча сервисов.shuvaevgl
17.11.2015 18:52То есть такой контроллер наверняка исключает RAID-массивы, а скорость чтения\записи ограничены производительностью контроллера sata-usb3. Не замеряли скорости чтения\записи при работе по сети?
Acid_Jack
17.11.2015 18:58RAID можно сделать программный, либо сразу взять коробку с аппартной поддержкой RAID (у них есть такие, у меня просто JBOD).
Основная задача — отдавать контент, т.е. больше чтение, чем запись. И в этом случае скорости для гигабитной сетки хватает с запасом головой. Запись же порядка 40-60 МБ/с. То есть заливать контент по гигабиту тоже норм.shuvaevgl
17.11.2015 19:07А как поведет себя программный RAID или JBOD при крушении одного диска? Просто интересно, сам использую только аппаратные решения, вспоминая, как на старых материнках поднимали RAID'ы, а потом материнки дохли и все данные… эх…
Acid_Jack
17.11.2015 19:11В JBOD просто отвалится точка монтирования. У меня такое уже было. Сдохли два знаменитых сигейтовских трёхтеребайтника.
Насчёт программного рейда сказать точно не могу, но могу предположить, что если это, например, будет RAID5, то сильно упадёт производительность, но данные выживут. Нужно будет как можно скорее заменить диск, потому как при выходе из строя второго диска, данные будут точно потеряны.shuvaevgl
17.11.2015 20:43А если сдохнет материнка, на котором поднят софтовый RAID?
aik
17.11.2015 21:11+2На то он и софтовый, чтобы от железа не зависеть. Меняете материнку и продолжаете пользоваться.
Acid_Jack
17.11.2015 21:52Ответили уже выше.
Да, проблем никаких в отличие от выхода из строя аппаратного рейда.
Более того, для ZFS как раз рекомендуют использовать JBOD.guglez
18.11.2015 16:16Не совсем так. Для ZFS настоятельно не рекомендуется ставить диски за рейд контроллер. В таком случае вы не сможете использовать большинство плюсов которые дает ZFS и начинаете жить с ее минусами. Например ZFS регулярно сверяет контрольные суммы и в случае обнаружения ошибки она попытается ее исправить. И если это не возможно — она отрапортует вам об этом. Ошибки могут быть как на самом винте, так и в контроллере и банально в плохих контактах у SATA кабеля. На серьезных серверах ZFS следует использовать с HBA контроллерами.
Acid_Jack
18.11.2015 16:28согласен
для заинтересованных, стоит почитать https://en.wikipedia.org/wiki/ZFS#ZFS_and_hardware_RAID
ssneg
17.11.2015 21:24система сообщила о заполнении пространства на 90% (максимум — 2 диска по 4 Тб). И я перешел к следующей модели.
Вспоминается анекдот про пепельницу.shuvaevgl
17.11.2015 21:38А там уж больше диски не вставить, а вот четырехдисковые модели и производительнее, и вместительнее
alsakharov
19.11.2015 21:48Имел дело больше чем с десятком разных моделей NASов, большинство было от QNAP.
Наиболее хорошее впечатление — от изделий QNAP и Synology.
Для домашнего использования возможность многих QNAP моделей благодаря наличию HDMI порта выполнять еще и функции медиаплеера может быть очень полезна.
В целом для домашних и small business систем QNAP выглядит очень достойно.
Из неприятностей — одна особенность политики производителя относительно техподдержки.
Есть два вида приложений, которые можно запускать на их NAS — разработанные QNAP и сторонние приложения, одобренные для использования на продукции QNAP. Если с поддержкой первой группы приложений (например Surveillance Station) проблем не возинкает, то при возникновении проблем с каким-то из приложений второй группы вы остаетесь со своей проблемой наедине. Техподдержка QNAP решать такую проблему отказывается. Об этом они открыто пишут, например, вот здесь qnap.ru/kb/4591
Но при этом приложение (в примере — Plex Media Server) присутствует в перечне продуктов, подходящих для установки на NAS qnap.ru/qpkg
Понятно, что разработчик платформы, на которую можно много чего поставить, не в ответе за приложения.
Но ситуация, когда вы устанавливаете одно из официально рекомендуемых приложений, а его поддержку получить не можете — она не самая приятная.shuvaevgl
19.11.2015 22:08Так рекомендуемая, а не выпускаемая. Может тогда обратиться к производителю софтины?
Ivan_83
21.11.2015 03:23Какая то реклама.
Вот мне не нужен только NAS, мне нужен ещё и роутер и файлопомойка и торентокачалка и место где можно что то собрать и ещё много всяких хотелок.
1. Энергопотребление!?
Шутите!?
Нахер эти армы/мипсы, есть атомы, есть интелы с Т на конце, есть пачка разных АМД с ТДП до 20 Ватт.
То что убогий арм/мипс будет жрать 3-5 Ватт и еле ворочится при этом, иметь ноль возможностей апгрейда/замены/расширения того не стоят ни разу.
Те вот эти несчастные 10-15 Ватт экономии, при том, что сами диски Ватт по 5/штука жрут и их 6-10 штук они вообще ниочём.
А если союда посчитать что оно заменяет ещё и очень приличный роутер то приемуществ у чисто NAS не остаётся.
И в старших моделях NAS как раз атомы лепят.
2. Апгрейд — уже написал выше, его фактически нет для готовых NAS.
3. Ремонто пригодность — никакая. Если фирменный NAS дохнет и там был рейд да ещё и шифрование то хз как там данные вытаскивать.
Для самосбора достаточно подключить диски к почти любому живому железу коего полным полно или вообще ограничится заменой только того что сдохло.
4. Софт: у FreeBSD портов 22к+, у линухов явно не меньше всякого, а в насах производители и сотню осилить не могут.
5. Всякие плюшки: типа рейдов и шифрования — как пожелает производитель. И тоже шифрование не факт что стойкое и не факт что у железки есть аппаратный ускоритель, а без него это грустная история которую разве что на 100 мегабит будет не заметно.
6. Корпус, корзины — всё это спокойно покупается в магазинах.
Готовые «домашние сервера» — считаю чистым маркетингом: всё, кроме KVM и так доступно, знай только настраивай себе.
Температуру дисков легко читает smartctl и демон из этого же набора утилит тоже + демону можно задать пределы температуры и прочих параметров чтобы он алармировал.
Температуру проца — легко, на фре через sysctl читается.
Температуры с датчиков, обороты вентиляторов — есть какой то софт, в принципе и самому не сложно накорябать.
Встроенная сетевушка — на фре через sysctl через драйвер видно все ошибки и стату. Тестить кабель нельзя, но для этого лучше управляемый коммутатор подходит.
У меня в домашнем сервере самый долгоживущий компонент — корпус, ему скоро будет 10 лет. Бигтауэр от асуса/термалтейка. Смысла менять его в ближайшие лет 10 не предвидется, вот когда SSD станут дешевле и не менее надёжны чем обычные диски тогда скорее всего можно будет подумать об этом.
За это время начинка вся переминалсь несколько раз и я думаю ещё не раз сменится в будущем.
Но делаю это я спокойно в рамках эволюции и не дорого, в отличии от покупки готовых NAS/«серверов».
Притом иногда случают даунгрейды: раньше у меня стояла мать на G33+ICH9R + CoreDuo/DualCore проц и винда, потом винды не стало и фря там скучала 99% времени, поэтому новая мать E35M1-M на проце E-350 сильно слабее, зато жрёт тоже меньше. Она тоже скучает почти всё время простаивая без нагрузки :)
Вот сейчас я не спешно смотрю чтобы такого взять чтобы было достаточно SATA/PCI-E портов и был AES-NI в проце (или возможность такой проц поставить).
Когда возьму, то весь апгрейд сведётся к простой замене матери и её настройке, в системе врядли придётся что то перенастраивать.
О корзинах.
Я брал корзину на пять 3,5 дисков которая занимает 3 отсека 5,25, без салазок/контейнеров: просто открываешь и диск сам высовывается, вставляешь, закрываешь и всё.
Корзина вышла немного (~20%) дешевле диска на 4тб…
Есть ещё корзины под диски 2,5, они вообще компактные: корзина на 4 диска 2,5 занимает всего один 5,25 отсек. Но их время ещё не пришло.
О RAID.
Только средствами OS.
Мне посчасливилось и я не сталкивался с проблемой когда контроллер/мать которая делала RAID сдохла а точно такой же нет, но я в ощем не хочу даже думать о всех плясках и нервах по восстановлению/вытаскиванию.
Средствами OS всегда проще переносить/вытаскивать.
Шифрование
Тоже средствами ОС (не винды/мака/андройда). Производители дисков слишком плевать хотели/рукожопые и не вызывающие доверия чтобы им это доверять. А писать свою прошивку для контроллера дисков… не целесообразно только для себя любимого.shuvaevgl
21.11.2015 11:05Все это хорошо, когда приносит удовольствие ковыряться с собственным домашним сервером. Есть сегмент пользователей, которые вообще не знают и не хотят знать, как это работает. Есть сегмент юзеров, которые знают, как это работает, но хотят за минимум времени получить максимум результата. Собственно для таких и есть готовые решения.
Где-то год назад на хабре проскакивал материал по самостоятельной сборке сотового телефона из Arduino+GSM шилда — тоже интересно, но большая часть людей пойдут и купят простую трубку за 500-1000 рублей, чтобы просто позвонить.Ivan_83
23.11.2015 07:04Минимум времени и максимум результата это скорее про самосбор, особенно если собирать из того что дома валяется и потом неспешно апгрейдить.
Те чтобы собрать NAS нужно собрать железо и настроить, так как привычно.
В этом смысле многим ощутимо дольше добиратся до магазина где по дешевле лежат тот самый нас, который так долго выбирали, и потом ещё разбиратся с его настройкой.
Отдельно меня сильно давит жаба брать готовый NAS за те деньги за которые их продают. А продают их очень сильно по завышенным ценам.
Сравнивать NAS с arm/mips по ценам конечно сложно, но можно примерно посмотреть что стоят роутеры со схожей начинкой, и окажется что роутер премиум класса стоит раза в два дешевле простенького NAS, а ведь премиум класс и так с накрученным ценником.
А уж если сравнивать с NAS на базе ATOM то это нереальная жопа получается, там разница такая что можно не только железо купить но и за работу по установке и настройке FreeNAS бабла отвалить и ещё останется на обмывку покупки.
Я в своё время рассматривал Asus M2 чисто как платформу для экспериментов, стоил он тогда 7 тыщ руб. Несчастная плата с мипсом и памяти там 128 или 512 и какая то флешка, и всего два диска.
За эти деньги можно было спокойно взять атом, память, корпус и флешку и получить платформу намного производительнее и гибче.
А кто не шибко разбирается может накатывать тот же FreeNAS на имеющееся железо.
Поддержка и функционал намного выше, как и ремонтопригодность.
Кто совсем не разбирается скорее всего пользуется всякими юзби дисками, им так проще и понятнее.alsakharov
23.11.2015 11:56Я некоторое время назад делал upgrade небольшого сервера c аппаратным RAID, 16Gb RAM, Intel I7 процессором и 10G Ethernet. Сделал, посчитал затраты, и потом зачем-то сравнил по цене с 8 дисковым QNAP, благо он под рукой окзалался.
И сильно, помню, меня результата расстроил. По деньгам и потраченному времени.
alexpp
А в сторону Synology не смотрели? Почему остановились на QNAP?
shuvaevgl
Когда выбирал первый NAS, интерфейс у QNAP показался более удобным. А в работе частенько руководствуюсь принципом: «Работает-не трогай»
ssneg
Синология очень сильно продвинулась в плане интерфейсов (DSM 5.x — очень удобный веб/графический интерфейс поверх линукса)
htol
А как у него с шумом?
shuvaevgl
Вы про какую модель?
htol
Про последнюю QNAP TS-451.
shuvaevgl
Вообще не слышно. Сейчас стоят 3 из 4 дисков по 3 Тб. При активной нагрузке кулер так и остается на минимальных оборотах 450 об\мин.
Gavric
Synology как-то подозрительно подтормаживать стала в своём развитии. HDMI-выхода у них нет, большой вентилятор они для охлаждения использовать не хотят, да и x86-процессоры ставят лишь в самые топовые модели. Плюс, цены на Qnap в России получаются получше.
Ну а в остальном что Qnap, что Synology — функциональность аналогична. Ещё и ASUStor есть очень похожий.
Raegdan
Операционка DSM прекрасно ставится на любой х86. Достаточно загрузиться со специального образа XPenology и поставить штатную ось с помощью штатной утилиты. Даже патчить образ не надо, и образ и установщик берётся прямо с сайта синолоджи. Я её не использую только потому, что проприетарщина, но если вам это не проблема — всё делается за 10 минут без каких-либо особых требований к навыкам.
Gavric
Речь не про софтовую часть, а про железку, которая у Synology развивается медленно. А к DSM никаких претензий нет — там всё на современном уровне вполне, а чего не хватает — добавляется через плагины. Просто исходный-то вопрос был о том, чем Qnap лучше Synology.
ssneg
Многие выбирают Synology за «свой локальный дропбокс», видеонаблюдение «из коробки» и мобильные приложения «из коробки». И вообще в DSM (ось от синологии) регулярно появляются приятные плюшки.
А железо и правда «консервативное» по функциональности.
Неприятно только то, что при 90%+ заполнения дисков синология начинает жутко тормозить. Не знаю, как там у QNAPP.
shuvaevgl
QNAP в этом плане приятнее — просто выскакивают оповещения в интерфейсе (забивал на 97%) и на почту приходят уведомления, если настроить.
Видеонаблюдение на две камеры, кажется, идет по умолчанию. Для дополниельных камер просто докупаются лицензии, про свое облако я писал… в общем-то идут параллельными курсами