На сегодняшний день вышеупомянутый продукт коллективного труда дорос аж до BETA2 и уже неспешно-стремительно движется к своему релизу. Если вам интересно, что же там «напридумывали» разработчики — добро пожаловать под кат.
disclaimer: Продукт активно развивается и вся предоставленная ниже информация актуальна на дату написания статьи — 28.11.2016
Итак, кому уже сейчас не терпится прощупать вполне вменяемую и относительно работающую версию — качаем самый свежий Nightly-билд — https://download.freenas.org/10/MASTER/latest/x64/ или же с официального сайта, где нам изложат всю суть релиза в одной фразе — not for production
Предупреждают нас, что данная версия FreeNAS не для продакшена (not for production) — не просто так. Я постоянно слежу за обновлениями и читаю отзывы о том или ином билде, и за последние месяцы активности проекта мне удалось застать пропадающие docker-контейнеры, отказывающиеся работать виртуальные машины, отваливающийся GUI и много других неприятных моментов, которые неизбежны на beta-стадии разработки.
Интерес ещё не пропал? Тогда продолжим.
Текущая версия FreeNAS-10-MASTER основана на FreeBSD 10.3-STABLE и имеет чрезвычайно приятный user-friendly интерфейс, основные моменты которого показаны на видео (рекомендую начать с 4:47).
С момента выхода версии FreeNAS 9.10 немного возросли системные требования. Минимальные системные требования для работы FreeNAS 10:
- процессор с поддержкой 64-bit
- система с поддержкой загрузки через legacy BIOS или EFI
- 8 GB RAM*
- 8 GB USB stick или DOM или CF (не рекомендую)*
- хотя бы один диск для хранения данных
- порт Ethernet для сетевого обмена
Рекомендации по объёму оперативной памяти:
- память нужно рассчитывать из условия 1-2GB RAM на 1TB хранилища
- если нужна ZFS дедупликация, то считаем 5 GB RAM на 1TB дедуплицированного хранилища
- если планируете Active Directory с большим числом пользователей, то необходимо дополнительно 2 GB RAM для внутреннего кеша winbind
- если планируете использование iSCSI и производительность не критична, то устанавливайте как минимум 16GB RAM, если нужна производительность — минимум 32GB RAM
Я отметил * несколько важных моментов, хотелось бы их уточнить.
— "… the new recommended minimum size for the OS device is now 32GB (up from 16GB). The absolute minimum is still 8GB" — это означает, что теперь необходимо минимум 32GB для загрузочного устройства, абсолютный минимум по прежнему 8GB. источник
— если вам нужны все прелести ZFS и FreeNAS — рекомендованный стартовый объём памяти 16GB, рекомендованный тип памяти — ECC и это не обсуждается только в том случае, если ценность ваших данных отлична от 0 и вы «храните все яйца в одной корзине», в остальных случаях вы можете использовать non-ECC память на ваш собственный страх и риск!
Если с системными требованиями вроде бы всё ясно и понятно, то подбор железа для корректной работы может вызвать затруднения. В случае подобных проблем можно обратиться к FreeBSD Hardware Notes, где подробно расписаны поддерживаемые устройства. Так же у проекта есть форум и даже русская ветка, где вам смогут помочь с тем или иным вопросом, касающимся FreeNAS.
Пробежимся по элементам меню нового webGUI Freenas 10 (картинки кликабельны):
После входа по адресу машины или freenas.local нас встречает незамысловатый Dashboard, который можно настроить на своё усмотрение.
В меню Storage можно удобно сконфигурировать массив и настроить файловые шары, разработчик рекомендует использовать dataset'ы вместо directory-sharing.
Далее, в меню Accounts мы сможем настроить пользователей и их группы, так же есть возможность подключения различных Directory Services.
В меню Network мы можем настроить сетевые интерфейсы, создать VLAN, LAGG, BRIDGE.
Раздел System позволит настроить нашу систему более детально: посмотреть статистику, изменить имя хоста, выбрать пул для загрузки (помогает при неудачных обновлениях), произвести обновления, часовой пояс и время, доступ к веб-интерфейсу, сертификаты, информирование по e-mail, и даст возможность отправить баг разработчику.
Раздел Services приведёт нас к настройкам основных служб передачи файлов, управления системой и шар.
К слову, мне удалось без проблем поднять свой старенький домашний ИБП FSP VESTA 600.
Раздел Console позволит прямо из браузера получить доступ к FreeNAS CLI или же к shell.
Calendar по сути будет являться планировщиком, где можно гибко настроить расписание на обслуживание и диагностику хранилища (регулярная проверка smart, расписание проверки обновлений, создание снэпшотов, rsync, реплика).
В разделе Peering можно настроить связь с другими машинами или же с amazon-s3.
В разделе VMs можно управлять виртуальными машинами.
Не забыт и всеми любимый Docker — в соответствующем разделе можно управлять контейнерами, что может оказаться крайне полезным.
В последних редакциях появился Wizard — помощник по первоначальной настройке хранилища.
Более подробное описание некоторых функций есть на видео:
Выводы
На рынке много enterprise-ready систем хранения данных, таких как QNAP, NetApp, Synology и т.д. У некоторых из них продуманные и удобные интерфейсы, но новый FreeNAS 10 получился с весьма красивым, удобным и user-friendly лицом, однако количество багов и запланированных фич на сегодняшний день достаточно велико. Если заглянуть на официальный багтрекер, то можно увидеть приблизительный срок завершения работы над релизной версией — "В срок около 3 месяца (20.02.2017)". Из текущих недостатков сразу бросается в глаза невозможность обновиться с ветки 9.Х до beta 10.Х, но разработчики планируют данную функцию ближе к релизу, если конечно подобный «переход» вообще будет возможен.
В общем, смотрите, изучайте, тестируйте и не забывайте отписываться о багах.
Комментарии (70)
SyavaSyava
29.11.2016 09:55+6Выглядит интересно, но меня, как человека «со стороны» — системные требования мягко говоря озадачили.
Мнение, что всё Linux-based (тут FreeBSD, но не суть) работает на чём угодно и потребляет мизер ресурсов — уже преподносится чуть ли не как аксиома.
В то же время мой «NAS» на WinServer2012R2 c 12 ТБ хранилища на базе Storage Spaces с ярусным хранением (быстрый SSD ярус), дедупликацией и прочим, отдающий тома по iSCSI 10G Ethernet — работает на каком-то Pentium с 4 ГБ оперативной памяти (не используя из них даже и 1 ГБ), занимает на диске 13 ГБ с файлом подкачки (это с GUI) и превосходно интегрируется в домен, не требуя каких-то заметных глазу дополнительных ресурсов.
Для FreeNAS же, как я понял, мне понадобилось бы для этого 94 ГБ оперативной памяти (5х12 ГБ для «ZFS дедупликация», 32 ГБ «если нужна производительность iSCSI», 2 ГБ «для внутреннего кеша winbind») и 32 ГБ под системные нужды. Процессор пока не ясен, пусть будет прежний.
Я тут посчитал на досуге — 90 ГБ ECC DDR3 RAM стоят от 35-40 тыс. рублей, стоимость полноценной лицензии WinServer2016 Std — ок. 40 тыс. рублей.
Я ни в коей мере не хочу раздувать холивар — но мне искренне непонятно, откуда такие требования к по сути файловому серверу?
ikormachev
29.11.2016 10:04Ничего не мешает запустить фринас на указанной вами конфигурации. Насколько я понимаю, в статье речь идет о конфигурации, обладающей максимальной производительностью.
Sergey-S-Kovalev
29.11.2016 11:51Позвольте я отвечу, почему FreeNAS 10 требуется так много памяти для дедупликации:
Быстрый поиск и чтение первой попавшейся статьи про ZFS Deduplication говорит нам о том, что ZFS поддерживает синхронную (in-line) дедупликацию, т.е. проверка дублирования блоков происходит на лету. Если блок существует в кэше, то на диск он не записывается (ну акромя ссылки). Все это работает прозрачно для приложений и данных.
Сами понимаете, что этот процесс ресурсов это кушает много, хэш блока данных нужно быстро высчитывать процессором и искать в кэше (который для повышения быстродействия хранится в оперативной памяти). В итоге скорость записи на том ограничивается производительностью процессора и доступной памятью под кэш. Если кэш хранится на диске, то считывать его каждый раз (пускай и с оптимизациями выборки) себе дороже — это просто убивает производительность дисковой подсистемы.
В то же в время в Windows Server нет дедупликации на лету, там дедупликация и сборка мусора это два разных процесса запускаемых в разное время. Т.е. мы пишем данные, потом в сервисное время проходимся по всему набору данных и ищем одинаковые блоки, дедуплицируем их. Последующая сборка мусора высвобождает место от блоков которые были продедуплицированы.
Поэтому дедуплицируемые тома Windows Server очень подходят к файлопомойкам, и не подходят для бэкап стороджей, если свободного места меньше двух полных бэкапов всех данных в сутки (при условии что время бэкапа + время дедупликации + время сборки мусора меньше суток)SyavaSyava
29.11.2016 15:24Спасибо за ответ, теперь с учётом онлайн-дедупликации понятны её аппетиты.
Штука крутая, но выглядит крайне непредсказуемо. Данные «внезапно» могут оказаться «не-дедуплицируемыми», и мы получим аномальную запись на том, которая может быстро исчерпать свободное место.
Всё-таки офлайн-процесс, типа как в Windows Storage Spaces, представляется мне более безопасным и прогнозируемым, и идеально подходящим для относительно «холодных» данных.
Думаю что и для ZFS можно использовать аналогичные механизмы, тогда и требования к памяти будут более разумные.
А для горячих данных я пожалуй воздержусь что от онлайн, что от офлайн-дедупликации.Sergey-S-Kovalev
30.11.2016 07:02Windows Storage Spaces и виндовая же дедупликация это независимые друг от друга вещи. Одно другого не требует.
Дедупликация вполне предсказуема, если знать противопоказания: архивы, медиаданные, шифрованные файлы, т.е. все что содержит уникальный сжатый набор данных на каждом отдельном файле.
Преимуществ много, но они несколько специфичны и требуют понимания как это работает, да и затачиваются под конкретные процессы. В зависимости от возможностей системы резервного копирования скорость бэкапа на дедуплицируемое хранилище может ускоряться в сотни раз и узким местом будет всегда являться источник.
Tabletko
29.11.2016 11:57ZFS кеширует случайное чтение в память. Так же дедупликация происходит онлайн. Таблицу дедупликации тоже нужно держать в памяти. Отсюда и такие требования к памяти. По поводу SS — сколько дисков он может потерять до развала массива?
vjjvr
29.11.2016 11:58Оно может потреблять мизер.
На файловой системе ext, на файловой системе ufs
Но если вы хотите чтобы все круто работало и были задействованы волшебные фичи, к примеру, до сих пор непревзойденная фича ZFS с её концепцией «файловая система и есть RAID, а других нижестоящих RAID нам и не нужно», кэшированием SSD, дедупликацией и снэпшотами — то памяти крайне желательно.
Кроме того, не забывайте, что здесь подразумевается «enterprise»-использование.
Для дома же можно и поджать требования — и вы даже не заметите разницу.
Но — для дома.pansa
29.11.2016 21:19+1ZFS, безусловно, хороша, но все забывают сказать про её волшебную фичу «когда массив занят на 80% запись превращается в тыкву».
Особенно это прекрасно на стораджах на 50-100тб, когда про 10-20тб вам придется забыть.
Адепты вам скажут, что не надо так делать. Но что делать, если мне таки надо? Увы.BasilioCat
29.11.2016 22:02Если надо занять 99% диска для энтерпрайз-использования — это повод задуматься о смене работы =) Вообще говоря все файловые системы в здравом уме резервируют свободное место, и NTFS при полном забивании диска тоже будет тупить. А на домашнем NAS с zfs и полное забивание диска не приводит к полной остановке хранилища, скорость записи и чтения остается приемлемой. Но такая особенность присутствует, надо просто о ней помнить.
pansa
29.11.2016 23:43Почему? У нас набор статичных данных для анализа. На XFS я забиваю под горлышко — и всё прекрасно и замечательно. Задуматься, конечно, можно, думать вообще полезно. Но не по этой причине.
И резервирование здесь ни при чем, это следствие copy-on-write. Он имеет плюсы и минусы. А все говорят только о плюсах — это не честно.
Домашний zfs я не очень понимаю. Без ECC памяти — ну его нафиг, а ECC либо сильно сужает выбор платформы, либо неплохо поднимает цену.BasilioCat
30.11.2016 10:49Вы говорите о вполне узком случае. Могу тоже рассказать про кэширующие сервера, для которых был выбран XFS, потому как на ext4 удаление файла — долгая блокирующая операция, и один тред nginx, чистящий кэш, не успевал его чистить. Есть сценарии для применения XFS, есть и для ZFS. Я, например, не представляю, как бы я держал девелоперские копии продакшен БД без клонов — объем базы большой.
Что касается домашних NAS, то HP Microserver — наш выбор ;) Память ECC, но встает и обычная. Ну дороговат стал, но и харды сейчас недешевые.
Да и потом, сбой в одном байте на фотке или фильме с торрента — не критичен совершенно. А полное разрушение файловой системы от сбоев памяти — все же большая редкость.pansa
03.12.2016 15:08> А полное разрушение файловой системы от сбоев памяти — все же большая редкость.
Может у вас есть статистика?
А выход из строя двух разных серверов в интервале 10 минут — это редкость? А вот я наблюдал лично. И я — лично — не хочу проверять теорию вероятностей на архиве фоток моего ребенка (да да, я делаю несколько копий на географически разнесенных серверах, но я намеренно упрощаю).
В конце-концов, вам разработчик английским по белому пишет — если ZFS, то нужна ECC память и не обсуждается. Так, чисто логически, если мне не верить, не просто же так они это написали, верно?
Zonov
30.11.2016 12:43Домашний zfs я не очень понимаю.
Делаем ежесуточные снапшоты. Поймали вирус-шифровальщик на свой ноут, обана! А снапшот вчерашний на NAS есть, вот они, нетронутые фоточки котиков моих!
Даже без ECC и на одном диске уже появляется дополнительный панцирь.
Вам не приходят письма из налоговой «01.12 последний день оплаты налогов физлицами, а у вас за недвижимость недоплачено 3руб 35коп!» и ссылочка, которая выглядит как живая, а ведет… Ну мы не нажмём, потому чтоналоги еще в сентябре заплатили!умные, а Машенька?
DikSoft
30.11.2016 20:52— а у Машеньки админ включил Software Restriction Policy. ))
Но иметь копии «на вчера» — всё равно, очень полезная возможность.Zonov
30.11.2016 22:40-1Ах шалун… К Машеньке значиццо он полиси настраивать, пока её суровый муж-лесоруб на вахте? Ох, вернется он без звонка пораньше! Лучше уж снапшоты. ;-)
Не взлетит эта полиси, вылезет стандартное «админские привилегии даем?» и она топнет Дык-ёлы-палы!. Дальше вирус начнет шифровать на \\homebackup\kotiki\ файло и, что характерно, всё зашифрует! И вот тогда уже можно снапшотик откатить, когда муж сам позвал, водку охладил и Машеньку заставил пельмешков сварить.
Безопасность же — прежде всего. Комплексная, отож!Shaz
30.11.2016 23:25+2Почему это не взлетит? В этой самой полиси запрещается запуск всего и вся кроме того, что находится в Program Files. И в этом случае вылезает ток одно окошко — с посылом нах.
Zonov
01.12.2016 13:20Вы админом работаете? Набор:
Вас таки застукал муж идал по мордевыгнал так, что больше к Машеньке ни-ни. Венда поломалась, она позвонила по бумажке из почтового ящика «частный компьютерный мастер Ваня», пока Ваня восстанавливал ноут, вам икалось.
Муж свалил кедровую поляну, получил премию и купил ей новый ноутбук с вин-10 и она радостно стала настраивать на нём любимые ффконтактики.
К Машеньке сюрприз!-сюрприз! ходите не только вы, но и Костя со своим ноутом, который он цепляет к домашнему вайфаю. Она такая, у неё пунктик насчет ИТшников.
Муж стал начальником участка и с первой новой зарплаты купил Машеньке айфон-8 с иос-12 и там-таки маркетолухи заставили инженеров сделать дыру и обана! вирус!
Машенька обнаружила на топорище губную помаду, на два тона отличающуюся от её, устроила эль-скандале и потерла все фоточки свадьбы и котиков. Потом выплакалась, остыла, простила, вспомнила вас, Костю, раскраснелась от стыда (муж подумал, что от его объятий), а фоточки уже тю-тю.
Куды бечь? В то время как от всех ситуаций моё решение снапшотиков — лечит.
Не благодарите, я вас виртуально обидел в первой гипотезе. ;-)Shaz
01.12.2016 14:24+1Честно? Еще с самого начала той жуткой истории про Машу, я для себя решил что «бечь» нужно от нее, ее ноута, и как можно дальше.
И как правило, таких Маш и их мужей не спасут и снапшоты: во первых они таких слов боятся, во вторых все равно делать не будут, в третьих — очередной «мастер Ваня» и снапшоты поудаляет.
А если рассматривать вариант что это не Машин домашний ноут, а рабочий ПК?Zonov
01.12.2016 18:21Тогда два (3, 4, ...) диска, ECC-память и прочее. Я же «зачем дома zfs» фантазирую, а вовсе не о Машеньке! (вздыхает) ;-)
ЗЫ: снапшоты делает NAS по расписанию.
pansa
03.12.2016 15:02+1Спасибо, что такое снапшоты и крипторы — я в курсе. «Не понимаю» относилось не к тому, что я не понимаю, как это работает, а «зачем оно в нашем зоопарке».
«Даже без ECC», я вас, вероятно, расстрою, вы имеете далеко не нулевой шанс потерять сразу весь пул, вместе с вашими снапшотами, тк ZFS безоглядно доверяет значениям в памяти. При этом нужно помнить, что чем больше памяти, тем больше вероятность поймать ошибку. Именно поэтому для ZFS память должна быть с ECC.
А снапшоты, внезапно, даже windows давно умеет делать. Да, не такие, как ZFS, да — эти снапшоты первым делом пытается удалить любой мало-мальски умный криптовальщик. Но, поверьте, это максимум что сможет освоить Машенька. FreeNAS — не для неё.
Zonov
04.12.2016 12:23Сам фринас не для Машеньки. Но NAS с ним унутре с галочками в веб-морде:
"[ ] защита котиков" и мелким шрифтом ниже: Вы соглашаетесь с тем, что количество поместившихся котиков в корзинке может быть уменьшено.
«Через [ ] дней прогонять старых котиков из корзинки»
Стартап? Отож! 8-)
Я не могу отвечать за все сервера в мире, но у моих клиентов стоит несколько HP microserver gen7, там есс нет, а zfs есть, только оно nas4free. Это для «бекапа в дальнем углу офиса» и я осознаю опасности и это все льется наружу. А еще есть боевая машинка на обычном i7 под всякие owncloud и прочий хостинг, зеркало zfs на 2 дисках, там аптайм эээ… 576 дней, пережила несколько обновлений мира (из сорцов), может даже фришка не 9.х была, а когда-то 8.х. Честно не помню. Не показатель совершенно, это ОДИН сервер и нельзя его распространять на весь мир. Но пашет и пашет.
Но _И_ потеряли nas/zfs _И_ Машенька криптолокернулась — для дома не слишком дорого защитить произведение вероятностей памятью есс? Дешевле мне домой лить ее котиков на мой nas, а я своих на ее nas. Ну шифруя, как в существующих распределенных хранилищах.
Вообще спасибо за тайные знания про "без есс может быть ква", я поизучаю и может эту, с аптаймом 576, буду регулярно ребутить.
guglez
05.12.2016 16:14HP MicroServer с ЕСС памятью выйдет примерно в 2 раза дешевле, чем какой-нибудь синолоджи или кунап (будь он не ладен).
Lordbl4
29.11.2016 12:08По поводу ресурсов, не углубляясь в прожорливость ZFS, могу сказать следующее — в простое потребление памяти 600-800Мб, при нагрузке не замерял. если у вас просто файловые шары на ВинСервере с нагрузкой на дисковый кэш (если я правильно понял) — то потреблению ресурсов просто неоткуда взяться.
Касательно подсчёта объёма оперативной памяти — создатели FreeNAS рекомендуют такие объёмы памяти для того, чтобы их софт производительно работал и отвечал Enterprise-ready стандартам
Минимальные требования приведены в статье — это 8гб RAM + 8гб USB стик + что-то, на чём планируете хранить данные (жесткие диски). Для «дома» такой конфигурации более чем достаточно, хотя если у вас острая потребность в iSCSI — вам виднее :)vjjvr
29.11.2016 13:06При том, что я лично запускал ZFS на Фряхе 32-битной на 2 Г.
И оно работало — несмотря на то, что это в разы (по битности и по объемам) меньше рекомендуемого минимума.
Разумеется, это было не особо энтерпрайзно.
vjjvr
29.11.2016 13:25> В то же время мой «NAS» на WinServer2012R2 c 12 ТБ хранилища на базе Storage Spaces с ярусным хранением (быстрый SSD ярус), дедупликацией и прочим, отдающий тома по iSCSI 10G Ethernet — работает на каком-то Pentium с 4 ГБ оперативной памяти (не используя из них даже и 1 ГБ), занимает на диске 13 ГБ с файлом подкачки (это с GUI) и превосходно интегрируется в домен, не требуя каких-то заметных глазу дополнительных ресурсов.
Это не полный аналог.
Скажем таких снэпшотов и такой дедупликации у Windows нет.
FreeBSD способна на том же железе примерно так же работать. Интеграция с доменом по понятным причинам у Windows скорее даже лучше.
> Для FreeNAS же, как я понял, мне понадобилось бы для этого 94 ГБ оперативной памяти (5х12 ГБ для «ZFS дедупликация», 32 ГБ «если нужна производительность iSCSI», 2 ГБ «для внутреннего кеша winbind») и 32 ГБ под системные нужды. Процессор пока не ясен, пусть будет прежний.
Рекомендуется 64-бита. Но это не обязательно.
Я запускал и на 32-битах.
Вы как-то не так подсчитали память 96 Г там не нужно.
Чтобы это шевелилось хоть как нибудь — достаточно и 1 Г, проводились такие эксперименты.
Все прочие рекомендации — это прямо-таки оптимальный оптимум.
Который и для Windows будет выше, если следовать всем правилам.
Shaz
29.11.2016 10:01+1Ну просто у меня есть небольшой опыт использования FreeNAS (9.10) в качестве таргета ISCSI и там удается обходится 4ГБ RAM, правда и нагрузки на него особой нету — 4-7 VM всего крутится.
Barafu
29.11.2016 10:58+1Чего-то вы там перемудрили. У меня домашняя помойка на UnRAID, хотя можно было и самому на Линуксе собрать с такими же параметрами. На 10 Тб винтов — 2 Гб памяти. Операционка на флешке — занято 200Мб. Дедупликация в офлайне. 1 виртуалка для серверов (лень было Докер изучать). И ничего не тормозит.
Sergey-S-Kovalev
29.11.2016 11:54Дедупликация в офлайне.
Потому и не тормозит. Нет необходимости хранить хэши дедуплцированных блоков в оперативной памяти и считать их на лету.
Lordbl4
29.11.2016 12:19Существует очень много реализаций систем для хранения данных — ZFSguru, NAS4Free, openmediavault и др. У каждой из них разные системные требования, которые в большинстве случаев намного меньше, чем у FreeNAS.
Можно даже самостоятельно собрать хранилище на FreeBSD и ZFS, но исход всегда будет зависеть от области применения. Как только на вашей машине возрастёт нагрузка и потребление ресурсов — тормоза обязательно начнутся.vjjvr
29.11.2016 13:13Еще есть Nextenta, там используется не FreeBSD, а ядро Sun на котором изначально и рождена ZFS.
Но для энтерпрайзного использования ни одна из этих систем не рекомендует совсем уж никаких ресурсов. Все хотят много.
И это нормально.
Если ты хочешь получить все вкусности ZFS, но нельзя всерьез требовать, чтобы это работало в тех же условиях, где способна едва шевелиться Linux/Ext или FreeBSD/UFSLordbl4
29.11.2016 15:34В том то и дело — «все вкусности» хотят RAM, которая обходится куда более дешевле, чем хорошие raid-контроллеры
Shaz
29.11.2016 14:58Тогда задам еще такой вопрос:
допустим у нас есть сервер скажем 1CPU 4 Core 16ГБ RAM 4 ТБ сырой емкости.
На выходе хотим получить 1Тб раздаваемый по NFS с дедупликацией + 1Тб отдаваемый по ISCSI.
Как я понимаю для ISCSI нам дедупликация ненужна. Объем RAM есть возможность увеличить.
Как настроить Volume и Dataset`ы для получения нужно результата?Lordbl4
29.11.2016 16:10Разве нельзя создать раздел (zpool) на всё ваше пространство и в нём создать 2 шары — iSCSI без дедупликации и NFS с дедупликацией, задав для второй квоту по размеру? (в свойствах nfs шары указываем тип — dataset)
Shaz
29.11.2016 17:54Насколько по ISCSI мы можем отдавать только блочное устройство = Volume.
И каков механизм наследования параметров дедупликации и сжатия на ZFS?
То есть нужно ли это включать сразу на zpool, или достаточно включить на назначеном для NFS Dataset`е?Lordbl4
29.11.2016 18:14Не уверен насчёт стопроцентной работы глобальной настройки сжатия (по умолчанию корневой dataset имеет lz4), но на каждый dataset шары можно настроить правила отдельно. В описанном вами случае с дедупликацией только NFS — для этой шары включаем данную функцию отдельно.
Вам проще будет самостоятельно установить FreeNAS на виртуальную машину и ознакомиться с текущим функционалом.Shaz
29.11.2016 19:52Ок, тогда зайду с другой стороны: как определить степень дедупликации в датасете?
Для zpool есть соответствующая команда.
Просто тот пример который я приводил, тестировал на железе — и при записи на NFS пары сотен ГБ архивов с почтовика dedup ratio = 1.
Zonov
29.11.2016 15:37А в чем глобальное отличие от nas4free, которая лежит в виде «NAS4Free-10.3.0.3 2016-11-27» и не надо ждать еще три месяца до релиза на данной версии freebsd?
А еще она же есть уже на базе 11.0, кто-то хочет фичи zfs посвежее и готов мириться с условностью фришки «ver N.0 это уже боевой релиз»?
Мне бы так, в общем описать набор фич, а не скриншоты, как создавать группы и юзеров. Хотя это и требуется для кого-то, т.е. спасибо за них. 8-)Lordbl4
29.11.2016 15:57Во-первых, это глобально разные проекты, хоть и выполняют один и тот же функционал — «система хранения данных». FreeNAS — отжатая компанией iXsystems Inc торговая марка у оригинальных разработчиков, которые по видимым причинам решили сделать свой велосипед (отлично ездит и по требованиям менее прожорлив) и назвали его nas4free. Различия в функционале может быть и есть, но скорее на уровне программной настройки системы.
Во-вторых, вышеупомянутые продукты позиционируют себя «немного» по разному. Убедиться в этом можно, открыв главные страницы проектов, где в глаза бросается направление и описан функционал с фичами. Отсюда вытекает и целевая аудитория «фич zfs посвежее» — у FreeNAS она практически отсутствует, но есть 10 betaZonov
29.11.2016 18:35Т.е. еще 3 месяца будут вылизывать что именно? Набор скриптов и веб-морду для них? Freebsd 10.3 релизнулась April 4, 2016, судя по сайту. Возможно, авторы freenas пилят саму фрю. А через 3 мес уже 11.1 будет стойким оловянным солдатиком c фичами zfs, которые возможно бекпортируют в 10, т.к. плохо у фри с развитием.
Ну целевая аудитория среди админов и там и там примерно одинаковая — если веб-морда не позволяет, ставим галочку напротив ssh и запускаем putty. А там уже zfs send|zfs receive,краснеем у боссавосстанавливаемся из бекапа и man zfs, а потом сайт Оракла вдумчиво читаем. 8-)
Мы используем nas4free, я примерно понимаю, на каком шаге обычныйСинологистпользователь без денег на решение «все в коробке» начнет загружать не эти две системы, а какую-нибудь синолоджи-кряк-олл-ин-ван.
Я почто вопрошаю — стоит ли внимательно вчитаться в фичи freenas, там действительно что-то особенное? Ну Вы, как автор статьи, точно знаете, только ли платная поддержка и «как у NetApp, только ПО бесплатное, а мы вам настроим и поддержим втрое дешевле.»
Zonov
29.11.2016 19:00Блин, я фак все-таки посмотрел. Жестковато, имхо: «Other filesystems, including UFS, NTFS, FAT, EXT2 and EXT3 are supported “read only”, in order to allow data migration onto a ZFS volume.»
Т.е. воткнуть в порт esata диск и делать туда бекап, а если наш NAS из палочек и глины, обмотанный синей изолентой поломался, то воткнуть диск в ближайший вин-ноутбук и покопировать данные уже никак? Т.е. сразу позиционирование — замена netapp, толстый iSCSI, 10Gbit это для нищих, а так-то FibreChannel и прочие решения с начальной планкой $100K. Я вот не уверен, что у фришки так хорошо с драйверами под сеть, чтобы в энтерпрайз позиционироваться, чай не эпл с тремя типами сетевушек.
Но да, восхищен планкой. Тогда минимальные требования логичны, я это,краснеюотзываю предыдущие вопросы. Был неправ, вспылил, считаю..., раскаиваюсь..., ушёл.Lordbl4
29.11.2016 19:25На сколько мне известно — монетизация у FreeNAS осуществляется за счёт продажи фринас-коробок и трунас-юнитов, в последних платный продукт TrueNAS более стабилен (как швейцарские часы, enterprise и все дела) и туда входят качественно протестированные
на хомячкахкомпоненты и обновления, плюс платная поддержка, либо форум для простых смертных.
Технически можно копировать на вторые «палочки и глину» и передавать информацию через изоленту, но даже сами разработчики рекомендуют делать полноценные бэкапы на аналогичные хранилища, только чуть-чуть попроще, чтобы только хранили ваш бэкап и общались по сети с основным сервером (меню Peering).
При падении диска в массиве он же в рид-онли перейдёт пока не вытянешь оттуда данные или не вставишь новый диск и не запустишь «ребилд», разве нет?Zonov
29.11.2016 21:27сами разработчики рекомендуют делать полноценные бэкапы на аналогичные хранилища
Ну тогда точно надо идти очередь в кассу занимать за netapp. Нет, сначал же в банк за кредитом!
;-)
Я имел в виду — живет у нас HP Microserver c 4 дисками и usb-флешкой унутре с freenas и на нем сделана файлопомоечка. Втыкаем ему вжesata/usb еще один диск, куда льем важные бекапы. Но если оно все разобралось, то мы этот диск быстро втыкаем в рабстанцию и видим файлики. Если на диске zfs, то чем под виндой его посмотреть я даже не знаю, надо линукс или фрю. ntfs под *nix пишется ужасно медленно, но мы же не работаем на нем, а так — ночью бекапчики льём.
Понятно, что резервную копию надо делать на железяку в самом дальнем углу офиса от этого NAS'а, а архивную копию уносить наружу по инету/на диске.
При падении диска в массиве он же в рид-онли перейдёт
Не-не, zfs умеет raidz1 (=raid5) один диск вылететь может, raidz2 (=raid6) — два диска могут, ну и raidz3, по аналогии понятно. А потом их клеить можно в зеркало/страйп и будут разные raid50 и прочие чудесатые конфиги с кеш-поддержкой в памяти и на ssd.DaemonGloom
30.11.2016 07:26Поэтому мы вместо usb диска берём диск чуть дороже (NAS). И заливаем на него данные по сети через nfs. После чего его даже перетыкать никуда не нужно будет, и так все будет доступно. Гигабита будет вполне достаточно для жёсткого диска.
По ценам Амазона, WD My Cloud на 6 TB стоит всего на 10 баксов дороже диска в нём (WD RED 6TB).Zonov
30.11.2016 12:47Согласен, здравая идея. Несущественно дороже будет, хотя для фирмы «на амазоне» не подходит, все-таки счет-фактура и гарантия нужны.
Но погодите! Вы так вместо nas «из палочек, глины и синей изоленты» скоро предложите netapp! ;-)
guglez
05.12.2016 16:33Тот ZFS что в линуксе не совместим с тем, что на фре. Прочитать не выйдет на другой системе.
Zonov
05.12.2016 18:49Мысль как раз «если только zfs, то это плохо». Так бы я сделал ntfs на esata диске и получил «быстровтыкаемый в любой вин-ноутбук бекап с очень важными данными».
А реализации нативного zfs от Оракла, freebsd, openbsd, linux — вообще не совместимы? Т.е. любая привнесенная фича класса «шифрование» у всех [будет] по разному? Я думал, там posix-zfs есть какой-то и некое ядро пилят вместе. Пичалька.Sergey-S-Kovalev
06.12.2016 08:17+1Так бы я сделал ntfs на esata диске и получил «быстровтыкаемый в любой вин-ноутбук бекап с очень важными данными».
на клиентских системах данные находящиеся на дедуплицированном серверной вендой томе не читаются. вернее читаются, но там файлы с нулевым размером. всегда требуется установленная роль дедупликацииDikSoft
06.12.2016 10:51Да, это так.
Обходной вариант: pass-true HDD подключённый к виртуальной машине на серверной ОС с установленной фичей дедупликации.
Zonov
06.12.2016 11:23Я опишу исходную идею «из веточек и синей изоленты» единым куском.
1. NAS для бекапов, унутре zfs (любые навороты: диски, рейды, дедуп, шифрование geli до пула, ...), втыкаем в esata/usb диск, делаем ntfs. Вытягиваем из работников инфу, что самое-самое важное, ее бекап копируем на этот диск. Медленно и печально. Там нет vss, нет дедупликации, тупой примитивный бесплатный *nix/ntfs.
2. Все плохо, админ в отпуске/у другого клиента. Охранник открывает комнату/шкаф, некто давит на питание, выдергивает диск, вставляет в любой вин-ноут.
Если стоит nas4free — такое катит, если freenas — такое не катит. Для iscsi и томов для esxi наверняка freenas лучше.
Вариант от DaemonGloom: однодисковый nas взамен usb hdd. Ключ от шкафа заменяем на конверт с логпассом у того же охранника.
Расписать плюсы и минусы, стоимость, озвучить клиенту, выбрать.
maxru
29.11.2016 16:35user-friendly интерфейс
UI syn*logy видели когда-нибудь?
8 GB RAM*
ВзвылGreyPhantom
29.11.2016 22:00Взвыл
Это вы еще легко отделались, У меня соседи снизу вызвали наряд полиции, решив что у меня что-то взорвалось…
Aytuar
29.11.2016 22:05Я ставил лет пять назад в одной фирме это чудо на 4 дисках по 1 ТБ в raidz2. И однажды это спасло данные когда диск умер. Но вот недостаток был, это когда приходил oom killer и ядро в kernel panic из-за нехватки памяти падало. Тогда после перезагрузки долго, пару часов иногда, восстанавливался пулл.
DikSoft
29.11.2016 22:31А подскажите, как сейчас дело обстоит с эмуляцией ленточек (VTL) у этого комбайна, есть, работает?
Lordbl4
29.11.2016 23:03+1На сколько мне известно, на сегодняшний день FreeNAS 10 из коробки не предоставляет такого функционала (и если не ошибаюсь, то и в 9.Х ветке такого нет). Однако, если взять в руки напильник, то можно подключить стример. Нашел немного о невозможности VTL на FreeBSD (дата сообщений очень старая, за такой промежуток времени возможно что-то и изменилось, а может и нет)
roscha
30.11.2016 18:02Производит впечатление какого-то монструозного комбайна.
Предыдущие версии просто работали, не требуя обслуживания. Особенно мне нравилась простота интеграции в виндовый домен Active Directory.
AlexeevEugene
01.12.2016 10:39Используем FreeNAS 9.10 как SSD хранилище(FC target) для RDS фермы. Мониторим с Zabbix agent (S.M.A.R.T., iops, free space и тд.) VMWare прекрасно с ним работает. Уже несколько раз обновляли ветку 9.10 на update1,2,3. Работает шикарно. Это воистину прекрасная альтернатива брендовой хранилке. Всегда ждем неделю-две после релиза ногово билда перед обновлением и делаем бекапы конфигурации. Я это всё написал для тех кто рассматривает подобные решения у себя. Да, это работает! И работает на удивление стабильно :)
Taciturn
02.12.2016 14:58Можно чуть подробнее про обновление? У «брендовых хранилок» процесс происходит легко и просто, без отключения чего либо, благодаря двухконтроллерности. А как это у FreeNAS происходит?
AlexeevEugene
03.12.2016 17:36Естественно в FreeNAS нет failover, и это надо учитывать при внедрении. При обновлении прошивки, я делаю storage vmotion, и нет проблем. Кстати у нас есть двухконтроллерные p2000 и msa 2312, и процесс обновления firmware это та еще история :).
itspec_andrew
01.12.2016 14:06Совсем недавно начали использовать в качестве хранилища по этому гайду https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/ Пробросили в виртуалку HBA.
Пока для внутреннего использования + лаба. Альтернатива — Napp-it http://www.napp-it.org/ Но с последним была трабла — не поддерживает нормально NVMe диски. В частности с Intel P3600 в качестве ZIL/L2ARC была проблема, после ребута система не грузилась. Разработчик указывал на проблему с NVMe драйвером в illumos. А вот FreeNAS работает стабильно, хотя производительность несколько ниже.
Shaz
Про работу дедупликации можете подробнее описать? И как рассчитывать: 5Гб на 1 Тб сырой емкости или на 1 Тб собранного массива?
BasilioCat
Дедупликация годится, когда у вас очень много памяти, и не очень много дискового пространства. ZFS для эффективной работы нужно много памяти и без дедупликации. При дедупликации хранится словарь из контрольных сумм всех блоков на диске — DDT, но для ZFS DDT является просто метаданными, и может быть из памяти вынеснен и на диск, тогда все просто встает
Дедупликация небесплатная не только по памяти, но и по процессору. При записи каждого блока будет посчитан SHA256 (по умолчанию) от него.
В некоторых случаях взамен дедупликации можно использовать клоны — «образцовый» датасет снапшотится, и делается его клон, который будет занимать место на диске только за счет записи измененных блоков по отношению к образцовому датасету.
BasilioCat
Еще есть предположение, что при большом количестве мелких файлов DDT будет расти. Каждая запись в DDT — 320 байт, их умножить на количество блоков на диске, блок имеет размер 128к (дефолтный recordsize). Из этой математики вытекает 2,5Гб на 1Тб хранилища, но мелкие файлы и последние байты от файлов не кратных 128к, пишутся блоками меньшего размера, так что DDT будет больше. Также в случае изменения recordsize=8k (так например рекомендуется для MySQL) DDT будет уже 40Гб на 1Тб. Для виртуалок же рекомендуется размер блока в 4к.