Одна из медиакомпаний, с которой «Онланта» сотрудничает, в том числе в рамках задач проектирования и поддержки частного облака, озаботилась размещением своих HD-видеоматериалов на новой системе хранения данных. В качестве СХД была выбрана модель линейки модульных гибридных флэш-систем от NetApp — FAS 9000.
Это одна из первых поставленных в Россию систем NetApp FAS 9000, поэтому мы думаем, что вам будет интересен наш фотообзор и краткие комментарии по ходу распаковки системы и установки ее в ЦОД.
Подчеркну — это именно «фотообзор» новой системы от NetAPP, которую мало кто видел и держал в руках. Перед нами стояла задача — распаковать, установить систему в ЦОД, включить ее и передать заказчику. Тестирование системы не входило в наши планы.
Модель FAS 9000 пришла на смену предыдущему поколению массивов 8060 и 8080 EX.
Гибридные масштабируемые СХД NetApp FAS
Источник
Новые системы стали более производительными, получив новые процессоры Intel Broadwell (2 процессора по 18 ядер на контроллер), стало больше памяти (512GB на контроллер) и NVRAM (32GB на контроллер, зеркалирование NVRAM со скоростью 80Gb/sec). Помимо уже известных и распространенных UTA2 портов 10GbE/16Gb FC, из новых возможностей подключения можно выделить порты 40GbE и 32Gb FC, а для подключения дисковых полок стал использоваться интерфейс SAS-3 12Gb. Для этой модели шасси массива было полностью переработано. Модульный подход кардинально изменил и улучшил систему. Контроллеры лишились портов (кроме консольных), а модули расширения подключаются независимо друг от друга и в перспективе могут поддерживать горячую замену. Такая конфигурация делает замену любой из компонент шасси простой задачей, не требующей переключения кабелей используемых портов системы.
Модульный подход может в будущем обеспечить возможность замены контроллеров на более новые и производительные.
Наша система не в самой «богатой» комплектации, однако имеет на борту 8 портов UTA2 10GbE/16Gb FC, 4 порта 40GbE для кластерного интерконнекта, «не убираемые» 2 ТБ NVMe Flash Cache (всего в систему можно поставить до 16 ТБ Flash Cache) и 8 SAS-3 портов по 12 Gb. В качестве дисковой подсистемы будут использоваться 9 полок DS4246 с NL-SAS дисками по 4 ТБ.
В центре у нас два контроллера. Слева и справа располагаются по 10 I/O модулей, а внизу – 4 блока питания мощностью 1600W. Вес шасси с двумя контроллерами составляет почти 110 (!) кг. Принимайте это во внимание, когда планируете размещение в стойке.
Передняя часть полностью отдана под модули охлаждения и 2 слота NVRAM.
А в самом низу располагается консольный порт (помимо отдельных портов на каждом из контроллеров).
Рассмотрим внимательнее контроллеры.
2 процессора и по 8 слотов памяти RDIMM ECC объемом в 32Gb на каждый из них. С левой стороны виден загрузочный flash-модуль в формате mSATA. Ввиду того, что на контроллере больше нет клиентских портов, нет и слотов расширения PCIe, их вынесли на уровень шасси.
Теперь посмотрим поближе на модули расширения. Для удобства и для забывчивых инженеров каждый модуль подписан названием слота, в который его необходимо установить.
Четырехпортовый UTA2 10GbE/16Gb FC
Двухпортовый 40Gb для кластерного интерконнекта
Четырехпортовый SAS-3 12Gb
А вот как это выглядит после установки в стойку.
И в заключение.
Возможности этой системы впечатляют: 2 контроллера FAS9000 могут поддерживать до 80 (!) полок или до 1440 дисков. С новыми дисками по 10 ТБ это позволяет получить до 14,4 ПБ сырого объема. А если учесть, что вся линейка массивов NetApp FAS (и FAS9000 в том числе) позволяет объединять до 24 контроллеров в единый кластер, то объем системы более 170 ПБ удовлетворит самого требовательного заказчика.
Подобные системы нацелены, в первую очередь, на такие области, как высокопроизводительные вычисления, медицина, научные разработки, геология, нефте- и газодобыча, телевидение и обработка видео.
Комментарии (25)
Analitik_Telecom
20.04.2017 14:09+1Если скроллить туда-сюда последнюю фотографию, получается прикольная оптическая иллюзия.
bravo-ej
20.04.2017 15:35+1Расскажите пожалуйста не посвящённым (я к этому имеют отношение поскольку, поскольку у нас каждый сам для себя веревачки разворачивает… и мне приходится) — как и куда всё это подключается?
Вот допустим я задумался о приобретение небольшой СХД. О резерве пока не думаем. Мне нужен контроллер, полка для дисков, карта с сетевыми интерфейсами, модуль для флэш кэша (обязательно?)… наверное что то ещё?
Допустим под задачи размещения на СХД образы дисков виртуальных машин.
Какие диски выбрать? Какой объём RAM для контроллера нужен? сколько NVRAM? С помощью каких интерфейсов вообще можно цепляться к серверам на разных географических площадках… )
В общем тут тянет на статью)
KorP
20.04.2017 15:45Да тут даже не на статью тянет, на самом деле :) Всё очень сильно зависит от задач и предполагаемой нагрузки. В этом обзоре система Hi-end класса, и я подозреваю что под ваши задачи она слишком мощная и дорогая. Если вы приобретаете систему среднего класса или что то из простых массивов — у вас не будет отдельной контроллерной головы, модули NVRAM уже скорее всего у вас в массиве будут и они вероятнее всего будут не расширяемые (всё зависит всё-таки от конкретной модели). Опять-таки — выбор дисков зависит от предполагаемой нагрузки. Можно только сразу сказал что SAS потихоньку отмирает и его выталкивает с рынка SSD. Подключение по FC 8/16Gb или iSCSI 10G, если речь идёт о виртуализации. Если интересна эта тема — предлагаю ознакомиться с начатым мною циклом статей по FibreChannel, а некоторе такое «введение в СХД для чайников» можно почитать у меня в обзоре Lenovo Storage (ex-Storwize) V3700 V2 XP. А вообще тема крайне обширна на самом деле.
dikiykot
21.04.2017 09:34+1Для чего контроллеры в одном шасси соединены через интерфейсы для кластерного интерконнекта?
KorP
21.04.2017 10:06Внутренний интерконнект между контроллерами так же существует, но используется только в 7-mode. В cluster-mode используются именно внешние порты, т.к. возможно расширение кластера до 24 контроллеров и через внутренний интерконнект, это, естественно невозможно. Для соединения контроллеров NetApp рекомендует использовать внешние коммутаторы.
madorc
21.04.2017 10:06+1На мой взгляд решение крайне странное, 9000 серия и SATA-диски. Зачем для хранения видео столько вычислительных ресурсов? Компрессия и дедупликация с подобным контентом работать не будут, линейная скорость записи и чтения явно не будет быстрее, чем если использовать более младшие модели. CPU и сеть будет «курить». 4 штуки FAS2554 справились бы с этим не на много хуже, а по цене вышли бы в разы дешевле. И не надо говорить про «масштабирование» и «перспективу». Тот, кто это продал — молодец :)
KorP
21.04.2017 10:18На самом деле, расчётом массива для этого проекта занимался вендор ПО, которое использует заказчик. Тут даже у меня нет информации относительно «почему 9000, а не две 2554».
madorc
21.04.2017 10:24Забивание гвоздей микроскопом. Эту систему они никогда не утилизируют используя SATA-диски, диски всегда будут узким местом. Кэши будут тащить сколько смогут, но кэш — это всего лишь кэш. Чуда не будет, к сожалению.
BenjaminB
21.04.2017 13:05+1Правильное решение — больше дисков и ресурсов больше эффективности. Железо должно быть мощным и эффективным. С приростом скорости при переходе на ssd не будет диск узким местом, как указал комментатор выше
Sleuthhound
21.04.2017 15:09-1Дисковая полка DS4246 с 24x3TB дисками за 12 млн. руб., а их 9 штук…
А у вас 24x4TB, то есть ценник еще выше… Мда уж… остается только облизнуться…
Видео, лежащее на этом массиве просто золотое получается.KorP
21.04.2017 15:33Это у вас list price что ли? $200k за полку?
Sleuthhound
21.04.2017 16:19Нет, это http://www.karma-group.ru/catalog/disk_shelf_netapp_ds_series/disk_shelf_netapp_ds4246/
KorP
21.04.2017 16:58Это скорее всего list price, не знаю что они там у себя публикуют. Факт в том, что по этим ценам никто и ничего не покупает :)
navion
21.04.2017 15:39+1На itprice.com появился прайс NetApp и по нему полка стоит не больше $34k, а с такими объёмами можно получить скидку в 60-80%.
navion
21.04.2017 18:00Одна из медиакомпаний, с которой «Онланта» сотрудничает, в том числе в рамках задач проектирования и поддержки частного облака, озаботилась размещением своих HD-видеоматериалов на новой системе хранения данных
В списке клиентов только МИР ТВ, но 800 терабайт как-то маловато для архива. Или это оперативное хранилище, а остальное HSM тащит откуда-то ещё (например с ленточек)?
navion
Немного пугают размеры FASов, это всё ради количества портов расширения или требования NFS к мощности ЦП тоже играют роль?
KorP
И то и другое, а так же в угоду качественному охлаждению всего этого дела.
KorP
Но стоит отметить, что новые системы вышли всё-таки компактнее, нежели предыдущее поколение
FAS8080 EX — 12U
FAS9000 — 9U
FAS8040 — 6U
FAS8200 — 3U
при том, что они производительнее моделей предыдущего поколения.