Привет Хабр! Предлагаем вашему вниманию отличный обзор системы хранения данных (СХД) Lenovo DS6200, выполненный изданием THG.
Портфолио систем хранения данных Lenovo для SAN разбито на три линейки продуктов:
Также стоит отметить, что к семейству программно-определяемых СХД в портфеле продуктов компании можно отнести решение Lenovo DSS-G, которое построено на базе ПО IBM Spectrum Scale.
В нашем распоряжении оказалась старшая модель линейки DS — DS6200 с конвергентными контроллерами, трансиверами FC 16 Гбит и 24 твердотельными накопителями по 3,84 ТБ. Подробные технические характеристики приведены в таблице.
DS6200 поставляется в двух вариантах — с контроллерами SAS и с конвергентными контроллерами FC/iSCSI. Вариант исполнения — 2U, 24 диска SFF (2,5"). Диски LFF (3,5") могут быть использованы только в соответствующих полках расширения. В комплект поставки входят телескопические монтажные рельсы (635–889 мм), краткое руководство, кабель Mini-USB для подключения к последовательной консоли и силовые кабели.
В задней части по бокам размещены два блока питания, вентиляторы в которых охлаждают как сами блоки питания, так и другие узлы СХД. По центу, один на другим расположены модули контроллеров.
Силовые кабели фиксируются в разъёмах блоков питания пластиковыми хомутами для предотвращения случайного отключения. Случайно вытащить блок питания тоже нельзя — металлическая скоба фиксируется в закрытом положении пластиковой защёлкой. Четыре светодиодных индикатора на задней панели блока питания показывают статус БП, состояние вентилятора, входных и выходных напряжений.
Контроллерный модуль представляет собой типичный блок форм-фактора SBB. На панели размещены: разъём SAS3 х4 SFF-8644 для подключения полок расширения, разъём RJ-45 для управления по сети, разъём mini-USB для подключения последовательной консоли (заклеен этикеткой, предупреждающей о необходимости установить драйвер перед подключением кабеля), несколько сервисных разъёмов и интерфейсные порты.
В данной комплектации установлены конвергентные контроллеры с четырьмя разъёмами SFP+, в два из которых установлены трансиверы 16 Гбит FC. Контроллеры младшей модели DS2200 оснащены только двумя разъёмами SFP+ или SAS, в зависимости от типа контроллера.
Над хост-портами расположены пять светодиодных индикаторов: состояние кэша, идентификатор, готовность контроллера к извлечению. Порт для подключения полок расширения и все хост-порты оснащены индикацией линка.
Лоток с диском. Прочная конструкция из металла и пластика. Большая длина дискового лотка обусловлена тем, что СХД Lenovo серии DS проектировались в соответствии со спецификацией SBB (Storage Bridge Bay), описывающей форм-фактор контроллерных модулей и способ их подключения к объединительной плате. Архитектура подобных СХД требует использования двухпортовых дисков SAS для обеспечения доступа двух контроллеров к каждому из дисков. Выбор дисков SAS во время разработки спецификации был ограничен, поэтому было предусмотрено подключение дисков SATA через дополнительную плату-мультиплексор (интерпозер), которая обеспечивала для дисков SATA двухпортовое подключение. В расчёте на возможную установку такой платы длина дисковых лотков в спецификации была увеличена. Для DS6200, как и для других современных систем хранения, предлагаются только диски SAS.
Тестируемая СХД идёт в комплекте с 24 твердотельными накопителями 01KP065 Lenovo Storage 3.84TB 1DWD 2.5" SAS SSD (PM1633a): объём 3,84 ТБ, ресурс 1 перезапись в день. Lenovo не скрывает партномер OEM-производителя, для многих клиентов важно заранее знать модель используемых накопителей и подробные спецификации. В данном случае это PM1633a, накопитель производства Samsung на базе 3D TLC NAND.
Стек виртуализации хранения данных в системах Lenovo Storage DS основан на концепции пулов хранения. На нижнем уровне находятся физические диски и накопители, объединяемые в дисковые группы. Несколько дисковых групп объединяются в единый пул хранения (по одному пулу на контроллер), из пула выделяется пространство для создания томов. На базе виртуальных пулов основана работа множества функций, предоставляемых системой хранения: снапшоты, ярусное хранение, кэширование, масштабирование производительности, тонкое выделение дискового пространства.
Дисковый пул — это не просто RAID-0 из нескольких дисковых групп. Распределение данных в пуле является динамическим. При добавлении дисковых групп в пул происходит перераспределение блоков с данными для выравнивания нагрузки. Возможна и обратная операция — высвобождение дисковой группы (например, с целью изменения настроек или для переноса в другую систему) при наличии достаточного свободного объёма в пуле.
Для повышения отказоустойчивости и производительности физические диски и накопители объединяются в дисковые группы с использование традиционных уровней RAID: 1, 10, 5 и 6. Максимальное число дисков в стандартных RAID-группах составляет 16, для дальнейшего наращивания объёма и производительности несколько дисковых групп объединяются в общий пул. В новой версии встроенного ПО добавился ещё один тип дисковых групп — ADAPT.
Ярусное хранение данных (storage tiering) — технология, позволяющая оптимизировать использование накопителей с разным уровнем производительности за счёт динамического перераспределения блоков с данными в зависимости от нагрузки между так называемыми ярусами, массивами с разным уровнем производительности. В данной СХД существует три яруса: Archive (архивный) для дисков 7200 об/мин, Standard (стандартный) для дисков 10/15 тыс. об/мин и Perfomance (производительный) для SSD, требующий приобретения дополнительной лицензии. Существует возможность назначения приоритета на уровне томов путём назначения привязки к архивному или производительному ярусу.
В руководстве к DS6200 рекомендуется по возможности использовать два яруса вместо трёх для оптимизации производительности — SSD в сочетании с дисками 10/15 тыс. об/мин или 7200 об/мин.
Альтернативным способом оптимизации производительности является кэширование. Для этих целей можно использовать один или два SSD на каждый из дву пулов хранения. SSD-кэш в DS6200 работает только на чтение, но имеет ряд преимуществ в сравнении с ярусным хранением:
Недавно Lenovo выпустила новую прошивку версии G265, которая существенно расширяет функциональные возможности всех СХД серии DS.
Помимо стандартных RAID-групп (0, 1, 10, 5, 6) теперь можно создавать дисковые группы ADAPT (Rapid Data Protection Technology). Массив ADAPT по уровню защиты от сбоев соответствует RAID-6, допускается потеря до двух дисков, но в отличие от традиционных RAID распределение блоков по дискам в ADAPT не является строго фиксированным. Система может перераспределять блоки с данными, блоки контрольных сумм и резервное пространство по всем дискам в группе, что делает возможным, например, эффективное использование в одной группе дисков разного объёма или добавление дисков в группу с последующей балансировкой размещения данных. Основным преимуществом дисковых групп ADAPT является существенное сокращение времени на восстановление отказоустойчивости. Расчётное время восстановления группы из 96 дисков объёмом 4 ТБ при выходе из строя одного диска составляет всего 70 минут против 11 с лишним часов в RAID-6. Единственным недостатком ADAPT можно назвать ограничение на минимальное количество дисков — 12.
Асинхронная репликация в новой прошивке была существенно улучшена. Помимо поддержки репликации по Fibre Channel появилась поддержка одновременной репликации на несколько целевых узлов, до четырёх.
Добавлена возможность гибкой настройки прав доступа пользователей к интерфейсу СХД на основе групп. Системные логи теперь можно выгружать по безопасному протоколу sFTP (Secure File Transfer Protocol).
Новая прошивка позволяет получить производительность до 600 000 IOPS при задержке менее 1 мс для систем DS6200 и до 325 000 IOPS для DS4200. Проведенное нами тестирование производительности, результаты которого описаны ниже, показывает, что эти показатели соответствуют действительности. Столь высокий лимит производительности обеспечивает Lenovo DS6200 существенное преимущество перед конкурентами, Dell SC4020 (300 000 IOPS) и HP MSA2052 (200 000 IOPS).
В условиях быстрого роста объёма хранимых данных стандартного форм-фактора, позволяющего установить 12 дисков 3,5" в корпус 2U, уже недостаточно. Дисковые полки с повышенной плотностью размещения, достигаемой за счёт вертикальной установки дисков и рационального использования пространства корпуса, есть и у Lenovo. Дисковая полка D3284 позволяет разместить 84 диска в корпусе высотой 5U — почти в три раза больше дисков в пересчёте на один юнит.
До недавнего времени дисковые полки D3284 поддерживались только как опции расширения к серверам Lenovo ThinkSystem, теперь же они могут подключаться и к СХД серии DS. Новая прошивка позволяет подключить до трёх D3284 к моделям DS4200 и DS6200.
Интерфейс управления систем Lenovo Storage DS и так является достаточно простым и удобным, но с добавлением функции EZ-Start пользователь может выполнить настройку системы буквально за минуту. EZ-Start представляет собой упрощённый вариант соответствующих вкладок основного интерфейса. В итоге весь процесс от создания дисковых групп до подключения томов к хостам можно выполнить в несколько кликов.
Основным средством управления системами хранения данных Lenovo серии DS является Lenovo Storage Manager — встроенное приложение с web-интерфейсом. По умолчанию сетевые интерфейсы управления СХД настроены на использование DHCP. Если DHCP в вашей сети нет и нужно настроить интерфейсы перед подключением, то на помощь приходит последовательная консоль. Нужно подключить Mini-USB кабель в соответствующий порт первого контроллера. Порт закрыт наклейкой, предупреждающей о необходимости установить драйвер перед подключением кабеля. Драйвер нужен только для Windows Server 2012 R2 и его можно скачать на странице технической поддержки. Для Windows Server 2016 драйвер не требуется, для Linux нужно загрузить штатный модуль usbserial с дополнительными параметрами, указанными в руководстве ThinkSystem DS6200/DS4200/DS2200/DS EXP Hardware Installation and Maintenance Guide.
После запуска Tera Term с использованием указанных в руководстве параметров необходимо нажать Enter для появления интерфейса консоли. Логин и пароль по умолчанию — manage / !manage.
Помимо настройки служебных интерфейсов последовательная консоль нужна для переключения режима работы хост-портов в конвергентных контроллерах FC/iSCSI. Через интерфейс командной строки можно выполнять любые действия по настройке и мониторингу СХД. Он доступен также по сети, через Telnet и SSH, что позволяет использовать его для автоматизации.
После настройки сетевых портов можно подключиться к web-интерфейсу — Lenovo Storage Management Console (далее — SMC). Интерфейс главного экрана SMC будет понятен любому пользователю, работавшему с подобными блочными системами хранения данных.
В верхней части главного экрана (окно Hosts) можно увидеть количество сконфигурированных хостов и соответствующих инициаторов. В данном случае СХД автоматически определила два подключения к портам FC и отображает наличие двух инициаторов.
В окнах Ports A и Ports B отображается статус хост-портов первого и второго контроллеров. В окне Capacity показан статус дискового пространства: количество дисковых групп в пулах A и B, выделенный на них объём. На несконфигурированной системе показан суммарных сырой объём дисков.
В нижней части экрана размещены пиктограммы индикаторов состояния компонентов, счётчики различных уведомлений и показатели нагрузки в IOPS и МБ/с. В левой части экрана находится несколько вкладок, соответствующих логическим компонентам системы.
Приступим к настройке системы. Для начала нужно убедиться в отсутствии аппаратных ошибок. Вкладка System показывает состояние всех компонентов системы, как наглядное, в виде дублирования физических светодиодных индикаторов, так и в виде таблицы (вкладка Table). Кнопка Turn On LEDs включает светодиод индикации на СХД, полке расширения или диске, чтобы нужный компонент можно было найти в стойке.
Вкладка Hosts отвечает за настройку инициаторов и хостов. Инициаторы можно сгруппировать по хостам, несколько хостов объединить в группу, при наличии логических томов — настроить их мапинг томов хостам. В данном случае отображается два инициатора, соответствующих двум портам FC HBA. Томов пока что нет, мы вернёмся к этой вкладке позже.
На вкладке Pools выполняется создание дисковых групп. На скриншоте приведён пример создания дисковой группы RAID-10 из 12 дисков в пуле A. Затем в пуле B была создана аналогичная группа из оставшихся дисков.
Вместо обычной дисковой группы можно добавить группу из одного или двух SSD для кэширования чтения (пункт Read Cache).
На следующей вкладке из свободного объёма в дисковых пулах создаются тома (Virtual Volumes). При наличии в системе дисков разных типов (HDD 7200 об/мин, HDD 10/15 тыс. об/мин, SSD) можно задействовать ярусное хранение (Tiering), назначив томам аффилированность с архивным ярусом (Archive Tier) или производительным (Perfomance Tier). Данное свойство отвечает за предпочтительное распределение данных тома по дискам соответствующего уровня производительности. Например, том, аффилированный с архивным ярусом, по возможности (при наличии свободного места), всегда будет располагаться на дисках 7200 об/мин вне зависимости от нагрузки на этот том. Далее этот том можно использовать для хранения резервных копий, и при появлении даже значительной нагрузки (например, при периодическом тестировании резервных копий на возможность восстановления) система не будет тратить ресурсы, перемещая блоки с этого тома на производительные диски. Для систем с ярусным хранением возможность такой настройки является крайне необходимой, она позволяет избежать ненужного перераспределения блоков между ярусами и обеспечить гарантированный уровень производительности для приоритетных томов.
На скриншоте показано создание тома объёмом 100 ГБ из пула A, затем был создан аналогичный том из пула B. На той же вкладке можно управлять снапшотами (мгновенными снимками) томов.
Снапшоты можно создавать вручную или по расписанию, на основе базовых томов или на основе других снапшотов. Присутствует функция обновления снапшота — reset snapshot обновляет выбранный снапшот до текущего состояния тома.
После создания томов остаётся настройка маппинга — определения доступа инициаторов к томам. В данной конфигурации к СХД подключён один хост с двумя инициаторами, первый подключён к контроллеру A, второй — к контроллеру B. В данном случае каждый из двух томов можно «примапить» через оба инициатора, в операционной системе появится два диска с двумя путями к каждому. Снапшоты, разумеется, тоже можно подключать к хостам, с доступом только на чтение или на чтение и запись.
Для правильной работы многопутевого ввода-вывода в Windows Server нужно установить компонент MPIO. На вкладке Discover Multi-Paths будет отображаться подключённая СХД, её нужно выделить, нажать кнопку Add для включения поддержки MPIO и перезагрузить ОС.
Наличие «оптимального» и «неоптимального» пути к каждому из томов обусловлено архитектурой ALUA. Оба контроллера в СХД с такой архитектурой способны принимать запросы от хоста к определённому тому, но только один контроллер в определённый момент времени является «хозяином» тома и непосредственно занимается обслуживанием ввода-вывода, второй контроллер лишь пересылает ему данные по внутренней шине. Доступ через основной контроллер осуществляется быстрее, чем через «чужой», поэтому такой путь считается оптимальным, и ввод-вывод осуществляется только по оптимальным путям, и только при их отсутствии (например, при отключении кабеля или проблемах с трансивером) переключается на неоптимальные. В системах хранения Lenovo DS все тома пула A обслуживаются первым контроллером (A), тома пула B — контроллером B. Архитектура ALUA в сравнении с Active-Passive позволяет сократить время переключения путей при возникновении сбоя. Вкладка Perfomance позволяет отслеживать производительность системы. Нагрузка отображается на уровне портов, дисков, дисковых групп и пулов.
Характеристики тестового сервера:
Заявленный лимит производительности для используемого FC HBA составляет 500 000 IOPS и 3200 МиБ/с на порт. Тестировался том с одного пула, во время тестов оба порта FC HBA были подключены к первому контроллеру. Тестировалась производительность дисковой группы RAID-10 из 12 SSD Lenovo 01KP065 (Samsung PM1633a). Тестирование проводилось после окончания процесса инициализации RAID-группы.
Для оценки производительности использовался следующий тест:
Результаты усреднялись по 4 раундам из выбранного окна установившегося состояния (линейная аппроксимация в пределах окна не выходит за границы 0,9/1,1 среднего значения). Тестировалась производительность одного контроллера, с подключением двух линков FC 16 Гбит. На графиках приведены удвоенные значения IOPS. Перед каждой серией тестов том заполнялся случайными данными.
DS6200 демонстрирует неплохие показатели производительности. Уровень средней задержки с новой прошивкой G265 не превышает 1 мс практически во всём диапазоне нагрузки. 100 тысяч IOPS при смешанной нагрузке с задержкой менее 0,3 мс — это отличный результат для современной СХД с SSD-накопителями.
Мы решили проверить заявленные производителем характеристики в 600 тысяч IOPS при задержке <1 мс и случайном доступе к данным. Удалось получить около 560 тысяч IOPS до достижения средней задержки в 1 мс — результат, достаточно близкий к заявленному. Некоторое отставание можно объяснить высокой загруженностью процессора (нагрузка превысила 65%) и интерфейса FC (интерфейс SAS может обеспечить меньший уровень задержки). Дополнительный прирост производительности с подключением через FC/iSCSI можно было получить, следуя совету из руководства к системе: подключения к двум портам из четырёх можно разнести по разным группам портов, так как каждая из групп обслуживается своим чипом, либо задействуя все доступные порты подключения.
DS6200 демонстрирует достаточно стабильные значения задержки. Средняя задержка при небольших нагрузках не превышает 300 мкс, что является отличным результатом. Даже 99,99-перцентиль задержки не выходит за границы 3 и 20 мс при нагрузке со 100% и 70% чтением соответственно. Пиковые значения начинают расти только при доступе на запись при высокой нагрузке с большими очередями, что обусловлено характеристиками установленных SSD.
Lenovo Storage DS — современная линейка двухконтроллерных СХД для малого и среднего бизнеса. Старшая модель DS6200 обеспечивает высокий для данного класса уровень производительности. Lenovo имеет все основания рекомендовать DS6200 для использования с современными твердотельными накопителями. Интуитивно понятный интерфейс даёт возможность ввести систему в эксплуатацию за считанные минуты. Трёхуровневое ярусное хранение и технология распределённых массивов ADAPT существенно повышают эффективность использования накопителей.
Стоит отметить и грамотную организацию всей продуктовой линейки Lenovo Storage DS. Два варианта контроллеров обеспечивают широкий выбор интерфейсов подключения: SAS, iSCSI через гигабитный или 10-гигабитный интерфейсы, 8- или 16-гигабитный Fibre Channel. Дополнительный функционал (ярусное хранения с использованием SSD, репликация, увеличение максимального количества снапшотов) предлагается в виде дополнительных лицензий, за счёт чего начальная стоимость системы остаётся очень привлекательной на фоне конкурентов.
Портфолио систем хранения данных Lenovo для SAN разбито на три линейки продуктов:
- DS Series. Двухконтроллерные СХД с блочным доступом. Представлены тремя моделями, которые отличаются друг от друга производительностью и масштабируемостью. Младшая модель DS2200 поддерживает установку до 96 дисков и обеспечивает производительность до 100 000 IOPS, в то время как средняя DS4200 и старшая DS6200 модели масштабируются до 276 дисков и обеспечивают до 325 000 или 600 000 IOPS соответственно. Все СХД этой линейки поддерживают установку различных типов дисков и накопителей (2,5" или 3,5") и контроллеров (SAS и конвергентные FC/iSCSI).
СХД Lenovo серии DS используют одинаковую модель виртуализации стека хранения данных с использованием дисковых пулов. Обеспечивается современный функционал: снапшоты, асинхронная репликация, тонкое выделение ресурсов, ярусное хранение данных, SSD-кэш на чтение. - V Series. Представлены системами начального уровня v3700 V2 и v3700 V2 XP, а также более производительными v5030 и v7000. Как и DS Series, данная линейка тоже использует виртуализацию на основе дисковых пулов, но на базе другой программной платформы. Lenovo v3700 V2 XP подробно изучалась в нашей лаборатории чуть больше года назад. СХД этого семейства представляют особый интерес для компаний, эксплуатирующих системы предыдущих поколений от IBM. Помимо знакомого интерфейса управления пользователям предоставляется удобная возможность переноса данных на новую СХД.
- DX Series. Программно-определяемые системы хранения данных, построенные на базе стандартных стоечных серверов Lenovo ThinkSystem и партнерского программного обеспечения. Системы подобного класса обеспечивают блочный, объектный или унифицированный доступ к данным, а одна из них, DX8200D, может виртуализировать внешние СХД других производителей. На данный момент линейка продуктов DX Series включает в себя три модели: DX8200N с использованием ПО NexentaStor, DX8200C с ПО Cloudian HyperStore и DX8200D с ПО DataCore SANsymphony. Все необходимые программные компоненты предустанавливаются и предтестируются на заводе Lenovo во время производства, что гарантирует их полную совместимость и работоспособность. Кроме того, Lenovo также выполняет комплексную сервисную поддержку всех этих систем.
Также стоит отметить, что к семейству программно-определяемых СХД в портфеле продуктов компании можно отнести решение Lenovo DSS-G, которое построено на базе ПО IBM Spectrum Scale.
Обзор СХД Lenovo DS6200 | Основные технические характеристики
В нашем распоряжении оказалась старшая модель линейки DS — DS6200 с конвергентными контроллерами, трансиверами FC 16 Гбит и 24 твердотельными накопителями по 3,84 ТБ. Подробные технические характеристики приведены в таблице.
| Форм-фактор |
2U, монтаж в стойку. |
| Контроллеры |
— контроллер DS6200 SAS — контроллер DS6200 FC/iSCSI СХД поставляется только в 2-контроллерной конфигурации. Оба контроллера в системе должны быть идентичными. |
| Поддерживаемые типы RAID |
RAID 1, 5, 6, 10; Технология Rapid Data Protection Technology (ADAPT). |
| Память |
32 ГБ на систему (16 ГБ на контроллер). Защита кэш-памяти (флеш + суперконденсаторы). Высокоскоростное зеркалирование кэш-памяти между контроллерами. |
| Дисковые отсеки |
до 240 дисков SFF (2,5"): — 24 диска SFF в СХД — по 24 диска SFF в полках расширения DS Series SFF expansion unit, максимум 9 полок до 132 (24 SFF и 108 LFF) дисков — 24 диска SFF в СХД — по 12 дисков LFF в полках расширения DS Series LFF expansion unit, максимум 9 полок до 276 (24 SFF и 252 LFF) дисков — 24 диска SFF в СХД — по 84 дисков LFF в полках расширения D3284, максимум 3 полки Поддерживаются смешанные конфигурации из полок расширения DS для SFF и LFF дисков. Смешанные конфигурации из полок расширения DS и полок расширения D3284 не поддерживаются. |
| Подключение дисков |
Применяются двухпортовые диски SAS3 (12 Гбит/с) СХД с контроллерами (порты на каждом из контроллеров): — 24 внутренних порта SAS3 (12 Гбит/с) — один порт расширения 12 Гбит/с SAS х4 (Mini-SAS HD SFF-8644) для подключения дисковых полок Полки расширения DS с двумя экспандерными модулями (порты на каждом из модулей): — 24 внутренних порта SAS3 (12 Гбит/с) (полка SFF) — 12 внутренних порта SAS3 (12 Гбит/с) (полка LFF) — три порта расширения 12 Гбит/с SAS х4 (Mini-SAS HD SFF-8644). Два порта (A и C) для каскадного подключения других дисковых полок, порт B не используется. |
| Диски и накопители |
Диски SFF DS (2,5"): — 300 ГБ, 600 ГБ, and 900 ГБ 15 тыс. об/мин 12 Гбит/с SAS HDD — 600 ГБ, 900 ГБ, 1,2 ТБ, 1,8 ТБ, 2,4 ТБ 10 тыс. об/мин 12 Гбит/с SAS HDD — 1 ТБ и 2 ТБ 7200 об/мин 12 Гбит/с SAS HDD класса nearline — 3,84 ТБ, 7,68 ТБ, и 15,36 ТБ 12 Гбит/с SAS SSD (ресурс 1 DWPD) — 400 ГБ, 800 ГБ, 1.6 ТБ 12 Гбит/с SAS SSD (ресурс 3 и 10 DWPD) Диски LFF DS (3,5"): — 900 ГБ 10 тыс. об/мин 12 Гбит/с SAS HDDs — 2 ТБ, 4 ТБ, 6 ТБ, 8 ТБ, 10 ТБ, and 12 ТБ 7200 об/мин 12 Гбит/с SAS HDD класса nearline — 400 ГБ 12 Гбит/с SAS SSD (ресурс 3 и 10 DWPD) Диски для полок расширения D3284 — 4 ТБ, 6 ТБ, 8 ТБ, 10 ТБ, and 12 ТБ 7200 об/мин 12 Гбит/с SAS HDD класса nearline — 400 ГБ 12 Гбит/с SAS SSD (ресурс 3 и 10 DWPD) — 3,84 ТБ, 7,68 ТБ, и 15,36 ТБ 12 Гбит/с SAS SSD (ресурс 1 DWPD) |
| Дисковое пространство |
До 2 ПБ |
| Подключение |
Контроллер DS6200 SAS: 4 порта 12 Гбит/с SAS (Mini-SAS HD, SFF-8644). Контроллер FC/iSCSI: 4 порта SFP/SFP+ в двух конвергентных группах (оба порта в группе должны иметь одинаковый тип подключения, группы могут иметь разные типы подключения). Варианты конвергентных подключений: — 1 Гбит iSCSI SFP (1 Гбит, витая пара UTP, RJ-45) — 10 Гбит iSCSI SFP+ (1/10 Гбит, SW-оптоволокно, LC) — 8 Гбит FC SFP+ (4/8 Гбит, SW-оптоволокно, LC) — 16 Гбит FC SFP+ (4/8/16 Гбит, SW-оптоволокно, LC) — 10 Гбит iSCSI SFP+, кабели прямого подключения (DAC) |
| Поддержка операционных систем |
Microsoft Windows Server 2012 R2 и 2016; Red Hat Enterprise Linux (RHEL) 6 и 7; SUSE Linux Enterprise Server (SLES) 11 и 12; VMware vSphere 5.5, 6.0, и 6.5. |
| Конфигурационные лимиты |
— Максимальное число пулов хранения: 2 (1 на контроллер) — Максимальный объём пула хранения: 1 ПиБ — Максимальное число логических томов: 1024 — Максимальный объём логического тома: 128 ТиБ — Максимальное число дисков в RAID-группе: 16 — Максимальное число RAID-групп: 32 — Максимальное число дисков в дисковой группе ADAPT: 128 (12 дисков минимум) — Максимальное число дисковых групп ADAPT: 2 (1 на каждый пул) — Максимальное число spare-дисков: 16 — Максимальное число инициаторов: 8192 (1024 на каждый хост-порт контроллера) — Максимальное число инициаторов на хост: 128 — Максимальное число хост-групп: 32 — Максимальное число хостов в хост-группе: 256 — Максимальное число дисков в дисковой группе для SSD-кэша на чтение: 2 (RAID-0) — Максимальное число дисковых групп для SSD-кэша на чтение: 2 (1 на каждый пул) — Максимальный объём SSD-кэша на чтение: 4 ТБ — Максимальное число снапшотов: 1024 (с дополнительной лицензией) — Максимальное число узлов репликации: 4 (с дополнительной лицензией) — Максимальное число томов с репликацией: 32 (с дополнительной лицензией) |
| Охлаждение |
Отказоустойчивое охлаждение, два вентилятора в совмещённых блоках питания/охлаждения. |
| Питание |
Отказоустойчивое питание, два блока питания 580 Вт. |
| Компоненты с возможностью горячей замены |
Модули контроллеров, модули расширения, трансиверы SFP/SFP+, диски и накопители, блоки питания. |
| Управление |
Гигабитный порт Ethernet (UTP, RJ-45) и последовательный порт (Mini-USB) в модулях контроллеров. Web-интерфейс, интерфейс командной строки (Telnet, SSH или последовательная консоль), SNMP, уведомления по e-mail, опционально — Lenovo XClarity. |
| Безопасность |
SSL, SSH, sFTP. |
| Гарантия |
Трёхлетний гарантийный срок. Узлы могут быть заменены пользователем или техническим специалистом Lenovo (режим 9х5, на следующий рабочий день). Опциональная расширенная гарантия: установка любых узлов техническим специалистом Lenovo в режиме 24х7 с реакцией в течение 2 или 4 часов, 6- или 24-часовым временем восстановления, продление гарантийного срока на 1 или 2 года, сервис YourDrive YourData, услуги по установке и настройке. |
| Габариты |
Высота: 88 мм; ширина: 443 мм; глубина: 630 мм. |
| Вес |
— СХД DS6200 SFF (в полной комплектации): 30 кг — Полка расширения DS Series SFF (в полной комплектации): 25 кг — Полка расширения DS Series LFF (в полной комплектации): 25 кг |
DS6200 поставляется в двух вариантах — с контроллерами SAS и с конвергентными контроллерами FC/iSCSI. Вариант исполнения — 2U, 24 диска SFF (2,5"). Диски LFF (3,5") могут быть использованы только в соответствующих полках расширения. В комплект поставки входят телескопические монтажные рельсы (635–889 мм), краткое руководство, кабель Mini-USB для подключения к последовательной консоли и силовые кабели.
Обзор СХД Lenovo DS6200 | Компоненты
В задней части по бокам размещены два блока питания, вентиляторы в которых охлаждают как сами блоки питания, так и другие узлы СХД. По центу, один на другим расположены модули контроллеров.
Силовые кабели фиксируются в разъёмах блоков питания пластиковыми хомутами для предотвращения случайного отключения. Случайно вытащить блок питания тоже нельзя — металлическая скоба фиксируется в закрытом положении пластиковой защёлкой. Четыре светодиодных индикатора на задней панели блока питания показывают статус БП, состояние вентилятора, входных и выходных напряжений.
Контроллерный модуль представляет собой типичный блок форм-фактора SBB. На панели размещены: разъём SAS3 х4 SFF-8644 для подключения полок расширения, разъём RJ-45 для управления по сети, разъём mini-USB для подключения последовательной консоли (заклеен этикеткой, предупреждающей о необходимости установить драйвер перед подключением кабеля), несколько сервисных разъёмов и интерфейсные порты.
В данной комплектации установлены конвергентные контроллеры с четырьмя разъёмами SFP+, в два из которых установлены трансиверы 16 Гбит FC. Контроллеры младшей модели DS2200 оснащены только двумя разъёмами SFP+ или SAS, в зависимости от типа контроллера.
Над хост-портами расположены пять светодиодных индикаторов: состояние кэша, идентификатор, готовность контроллера к извлечению. Порт для подключения полок расширения и все хост-порты оснащены индикацией линка.
Лоток с диском. Прочная конструкция из металла и пластика. Большая длина дискового лотка обусловлена тем, что СХД Lenovo серии DS проектировались в соответствии со спецификацией SBB (Storage Bridge Bay), описывающей форм-фактор контроллерных модулей и способ их подключения к объединительной плате. Архитектура подобных СХД требует использования двухпортовых дисков SAS для обеспечения доступа двух контроллеров к каждому из дисков. Выбор дисков SAS во время разработки спецификации был ограничен, поэтому было предусмотрено подключение дисков SATA через дополнительную плату-мультиплексор (интерпозер), которая обеспечивала для дисков SATA двухпортовое подключение. В расчёте на возможную установку такой платы длина дисковых лотков в спецификации была увеличена. Для DS6200, как и для других современных систем хранения, предлагаются только диски SAS.
Тестируемая СХД идёт в комплекте с 24 твердотельными накопителями 01KP065 Lenovo Storage 3.84TB 1DWD 2.5" SAS SSD (PM1633a): объём 3,84 ТБ, ресурс 1 перезапись в день. Lenovo не скрывает партномер OEM-производителя, для многих клиентов важно заранее знать модель используемых накопителей и подробные спецификации. В данном случае это PM1633a, накопитель производства Samsung на базе 3D TLC NAND.
Обзор СХД Lenovo DS6200 | Функциональные возможности
Стек виртуализации хранения
Стек виртуализации хранения данных в системах Lenovo Storage DS основан на концепции пулов хранения. На нижнем уровне находятся физические диски и накопители, объединяемые в дисковые группы. Несколько дисковых групп объединяются в единый пул хранения (по одному пулу на контроллер), из пула выделяется пространство для создания томов. На базе виртуальных пулов основана работа множества функций, предоставляемых системой хранения: снапшоты, ярусное хранение, кэширование, масштабирование производительности, тонкое выделение дискового пространства.
Дисковый пул — это не просто RAID-0 из нескольких дисковых групп. Распределение данных в пуле является динамическим. При добавлении дисковых групп в пул происходит перераспределение блоков с данными для выравнивания нагрузки. Возможна и обратная операция — высвобождение дисковой группы (например, с целью изменения настроек или для переноса в другую систему) при наличии достаточного свободного объёма в пуле.
Дисковые группы RAID
Для повышения отказоустойчивости и производительности физические диски и накопители объединяются в дисковые группы с использование традиционных уровней RAID: 1, 10, 5 и 6. Максимальное число дисков в стандартных RAID-группах составляет 16, для дальнейшего наращивания объёма и производительности несколько дисковых групп объединяются в общий пул. В новой версии встроенного ПО добавился ещё один тип дисковых групп — ADAPT.
Ярусное хранение данных
Ярусное хранение данных (storage tiering) — технология, позволяющая оптимизировать использование накопителей с разным уровнем производительности за счёт динамического перераспределения блоков с данными в зависимости от нагрузки между так называемыми ярусами, массивами с разным уровнем производительности. В данной СХД существует три яруса: Archive (архивный) для дисков 7200 об/мин, Standard (стандартный) для дисков 10/15 тыс. об/мин и Perfomance (производительный) для SSD, требующий приобретения дополнительной лицензии. Существует возможность назначения приоритета на уровне томов путём назначения привязки к архивному или производительному ярусу.
В руководстве к DS6200 рекомендуется по возможности использовать два яруса вместо трёх для оптимизации производительности — SSD в сочетании с дисками 10/15 тыс. об/мин или 7200 об/мин.
SSD-кэш
Альтернативным способом оптимизации производительности является кэширование. Для этих целей можно использовать один или два SSD на каждый из дву пулов хранения. SSD-кэш в DS6200 работает только на чтение, но имеет ряд преимуществ в сравнении с ярусным хранением:
- Механизм кэширования устроен проще, он не создаёт дополнительной нагрузки на СХД за счёт отсутствия необходимости перемещения данных.
- Кэш на чтение не требует отказоустойчивости.
Обзор СХД Lenovo DS6200 | Улучшения в прошивке G265
Недавно Lenovo выпустила новую прошивку версии G265, которая существенно расширяет функциональные возможности всех СХД серии DS.
Rapid Data Protection
Помимо стандартных RAID-групп (0, 1, 10, 5, 6) теперь можно создавать дисковые группы ADAPT (Rapid Data Protection Technology). Массив ADAPT по уровню защиты от сбоев соответствует RAID-6, допускается потеря до двух дисков, но в отличие от традиционных RAID распределение блоков по дискам в ADAPT не является строго фиксированным. Система может перераспределять блоки с данными, блоки контрольных сумм и резервное пространство по всем дискам в группе, что делает возможным, например, эффективное использование в одной группе дисков разного объёма или добавление дисков в группу с последующей балансировкой размещения данных. Основным преимуществом дисковых групп ADAPT является существенное сокращение времени на восстановление отказоустойчивости. Расчётное время восстановления группы из 96 дисков объёмом 4 ТБ при выходе из строя одного диска составляет всего 70 минут против 11 с лишним часов в RAID-6. Единственным недостатком ADAPT можно назвать ограничение на минимальное количество дисков — 12.
Репликация
Асинхронная репликация в новой прошивке была существенно улучшена. Помимо поддержки репликации по Fibre Channel появилась поддержка одновременной репликации на несколько целевых узлов, до четырёх.
Безопасность
Добавлена возможность гибкой настройки прав доступа пользователей к интерфейсу СХД на основе групп. Системные логи теперь можно выгружать по безопасному протоколу sFTP (Secure File Transfer Protocol).
Улучшение производительности
Новая прошивка позволяет получить производительность до 600 000 IOPS при задержке менее 1 мс для систем DS6200 и до 325 000 IOPS для DS4200. Проведенное нами тестирование производительности, результаты которого описаны ниже, показывает, что эти показатели соответствуют действительности. Столь высокий лимит производительности обеспечивает Lenovo DS6200 существенное преимущество перед конкурентами, Dell SC4020 (300 000 IOPS) и HP MSA2052 (200 000 IOPS).
Обзор СХД Lenovo DS6200 | Поддержка дисковых полок D3284
В условиях быстрого роста объёма хранимых данных стандартного форм-фактора, позволяющего установить 12 дисков 3,5" в корпус 2U, уже недостаточно. Дисковые полки с повышенной плотностью размещения, достигаемой за счёт вертикальной установки дисков и рационального использования пространства корпуса, есть и у Lenovo. Дисковая полка D3284 позволяет разместить 84 диска в корпусе высотой 5U — почти в три раза больше дисков в пересчёте на один юнит.
До недавнего времени дисковые полки D3284 поддерживались только как опции расширения к серверам Lenovo ThinkSystem, теперь же они могут подключаться и к СХД серии DS. Новая прошивка позволяет подключить до трёх D3284 к моделям DS4200 и DS6200.
Обзор СХД Lenovo DS6200 | EZ-Start
Интерфейс управления систем Lenovo Storage DS и так является достаточно простым и удобным, но с добавлением функции EZ-Start пользователь может выполнить настройку системы буквально за минуту. EZ-Start представляет собой упрощённый вариант соответствующих вкладок основного интерфейса. В итоге весь процесс от создания дисковых групп до подключения томов к хостам можно выполнить в несколько кликов.
Обзор СХД Lenovo DS6200 | Управление
Командная строка
Основным средством управления системами хранения данных Lenovo серии DS является Lenovo Storage Manager — встроенное приложение с web-интерфейсом. По умолчанию сетевые интерфейсы управления СХД настроены на использование DHCP. Если DHCP в вашей сети нет и нужно настроить интерфейсы перед подключением, то на помощь приходит последовательная консоль. Нужно подключить Mini-USB кабель в соответствующий порт первого контроллера. Порт закрыт наклейкой, предупреждающей о необходимости установить драйвер перед подключением кабеля. Драйвер нужен только для Windows Server 2012 R2 и его можно скачать на странице технической поддержки. Для Windows Server 2016 драйвер не требуется, для Linux нужно загрузить штатный модуль usbserial с дополнительными параметрами, указанными в руководстве ThinkSystem DS6200/DS4200/DS2200/DS EXP Hardware Installation and Maintenance Guide.
После запуска Tera Term с использованием указанных в руководстве параметров необходимо нажать Enter для появления интерфейса консоли. Логин и пароль по умолчанию — manage / !manage.
Помимо настройки служебных интерфейсов последовательная консоль нужна для переключения режима работы хост-портов в конвергентных контроллерах FC/iSCSI. Через интерфейс командной строки можно выполнять любые действия по настройке и мониторингу СХД. Он доступен также по сети, через Telnet и SSH, что позволяет использовать его для автоматизации.
Lenovo Storage Management Console
После настройки сетевых портов можно подключиться к web-интерфейсу — Lenovo Storage Management Console (далее — SMC). Интерфейс главного экрана SMC будет понятен любому пользователю, работавшему с подобными блочными системами хранения данных.
В верхней части главного экрана (окно Hosts) можно увидеть количество сконфигурированных хостов и соответствующих инициаторов. В данном случае СХД автоматически определила два подключения к портам FC и отображает наличие двух инициаторов.
В окнах Ports A и Ports B отображается статус хост-портов первого и второго контроллеров. В окне Capacity показан статус дискового пространства: количество дисковых групп в пулах A и B, выделенный на них объём. На несконфигурированной системе показан суммарных сырой объём дисков.
В нижней части экрана размещены пиктограммы индикаторов состояния компонентов, счётчики различных уведомлений и показатели нагрузки в IOPS и МБ/с. В левой части экрана находится несколько вкладок, соответствующих логическим компонентам системы.
Приступим к настройке системы. Для начала нужно убедиться в отсутствии аппаратных ошибок. Вкладка System показывает состояние всех компонентов системы, как наглядное, в виде дублирования физических светодиодных индикаторов, так и в виде таблицы (вкладка Table). Кнопка Turn On LEDs включает светодиод индикации на СХД, полке расширения или диске, чтобы нужный компонент можно было найти в стойке.
Вкладка Hosts отвечает за настройку инициаторов и хостов. Инициаторы можно сгруппировать по хостам, несколько хостов объединить в группу, при наличии логических томов — настроить их мапинг томов хостам. В данном случае отображается два инициатора, соответствующих двум портам FC HBA. Томов пока что нет, мы вернёмся к этой вкладке позже.
На вкладке Pools выполняется создание дисковых групп. На скриншоте приведён пример создания дисковой группы RAID-10 из 12 дисков в пуле A. Затем в пуле B была создана аналогичная группа из оставшихся дисков.
Вместо обычной дисковой группы можно добавить группу из одного или двух SSD для кэширования чтения (пункт Read Cache).
На следующей вкладке из свободного объёма в дисковых пулах создаются тома (Virtual Volumes). При наличии в системе дисков разных типов (HDD 7200 об/мин, HDD 10/15 тыс. об/мин, SSD) можно задействовать ярусное хранение (Tiering), назначив томам аффилированность с архивным ярусом (Archive Tier) или производительным (Perfomance Tier). Данное свойство отвечает за предпочтительное распределение данных тома по дискам соответствующего уровня производительности. Например, том, аффилированный с архивным ярусом, по возможности (при наличии свободного места), всегда будет располагаться на дисках 7200 об/мин вне зависимости от нагрузки на этот том. Далее этот том можно использовать для хранения резервных копий, и при появлении даже значительной нагрузки (например, при периодическом тестировании резервных копий на возможность восстановления) система не будет тратить ресурсы, перемещая блоки с этого тома на производительные диски. Для систем с ярусным хранением возможность такой настройки является крайне необходимой, она позволяет избежать ненужного перераспределения блоков между ярусами и обеспечить гарантированный уровень производительности для приоритетных томов.
На скриншоте показано создание тома объёмом 100 ГБ из пула A, затем был создан аналогичный том из пула B. На той же вкладке можно управлять снапшотами (мгновенными снимками) томов.
Снапшоты можно создавать вручную или по расписанию, на основе базовых томов или на основе других снапшотов. Присутствует функция обновления снапшота — reset snapshot обновляет выбранный снапшот до текущего состояния тома.
После создания томов остаётся настройка маппинга — определения доступа инициаторов к томам. В данной конфигурации к СХД подключён один хост с двумя инициаторами, первый подключён к контроллеру A, второй — к контроллеру B. В данном случае каждый из двух томов можно «примапить» через оба инициатора, в операционной системе появится два диска с двумя путями к каждому. Снапшоты, разумеется, тоже можно подключать к хостам, с доступом только на чтение или на чтение и запись.
Для правильной работы многопутевого ввода-вывода в Windows Server нужно установить компонент MPIO. На вкладке Discover Multi-Paths будет отображаться подключённая СХД, её нужно выделить, нажать кнопку Add для включения поддержки MPIO и перезагрузить ОС.
Наличие «оптимального» и «неоптимального» пути к каждому из томов обусловлено архитектурой ALUA. Оба контроллера в СХД с такой архитектурой способны принимать запросы от хоста к определённому тому, но только один контроллер в определённый момент времени является «хозяином» тома и непосредственно занимается обслуживанием ввода-вывода, второй контроллер лишь пересылает ему данные по внутренней шине. Доступ через основной контроллер осуществляется быстрее, чем через «чужой», поэтому такой путь считается оптимальным, и ввод-вывод осуществляется только по оптимальным путям, и только при их отсутствии (например, при отключении кабеля или проблемах с трансивером) переключается на неоптимальные. В системах хранения Lenovo DS все тома пула A обслуживаются первым контроллером (A), тома пула B — контроллером B. Архитектура ALUA в сравнении с Active-Passive позволяет сократить время переключения путей при возникновении сбоя. Вкладка Perfomance позволяет отслеживать производительность системы. Нагрузка отображается на уровне портов, дисков, дисковых групп и пулов.
Обзор СХД Lenovo DS6200 | Производительность
Конфигурация
Характеристики тестового сервера:
- Процессор: Intel Xeon E5-2620 V4
- Материнская плата: Supermicro X10SRi-F, BIOS 3.0a
- Память: 4х8 ГБ DDR4-2400 ECC RDIMM
- Системный диск: Intel S3700 100 ГБ
- Операционная система: Microsoft Windows Server 2016
- Генератор нагрузки: FIO 3.2
- Fibre Channel HBA: двухпортовый 16 Гбит Lenovo 00Y3343 (Qlogic QLE2662)
Заявленный лимит производительности для используемого FC HBA составляет 500 000 IOPS и 3200 МиБ/с на порт. Тестировался том с одного пула, во время тестов оба порта FC HBA были подключены к первому контроллеру. Тестировалась производительность дисковой группы RAID-10 из 12 SSD Lenovo 01KP065 (Samsung PM1633a). Тестирование проводилось после окончания процесса инициализации RAID-группы.
Тестирование
Для оценки производительности использовался следующий тест:
- Размер блока: 4096 байт
- Доступ: случайный (старая прошивка, прошивка G265), последовательный (прошивка G265)
- Соотношение чтение/запись: 100/0, 70/30, 0/100
- Глубина очереди: 1, 2, 4, 8, 16, 32, 64, 128
- Количество потоков: 1, 2, 4, 8
- Количество раундов: 15
- Продолжительность раунда: 30 с
- Прогревочный интервал раунда: 5 с
Результаты усреднялись по 4 раундам из выбранного окна установившегося состояния (линейная аппроксимация в пределах окна не выходит за границы 0,9/1,1 среднего значения). Тестировалась производительность одного контроллера, с подключением двух линков FC 16 Гбит. На графиках приведены удвоенные значения IOPS. Перед каждой серией тестов том заполнялся случайными данными.
Средняя задержка
DS6200 демонстрирует неплохие показатели производительности. Уровень средней задержки с новой прошивкой G265 не превышает 1 мс практически во всём диапазоне нагрузки. 100 тысяч IOPS при смешанной нагрузке с задержкой менее 0,3 мс — это отличный результат для современной СХД с SSD-накопителями.
Мы решили проверить заявленные производителем характеристики в 600 тысяч IOPS при задержке <1 мс и случайном доступе к данным. Удалось получить около 560 тысяч IOPS до достижения средней задержки в 1 мс — результат, достаточно близкий к заявленному. Некоторое отставание можно объяснить высокой загруженностью процессора (нагрузка превысила 65%) и интерфейса FC (интерфейс SAS может обеспечить меньший уровень задержки). Дополнительный прирост производительности с подключением через FC/iSCSI можно было получить, следуя совету из руководства к системе: подключения к двум портам из четырёх можно разнести по разным группам портов, так как каждая из групп обслуживается своим чипом, либо задействуя все доступные порты подключения.
99 и 99,99% перцентили задержки
DS6200 демонстрирует достаточно стабильные значения задержки. Средняя задержка при небольших нагрузках не превышает 300 мкс, что является отличным результатом. Даже 99,99-перцентиль задержки не выходит за границы 3 и 20 мс при нагрузке со 100% и 70% чтением соответственно. Пиковые значения начинают расти только при доступе на запись при высокой нагрузке с большими очередями, что обусловлено характеристиками установленных SSD.
Обзор СХД Lenovo DS6200 | Заключение
Lenovo Storage DS — современная линейка двухконтроллерных СХД для малого и среднего бизнеса. Старшая модель DS6200 обеспечивает высокий для данного класса уровень производительности. Lenovo имеет все основания рекомендовать DS6200 для использования с современными твердотельными накопителями. Интуитивно понятный интерфейс даёт возможность ввести систему в эксплуатацию за считанные минуты. Трёхуровневое ярусное хранение и технология распределённых массивов ADAPT существенно повышают эффективность использования накопителей.
Стоит отметить и грамотную организацию всей продуктовой линейки Lenovo Storage DS. Два варианта контроллеров обеспечивают широкий выбор интерфейсов подключения: SAS, iSCSI через гигабитный или 10-гигабитный интерфейсы, 8- или 16-гигабитный Fibre Channel. Дополнительный функционал (ярусное хранения с использованием SSD, репликация, увеличение максимального количества снапшотов) предлагается в виде дополнительных лицензий, за счёт чего начальная стоимость системы остаётся очень привлекательной на фоне конкурентов.
Комментарии (5)
NoOne
02.08.2018 08:43Я вот что не понял:
— Максимальное число пулов хранения: 2 (1 на контроллер)
Создали два пула, один на А, другой на Б. Контроллер А навернулся, где будет работать пул с контроллера А, если контроллер Б поддерживает только 1 пул?
KorP
Как был dothill'ом, так dothill'ом и помрёт :)
На каком объёме тесты то проводили? А то может всё в кэше?
KorP
Да, сразу внимание не обратил. Ну хорошо кэш потестили :)