Проблема хранения данных, и без того создающая массу головной боли архитекторам ЦОДов и системным администраторам, стала еще актуальнее в свете последних событий. В частности, к нам все чаще стали обращаться с запросами на различные форматы организации дополнительных хранилищ и расширения емкостей. Поэтому сегодня Юрий Алексеев, наш presale-эксперт по серверным решениям и системам хранения данных, расскажет о возможностях расширения уже существующего дискового пространства сервера с помощью подключения дисковых полок через DAS (то есть о прямом подключении). В посте мы поговорим о том, что для этого нужно, как это работает, и обсудим, может ли DAS заменить сетевые хранилища или системы высокой емкости.

Привет, меня зовут Юрий Алексеев, и я занимаюсь серверами и СХД в Группе компаний X-Com (а именно работаю с клиентами Системного Интегратора). И поэтому я прекрасно знаю, что иногда (и с завидной периодичностью) у любой компании настаёт момент, когда на дисках заканчивается пространство. При этом, если в самом сервере уже нет свободных отсеков для дисков, остается только добавить их извне. Тут можно использовать сетевое хранилище данных, но в последнее время их стало сложно (и дорого) купить, а в некоторых случаях, производители отказываются продлевать лицензии. Поэтому очевидным выбором становится самый простой с технической точки зрения способ расширения дискового пространства сервера – и это система хранения с прямым подключением (DAS = Direct-Attached Storage). Часто такие устройства также называют JBOD (англ. Just a Bunch Of Disks, просто пачка дисков).

Немного теории 

Можно сказать, что система DAS – это внешняя дисковая корзина, которая подключена к серверу. Как правило, подключение производится через интерфейс SAS, с помощью соответствующих кабелей. Для этого требуется установить в сервер контроллер SAS (SAS HBA = SAS Host Bus Adapter) с внешними портами SAS или RAID-контроллер (также с внешними портами SAS).  

В первом случае (при подключении дисковой корзины через SAS HBA) каждый установленный в корзину диск будет доступен пользователям сервера как отдельный диск.  Во втором случае (при использовании RAID-контроллера) установленные в корзину физические диски можно будет объединить в один или несколько RAID-массивов. 

А как же отказоустойчивость?

Конечно, к корпоративной системе хранения предъявляются высокие требования с точки зрения доступности информации и сохранности данных. И здесь, безусловно, RAID является большим плюсом. Разница с сетевой системой будет лишь в том, что массив будет организовывать сам сервер. Поэтому, если речь идет о хранении важных данных, лучше все-таки выбирать RAID-контроллеры, а не SAS HBA. Объединение дисков в RAID-массивы позволяет избежать потери данных при выходе дисков из строя, гарантируя как сохранность данных, так и постоянный доступ к ним.

Cуществует множество вариантов организации RAID-массивов (почитать об этом можно, например, тут). Но поскольку подобные критерии являются одними из самых критических показателей для любой системы хранения данных, необходимо исключить и другие точки отказа. Поэтому для обеспечения отказоустойчивости устройства DAS корпоративного уровня используют по два контроллера – такой подход позволяет также разобраться с проблемой возможного сбоя или отказа контроллера.

Благодаря этому доступ к данным сохраняется в случае выхода из строя одного из контроллеров. В таких системах можно устанавливать только диски SAS, так как они имеют два порта (в отличие от дисков SATA, которые имеют только один порт), каждый из которых подключен к одному из контроллеров дисковой корзины. В случае поломки одного из контроллеров хост (т.е. сервер) сохранит доступ к диску через второй контроллер. 

DAS – но не для одного сервера

Большинство моделей DAS поддерживает подключение только к одному серверу (хосту). Для подключения используются двухпортовые SAS HBA (или RAID-контроллеры) -- чтобы каждый контроллер имел соединение с хостом. 

Однако модели некоторых производителей могут работать одновременно с двумя и даже более серверами. Например, к системе Lenovo D1224 может быть подключено одновременно до 6 серверов. В результате мы получаем некоторое подобие сетевого хранилища, но гораздо более простого (и доступного).

Но тут есть нюанс – лишних «мозгов» у хранилища нет, и поэтому каждому серверу нужно выделить свою группу дисков. Например, одному серверу – диски в отсеках с четвёртого по седьмой, другому серверу – с восьмого по одиннадцатый, и т.д.  Это называется «зонированием» (zoning). Работать с «чужими» дисками сервер не должен. 

Это требование вытекает из того, что организация данных на диске определяется хостом (то есть RAID-контроллером и файловой системой сервера-хоста), в случае использования одного диска двумя серверами одновременно любой из серверов может: 

1. Неправильно интерпретировать данные диска при чтении, записанные на диск другим сервером; 

2. Записать свои данные «поверх» данных другого сервера. 

Именно поэтому при подключении нескольких хостов к DAS требуется с при помощи зонирования разделять диски между серверами. 

Например, ниже в таблице показана возможная схема разделения дисков между хостами (зонирования) при подключении до 6 хостов к DAS Lenovo D1224 (хранилище вмещает 24 диска, нумерация отсеков начинается с 0). 

Примечание: режимы 1, 2 используются при подключении обычными кабелями. Режимы 3,4,5 – только при подключении хостов Y-кабелями (так называемая "гидра"). 

На рисунке ниже приводится схема подключения нескольких серверов к одной СХД на примере всё того же хранилища Lenovo D1224. Для подключения используются Y-кабели SAS 12Gb, раздвоенные с одного конца («гидра»). 

Впрочем, стоит учитывать, что возможность подключения нескольких хостов не является стандартной функцией систем DAS. И если вам действительно требуется такая возможность, нужно проверить, сможет ли новая «дисковая полка» обслужить ваши запросы, прежде чем ее покупать. 

Больше дисков, больше DASов

Чаще всего можно встретить системы DAS в форм-факторе 2U в двух вариантах: с возможностью установки 12 дисков 3.5” или 24 дисков 2.5”. Иногда встречаются варианты в других форм-факторах, например, на 60 и более дисков 3.5”. 

На фото: Lenovo D3284 

• 2 контроллера SAS 12Gb

• установка 84 дисков 3.5"

• поддержка подключения до 6 хостов

• высота в стойке 4U

На фото: DAS Supermicro SuperChassis 946ED-R2KJBOD

• 2 контроллера SAS 12Gb

• установка 90 дисков SAS 3.5"

• поддержка подключения до 4 хостов

• высота в стойке 4U

При необходимости увеличения объёма дискового пространства можно подключить нескольких систем DAS к одному серверу. 

Для каждой DAS в таком случае потребуется свой SAS HBA или RAID-контроллер. Кроме того, каждая DAS потребует собственного управления и администрирования. А это значит, что сложность системы кратно повышается и потребует более пристального внимания со стороны администратора.

Поэтому, если скорость передачи данных не является абсолютным приоритетом, более предпочтительным является подключение нескольких полок расширения последовательно – одна за одной. Количество устройств DAS, подключенных таким образом, определяется максимальным количеством дисков, которое поддерживает конкретная модель DAS. На рисунке ниже показано последовательное подключение к серверу нескольких полок Lenovo D1224.

Тут тоже есть нюансы. Для каждой модели максимальное количество полок расширения может быть разным; это количество указывается в документации на систему.  

При последовательном подключении все системы должны быть одинаковыми или одного семейства. Например, для DAS Lenovo D3284 могут быть такие конфигурации:  

• четыре D3284;

• две D3284 + две DAS Lenovo D1212 (по 12 дисков 3.5”);

• две D3284 + одна DAS Lenovo D1224 (24 диска 2.5”). 

Последовательное подключение разных систем DAS не допускается. Разные системы могут быть подключены только параллельно: каждая система DAS должна быть подключена к серверу (хосту) через свой собственный SAS HBA или RAID-контроллер. 

DAS – одна из очень привлекательных альтернатив

Учитывая текущую ситуацию на рынке, мы все чаще рекомендуем клиентам дисковые полки с прямым подключением DAS. Для их установки достаточно установить в сервер RAID-контроллер с внешними портами SAS (а иногда он уже есть внутри). И если вам потребуется большой объем дискового пространства, например, для систем видеонаблюдения, создания хранилищ данных, работы с BigData и так далее, несколько полок можно подключить последовательно или параллельно. Отличная замена емким и дорогим хранилищам. А благодаря тому, что к некоторым системам DAS можно подключать нескольких серверов одновременно, возникает альтернатива для сетевого хранения. Благо, контроллеры и системы DAS достать сегодня намного проще.