Какое-то время назад мы наткнулись на одну любопытную статью. В ней сжато и без особых разъяснений перечислялось всё, что должно или может повлиять на рынок систем хранения данных в следующие несколько лет. Сейчас появляется всё больше разрозненных публикаций об упомянутых в ней тенденциях и технологиях, и, как обнаружилось, эта статья привносит в картину происходящего приятную целостность. Так что, хоть и с опозданием, будет правильно поделиться ею с рунетом в форме вольного перевода.
Рынок хранения данных: долой старое, встречайте новое
Поставщики традиционных систем хранения данных переживают не лучшие времена. Компании NetApp недавно пришлось сократить 12% штата. В сфере хранения данных рыночные прогнозы на 2016 выглядят обнадёживающе только для SSD. Там, где продуктам на основе HDD приходится несладко, SSD-решения наращивают продажи и, похоже, готовятся ускорить темпы и без того неизбежного захвата рынка.
По некоторым прогнозам, к 2017 году SSD должны сравняться в цене с HDD. Уже сейчас приличного качества SATA SSD можно купить дешевле HDD. Это MLC диски, но отчёт, опубликованный Google по итогам шести лет использования различных накопителей в центрах обработки данных, показывает, что накопители MLC (multi-level cell) ничуть не уступают в надёжности SLC (single-level cell) дискам, хоть и стоят ощутимо дешевле их.
Цена гигабайта у SLC в несколько раз выше, чем у MLC. С тех пор как обе технологии появились на рынке, SLC позиционировались как более надёжные накопители, предпочтительные для хранения важных данных. В то время как MLC были бюджетным решением, менее надежным и долговечным. Что логично: в накопителях с многоуровневыми ячейками, каждая из них хранит больше информации. Это уменьшает стоимость за гигабайт, но каждая ячейка чаще подвергается перезаписи. На чём-то это должно сказываться. Коэффициент RBER (raw bit eror rate) у MLC дисков на порядки выше, чем у SLC. Долгое время он считался основным показателем надёжности накопителя. Но данные исследования демонстрируют, что RBER на самом деле никак не влияет на срок службы диска и вероятность появления некорректируемых ошибок. В документе, представленном на USENIX, говорится, в частности, что в условиях центра обработки данных MLC диски приходилось заменять не чаще, чем SLC. Твердотельные накопители в целом служили дольше традиционных жёстких дисков, хотя у них появлялось больше некорректируемых ошибок. Если обратить внимание на представленные в документе таблицы — видно, что срок службы твердотельного накопителя больше зависит от производителя и модели — никто не отменял существования устройств качественных и не очень. По сути, эта новость резко делает качественные SSD-решения доступнее, и теперь ничто не мешает им окончательно вытеснить HDD в корпоративном сегменте.
С этими процессами косвенно связан и серьёзный ущерб. Вероятно, именно он стал главной причиной слияния EMC с Dell и сокращений в NetApp. Десятилетиями основой хранения данных был RAID-массив, соединенный с сетью хранения данных по Fibre Channel. А у этого класса решений есть проблемы при работе с более быстрыми твердотельными накопителями.
Интерфейсам не хватает скорости, а контроллеры не справляются с количеством произвольных операций ввода/вывода в секунду (random IOPS) даже при небольшом числе SSD накопителей. Кроме того, сейчас набирают популярность программно-определяемые СХД вроде Ceph. Это доступные масштабируемые (очень масштабируемые) решения, которые обеспечивают отказоустойчивость и не требуют дорогих специализированных аппаратных средств. Теперь добавьте сюда ODM-ов, которые начинают поставлять оборудование под собственными марками на предприятия и в облачные центры, учтите давление, которому подвергаются цены на оборудование — и увидите, в каком шатком положении находятся производители традиционных систем хранения данных.
С точки зрения потребителя, мы вступаем в продолжительный период снижения цен как на системы хранения, так и на отдельные диски. Вероятно, первой от этого пострадает компания EMC, которой будет нелегко с её 10-20-кратными наценками при слиянии с Dell, у которой наценки более реалистичные — 3-5 раз. Но и Dell к началу 2017 почувствует снижение доходов с конечных потребителей.
Продажи SAN-систем хранения падают повсеместно. Это, в свою очередь, скажется на продажах Fibre Channel, несмотря на то, что 32 Гб версия только появилась на рынке. В игру входит 25-гигабитный Ethernet, со всеми преимуществами невысокой стоимости, гибкости и возможности удаленного доступа к памяти (RDMA). Ethernet — распространенная схема подключения клиентов к облачным сервисам и соединения серверов в облаке. Жизнь сильно упрощается, когда нам нужен только один тип сетевого соединения. Это один из факторов, которые могут привести к отказу от Fibre Channel для хранения данных.
Некоторые производители — например, Mellanox — предсказывают быстрое распространение 25 Гб Ethernet. А учитывая, что Google и AWS поддерживают эту инициативу, помогая ей выйти на рынок, похоже, 25 Гб Ethernet готов ко стремительному внедрению. Некоторые компании сейчас работают над поддержкой протокола iWARP (internet Wide Area RDMA Protocol — протокол удаленного прямого доступа к памяти через IP-сети, позволяющий строить Ethernet-сети с низкой задержкой) для 25 Гб Ethernet. Это не только поможет переходу на Ethernet, но и может привести к тому, что высокоэффективный протокол NVMe вытеснит iSCSI и Fibre Channel, став основным протоколом для работы с сетями хранения данных. Впрочем, на это уйдёт ещё не один год.
NVM Express — протокол доступа к твердотельным накопителям, подключаемым по PCI Express. В какой-то момент возможности технологии SSD столкнулись с ограничениями пропускной способности интерфейсов SATA и SAS, доставшихся твердотельным накопителям по наследству от электромеханических жёстких дисков. Идея подключения SSD-дисков через PCIe выросла из стремления максимально использовать скоростной потенциал SSD, не изобретая при этом новый интерфейс. Впрочем, заоблачные цены накопителей для PCIe пока отдаляют их от повсеместного внедрения.
В сфере хранения данных появилось и несколько совершенно новых факторов. У HPE и у Supermicro есть энергонезависимые NVDIMM-решения для серверов. В них флеш-память с батарейкой страхует содержимое DRAM от потери в случае отключения электропитания. Если питание пропадёт, данные из чипов DRAM будут скопированы на энергонезависимый носитель. Это сравнительно недорогой способ значительно повысить производительность серверов при операциях с памятью. Также на рынок выходит Intel в тандеме с Micron. Их продукт называется 3D X-Point. Это совершенно новый тип памяти, который, как утверждает производитель, может использоваться не только как накопитель, но и в качестве оперативной памяти. Речь идёт о скоростях в 1000 раз выше, чем у привычной NAND flash. Эти продукты окажут влияние на серверы и системы хранения данных позже в 2016.
Этот год для рынка хранения данных обещает быть неспокойным. Новые бизнес-модели и новые продукты вытеснят с рынка немало существующих сейчас решений. Те, что придут им на смену, будут более быстрыми и многофункциональными, и их стоимость будет ниже.
Не забывайте, что статья написана, в первую очередь, о западном рынке и многие вещи докатятся до нас ещё на несколько лет позже. С прогнозами, разумеется, можно поспорить. Впрочем, с чем нельзя?
Комментарии (27)
ximik13
02.06.2016 09:19Сети хранения данных достаточно инертны. Сколько подобных статей было про FCoE наше все? И FC умрет уже завтра. Потом было Infiniband наше все и FC уже мертв. Теперь очередной виток с Ethernet для хранения данных. На самом деле каждая из новых технологий находит свою нишу, а FC все еще продолжает существовать и развиваться (в том числе наращивать производительность). И умирать точно не собирается. И тому есть свои причины. Во первых, многим оно привычно и знакомо. Во вторых, работает именно так, как от него и ждут. На западе в небольших инсталляциях до сих пор популярен iSCSI, в отличии от России. И его тоже хоронить никто не собирается.
Так что все эти маркетинговые заявления "вот новый прорыв в сфере хранения данных", "мы на пороге революции и мир измениться\изменился навсегда" не более чем маркетинговые заявления.
Да все постепенно движется, все постепенно развивается, появляются новые технологии. В том числе эти технологии разрабатывают и развивают сами "производители традиционных схд". Которые тоже не собираются посыпать голову пеплом и плакать перед разбитым корытом. И это хорошо. Но никаких потрясений на мой взгляд не предвидится. Все размеренно и "по плану". Так что большинство "предсказателей" высасывают свои предсказания из пальца, и нужно с приличной долей иронии и цинизма воспринимать подобные лозунги.
navion
02.06.2016 12:06На западе в небольших инсталляциях до сих пор популярен iSCSI, в отличии от России.
А в России что популярно?
КМК, бюджеты сильно порезали и средний бизнес будет уходить от дорогущего FC, где только HBA стоит в пять раз дороже 10 GbE адаптеров. Также в этом году наконец появились приличные 10 GbE коммутаторы для SME: Dell X4012, Netgear M4300-12X12F и т.д.ximik13
02.06.2016 13:04Да на самом деле в России, что для меня на самом деле странно, до сих пор более популярен FC для построения сетей хранения. У тех кто до сетей хранения уже дорос есть готовая инфраструктура, а разворачивать параллельно рядом альтернативную часто более накладно, чем развивать существующую. Особенно если учесть расходы (и не только материальные) на поддержку и той и другой параллельно. Проще в текущий момент затянуть поясок и либо накопить на "нормальный FC", либо просто подождать "вдруг оно все само вокруг наладится". Т.е. просто пока не тратится на дальнейшее развитие IT.
При построении инфраструктуры с нуля народ чаще последнее время посматривает на альтернативы, в том числе на iSCSI и конвергентные сети и решения. Но много ли компании в текущих условиях готовы переходить из состояния небольших в состояние средних и как следствие начинать отстраивать новую IT инфраструктуру с нуля?
Еще в текущих условиях есть тренд, народ начинает пробовать бесплатные (или условно бесплатные) software define решений хранения, в том числе имеющие среду передачи данных на базе ethernet. Но только единицы из тестирующих решаются ставить на них хоть какой-то продуктив. Во первых, без поддержки разработчика вся ответственность за выбор и поддержание рабочего состояния решения ложиться на IT отдел или руководителя. А кому такое понравится? А если приобретать поддержку, то решение по цене уже мало будет отличатся от обычных стораджей. А во вторых, мало кто у нас пока умеет правильно "готовить" и эксплуатировать Ethernet (да и любую другую альтернативу FC) именно как SAN (сеть хранения данных). А сделанное по принципу "и так сойдет", работает в итоге соответствующим образом.
Все выше написанное просто мое личное мнение. Может я конечно чего то не вижу, не знаю и делаю неверные выводы. Готов увидеть альтернативные мнения :).
navion
02.06.2016 13:40Т.е. просто пока не тратится на дальнейшее развитие IT.
Некоторые вендоры принуждают обновляться, задирая стоимость расширения и послегарантийной поддержки в небеса.
Мне ближе проблемы SME и очень нравится SAS — он быстрый, простой и дешевый.
Жаль масштабирование сейчас ограничено четырьмя хостами: у VMware никто не сертифицирует конфигурацию с коммутатором, да и сами коммутаторы под 12 Gbps в России не продаются.ximik13
02.06.2016 13:55На мой взгляд SAS мертворожденный вариант. Сам по себе протокол на стадии разработки не предполагал наличие мультихоповой маршрутизации. А без этого безболезненное нормальное расширение сети хранения не возможно. С другой стороны кого-то привлекает, что "настраивать" там практически нечего, а значит и вероятность ошибиться близка к нулю.
Лучше уж тогда iSCSI пользовать. Тоже относительно просто и 10G все дешевеет. Да и предел 1Gb под транзакционной нагрузкой находится в районе 10k IOPS или 80 MB/s пропускной способности при последовательном вводе\выводе. Что для небольшого бизнеса часто достаточно. Плюс на 1Gb можно реализовывать мультипассинг, задействовав несколько физических портов и повышая тем самым производительность и отказоустойчивоасть. Другое дело, что под любую сеть хранения в идеале нужно иметь пару выделенных свитчей\коммутаторов. Это касается и iSCSI. Опять же из соображений отказоустойчивости и производительности.
ximik13
02.06.2016 14:01Утонение. Я имел в виду SAS именно как сеть хранения, а не как интерфейс передачи данных внутри сервера или СХД.
navion
02.06.2016 14:13А для чего в SAN мультихоповая маршрутизация и как часто в небольших компаниях её используют с FC?
И в SAS есть там мультипасинг — работает как в iSCSI через ALUA, но без головняка с размерами фреймов, буферами коммутаторов, задержками на обработку пакетов и т.п…ximik13
02.06.2016 14:28Ответ на вопрос с маршрутизацией на поверхности. Достаточно обратится к вопросу, а зачем вообще придумали сети?
Для SAS вменяемые коммутаторы появились достаточно поздно, долгое время были ограничения на использование только медных и достаточно коротких проводов. Это сильно повлияло на популярность и развитие SAS как технологии передачи данных в сетях хранения.
При этом для небольших компаний, которые не планируют расти в обозримом будущем, SAS может быть и вариант. Своя ниша у него уже есть, иначе бы эти решения банально никто не производил. С другой стороны, компании, которые не планируют развиваться, достаточно странно странно выглядят.
navion
02.06.2016 15:49С другой стороны, компании, которые не планируют развиваться, достаточно странно странно выглядят.
Мне кажется черезчур оптимистично расчитывать на взрывной рост с четырёх серверов в одной стойке к географический распределённой инфраструктуре. Такой процесс растягивается на годы и за это время сменится пара поколений железок.
Впрочем, я сюда пришел не спорить, а скорее побрюзжать про отказ от хорошего решения в пользу плохих (для определённого сегмента).ximik13
02.06.2016 15:57Ну с географически распределенными вы замахнулись конечно. Как простой пример, 4 стойки 42U в небольшой серверной уже могут доставлять проблемы с подключением вычислителя стоящего в крайней правой, к СХД, стоящей в крайней левой стойке :).
А в целом да, каждому решению свое применение. И опять же хорошо, что для конкретной задачи есть несколько вариантов решения :).
navion
02.06.2016 16:12Заглянул в FAQ по LSI 6160 и судя по написанному он позволяет сделать рабочий вариант:
Typical uses may be to use two switches for redundancy, or multiple “daisy chained” for additional connectivity, or in conjunction with “Active” cables to provide extended distance and connectivity in a data center.
ximik13
02.06.2016 16:17А теперь найдите в каком году такая возможность появилась :) и сравните с остальными технологиями для сетей передачи данных. Плюс все "Active" кабели обычно стоят приличных денег.
P.s. насколько помню не так давно еще появились оптические кабели для SAS подключений.
ximik13
02.06.2016 09:35+1И да если почитать англоязычные источники за последние 1,5-2 года, то причины слияния Dell и EMC лежат совсем не в поле развития технологий. Просто некоторые недобросовестные инвесторы, скупившие определенный пакет акции публичной компании, пытались заработать здесь и сейчас, требуя распродать EMC по частям и за дорого. Для тех кто пережил 90-ты в нашей стране ситуация довольно знакома. Компания, защищаясь от этой агрессии, формально продавшись Делу сменила форму собственности.
С компанией Dell кстати в свое время была ровно та же история. И ее создатель и текущий владелец тоже прошел через все грабли выкупа своей же компании и параллельной смены формы собственности.
leahch
02.06.2016 10:58CEPH несомненно рулит. Выкинули все RAID-массивы, развернули его на 5 серверах, два года работы — полет нормальный. Общая ёмкость — 100 терабайт. Бегает правда, не по ethernet 10Gb, а по инфинибанд 56Gb.
Скоро будем модернизировать — добавим для кеша SSD-диски.ximik13
02.06.2016 13:06Рад за вас :). Но не у всех знакомство с CEPH заканчивается так радужно. Последнее время все острее встает проблема квалифицированных кадров :).
leahch
02.06.2016 15:59Честно говоря — странно. Квалификация нужна, но не сказал бы, что нужна супер-супер. Если человек осилил что-то из GFS/GPFS/Gluster, то вполне потянет и установку CEPH, в ней нет ничего особенного, чтобы ее отличало от других типов ПО для кластерной инсталляции.
Во первых, очень подробное руководство на самом сайте.
Во вторых — куча статей, даже на русском есть.
В третьих — всегда можно пригласить консультанта/специалиста.
В четвертых — например fujitsu/siemens уже предлагают готовые решения под ключ.
И уж точно это не сложнее развертывания сети FC/SAN или iSCSI. Ну а если нет специалистов, то либо стимулирование слабое, либо продукты и ПО такого класса вам еще не нужны. Ведь подобные решения ставятся для решения сопутствующих задач.ximik13
02.06.2016 16:10Я по роду деятельности не редко сталкиваюсь с заказчиками, админы которых даже не в курсе как работает кластерная система (любая, даже кластер MS). Хотя компании порой совсем не маленькие :). А вы говорите самостоятельно настроить :). Я согласен, что есть компании, имеющие квалифицированный IT отдел, который может все сделать и взять ответственность за поддержку решения. Но к моему глубокому сожалению таких компаний скорее единицы (может и десятки, если брать в рамках всей страны).
Есть интеграторы и вендоры, которые могут все сделать за заказчика и взять поддержку решения на себя. Но стоимость решения в таком случае слабо будет отличатся от покупки "классической" СХД или чего-то подобного со всеми вытекающими последствиями.
leahch
02.06.2016 16:35Все зависит от задач, бюджета, и квалификации персонала, это несомненно. Я же не говорю, что это решение на продажу (хотя fujitsu/siemens продают). Тем более, что дисковое распределенное хранилище само по себе погоды не делает, оно ставится для решения определенных задач. Ну а заказчику обычно все равно, что и как у него внутри крутится, какое ПО используется. Лишь бы решало его задачи в соответствии с бюджетом. А интеграторы как раз здесь и могут выиграть на разнице в цене между «традиционным» и «новым» подходами.
Аппаратное обеспечение для простого развертывания того же CEPH сейчас очень подешевело, например 10Гб карточки перешагнули $150-200, а коммутаторы 10G на 8-12 портов уже стоят $700-1000, что по скорости и цене на клиентский порт значительно дешевле традиционных решений.
navion
02.06.2016 19:06Тут когда-то был блог компании допиливавшей Ceph для своего облака — там подход совсем не похож на готовую СХД, с которой достаточно пролистать редбук и потыкать кнопки в визарде.
leahch
02.06.2016 19:30Нет, это не совсем СХД, это нечто большее. Ну и время течет, новые версии ставятся и работают из коробки сразу в продакшн. Ceph сейчас поддерживают очень многие. Он сильно вырос.
leahch
02.06.2016 19:34Достаточно пролистать «редбук» с официального сайта. На счет визардов — они тоже есть, например Calamari.
Pugnator
а что с ленточными накопителями? ведь бэкапы это тоже хранение
ximik13
Да живы ленточные накопители/библиотеки и тоже до сих пор развиваются и производятся. Просто параллельно развиваются системы c онлайновой дедупликацией данных и записью их на емкие и дешевый SATA диски. Причем зачастую делает и то и другое один и тот же производитель. Как пример, из тех кто известен в нашей стране, это компания Quantum.
ksg222
Сейчас многие вендоры предлагают решения, позволяющие эмулировать ленточные накопители (в первую очередь библиотеку). При этом сама железка представляет из себя полку с дисками и аппаратной дедубликацией для минимизации места, занимаемого бекапами. Такое решение позволяет получить существенно бОльшую скорость записи и восстановления данных. Некоторые вендоры (например, Huawei) вообще не видят перспектив в производстве традиционных ленточных решений. И предлагают только вариант с виртуализацией. Другие (например, HPE или уже озвученный Quantum) предлагают и то и другое. Конечно же, ленточные устройства никуда не уйдут и еще долгое время будут использоваться для долгосрочного хранения резервных копий. К примеру, Российское законодательство обязывает некоторые компании хранить архивные данные за несколько лет. Для таких случаев выгоднее использовать кассеты.
navion
С ними всё хорошо, для холодных данных это идеальный носитель и объёмы растут с каждым поколением:
