Делюсь с вами новостью, что на базе СХД Isilon продолжается объединение Больших Данных, облаков и программно-определяемого хранения. 10 ноября был официально анонсирован давно ожидаемый Data Lake 2.0, он же Isilon.Next.
Из главного, стоит обратить внимание на следующие возможности в новой версии продукта:
- облачные хранилища могут быть использованы в качестве уровня хранения в Isilon
- софтверные узлы хранения
- географически распределенная Core-Edge кластерная архитектура
- полная непрерывность работы
Isilon — это система хранения, специально спроектированная для работы с очень большими объёмами данных (от десятков терабайт до десятков петабайт), со скоростями в миллионы операций в секунду.
Больше о возможностях Isilon можно прочитать в этих постах.
«Софт + коробочный сервер» или комплексное решение?
Рецепт «Быстрых данных» на основе решения для больших данных
Виртуальный Isilon, а также демонстрация по его установке и настройке.
И вот что нового появилось в Isilon.Next:
CloudPools — расширение распределенной СХД Isilon в облака
- Позволяет работать с облачными хранилищами, предоставляемыми сервис-провайдерами по протоколу S3
- Может подключать объектную систему хранения EMC Elastic Cloud Storage в качестве облачного ресурса.
IsilonSD — первая полностью программная версия узла Isilon
- Может быть использован для объединения в 6-ти узловой Edge-кластер.
- Может подключаться к ядру (Core) кластера происходит прозрачно.
- Может быть как источником для агрегации данных, так и целевой системой для их распространения из ядра.
Новый микрокода OneFS версии 8.0 с улучшенными функциями обеспечения непрерывной работы
- Поддерживает SMB 3, с автоматическим переподключением клиентов без остановки работы.
- Полная непрерывность операций всего комплекса, в том числе во время обновлений микрокода (а также в случае rollback).
Почему это обновление важно?
Во-первых, Isilon, пришедший в ИТ из медийной области, уверенно занимает корпоративную поляну Больших Данных, где требования к непрерывности доступа к информации растут вместе с их объемами. Система вмещающая в себя Петабайты данных уже не может быть так легко остановлена на плановую профилактику. А пакетная обработка огромных объемов данных требует бесперебойного доступа даже в случае отдельных аппаратных сбоев. Бесперебойность сервиса скоростного доступа к данным должа быть максимальной.
Во-вторых, уверенное движение в сторону облаков, отвязывание функционала СХД от железа, и предоставление его в программном виде, дает заказчикам больше свободы. И особенно хорошо, что это програмнное решение совместимо с аппаратным Isilon-ом, который, что не говори, уже завоевал очень высокий уровень доверия и надежности. То есть, заказчики Isilon получают гибкость софтверного решения, совместимую аппаратной платформой.
В-третьих, мало кто сомневается, что самое экономичное хранение — в облаке. В то же время, мало какие системы хранения могут использовать облака в качестве экономичного уровня хранения, как глубокий архив. Isilon.Next — теперь не просто может хранить данные в облаке, но делает облака частью своего функционала автоматизированного хранения. Более того, технологии облачного хранения это не только экономия, но и географически распределенная защита данных и непрерывность доступа к оным. А это для систем Петабайтного масштаба очень серьезный плюс.
Если вы хотите вникнуть в детали анонса — ниже предлагаю большое количество видео (на английском) с подробностями и демонстрациями.
OneFS.Next: расширенная непрерывность операций
OneFS.Next: Защита данных и безопасность
Isilon SD Edge: установка и конфигурация
Isilon SD Edge: наращивание кластера
Isilon SD Edge: Сбор данных Edge to Core
Isilon SD Edge: Распространение данных Core to Edge
Isilon SD Edge: Агрегация свободного пространства
Cloud Pools: концепция
Cloud Pools: настройка и конфигурация
Cloud Pools: Политики
Cloud Pools: Elastic Cloud Storage как облачное хранилище для Isilon.Next
Более подробно про анонс можно почитать здесь: A Big Leap In Unstructured Data… Isilon.Next — Core, to Edge, to Cloud.
Продукт будет доступен для заказа в начале 2016. А сейчас можно его активно изучать и примерять к своим задачам.
Денис Серов
Комментарии (6)
dserov
18.11.2015 14:19Данное мое утверждение отражает фактический процесс, а не мое суждение хорошо/плохо. Факт в том, что Isilon теперь может работать без остановок и прерывания обслуживания клиентов как в случае сбоев любых компонентов, так и во время обновления (как вперед, так и назад) микрокода. Это свойство систем корпоративного уровня.
Что касается OpenStack и Hadoop, то это все же скорее фреймворки, чем законченные решения. Isilon с ними умеет работать, кстати. Встроенный HDFS в нем есть на этот случай. Немного разного плана решения. Я бы не сказал, что они конкурируют даже.netto
18.11.2015 16:08Ну вот опять вы все в кашу сваливаете. Big Data это не про объемы, это про методику работы с данными. Да, у Isilon все в порядке с объемами хранения. Но он уже научился нормально работать с рандомным доступом мелкими блоками?
Несколько лет назад, когда я на него смотрел, все было плохо. Для медиа работа в секвентальном чтении-записи это ОК, для Big Data это неприемлемо.dserov
18.11.2015 16:33Согласен с вами. До сих пор нет общепринятого понимания что такое в точности «Big Data» и где его границы.
И я согласен, что это скорее про методику работы с данными, чем про их хранение. Сам прекрасно помню, как еще года три-четыре назад Бигдатой называли вообще все, что может хранить много данных. Даже ленточки. Сейчас ситуация уже получше.
Что же касается Isilon, то он к Big Data все же относится. Аргументы в пользу этого тезиса следующие:
1) будучи системой горизонтально масштабируемой Isilon может обеспечивать большие скорости для работы с хранимыми данными (сама обработка уже происходит на клиентской стороне)
2) данные могут обрабатываться независимо друг от друга (параллельно) на множестве узлов в силу практически неограниченной многоузловой архитектуры
3) на всем этом может быть развернут HDFS, который к методике Big Data имеет самое прямое отношение
Этому всему не хватает, конечно, математики, которая собственно выдает результат обработки. Но Isilon это все таки СХД.
Она может быть частью какого-то большего решения (на Pivotal, например). Т.е. имеется определенная свобода выбора.
По поводу мелких блоков — да, ситуация стала получше, так как в каждый узел можно ставить твердотельные диски в качестве акселератора работы с мелкими блоками и метаданными.
Stas911
23.11.2015 21:18Эти ребята выступали на Hortonworks Roadshow на прошлой неделе. К сожалению я так и не понял один принципиальный момент. Большинство заказчиков используют Hadoop/HDFS в том числе для того, чтобы избавиться от головняка с закупкой многомиллионных СХД (типа используем commodity hardware, вот это все) и тут же предлагается купить какую-то проприетарную балалайку и начать все с начала?
beststoragename
Утверждение «Во-первых, Isilon, пришедший в ИТ из медийной области, уверенно занимает корпоративную поляну Больших Данных» ошибочно. Если Isilon хорошо работает с медийными Большими Файлами, то это не значит, что он хорошо работает с Большими Данными. Абсолютно разный характер нагрузки. И если мы заговорили о применимости к Большим Данным, то Вы реально верите (учитывая курс доллара и санкции) в его конкурентноспособность с OpenStack + Hadoop?
dserov
Спасибо за комметарий. Я не совсем это имел ввиду.
Смотрите, пожалуйста, ответы ниже.
А насчет санкций и курса — не все в наших силах. Надеюсь, ситуация улучшится.
Сейчас могу сказать лишь, что программная версия СХД (IsilonSD) может использоваться в сочетании с серверами отечественного производства. Это частично помогает.