Термином «квантовый скачок», он же «квантовый переход», описывается скачкообразное изменение состояния квантовой системы. И именно этот физический термин ассоциируется со сложившейся сегодня ситуацией, при которой удешевление flash-памяти позволило создавать сверхпроизводительные СХД, не уступающие по ёмкости системам на жёстких дисках и соперничающие с ними по совокупной стоимости одного терабайта. В этом году совокупная стоимость одного терабайта впервые сделает flash-системы более выгодными.
Источник: http://wikibon.org/wiki/v/Evolution_of_All-Flash_Array_Architectures
Важность этого момента трудно переоценить, его можно сравнить с быстрой сменой исторической формации. Эра владычества HDD стремительно уходит в прошлое. И одним из вестников этого процесса стала DSSD D5 — высокопроизводительное хранилище стоечного класса на flash-накопителях (RSF, Rack-Scale Flash).
RSF-система — это хранилище совместного использования, предназначенное для решения задач, которые требуют высочайшей производительности и обработки огромных объёмов данных. Решения подобного класса стали востребованы потому, что, несмотря на бурное развитие традиционных систем хранения, они не успевали угнаться за требованиями к производительности рабочих нагрузок новых типов. Миру программно-определяемых инфраструктур стало нужно максимально быстрое электронное хранение, какое только может позволить современный технологический процесс. DSSD D5, по сути, и является системой, созданной для решения этой задачи.
В максимальной конфигурации показатели DSSD D5 таковы:
- Пропускная способность до 100 Гб/с.
- До 10 млн. IOPS.
- Задержка ~100 микросекунд (для приложений с интегрированным нативным API).
- Полная ёмкость до 144 Тб, используемая — 100 Тб.
Сферы применения
В высокопроизводительных вычислительных системах узкими местами хранилищ являются количество операций/ввода вывода, пропускная способность и ёмкость. Главная задача RSF-систем заключается в нивелировании этих ограничений.
С точки зрения характера рабочих нагрузок можно выделить три направления применения D5:
- Высокопроизводительные хранилища/базы данных. К ним относятся традиционные БД наподобие Oracle, а также БД с массово-параллельной обработкой. Подобные системы используются для обслуживания финансовых транзакций, управления рисками, предотвращения мошенничества, управления поставками и т.д.
- Для приложений, обрабатывающих транзакции, сверхнизкая задержка означает большее количество транзакций в секунду, а следовательно — больше прибыли.
- Высокий уровень IOPS и пропускной способности позволяет быстрее вырабатывать бизнес-решения или анализировать больше данных, а значит быть более конкурентоспособными.
- Выполнение всей аналитики на одном D5 позволяет существенно экономить время на перемещении данных.
- Высокопроизводительные приложения на Hadoop. В отличие от традиционной пакетной обработки Hadoop, здесь требуется высокая скорость приёма и обработки данных. В частности, для анализа потоковой информации в реальном времени в сферах биржевой торговли, рекламных систем, бизнес-отчётности и прогнозного моделирования на базе обширных наборов данных.
- Независимое масштабирование вычислительных мощностей и хранилища в Hadoop-инфраструктуре.
- Высокопроизводительные пользовательские приложения. Рабочие нагрузки, подразумевающие высокую производительность хранилища и обработку данных через быстрый API. В подобных случаях используются традиционные файловые системы наподобие XFS, либо параллельные кластерные файловые системы. Сферы применения: торговое моделирование, предсказание погоды, машиностроение, медицинские исследования, фармакология, анализ климата и т.д.
- Высокая пропускная способность и большое количество IOPS позволяют делать выводы на основании обработки данных в течение минут после их получения, а не часов или дней.
- При использовании параллельных файловых систем можно в 20 и более раз уменьшить объём инфраструктуры.
- Аналитика в реальном времени позволяет быстрее выводить на рынок новые продукты.
С другой стороны, DSSD D5 в своем текущем релизе, не предназначен для работы с SAP HANA, поскольку это требует соответствующей технологической интеграции на уровне оперативной памяти и последующей сертификации в SAP.
Архитектура
В основе DSSD D5 лежит новая архитектура, обеспечивающая на порядок более высокую производительность, минимальный уровень задержки и чрезвычайно высокую плотность размещения памяти. При этом обеспечивается уровень надёжности и доступности, характерный для корпоративных систем.
Каковы особенности архитектуры D5?
- Впервые в индустрии применён прямой доступ к flash-памяти (DMA) с сегментированными уровнями управления и данных.
- Гибкий доступ к данным (блок, объект, ключ-значение).
- Встроенные коммутаторы (PCIe Mesh Fabric) обеспечивают крайне низкий уровень задержки.
- Система может одновременно использоваться несколькими вычислительными узлами.
- Отсутствует единая точка отказа.
Блочная диаграмма DSSD D5.
Возможность интеграции в пользовательские приложения API прямого доступа к памяти. Высокая производительность системы достигается благодаря:
- API с асинхронной архитектурой без блокировок,
- отсутствию программных посредников в тракте передачи данных,
- отсутствию взаимодействия ядра с используемыми API и плагинами,
- и интенсивному распараллеливанию процессов.
Изначально D5 будет доступен в четырёх конфигурациях: с 18 или 36 flash-модулями по 2 или 4 Тб (тысячи микросхем NAND-памяти). Таким образом, полный объём хранилища может быть 36, 72 или 144 Тб. Все модули объединяются в RAID-массив. Доступная для использования ёмкость будет составлять примерно 25, 50 или 100 Тб для «типичной рабочей нагрузки». Точный объём памяти будет определяться размером FLEN: чем он меньше, тем больше метаданных будет в хранилище. Согласно нашим измерениям, наивысший уровень IOPS достигается при FLEN-объектах размером 4 Кб, а наилучшая пропускная способность — при FLEN размером 32 Кб.
Все flash-модули энергонезависимы и защищены от сбоев электропитания. Каждый модуль подключён к PCIe-сети посредством двух раздельных lane-подключений PCIe Gen3 x4, что позволяет достичь пропускной способности до 8 Гб/с.
Flash-модуль DSSD D5.
Благодаря многосвязной PCIe-сети каждый клиент имеет прямой доступ к каждой из NAND-микросхем. Это позволило отказаться от избыточного копирования при записи данных в финальную часть памяти. А применение протокола NVMe обеспечивает параллельность доступа к любым частям памяти D5.
В отличие от традиционных архитектур, в которых управление системой осуществляет процессор, в DSSD D5 тракты управления и передачи данных разделены и имеют по своему управляющему модулю. Эти модули контролируют операции ввода/вывода, но сами данные идут через модули ввода/вывода напрямую между подключёнными серверами и flash-модулями.
Контроллерный модуль DSSD D5.
Подключение D5 к серверам осуществляется с помощью модулей ввода/вывода, работающих по схеме active-active. Каждый модуль позволяет подключить с резервированием до 48 узлов через lane-порты PCIe Gen3 x4 (всего 96 портов). Карты для подключения узлов установлены в стандартные слоты PCIe Gen3 x8 и соединены с модулями ввода/вывода посредством сдвоенных медных кабелей PCIe Gen3 x4. В будущем планируется внедрить поддержку активных оптических кабелей (Active Optical Cable, AOC).
Модуль ввода-вывода DSSD D5.
Двунаправленная пропускная способность одиночного порта достигает 3,5 Гб/с, а сдвоенных портов — 6,5 Гб/с. Так что теоретическая пропускная способность всей системы составляет 6,5 * 48 = 312 Гб/с. Но из-за ограничений, присущих некоторым компонентам, сейчас обеспечивается 100 Гб/с.
Для доступа к DSSD D5 на клиентских серверах должно быть установлено программное обеспечение:
- драйвер клиентской карты,
- драйвер блочного устройства,
- клиентский CLI,
- libflood-библиотека, используемая приложениями для вызова наших API,
- документация по API и CLI.
Протокол NVMe.
Наконец, одним из очень важных свойств архитектуры DSSD D5 является его «ремонтопригодность»: все основные компоненты — от карт для подключения клиентов (серверов) до flash-модулей — резервируются и могут быть заменены заказчиком самостоятельно. Это обеспечивает очень высокий уровень доступности и отсутствие единой точки отказа.
В сухом остатке
Подведём итоги всему вышесказанному. DSSD D5 — это первое решение в классе RSF (Rack-Scale Flash). Оно предназначено для решения задач, крайне требовательных к производительности СХД, уровню задержки и пропускной способности. При этом совокупная стоимость 1 Тб памяти DSSD D5 уже сопоставима с системами на базе HDD, а по ряду метрик новое решение превосходит большинство имеющихся на рынке all flash-систем с «традиционными» архитектурами.
Комментарии (40)
lockywolf
29.02.2016 17:47+7Пока что я вижу в «Джасте» 3500 р/тб магнитные накопители и 25000 р/тб твёрдотельные.
Где хвалёное отсутствие разницы?
dserov
29.02.2016 18:39+1В этой статье идет речь о промышленных системах корпоративного класса. Там цены другие и технические требования к решениям другие. В сравнении носителей используется оценка 4-х летней стоимости владения, это не то же самое, что цена в Джасте. Ссылка на источник сравнения приведена по ссылке под картинкой.
Однако, в любом случае флэш дешевеет быстрее, чем механические диски и факт постепенного перехода на флэш имеется. В корпоративном сегменте это более чем чувствуется.
nikitasius
29.02.2016 18:07+2Я не могу представить себе "дисковый шкаф", который
на ssdне шумит. Я ж спать не смогу!
myxo
29.02.2016 18:27+5Обязательно запишите звук! Лет через 20 сядете в диванчик с коньячком, включите запись и будете ностальгировать о прошлом =)
MichaelBorisov
29.02.2016 20:54+4Как только стоимость хранения информации на HDD превысит таковую для Flash, и если недостатки Flash при этом будут не сильно досаждать — то производство HDD будет свернуто лавинообразно. Этот процесс затянется лет на 5 максимум. Вспомните, как все происходило с ЭЛТ-мониторами. Как только ЖК-мониторы стали дешевле, ЭЛТ-мониторы были сняты с производства буквально за каких-то пару лет. Их теперь днем с огнем не сыщешь. Вся технология была уничтожена, надо полагать. Между тем, ЖК-экраны и по сей день в некоторых характеристиках уступают ЭЛТ. Это не помешало свершиться процессу замещения.
Grox
01.03.2016 00:56Вся технология была уничтожена, надо полагать.
Трубка с электронноуправляемым лучом и люминофор технология 20го века. Чего там уничтожать? Её сейчас на пальцах ребёнку объяснить можно. Кроме того, что лучевые мониторы продолжают массово выпускаться для некоторых ниш.
sim31r
01.03.2016 15:28+1На пальцах объяснить можно и термоядерный синтез. Но на практике, технологии, огромный пласт знаний, к сожалению, будет утерян, тысячи технологических операций, над каждой из которых работали тысячи инженеров, технологов, многочисленные открытия и пройденные грабли. И не всё возможно задокументировать, тем более, ни кто не будет этим заниматься, не в интересах бизнеса. Но, что верно, повторная разработка будет дешевле, скажем не миллиард $, а всего 0.25, более совершенные инструменты и остаточные знания помогут в этом.
Я когда статью прочитал, подумал о том же самом. HDD удобны для долговременного хранения информации, даже с учетом большего энергопотребления. Для домашнего применения, положил на полочку и он лежит. Или в составе ПК, где нет проблемы с теплоотводом лишних 6Вт энергии.
forgotten
01.03.2016 09:21+1Между тем, ЖК-экраны и по сей день в некоторых характеристиках уступают ЭЛТ.
Эт ж в каких?PerlPower
01.03.2016 13:15На моей памяти коты боялись метить ЭЛТ мониторы, а вот ЖК метят только в путь.
Delsian
01.03.2016 16:18Просто удельный расход котов для помечания высоковольтного оборудования гораздо выше. Так вероятность помечания ЭЛТ/ЖК надо мерить не как абсолютную величину, а как относительную.
sim31r
01.03.2016 15:31Из личного опыта, сталкивался только с тем, что ЖК мониторы хуже передают оттенки серого, что актуально в системах видеонаблюдения, там где черно-белые камеры с невысоким контрастом из-за недостаточного освещения.
forgotten
01.03.2016 16:08Как можно хуже передавать оттенки серого? о_О
sim31r
01.03.2016 23:21Много есть способов, ухудшить изображение, особенно черно-белое, где и так оттенков мало...
Матрица AU Optronics на самом деле отображает не 16,7 миллиона цветов, а только 262.144. Отсутствующие оттенки достигаются с помощью быстрого переключения цветов, так что глаз этого не различает.
Если быть точным, то подобную тактику использует не только эта панель. Почти все мониторы, продаваемые на массовом рынке, отображают не 24-битный цвет (16,7 миллиона цветов), а 18-битный (262K цветов). Конечно же, все мониторы хвастают выводом 16 миллионов оттенков. Маленький нюанс: даже в этом случае на экран выводится не 16,7 миллиона оттенков, а 16,2 миллиона. Для этого используется технология, названная «размывание/dithering», которая, как на панели AU, попеременно отображает два ближайших оттенка. Сегодня существует множество алгоритмов, позволяющих сделать это более или менее эффективно.
У 24-битной матрицы каждая ячейка RGB работает с 8 битами, поскольку 8 x 3 = 24. 18-битные матрицы, типа модели AU, ограничивают себя 6 битами на цвет. Если первый вариант способен отображать 256 оттенков, то 6-битная матрица понимает только 64. Приведём пример: 24-битная матрица различает оттенки 248, 249, 250, 251 и 252, в то время как 18-битная матрица понимает их как интервал между 248 и 252.
Как вывести цвет 250?
Самый простой ответ — пусть пиксель попеременно отображает оттенки 248 и 252. Если экран достаточно быстр, то ваш глаз увидит лишь один оттенок, среднее значение между двумя, то есть 250. Правильный цвет отобразится за два перехода.
Второй, более аккуратный способ, заключается в работе над четырьмя, а не над одним пикселем. В этом случае два пикселя отображают цвет 248, а два других — 252. Правильный цвет отобразится за один переход.
MichaelBorisov
01.03.2016 21:09Скорость реакции на смену изображения. В исследованиях мозга, где важно, чтобы испытуемый видел строго контролируемое движущееся изображение, до сих пор из-за этого используют ЭЛТ-мониторы. У институтов большие проблемы с их приобретением: новые не выпускаются, а хороших б/ушных моделей все меньше в наличии, а их техническое состояние — все хуже. Гребут на интернет-аукционах по всему миру, затариваются мониторами впрок.
Были публикации с измерением характеристик некоторых ЖК-мониторов с точки зрения исследования мозга. В частности, одна модель, предназначенная для формирования 3д-изображения с помощью затвора, с частотой развертки 120Гц, показала хорошие результаты и пригодность для использования при исследованиях мозга. Только она почему-то тоже оказалась быстро снята с производства, и купить б/ушные мониторы этой модели еще сложнее, чем ЭЛТ. Не исключено, что среди топовых моделей ЖК-мониторов уже много таких, которые хорошо подходят для нейробиологии, да только кто же будет их все проверять и обмерять? Это же надо силами работников института делать, а они обычно заняты другими делами.
Все ждут появления мониторов на светодиодных матрицах, которые теоретически должны быть безупречными, да только они задерживаются.forgotten
01.03.2016 21:21Да как бы уже 240 Гц вовсю выпускают
http://www.smartreview.com/product-reviews/top-rated-hdtvs/top-240hz-hdtvsMichaelBorisov
01.03.2016 21:49Герцы — это еще не всё. В свое время звуковые карточки тоже мерялись между собой количеством бит, только качество звука не всегда росло при увеличении разрядности ЦАП (учитывая, что часто приводились не реальные, а "эффективные" биты, используемые, например, в процессе цифровой предобработки звука).
Важные характеристики монитора — это не только частота кадров, но и время, за которое точка меняет свой цвет, а также переходная характеристика яркости этой точки. Потому что на практике при смене цвета яркость не сразу стабилизируется около своего конечного значения, некоторое время происходит переходный процесс. Время и амплитуда переходных колебаний, к тому же, нелинейно зависят от начальной и конечной яркости. С этими характеристиками у ЖК-мониторов дело было всегда хуже, чем у ЭЛТ. Например, тот 120Гц-монитор, который я имел в виду в прошлом сообщении, показывал наилучшие результаты по динамике переходных процессов в случае, если кадры с изображением перемежать с черными кадрами. Тем самым переходные процессы происходят в системе постоянно, но с более предсказуемыми результатами, чем если менять цвет точки с произвольного цвета на произвольный.
Еще одна характеристика — время реакции монитора на смену изображения в видеосигнале. Учитывая, что многие мониторы имеют буферизацию изображения — то фактическая смена яркости может наступить не в следующем кадре, а с задержкой в несколько кадров.
Учитывая вышесказанное, по приводимым изготовителем техническим характеристикам мониторов невозможно определить, подходит ли такой монитор для исследований мозга или нет. Нужно купить несколько моделей и провести над ними серию измерений. Сами понимаете, это задача не из тех, которые решаются дешево и походя. Как правило у институтов ресурсов на это нет. Если где-то у кого появляются — то он публикует по результатам статью в научный журнал, и тогда все остальные начинают покупать рекомендованные автором модели.forgotten
01.03.2016 22:31Надо же, вроде умные люди, а загуглить не догадались
http://www.displaylag.com/display-database/
Stas911
29.02.2016 21:44+2Про эти "квантовые скачки" и смерть винчестеров я слышу еще с курса "Периферийные системы ЭВМ" универа (прошло 20 лет), но правнука граммофонов каждый раз делали очередной технологический рывок и снова оказывались живее всех живых. Будет смотреть, что на этот раз.
khikhuch
29.02.2016 23:29Интересный и специфичный продукт. Под бизнес-критичные приложения (с требованиями высокой доступности) вряд ли найдет применение сегодня, скорее под HFDS, аналитику и HPC приложения. Работа над стандартом и спецификациями NVM Express over Fabrics только в самом разгаре. Но это только начало и первый звоночек… Думаю, что через пару лет такие решения будут успешно конкурировать с In-Memory вроде Oracle Exadata.
Iaroslav_Olegovich
01.03.2016 02:12+3КДПВ с прогнозом напомнила схему Киевского метрополитена...
Даже не вдаваясь в текущие цены и объем рынков можно с уверенностью сказать, что процесс перехода идет очень активно. И очень большое значение имеет задача, под которую необходимо хранилище. Нас от перехода на all-flash последний год, а то и два, сдерживало только отсутствие 2 Тб 2.5' SSD. Сейчас ждем партию 850 Pro и заполняем ими компактные 2U сервера, заменяя неподъемные гибридные массивы. Цена уже давно вполне адекватная. О простоте использования и говорить нечего, а дальше уже появляется перспектива организации централизованного хранилища, подобного описанному в статье.
justaguest
01.03.2016 09:07+5Интересно, я один просто проскипал статью к комментариям, когда обнаружил, что статья про Квантовый Скачок, на самом деле не про Квантовый Скачок, и даже не о физике (ну может только косвенно).
sim31r
01.03.2016 15:38+1Подвох можно ждать от разработчиков операционных систем. До сегодняшнего дня, они ориентировались на HDD, на уровне драйверов и концепции работы с файлами. Завтра, они могут потребовать SDD, отказавшись работать с HDD, появится новый тип файловой системы, которые будет никак не совместим с HDD. Первый звоночек был технология ReadyBoost на Windows7, далее они могут потребовать ReadyBoost для системного накопителя. Вот это и будет приговором для HDD.
justaguest
01.03.2016 17:28Не конкурентно. Слишком много современных ОС, которые как работали, так и будут работать с HDD.
dserov
02.03.2016 09:27Друзья, спасибо за проявленный интерес!
Мы вчера записали вебинар про DSSD, на котором тоже было очень много слушателей. Там больше технических деталей и ответы на вопросы по ходу доклада. Регистрируйтесь и заходите на наш канал на Brighttalk.
Ссылка на вебинар вот: https://goo.gl/635EIg
xiWera
Пока всё ещё нет. Но почти. Во первых НЖМД на месте тоже не стоят. Во вторых для многих применений время жизни flash значительно ниже времени жизни HDD.
shapa
" время жизни flash значительно ниже времени "
Это не очень верно, точнее совсем не верно.
5 лет современные SSD энтерпрайз уровня вполне себе живут. HDD практически не лучше. И то и другое после 5 лет лучше менять.
http://www.zdnet.com/article/ssd-reliability-in-the-real-world-googles-experience/
dserov
В промышленных системах флэш память работает надежней механики за счет
1) алгоритмов выравнивания износа (wear leveling)
2) применения флэш-памяти повышенной надежности, выдерживающей по несколько циклов полной перезаписи всего носителя в день.
Например, практика применения флэшей в системах XtremIO показывает, что за всю историю этих флэш систем, мало какой из носителей использвал хотя бы 10% запаса живучести.
Ну, и алгоритмы защиты от сбоев никто не отменял. А восстановление после сбоя у флэшей в десятки раз быстрее.