Время — ключевой фактор в бизнесе, особенно в критически важных бизнес-приложениях. Те, кто видел фильм «Аполлон-13», или люди постарше, помнящие этот злополучный космический полет, знают, что бывает, когда критически важные системы выходят из строя. По сюжету фильма три американских космонавта отправляются на Луну, но в пути космический аппарат взрывается и получает серьезные повреждения, а они лишь чудом остаются в живых. Космонавтам удается вернуться домой только благодаря героическим усилиям и толике везения. К счастью, последствия сбоя критически важных бизнес-приложений редко бывают столь же серьезными (по сравнению, скажем, с приложениями, от которых зависит работа служб и учреждений, например, в отделениях интенсивной терапии, авиадиспетчерских службах и т. д.). Но с другой стороны — сбои таких приложений напрямую отражаются на жизнеспособности компании: если системы работают безупречно, компания экономически здорова и развивается, если нет — она с трудом удерживается на плаву.


К разряду критически важных для бизнеса относятся приложения для самых разных задач, например: бизнес-аналитика (BI — business intelligence), оперативная транзакционная обработка (OLTP — online transaction processing), оперативная аналитическая обработка (OLAP — online analytical processing), инфраструктура виртуальных рабочих столов, высокопроизводительные вычислительные системы и приложения для доставки содержимого (облачные системы хранения, предоставление видео по запросу и т. д.). Все эти важные задачи объединяет одно: высокие требования к скорости работы, ведь от нее зависит то, насколько быстро руководство, сотрудники, клиенты и другие ключевые деловые партнеры получат доступ к нужной информации.

Невозможность быстро получить доступ к важным данным и обработать их приводит к существенным деловым и финансовым рискам. В частности, такие задержки вызывают:

— Неспособность своевременно и правильно оценить ситуацию — не имея доступа к критически важным данным в нужное время и в нужном месте, люди не видят полной картины происходящего и, как следствие, принимают неправильные решения, допуская совершенно необязательные ошибки.

— Резкое снижение способности прогнозировать результаты бизнеса — качество финансовых прогнозов на уровне отдельного проекта, отдельного направления деятельности и всей компании зависит от возможности своевременно получать самые точные данные. Не имея доступа к таким данным, компания не может их проанализировать, что негативно отражается на ее деятельности.

— Рост недовольства клиентов — во многих отраслях (финансовые услуги, здравоохранение, туризм и т. п.) качество сервиса напрямую зависит от наличия мгновенного доступа к актуальной информации, особенно в связи с тем, что современный клиент ожидает обслуживания в круглосуточном режиме 7 дней в неделю и 365 дней в году. В этих условиях неспособность оперативно предоставить клиентам нужную информацию не только означает упущенную прибыль, но и зачастую ведет к потере клиента, а то и доли рынка.

— Слишком большие объемы, разнообразие и скорость поступления информации — взрывной рост объемов данных ведет к неизбежному падению производительности основных приложений на многих предприятиях. Увеличение задержек становится источником недовольства пользователей, и предприятия упускают возникающие возможности.

Руководителям отделов ИТ, ищущим решение этих проблем, которое бы имело оптимальное сочетание функционала, времени внедрения, масштабируемости и стоимости систем, не позавидуешь. В конечном счете, верное решение может оказаться далеко не очевидным.

Постановка задачи (подсказка: скорость процессора — неправильный ответ)

Как правило, на замедление работы системы отдел ИТ реагирует в первую очередь добавлением или модернизацией процессоров и памяти. Однако слишком часто прирост производительности от этой модернизации минимален, тогда как стоимость высока. Второй метод, зачастую сопутствующий первому, по крайней мере, применительно к базам данных, — это оптимизация инструкций SQL. Предприятия тратят на нее миллионы долларов и даже получают какие-то результаты. Но упускают из виду тот факт, что и самая идеальная база данных будет бессильна перед низкой скоростью работы системы хранения данных, а именно последняя часто и является источником проблемы.

Действительно, первопричина проблем с производительностью приложений зачастую кроется в системе хранения данных, а не в скорости процессора или нехватке памяти. Когда процессор простаивает в ожидании информации от системы хранения, драгоценное время и ресурсы расходуются впустую. А учитывая то, что в последние 20 лет вычислительная мощность процессоров растет в геометрической прогрессии, этот простой становится все больше и больше. Проще говоря, вычислительные ресурсы современных процессоров намного превосходят скорость, с которой жесткие диски могут доставлять им данные. Особенно остро этот разрыв в производительности ощущается в серверах баз данных, где количество операций ввода-вывода обычно гораздо больше, чем в других системах. В итоге сверхбыстрые процессоры и огромная пропускная способность часто задействованы далеко не на полную мощность, потому что на доступ к данным на жестких дисках уходит по несколько миллисекунд, что для современных процессоров — целая вечность. А когда серверы долго ждут данных от систем хранения, пользователи долго ждут ответа от серверов. Вот где реальный источник проблемы с низкой скоростью операций ввода-вывода.

Эта проблема обусловлена чисто физическими причинами. Перемещение данных на твердотельных накопителях и через сеть происходит на скорости, сопоставимой со скоростью тока в электрической цепи, т. е., по сути, скорости света, тогда как жесткие диски — это устройства механические, считывающие информацию за счет вращения пластины. Таким образом, при всей своей надежности и работоспособности жесткие диски в плане скорости доступа являются однозначно самым слабым звеном в цепи передачи информации.

Недостатки традиционных путей обхода проблемы со скоростью HDD

Проблемы с производительностью из-за неэффективности жестких дисков пытаются решать несколькими способами, в частности, созданием массивов JBOD (just a bunch of disks — просто набор дисков) или RAID (redundant array of independent disks — избыточный массив независимых дисков). С увеличением количества дисков появляется возможность распределять операции ввода-вывода, осуществляемые базой данных, по нескольким дискам. К сожалению, это дает слишком скромный прирост производительности HDD.

Еще принято перемещать часто используемые файлы на отдельный диск. Скорость операций ввода-вывода у одного диска при этом действительно вырастает до своего максимума, только вот даже на максимуме эта скорость по-прежнему невысока. В лучшем случае один жесткий диск выдает ~200, без применения дополнительного функционала, операций ввода-вывода в секунду (IOPS — input/output operations per second), что в разы ниже скорости, которая могла бы сократить разрыв в производительности между процессором и HDD.

Третьим традиционным способом повысить производительность HDD является замена JBOD на RAID. Производительность в результате действительно вырастает, особенно если подключить диски к контроллеру с бОльшим кэшем, который будет распределять данные по разным дискам. Но при этом, чтобы достичь высокой скорости операций ввода-вывода, ожидаемой пользователями, потребуется такое количество дисков, что их стоимость, занимаемое пространство, энергопотребление, тепловыделение и вес окажутся просто-напросто неприемлемыми.

Ответ: системы хранения только на базе флэш-памяти

Разрыв в производительности между вычислительной мощностью серверов и системами хранения данных на жестких дисках, особенно остро ощущаемый в критически важных бизнес-приложениях, требует принципиально иных, более быстрых систем хранения.

Системы хранения на базе флэш-памяти — это устройства с твердотельными накопителями, призванные решить проблему с недостаточной скоростью операций ввода-вывода; их скорость доступа к данным и операций ввода-вывода в разы лучше, чем у жестких дисков. Эти системы хранения могут дополнять или полностью заменять традиционные массивы из жестких дисков для многих критически важных бизнес-приложений, включая ERP-системы, транзакционные базы данных и аналитические приложения (бизнес-аналитика и т. п.). Более того, в связи с постепенным снижением цен на эти новые устройства сегодня вполне возможно построить целую систему хранения на базе одной флэш-памяти.

В широком смысле слова под SSD (solid state drive — твердотельный накопитель) понимается любое устройство ввода-вывода данных, лишенное механических компонентов. Однако в последнее время термин SSD используется в основном для обозначения твердотельных накопителей, имеющих традиционный форм-фактор жесткого диска и идущих ему на смену. SSD-накопители такого форм-фактора не следует путать с системами хранения на базе флэш-памяти. Интерфейсы и контроллеры таких SSD-накопителей основываются на традиционных для жестких дисков технологиях, которые создавались исходя из присущих HDD задержек доступа и ограничений пропускной способности. Системы же хранения на базе флэш-памяти изначально разрабатывают исходя из особенностей этой технологии и в расчете на быстрый контроллер FPGA, ставя цель минимизировать задержку и получить максимальную пропускную способность.

У современных систем хранения на базе флэш-памяти время ожидания операций ввода-вывода сокращено за счет того, что скорость доступа в 250 раз быстрее, чем у жестких дисков (0,2 мс против 5 с). А увеличение скорости доступа в свою очередь позволяет флэш-памяти выдавать в 2000 раз больше операций ввода-вывода в секунду, чем у HDD (400 000 с лишним IOPS против 200). Такое улучшение может резко сократить задержки доступа к информации, обусловленные медлительностью системы хранения.

Внедрение технологий флеш накопителей или замена существующих дисков позволяет, серверам любой архитектуры, увеличить возможности ЦПУ по количеству выполняемых задач за единицу времени. Так на примере IBM Power Systems прирост производительности сервера при работе с БД Oracle достигал до 40% на открытых тестированиях, что позволяет значительно увеличить эффективную утилизацию существующей инфраструктуры. То есть сервер без изменения конфигурации сможет выполнять на 40% больше запросов за тот же период времени.

Семейство IBM FlashSystem

IBM считает флэш-память стратегически важной технологией хранения данных и ставит своей целью быть в авангарде разработки систем хранения только на базе флэш-памяти. (Одним из следствий этой политики стала покупка в октябре 2012 года компании Texas Memory Systems (TMS) — высококлассного производителя мощных и надежных систем хранения на базе флэш-памяти.)

Целенаправленное использование IBM FlashSystem помогает предприятиям повысить свою гибкость и эффективнее задействовать аналитику — персонал в любой момент может оперативно получить информацию, которая всегда актуальна, поскольку поступает в режиме реального времени, а не с большими задержками. Кроме того, эта система способствует оптимизации центров обработки данных и консолидации ресурсов, в результате чего растет эффективность бизнес-процессов и работы критически важных приложений. Повышается и устойчивость систем, причем без потерь производительности и доступной емкости.

Системы хранения только на базе флэш-памяти имеют емкость больше, чем у всех предыдущих технологий хранения данных. Это объясняется тем, что они не требуют дополнительных батарей для копирования DDR-кэша в случае отключения электроэнергии, равно как и обходятся без большого количества дорогих модулей DDR-памяти. Объем нужной им DDR-памяти минимален — она служит в качестве буфера записи для флэш-памяти и хранилища метаданных во время работы. Электропитание, необходимое, чтобы в моменты отключения электроэнергии скопировать небольшой кэш и метаданные на флэш-память, обеспечивается маленькими батареями. Система хранения данных только на базе флэш-памяти с 57-ю терабайтами адресуемой памяти и высоким уровнем доступности имеет размер всего 2U.

В продуктах IBM FlashSystem применяется технология FlashCore которая позволяет используя тип носителя многоуровневого класса MLC получить показатели сроков хранения и производительности не хуже, чем SLC.

Системы хранения FlashSystem способны на 1 000 000 операций чтения в секунду с задержкой менее 100 микросекунд и при этом настолько компактны, что в одном отсеке 2U можно разместить устройства емкостью до 57 ТБ. Другим немаловажным преимуществом является высокий уровень доступности и надежности, обязательный для предприятий: отсутствие компонентов, отказ которых приводит к отказу всей системы, наличие нескольких уровней коррекции данных, резервных микросхем и компонентов с поддержкой «горячей замены».

Продукты IBM FlashSystem имеют наименьшую задержку и наивысший показатель IOPS среди конкурентов и при этом привлекательны с точки зрения совокупной стоимости владения. Нужно учесть что сравниваются не отдельные параметры а совокупность времени отклика и количества операций ввода-вывода. Они могут использоваться в качестве систем хранения т. н. уровня 0 (Tier 0, т. е. превосходящего по возможностям традиционный уровень Tier 1 — системы хранения данных, необходимых для первоочередных задач предприятия) в комбинации с SVC (IBM System Storage SAN Volume Controller). Также IBM FlashSystem будут особенно полезны, когда работоспособность критически важных бизнес-приложений напрямую зависит от охлаждения, низкого энергопотребления и компактного размера. На сегодня представлены две основные модели IBM FlashSystem 900 и IBM FlashSystem V9000. Первая занимает 2 юнита и обеспечивает высокую производительность в то время как вторая система занимает 6U и дополнительно к высоким показателям обладает набором High End функционала. Что позволяет оптимизировать использование объёма, более эффективно распределять нагрузки, создавать кластера хранения как в пределах датацентра так и географически разнесённые. В ближайшие дни планируется к запуску новейшая разработка которая увеличит портфель предлагаемых систем и добавит функционал в линейку IBM FlashSystem.

Экономические выгоды IBM FlashSystem

Системы хранения только на базе флэш-памяти имеют не только технические преимущества, но и ряд экономических выгод по сравнению с традиционными системами на базе HDD. Например, стоимость лицензирования ПО для систем хранения IBM FlashSystem на 50 % ниже, чем у систем на базе HDD.

К тому же гораздо меньший размер и более высокая плотность хранения данных позволяют значительно сократить занимаемую площадь. Как отмечалось выше, система хранения данных только на базе флэш-памяти с 57-ю терабайтами адресуемой памяти и высоким уровнем доступности имеет размер всего 2U. Таким образом, в одной стойке можно разместить систему емкостью более чем 1 петабайт.

Системы хранения данных только на базе флэш-памяти также гораздо более энергоэффективны, чем сопоставимые системы на базе HDD, — затраты на электроэнергию ниже на 75 %.

— Стоимость лицензирования ПО для IBM FlashSystem на 50 % ниже, чем у систем на основе HDD.
— IBM FlashSystem занимает значительно меньше места и экономит до 75 % электроэнергии по равнению с HDD.
— Стоимость эксплуатационной поддержки систем на базе флэш-памяти на 35 % ниже по сравнению HDD
— Совокупная стоимость системы хранения данных только на базе флэш-памяти на 31 % меньше, чем у HDD

Переход на флэш-память

Залогом максимальной отдачи и экономической эффективности флэш-памяти является стратегическое ее использование. Система хранения только на базе флэш-памяти полезна многим приложениям, но далеко не всем; в первую очередь она нужна основным приложениям предприятия. Ключ к высокой производительности приложений, удовлетворению пользователей оптимальной совокупной стоимости владения лежит в умении идентифицировать те приложения, которые выиграют от перехода на системы хранения только на базе флэш-памяти, и те, которым хватит традиционных систем на базе HDD или же гибридных систем на основе комбинации этих технологий.

Низкая производительность приложений обычно связана с большим объемом одновременных и зачастую высокосложных запросов к базе данных. Если слабым звеном при этом является подсистема ввода-вывода, то необходимо выявить компоненты базы данных, которые работают под наибольшей загрузкой и таким образом вызывают задержку в операциях ввода-вывода.

В некоторых случаях на системы хранения на базе флэш-памяти переносят целые базы данных. Обычно это БД со стандартно высоким объемом одновременных запросов или регулярным случайным доступом ко всем таблицам БД, когда вычленить подмножество наиболее часто используемых файлов не представляется возможным.

Хорошо подходят для переноса на системы хранения на базе флэш-памяти также БД малого и среднего размера, потому что такие решения крайне привлекательны по цене, особенно по сравнению с RAID-системами. Аналогичное справедливо для крупных баз данных с большим количеством запросов на чтение.

Другие доводы в пользу флэш-памяти — это такие недостатки больших дисковых массивов из HDD, как большая занимаемая площадь и высокое энергопотребление.
Поделиться с друзьями
-->

Комментарии (44)


  1. ls1
    23.08.2016 10:52

    57-ю терабайтами… всего 2U

    мегабакс в 2U?
    У кого-нибудь на памяти есть девайсы такой замечательной ёмкости?


    1. a_shats
      23.08.2016 19:35

      В деньгах или по объему?
      По объему — ничего сверхъестественного, 12х 10ТБ если хардами уже достаточно давно в 2U лезет без всяких извращений.
      Ну или вот: http://www.storagereview.com/seagate_announces_60tb_sas_ssd
      60 ТБ в 3,5".
      Сейчас гораздо веселее становится вопрос интерконнектов — между ли узлами, между сервером и хранилищем и т.п.
      Что толку с адски низкой латентности NVMe и подобных девайсов, если она будет съедена сетью хранения данных где-то по дороге?
      Как-то так…


      1. ls1
        23.08.2016 19:57

        В деньгах или по объему?

        в мегабаксах на 2 юнита


  1. SemperFi
    23.08.2016 12:40

    Проблемы с производительностью из-за неэффективности жестких дисков пытаются решать несколькими способами, в частности,… или RAID (redundant array of independent disks — избыточный массив независимых дисков)

    RAID не решает проблемы с производительностью HDD, он их создает, так как задача RAID — не повышение производительности, а сохранение информации в случае отказа одного или более HDD за счет дублирования этой информации. соответственно, у каждого RAID есть RAID-пенальти — фактор, который показывает отношение количества фактических операций записи на одну операцию, прилетевшую на массив. Для RAID5 фактор пенальти равен 4 — прилетела одна запись, а реально записали 4 раза.


    1. ls1
      23.08.2016 13:15
      +1

      Помимо пенальти (на запись) там есть такой фактор как количество шпинделей, так что еще как решает, бенчмарки хотя бы посмотрите прежде чем такое писать


      1. SemperFi
        23.08.2016 13:38

        я вас, если честно, не понял.

        во-первых — если вы ссылаетесь на какие то бенчмарки — давайте сразу ссылки, это просто правило хорошего тона, чтобы мы могли говорить о одном и том же.

        во-вторых — количество шпинделей — один HDD это один шпиндель, многошпиндельных HDD я не видел. Самыми быстрыми будут массивы JBOD, они же RAID0, он не избыточен, и его нельзя считать полноценным RAID.
        Далее по скорости и по убыванию — RAID10, RAID5, RAID6.

        Для примера — возьмем СХД с 24 дисками SFF 300 Гб 15 000 об.мин., отношение операций чтение/запись — 70/30, условия записи стандартные — блоками по 4 кб.

        показатели производительности:
        RAID0 = 4080 iops
        RAID10 = 3600 iops
        RAID5 = 2463 iops
        RAID6 = 1872 iops.

        При этом доступное место — зависимость обратная:

        RAID10 = 3215 Гб
        RAID5 = 5626 Гб
        RAID6 = 5894 Гб
        RAID0 = 7200 Гб.
        цифры даны примерные, округленные.


        1. ls1
          23.08.2016 13:42
          +2

          показатели производительности:

          RAID10 = 3600 iops
          ...

          теперь сравните это с 200 iops одного диска. Всё еще продолжаете утверждать что RAID не решает проблему производительности?

          во-вторых — количество шпинделей — один HDD это один шпиндель, многошпиндельных HDD я не видел.

          это вообще без комментариев


          1. SemperFi
            23.08.2016 13:54

            в примере приведены диски SFF 300 Гб 15 000 оборотов в минуту.
            статистика для таких дисков с интерфейсом SAS — 188 — 203 iops, реальные показатели в установившемся режиме — 170, максимально 180 iops, ни о каких 200 речь не идет. Я считал, что показатель диска — 170.

            но давайте пересчитаю с предположением, что с диска можно получить 200 iops, получаем:

            RAID0 = 4800 iops
            RAID10 = 3692 iops
            RAID5 = 2526 iops
            RAID6 = 1920 iops

            и — интересно на бенчмарки посмотреть. вы про SPС-тесты?


            1. ls1
              23.08.2016 13:59

              170, максимально 180
              Да какая разница? Я вижу разницу больше чем на порядок с одним диском, вы утверждаете что производительность не улучшается. Не вижу повода для обсуждения. А то что объем уменьшается — ну да, у каждого решения своя цена, но это не значит, что решения нет.


              1. SemperFi
                23.08.2016 14:16

                давайте еще раз — мы берем HDD с производительностью 200 iops, берем таких дисков 24 штуки (это удобное число, потому что можно составить разные комбинации RAID-групп), считаем производительность:

                RAID0 = 4800 iops — производительность этой группы — 100% от суммарной производительности дисков, отказоустойчивость равно нулю, т.е. при выходе из строя одного любого диска мы теряем всю информацию на массиве

                RAID10 = 3692 iops — производительность этой группы — 77 % от суммарной производительности дисков, отказоустойчивость равна одной группе (есть варианты групп 1+1, 2+2 и так далее).

                RAID5 = 2526 iops — производительность этой группы — 53 % от суммарной производительности дисков, отказоустойчивость равна одному диску в группе группе (есть варианты групп 3+1, 4+1 и так далее).

                RAID6 = 1920 iops — производительность этой группы — 40 % от суммарной производительности дисков.


                1. ls1
                  23.08.2016 14:22

                  Давайте еще раз с вашего утверждения:

                  RAID не решает проблемы с производительностью HDD, он их создает, так как задача RAID — не повышение производительности, а сохранение информации в случае отказа одного или более HDD

                  Утверждение ложно (о чем я и толкую) поскольку для повышения IOPS (для потребностей СУБД например) один терабайтный диск можно заменить на массив (RAID10) из двух десятков мелких дисков и получить IOPS на порядок больше чем было. Что собственно люди и делают, и о чем собственно автор и пишет в сабжевой статье.


                  1. SemperFi
                    23.08.2016 15:01
                    +1

                    я понял, о чем вы. ваш подход формально верен, но при проектировании СХД основным фактором является стоимость за iops или за время отклика, а не за объем — он обычно набирается как довесок к требуемым параметрам.

                    А автор пишет, простите, маркетинговую глупость, о чем я и говорю — например — «Третьим традиционным способом повысить производительность HDD является замена JBOD на RAID.»

                    RAID 0 — дисковый массив повышенной производительности с чередованием, без отказоустойчивости. Строго говоря, RAID-массивом не является, поскольку избыточность (Redundancy) в нём отсутствует. Все остальные массивы, при прочих равных, дают снижение производительности.


                    1. ls1
                      23.08.2016 15:04

                      А автор пишет, простите, маркетинговую глупость, о чем я и говорю — например — «Третьим традиционным способом повысить производительность HDD является замена JBOD на RAID.»
                      Автор такого не писал.


                      1. SemperFi
                        23.08.2016 15:06

                        Ctrl+F и найти эту фразу, либо раздел «Недостатки традиционных путей обхода проблемы со скоростью HDD», начало третьего абзаца


                        1. ls1
                          23.08.2016 15:14

                          Ок, нашел. Но почему глупость? Всё так и есть, к тому же менять JBOD именно на RAID0 автор вроде не призывал


                        1. ls1
                          23.08.2016 15:26

                          Все остальные массивы, при прочих равных, дают снижение производительности.
                          Минуточку, так вы считаете что RAID0 это то же самое что JBOD?


                          1. SemperFi
                            23.08.2016 15:28

                            JBOD — дисковый массив, в котором единое логическое пространство распределено по жёстким дискам последовательно. Однако в некоторых RAID-контроллерах режимом «JBOD» назван режим, при котором контроллер работает как обычный IDE- или SATA-контроллер, не задействуя механизмы объединения дисков в массив, то есть в таком случае каждый диск будет виден как отдельное устройство в операционной системе. Этот факт указывает на то, что термин JBOD как режим функционирования дисков ещё окончательно не устоялся.


                            1. ls1
                              23.08.2016 15:31

                              Так да или нет? Если да — то вы не понимаете что такое JBOD, если нет — тогда ваше утверждение

                              Все остальные массивы, при прочих равных, дают снижение производительности.
                              — ложно


                              1. SemperFi
                                23.08.2016 15:40

                                я говорю о JBOD в терминологии конкретно СХД IBM — его так же можно назвать spanned volume, т.е. информация пишется на все диски последовательно, без избыточности.


                                1. ls1
                                  23.08.2016 15:45

                                  терминология IBM не противоречит общепринятой. В случае JBOD информация пишется со скоростью того единственного диска, на который она в данный момент пишется. Так что любой RAID из 24 дисков даже на запись будет работать быстрее JBOD, не говоря уже о чтение.


                                  1. SemperFi
                                    23.08.2016 15:54
                                    -1

                                    Видимо нащупали то место, которое мы называем одинаково, но вкладываем разные сущности, для меня это не так —

                                    В случае JBOD информация пишется со скоростью того единственного диска, на который она в данный момент пишется.
                                    . в настройках всех RAID контроллеров, с которыми я лично работал, и СХД — режим JBOD это название RAID0.


                                    1. ls1
                                      23.08.2016 15:55

                                      в настройках всех RAID контроллеров, с которыми я лично работал, и СХД — режим JBOD это название RAID0.

                                      Можно пруф? Подозреваю, вы что-то путаете


                                      1. SemperFi
                                        23.08.2016 16:21

                                        возможно, лошадь о четырех ногах — и та спотыкается.

                                        под рукой оборудования нет, постараюсь посмотреть при следующем визите к заказчику.


        1. geher
          24.08.2016 14:48

          > Самыми быстрыми будут массивы JBOD, они же RAID0,

          Интересное кино. Это где такое извращение?

          JBOD как отдельные диски — видел.
          JBOD как простое объединение пространства дисков (сначала все пространство одного диска, потом другого и т.д) — видел.
          JBOD как RAID0 (объединение пространства с чередованием блоков) — первый раз о таком читаю.


  1. bolonov
    23.08.2016 13:41

    «This video is unavailable» — по всем роликам


  1. worker
    23.08.2016 13:53

    По сюжету фильма три американских космонавта отправляются на Луну

    А, всё-таки не летали:)


  1. sergeypr
    23.08.2016 19:33

    Понятно что SSD диски (да ещё и в массиве, они ведь в СХД тоже в каком либо RAID массиве задействованы?) сильно быстрее HDD…
    Никто и не сомневается…
    Вопросы:
    1. Как с надёжностью работы SSD при повышенной температуре? Были сведения, что надежность хранения данных при некоторой, достаточно низкой температуре очень сильно снижается… ссылки не подскажу, в гугле есть)
    2. Сравнение стоимости примерно одинаковых СХД на HDD и SSD можете привести? очень сильно подозреваю, что стоимость также в РАЗЫ отличается!


  1. Fenomen51
    23.08.2016 19:35

    Легче, чем пересмотреть свои коды и вырезать из них то, что никакого отношения к выполнению задачи не имеет, построить кэш по ключам или вообще раскинуть мыслью перед тем как реализовывать продукт. Живы методы подключения Фреймворка, библиотеки из-за того, что вам нужна процедура в 2 строчки из них. Повсеместное логирование, удваивающее нагрузки на некоторые типы задач. Неплохо, чтобы задачу ставил конечный потребитель, а не тот, кто этим сервисом никогда в жизни не пользовался и не планирует, а решал её непосредственно конечный программист для себя сам, работая прямо с клиентами. Сперва используете xml с одному Богу ведомой избыточностью, парсите всё это с каждой стороны в нормальный код, готовыми библиотеками на языках, далёких от совершенства, скомпилированных несколько лет назад, что не поддерживают ни последних, ни предпоследних технологий, а после этого добавим скорости ещё?


  1. romxx
    24.08.2016 14:48

    Один простой вопрос, на который я как-то не вижу ответа ни у кого.
    Вот, допустим, вы правда умеете миллион IOPS. Допустим, вы говорите про миллион IOPS чтения стандартными для типовой файловой системы блоком 4Kбайт. Это означает, что СХД создает трафик в направлении сервера, через свой интерфейс, в объеме:
    1 000 000 х 4096 х 8 = 32 768 000 000 бита в секунду, что равно примерно 30,5 гигабит в секунду. Что за интерфейс вы используете, по которому сервер может «высосать» из СХД больше 30 гигабит в секунду?

    И что будет дальше, с приходом NVMe и Xpoint?


    1. ls1
      24.08.2016 15:04

      PCI express же
      https://habrahabr.ru/company/hostkey/blog/271661/


      1. romxx
        24.08.2016 15:07

        Разве PCI express можно использовать в качестве интерфейса для SAN? Сколько у этой шины максимальная дальность передачи и число линий в потенциальном кабеле?


        1. ls1
          24.08.2016 15:20

          Ну если считать это 2U SAN — клиентам можно раздавать через линкагрегации 10G ethernet. Клиентов то много, не одному же клиенту 30G обязательно чтоб влезло


          1. romxx
            24.08.2016 15:22

            С учетом, что уже сегодня бытового уровня (!) флэшка на терабайт (два самсунга по 512) дает больше, чем помещается в 10G, то как-то не видится мне тут будущего. Похоже SAN естественным образом пришел к своему концу.

            А насчет «один клиент не прожует» — один может и не прожует (хотя SAP HANA и прочие memory-allocated db уже готовы поспорить с этим) но SAN-то это для множества клиентов. И все они упрутся в интерфейс СХД. Все, амба.


            1. ls1
              24.08.2016 15:35

              Ну есть и 100GbE для самых жадных, только повторюсь зачем? SAN не для того делают чтоб одному клиенту всю полосу отдать. А по 10GbE на сервер (да еще и агрегацией, да еще и по несколько VM на каждом сервере) и несколько серверов запросто утилизируют SAN'овские ресурсы не выходя за ограничения 10GbE


              1. romxx
                24.08.2016 15:43

                100G еще в реальности нет. По крайней мере 100G в DC не вопрос ближайшего будущего, просто по причине запредельной цены решения.
                А устройство, которое уже положит напрочь своим трафиком даже и 100G — есть, это пресловутый Xpoint, котоый Intel и Micron нам обещают уже практически завтра.

                Вот и вопрос: SAN — все?
                Я лично вижу во flash тупик для SAN как архитектурной идеи. Но может я чего-то не вижу?


                1. ls1
                  24.08.2016 15:52

                  Я что-то не пойму, с чего это SAN всё? Что вы предлагаете ей на замену? Вот мне шаред сторедж к кластеру подключить надо. 40G агрегация (из 4 шт 10GbE) на каждую ноду мне за глаза достаточно, SAN — то что мне нужно, почему он всё? Потому что Xpoint? Так его всё равно в лучшем случае через PCIe подключать будут в СХД. И случится она не завтра


                  1. romxx
                    25.08.2016 07:48

                    Я пока ничего тут не «предлагаю на замену», я спрашиваю, правильно ли я вижу ситуацию.

                    SAN появился, технически, потому, что канал передачи данных, например FC, был заведомо быстрее одного отдельного, или даже группы объединенных дисков. Именно это позволяло нам взять сотню HDD, поставить их в один ящик, получить единый большой массив, сделать из них RAID, и гонять на них и с них рандомный ввод-вывод, просто потому, что «труба» к дискам, интерфейс FC, всегда заведомо, в разы шире, чем тот ввод-вывод, который на рандоме можно было получить с этих дисков. Все было ОК. Диски нагружены по максимуму, много серверов ходят по FC к ним за своими данными, и все равно интерфейса хватает на все.

                    Теперь появился flash, NVMe и Xpoint. Все кардинально поменялось. Теперь один диск, будучи совсем небольшим по емкости, уже превышает своей производительностью любой SAN-интерфейс. Это делает бессмысленным набивание этих дисков в большие коробки в SAN. Если даже один-два диска, будучи небольшой емкости, уже ограничиваются SAN-ом по пути к локальному серверу, то становится бессмысленным ставить их в СХД. Сам СХД на SAN будет ограничивать потенциальную производительность этих устройств. Даже один локальный сервер будет сталкиваться с «бутылочным горлом» интерфейса SAN, не говоря уж о нескольких серверах.

                    SSD flash МОГ БЫ, технически, дать больше, но, будучи в СХД — НЕ МОЖЕТ это дать серверам, потому что весь поток данных уперся в интерфейс ввода-вывода СХД и ограничение его производительности.

                    Отсюда мой вывод: появление и массовое распространение flash — архитектурный тупик для ныне существующей модели SAN и СХД как таковых.
                    Я не прав?


                    1. ls1
                      25.08.2016 08:36

                      Я пока ничего тут не «предлагаю на замену», я спрашиваю, правильно ли я вижу ситуацию.
                      В технике что-то можно считать «умершим» только если ему на замену что-то пришло (более хорошее). На замену SAN пока ни чего не пришло.

                      SAN появился, технически, потому, что канал передачи данных, например FC, был заведомо быстрее одного отдельного, или даже группы объединенных дисков.

                      Нет. SAN появился потому, что людям нужны кластера, а кластерам нужны шаред стореджы. А транспортом для шаред стореджа является SAN.


                      1. romxx
                        25.08.2016 09:18

                        На замену SAN вовсю уже идут конвергентные системы, например. Если вы этот поворот пропустили, то самое время посмотреть.

                        > Нет. SAN появился потому, что людям нужны кластера

                        Ну тут я просто не знаю, с чего вы так решили. Для SAN кластеры не только не причина их появления, но даже не основной их потребитель, даже сейчас, не говоря о времени появления SAN.


                        1. ls1
                          25.08.2016 10:27

                          На замену SAN вовсю уже идут конвергентные системы, например. Если вы этот поворот пропустили, то самое время посмотреть.
                          Применение Ethernet вместо FC тоже вполне себе конвергенция. Не понятно, какую из обсуждаемых проблем вы хотите с её помощью решить.

                          Ну тут я просто не знаю, с чего вы так решили. Для SAN кластеры не только не причина их появления, но даже не основной их потребитель, даже сейчас
                          Не видел ни одного внедрения SAN что бы не ради подключения к кластеру. Во всех остальных случаях используют DAS, если конечно нет цели распилить бюджет небольшой страны. Откуда ваша статистика?


                          1. romxx
                            25.08.2016 14:21

                            > Не видел ни одного внедрения SAN что бы не ради подключения к кластеру. Во всех остальных случаях используют DAS, если конечно нет цели распилить бюджет небольшой страны. Откуда ваша статистика?

                            Возможно потому, что я начал в этой области работать пораньше вас. И внедрял SAN не только под гипервизоры.


                            1. ls1
                              25.08.2016 14:41

                              Ага, видимо так давно, что уже позабыли, что такое SCSI Y-Cable и на сколько раньше этих ваших новомодных SAN он появился. Да-да, кластеры строили уже тогда, не дожидаясь ни SAN, ни гипервизоров.


                              1. romxx
                                25.08.2016 14:43

                                Я помню про SCSI Y-cable (то еще говнищщо с точки зрения надежности в работе), но вы, кажется, в сторону уходите от вопроса.


                                1. ls1
                                  25.08.2016 14:45

                                  А какие еще остались вопросы?