Семейство IBM FlashSystem — это результат многолетних разработок и инвестиций в размере $ 1 млрд во флэш-технологии. Внутренние строение AFAs зачастую является строжайшей коммерческой тайной. Производители, как правило, акцентируют внимание на маркетинге (насколько быстро будут обрабатываться данные, скорость записи/чтения, надежность), но не разглашают подробности строения систем.
Не так давно IBM предоставили возможность рассмотреть компоненты своей FlashSystem 900, которая работает в качестве автономного устройства и обеспечивает 1 миллион/600 000 IOPS при рандомном чтении/записи и 10.5/4.5 Гб/с I/O при последовательном чтении/записи. FlashSystem 900 также служить в качестве компонента в боле крупных системах от той же IBM, FlashSystem V9000 и A9000 AFAs. По-этому ознакомление с FlashSystem 900 позволяет увидеть разницу между компонентом и более крупной системой созданной из этих компонентов.
Флеш-ммассивы развивались на протяжении нескольких лет, но начинались они с использования обычных SSD накопителей стандартного форм-фактора 2,5 дюйма, которые подключались к системам хранения данных, разработанных для HDD дисков. Использование SSD позволяло значительно ускорить работу системы по сравнению с HDD. Но это не решало проблемы в полной мере, узкие места попросту кочевали в другие компонентам массива (RAID контроллер или сетевой интерфейс).
Пионеры флешь-массивов стали разрабатывать оптимизированные SSD устройства с более быстрыми внутренними компонентами и оптимизированными каналами передачи данных, в то время, как потребности центров обработки данных только росли. Большинство производителей AFA все еще используют 2,5 SSD-накопители. Новейшие AFAs на основе 2,5 SSD-накопителей предоставляют пользователям высокую производительность и отказоустойчивость, но возможности таких SSD ограничены из-за заводской прошивки.
Другие производители, такие как IBM, XtremIO (EMC) и Violin, создали свои собственные AFAs с использованием специально разработанных флэш-модулей. Эти новые продукты обеспечивают возможность контроля самой NAND, которая, в свою очередь, дает возможность контролировать плотность хранения данных, производительность, износостойкость и экономичность.
FlashSystem 900 это 2U шасси которое вмещает в себя 12 модулей с возможностью горячей замены MicroLatency, как показано на изображении ниже. Кроме того, система имеет два больших литий-ионных аккумулятора (слева), которые обеспечивают достаточную мощность для завершения процесса записи в случаи выхода из строя основного источника питания. Аккумуляторы обеспечивают достаточную мощность, чтобы завершить работу массива корректно и без каких-либо потерь данных.
Каждый модуль MicroLatency может содержать 1.2 ТБ, 2.9 ТБ или 5.7 ТБ флэш-памяти. В свою очередь, система записывает данные через один модуль. Сами модули сконфигурированы в RAID 5, чтобы обеспечить максимальную сохранность данных при выходе из строя одного из модулей. IBM также использует свою собственную переменную дорожку RAID на уровне флэш-памяти, чтобы создать двумерную паритетную схему контроля.
Каждый модуль MicroLatency имеет конструкцию двойного PCB с Xilinx Kintex-7 ПВМ. Каждая печатная плата может вмещать до четырех FPGA, но количество FPGA варьируется в зависимости от плотности модуля. Например, модуль 1,2 ТБ будет использовать только один FPGA на одной печатной плате. Использование архитектуры с несколькими FPGA позволяет IBM линейно масштабировать производительность и мощности.
Более пристальный взгляд на обратную сторону платы показывает два PCIe 3.0 x2 соединения с левой стороны. Эти слоты используются для соединения с хостом и коммуницируют с помощью последовательного протокола, запатентованного компанией IBM. Протокол обеспечивает схожие преимущества NVM Express: снижение нагрузки на процессор, задержки, повышение производительности. Собственный протокол использует аппаратно ускоренный канал передачи данных со сквозной маршрутизацией, чтобы устранить процессы вызывающие задержки, такие как прерывания.
У каждого FPGA есть свои собственные DRAM для управления LBA, и IBM также использует DRAM для кэширования пользовательских данных.
Большая часть SSD не кэшируют пользовательские данные в DRAM, но подход к защите потерь мощности на системном уровне (через батареи) предоставляет IBM несколько преимуществ. Отдельные SSD-накопители, применяющиеся в FlashSystem 900, не требуют специальных конденсаторов, которые используют обыкновенные SSD накопители форм-фактора 2,5 дюйма. Это позволяет компании упаковывать больше флэш-памяти в проект. Меньшее число конденсаторов также уменьшает число потенциальных точек отказа и сложности программного обеспечения.
Несколько конденсаторов все же расположено между пакетов флэш-памяти, но они используются для борьбы с падением напряжением, когда система одновременно пишет в несколько пакетов NAND.
IBM наладили стратегическое партнерство с Micron, чтобы использовать FortisFlash NAND, которая настраивается и предоставляет дополнительные возможности программирования в системе. Это позволяет IBM динамично изменять основное программирование каждого блока в течение жизни NAND, основанной на возрасте и здоровье. Micron указали, что при правильной настройке, MLC FortisFlash NAND может предложить до 10000 циклов перезаписи (более чем в три раза по сравнению со стандартной оценкой 3000-циклов).
Существует много различных разновидностей ECC, таких как BCH и LDPC, и у каждого есть собственные преимущества и недостатки. Поставщики AFA, которые используют 2.5-дюймовый SSD, ограничены в ECC, они могут использовать только установленную производителем SSD накопителя. Но кастомный дизайн обеспечивает гибкость, чтобы использовать пользовательские алгоритмы ECC.
IBM разработала собственный алгоритм ECC. Эта реализация колеблется между BCH, который является интенсивным методом, но имеет ограниченные возможности коррекции ошибок, и LDPC, который может подвергнуться чрезмерному усилению записи во время процесса коррекции ошибок (таким образом уменьшающий износостойкость). IBM считает, что кастомная «read once» коррекция ошибок включает в себя лучшее из обоих методов.
IBM также использует сегрегацию тепла, которая обнаруживает горячие и холодные данные и затем объединяет их, чтобы уменьшить износ. Компания динамично отслеживает остающееся число возможных перезаписей каждой ячейки, таким образом редко изменяемые «холодные» данные хранятся по более старым ячейкам NAND. За счет чего сохраняется износостойкость. IBM утверждает, что тепловая изоляция повышает выносливость на 49 процентов, а добавление селективного выравнивания износа (на основе здоровья NAND) повышает выносливость на 57 процентов.
Каждое 2U шасси содержит два избыточных источника питания прямо позади передней панели доступной батареи с функцией горячей замены. Система имеет четыре модульных вентилятора с возможностью горячей замены, размещенных в двух больших блочных канистрах (слева). Каждая из них имеет ряд портов ввода/вывода (диапазон Fibre Channel, iSCSI и FCoE) вдоль вершины, которые находятся на интерфейсных платах с возможностью горячей замены.
Каждая канистра содержит два процессора из серии Intel Xeon E5v2, 64ГБ оперативной памяти и контроллер RAID (XBAR). Канистры также имеют возможность горячей замены, чтобы минимизировать время простоя в случаи сбоя в вычисленной части системы или памяти. Сама конструкция оптимизирована для обеспечения максимум двух хопов и никогда больше от портов ввода/вывода данных до флэш-памяти, что гарантирует стабильную производительность и сталую задержку.
IBM приобрела Texas Memory Systems в 2012 году и сделала дополнительные инвестиции в $ 1 млрд в развитие флэш-технологии в 2013 году. Это позволило компании разработать индивидуальные флэш-массивы, которые обладают более высокой производительностью и надежностью чем типичные флэш-массивы с использованием 2,5 SSD. В IBM утверждают, что семейство FlashSystem предоставляет на 9,41 процентов больше выносливости, чем конкурирующие решения и предоставляет его с гарантией на семь лет. Специалисты IBM могут повысить плотность памяти в своих модулях MicroLatency, дающих защиту от потерь мощности в масштабе всей системы. Сделать это они могут используя собственный, управляемый аппаратными средствами, последовательный интерфейс, который устраняет задержки вызванные программным обеспечением. Компания разрабатывала свою собственную архитектуру, чтобы обеспечить ряд преимуществ, таких как пользовательский ECC и адаптивные алгоритмы NAND, обеспечивающие большие преимущества для конечного пользователя с точки зрения плотности, производительности и стоимости.
IBM не единственная компания в гонке флеш-массивов. EMC недавно представила целую линейку флэш-устройств, некоторые из которых использовали нестандартные конструкции SSD. Компания полностью переводит все свои системы хранения данных на использование флешь-памяти. У Pure Storage также есть подающая надежды инициатива с устройством FlashBlade, но данная платформа все еще не доступна на рынке на данный момент. У Violin Memory тоже имеется индивидуальный проект, но его плохая производительность и мрачные перспективы отговаривают многих от использования данного решений.
IBM среди главных поставщиков AFA с точки зрения производительности, но далеко не первые в доходе. В компании утверждают, что в конечном результате индивидуального проекта, они будут предлагать более высокую производительность флэш-памяти при меньшей стоимости, чем конкуренты.
Понятно, что будущее, основанное на технологии флэш-памяти, принесет еще более специализированные и оптимизированные проекты. Вероятно — это приведет к гибели многих систем (и компаний), которые используют рыночные накопителей SSD 2,5 дюйма.
Не так давно IBM предоставили возможность рассмотреть компоненты своей FlashSystem 900, которая работает в качестве автономного устройства и обеспечивает 1 миллион/600 000 IOPS при рандомном чтении/записи и 10.5/4.5 Гб/с I/O при последовательном чтении/записи. FlashSystem 900 также служить в качестве компонента в боле крупных системах от той же IBM, FlashSystem V9000 и A9000 AFAs. По-этому ознакомление с FlashSystem 900 позволяет увидеть разницу между компонентом и более крупной системой созданной из этих компонентов.
Эволюция флеш-массивов
Флеш-ммассивы развивались на протяжении нескольких лет, но начинались они с использования обычных SSD накопителей стандартного форм-фактора 2,5 дюйма, которые подключались к системам хранения данных, разработанных для HDD дисков. Использование SSD позволяло значительно ускорить работу системы по сравнению с HDD. Но это не решало проблемы в полной мере, узкие места попросту кочевали в другие компонентам массива (RAID контроллер или сетевой интерфейс).
Пионеры флешь-массивов стали разрабатывать оптимизированные SSD устройства с более быстрыми внутренними компонентами и оптимизированными каналами передачи данных, в то время, как потребности центров обработки данных только росли. Большинство производителей AFA все еще используют 2,5 SSD-накопители. Новейшие AFAs на основе 2,5 SSD-накопителей предоставляют пользователям высокую производительность и отказоустойчивость, но возможности таких SSD ограничены из-за заводской прошивки.
Другие производители, такие как IBM, XtremIO (EMC) и Violin, создали свои собственные AFAs с использованием специально разработанных флэш-модулей. Эти новые продукты обеспечивают возможность контроля самой NAND, которая, в свою очередь, дает возможность контролировать плотность хранения данных, производительность, износостойкость и экономичность.
IBM FlashSystem 900
FlashSystem 900 это 2U шасси которое вмещает в себя 12 модулей с возможностью горячей замены MicroLatency, как показано на изображении ниже. Кроме того, система имеет два больших литий-ионных аккумулятора (слева), которые обеспечивают достаточную мощность для завершения процесса записи в случаи выхода из строя основного источника питания. Аккумуляторы обеспечивают достаточную мощность, чтобы завершить работу массива корректно и без каких-либо потерь данных.
Каждый модуль MicroLatency может содержать 1.2 ТБ, 2.9 ТБ или 5.7 ТБ флэш-памяти. В свою очередь, система записывает данные через один модуль. Сами модули сконфигурированы в RAID 5, чтобы обеспечить максимальную сохранность данных при выходе из строя одного из модулей. IBM также использует свою собственную переменную дорожку RAID на уровне флэш-памяти, чтобы создать двумерную паритетную схему контроля.
Каждый модуль MicroLatency имеет конструкцию двойного PCB с Xilinx Kintex-7 ПВМ. Каждая печатная плата может вмещать до четырех FPGA, но количество FPGA варьируется в зависимости от плотности модуля. Например, модуль 1,2 ТБ будет использовать только один FPGA на одной печатной плате. Использование архитектуры с несколькими FPGA позволяет IBM линейно масштабировать производительность и мощности.
Более пристальный взгляд на обратную сторону платы показывает два PCIe 3.0 x2 соединения с левой стороны. Эти слоты используются для соединения с хостом и коммуницируют с помощью последовательного протокола, запатентованного компанией IBM. Протокол обеспечивает схожие преимущества NVM Express: снижение нагрузки на процессор, задержки, повышение производительности. Собственный протокол использует аппаратно ускоренный канал передачи данных со сквозной маршрутизацией, чтобы устранить процессы вызывающие задержки, такие как прерывания.
У каждого FPGA есть свои собственные DRAM для управления LBA, и IBM также использует DRAM для кэширования пользовательских данных.
Большая часть SSD не кэшируют пользовательские данные в DRAM, но подход к защите потерь мощности на системном уровне (через батареи) предоставляет IBM несколько преимуществ. Отдельные SSD-накопители, применяющиеся в FlashSystem 900, не требуют специальных конденсаторов, которые используют обыкновенные SSD накопители форм-фактора 2,5 дюйма. Это позволяет компании упаковывать больше флэш-памяти в проект. Меньшее число конденсаторов также уменьшает число потенциальных точек отказа и сложности программного обеспечения.
Несколько конденсаторов все же расположено между пакетов флэш-памяти, но они используются для борьбы с падением напряжением, когда система одновременно пишет в несколько пакетов NAND.
IBM наладили стратегическое партнерство с Micron, чтобы использовать FortisFlash NAND, которая настраивается и предоставляет дополнительные возможности программирования в системе. Это позволяет IBM динамично изменять основное программирование каждого блока в течение жизни NAND, основанной на возрасте и здоровье. Micron указали, что при правильной настройке, MLC FortisFlash NAND может предложить до 10000 циклов перезаписи (более чем в три раза по сравнению со стандартной оценкой 3000-циклов).
Существует много различных разновидностей ECC, таких как BCH и LDPC, и у каждого есть собственные преимущества и недостатки. Поставщики AFA, которые используют 2.5-дюймовый SSD, ограничены в ECC, они могут использовать только установленную производителем SSD накопителя. Но кастомный дизайн обеспечивает гибкость, чтобы использовать пользовательские алгоритмы ECC.
IBM разработала собственный алгоритм ECC. Эта реализация колеблется между BCH, который является интенсивным методом, но имеет ограниченные возможности коррекции ошибок, и LDPC, который может подвергнуться чрезмерному усилению записи во время процесса коррекции ошибок (таким образом уменьшающий износостойкость). IBM считает, что кастомная «read once» коррекция ошибок включает в себя лучшее из обоих методов.
IBM также использует сегрегацию тепла, которая обнаруживает горячие и холодные данные и затем объединяет их, чтобы уменьшить износ. Компания динамично отслеживает остающееся число возможных перезаписей каждой ячейки, таким образом редко изменяемые «холодные» данные хранятся по более старым ячейкам NAND. За счет чего сохраняется износостойкость. IBM утверждает, что тепловая изоляция повышает выносливость на 49 процентов, а добавление селективного выравнивания износа (на основе здоровья NAND) повышает выносливость на 57 процентов.
Каждое 2U шасси содержит два избыточных источника питания прямо позади передней панели доступной батареи с функцией горячей замены. Система имеет четыре модульных вентилятора с возможностью горячей замены, размещенных в двух больших блочных канистрах (слева). Каждая из них имеет ряд портов ввода/вывода (диапазон Fibre Channel, iSCSI и FCoE) вдоль вершины, которые находятся на интерфейсных платах с возможностью горячей замены.
Каждая канистра содержит два процессора из серии Intel Xeon E5v2, 64ГБ оперативной памяти и контроллер RAID (XBAR). Канистры также имеют возможность горячей замены, чтобы минимизировать время простоя в случаи сбоя в вычисленной части системы или памяти. Сама конструкция оптимизирована для обеспечения максимум двух хопов и никогда больше от портов ввода/вывода данных до флэш-памяти, что гарантирует стабильную производительность и сталую задержку.
Более широкая релевантность.
IBM приобрела Texas Memory Systems в 2012 году и сделала дополнительные инвестиции в $ 1 млрд в развитие флэш-технологии в 2013 году. Это позволило компании разработать индивидуальные флэш-массивы, которые обладают более высокой производительностью и надежностью чем типичные флэш-массивы с использованием 2,5 SSD. В IBM утверждают, что семейство FlashSystem предоставляет на 9,41 процентов больше выносливости, чем конкурирующие решения и предоставляет его с гарантией на семь лет. Специалисты IBM могут повысить плотность памяти в своих модулях MicroLatency, дающих защиту от потерь мощности в масштабе всей системы. Сделать это они могут используя собственный, управляемый аппаратными средствами, последовательный интерфейс, который устраняет задержки вызванные программным обеспечением. Компания разрабатывала свою собственную архитектуру, чтобы обеспечить ряд преимуществ, таких как пользовательский ECC и адаптивные алгоритмы NAND, обеспечивающие большие преимущества для конечного пользователя с точки зрения плотности, производительности и стоимости.
IBM не единственная компания в гонке флеш-массивов. EMC недавно представила целую линейку флэш-устройств, некоторые из которых использовали нестандартные конструкции SSD. Компания полностью переводит все свои системы хранения данных на использование флешь-памяти. У Pure Storage также есть подающая надежды инициатива с устройством FlashBlade, но данная платформа все еще не доступна на рынке на данный момент. У Violin Memory тоже имеется индивидуальный проект, но его плохая производительность и мрачные перспективы отговаривают многих от использования данного решений.
IBM среди главных поставщиков AFA с точки зрения производительности, но далеко не первые в доходе. В компании утверждают, что в конечном результате индивидуального проекта, они будут предлагать более высокую производительность флэш-памяти при меньшей стоимости, чем конкуренты.
Понятно, что будущее, основанное на технологии флэш-памяти, принесет еще более специализированные и оптимизированные проекты. Вероятно — это приведет к гибели многих систем (и компаний), которые используют рыночные накопителей SSD 2,5 дюйма.
Поделиться с друзьями
dmitry_ch
Опять Promt подвел уважаемый ua-hosting? :)
А этот перл я думаю распечатать и повесить на стену, знакомых троллить на понимание специфики:
romxx
Ну, справедливости ради, «канистра» это жаргонное укрепившееся слово, также как и «фабрика» для fabric (в контексте SAN). Остальное, конечно, позор переводчику.
dmitry_ch
Про канистру согласен, это уже придирка была. Но статья (исходно) научно-популярная, жаргонные словечки в таких текстах расписывают или хотя бы в кавычках пишут.
Впрочем, мне кажется UA-Hosting порой такую пургу печатают специально, «комменты не пахнут» же.
Вспомнились, знаете ли, «классическое» — перевод компьютерным переводчиком readme к Windows 95:
Если вы только что закрепили себе Окна 95, вы можете увидеть, что ваша мышь плохо себя ведет. Курсор может не двигаться или движение мыши может проявлять странные следы на поверхности стола, окнах и обоях. Мышь может неадекватно реагировать на щелчок по почкам. Но не спешите! Это могут быть физические проблемы, а не клоп Окон 95.
Почистите вашу мышь. Отсоедините ее поводок от компьютера, вытащите гениталий и промойте его и ролики внутренностей спиртом. Снова зашейте мышь. Проверьте на переломы поводка. Подсоедините мышь к компьютеру. Приглядитесь к вашей прокладке (подушке) — она не должна быть источником мусора и пыли в гениталии и роликах. Поверхность прокладки не должна стеснять движения мыши.
Может быть вам стоит купить новую мышь. Мы настоятельно рекомендуем Microsoft мышь. Она эргономично спроектирована, особо сделана под Окна 95 и имеет третью почку в виде колеса, которые могут завивать окна. Совокупление Microsoft мыши и Окон 95 делает вашу повседневную работу легко приятной.
Испытайте все это. Если проблемы остались — ваш гуртовщик мыши плохо стоит под Окнами 95. Его придется убрать.
Вам нужен новый гуртовщик мыши. Если вы пользователь Microsoft мыши посетите Microsoft Слугу Паутины, где в особом подвале вы сможете опустить-загрузить самого текущего гуртовщика Microsoft мыши. Если производитель вашей мыши другой, узнайте о ее гуртовщике. Все основные производители мыши уже имеют гуртовщиков мыши для Окон 95.
Перед тем как вы будете закреплять гуртовщика мыши, сделайте заднюю-верхнюю копию ваших досье. Почистить ваш винчестер имеет смысл. У вас должен быть старт-вверх диск от Окон 95.
После того, как вы закрепили нового гуртовщика, скорее всего ваши проблемы решены. Если они остались, напишите в Службу Техничного Упора Microsoft, и вашим случаем займется Особый Отдел.
Для эффективной помощи техничного упора, наш инженер должен знать торговую марку вашей мыши, тип (в-портовая мышь, периодическая мышь, автобусная мышь, Полицейский Участок /2 мышь, без поводка мышь, гениталий на гусеничном ходу и т.п.), версию гуртовщика, производителя компьютера (матери-доски), положение портов и рубильников на матери-доске (и расклад карт), а также содержимое досье Авто-#####.bat, config.sys и Сапог-полено.txt.
Кроме того, несколько полезных советов
1) не закрепляйте себе Окна 95 в то же самое место, где у вас закреплены Окна 3.икс, вы не сможете хорошо делать кое-что привычное.
2) если вы новичок под Окнами 95, привыкните к новым возможностям мыши. Щелкните по левой почке — выделите пункт, щелкните по правой кнопке меню с контекстом всплывет, быстро ударьте два раза по левой почке — запустите повестку в суд.
4) отработайте быстрый двойной удар по почкам мыши с помощью специального тренажера на пульте управления Окнами 95
6) специалисты Microsoft компании после большого числа опытов выявили, что наиболее эффективной командой из-под Окон 95 является «Послать на...», которая доступна в любом времени и месте при ударе по правой почке мыши. Если вы только что закрепили себе окна 95, вы сумеете послать только на А (Б) и в специальное место «Мой портфель». Но по мере того как вы будете закреплять себе новые программы для Окон 95, вы начнете посылать на все более сложные и интересные места и объекты.
Особую эффективность команда «Послать на ...» приобретет при передачи посланий через Е-почту и общение с вашими коллегами и друзьями в местной сети-работе. Попробуйте мощь команды «Послать на ...», и вы быстро убедитесь, что без нее трудно существовать под Окнами 95.
Пишите нам и помните, что Microsoft компания всегда думает о том, как вас лучше сделать.
sim2q
в голос))))
romxx
Ну вот и выросло поколение, которое впервые на GT в 2016 году прочло про Гуртовщиков мыши.
sim2q
выяснилось, что полностью этот текст никогда не читал, но как мем встречал:)
romxx
Ну, да, ему же 20 лет уже, вы вполне могли его увидеть впервые ;)
GeMir
Flesh!
loly_girl
Флеш-массив — это такая коническая мясная штука, из которой шаурму строгают.
TheCoreFactory
> Меньшее число конденсаторов также уменьшает число потенциальных точек отказа и сложности программного обеспечения.
Что подразумевает автор по поводу зависимости сложности ПО от количества танталовых конденсаторов в линиях питания?
sim2q
предположил по тексту, что в 2.5" стоят ионисторы?
Victor_Grigoryev
Сомнительное преимущество в их минимизации. По уму их количество в BGAшках должно быть n/2+1>, где n — число пинов питания.
В любой непонятной ситуации ставь 100 нФ (с).