«Без суперкомпьютеров мы просто философы», отмечает профессор Стивен Хокинг в этом видео, и неспроста. 20 лет назад Стивен Хокинг основал исследовательскую группу COSMOS на математическом факультете Кембриджского университета. Группа использовала высокопроизводительные вычисления in-memory для исследования вопросов космологии, астрофизики и физики элементарных частиц. Доступ к новым массивам данных позволил космологии развиться из спекулятивной теории в науку, обоснованную расчётами.
Новый импульс развитию космологии придали недавние открытия, в первую очередь, обнаружение гравитационных волн в 2016 году. Вот что говорит об этом Стивен Хокинг: «Группа COSMOS работает над пониманием того, как функционирует пространство и время, от первой триллионной доли секунды после Большого Взрыва до сегодняшнего дня. Недавнее открытие гравитационных волн предлагает нам удивительные знания о черных дырах и всей Вселенной. С появлением таких интересных новых данных нам нужны гибкие и мощные компьютерные системы, способные с ними справиться». Именно такую систему, основанную на HPE Superdome Flex, факультет получил в ноябре.
Новая, десятая по счету высокопроизводительная система COSMOS, созданная в партнерстве с HPE, позволит обрабатывать массивы данных недоступного ранее масштаба в режиме реального времени. Благодаря этому можно будет дополнить теоретические основы космологии, уже использующие такие источники как реликтовое излучение, размещение звезд и галактик, новыми данными – о гравитационных волнах.
Новый суперкомпьютер основан на нашей новинке – HPE Superdome Flex, дополненной суперкомпьютером HPE Apollo и системами с Intel Xeon Phi. HPE Superdome Flex уникальным образом подходит для потребностей математического факультета Кембриджского университета: это самая масштабируемая платформа для вычислений in-memory (с объемом разделяемой оперативной памяти от 768 Гб до 48 Тб, до 32 сокетов в рамках единой вычислительной системы). Такая мощность позволит параллельно обрабатывать значительные объемы данных и получать все более точные результаты, быстрее проверять новые концепции и алгоритмы. Кроме задач космологии, новая система будет поддерживать исследования факультета в других областях, от моделирования в океанологии до экспериментальной биофизики. А теперь расскажем подробнее о платформе.
Платформа HPE Superdome Flex является первым совместным продуктом компаний HPE и SGI, который объединяет лучшие наработки в области Superdome X и MC990X (ранее SGI UV300). От Superdome X она унаследовала испытанную отказоустойчивость и свойства высокой доступности, а от SGI – технологию практически неограниченного вертикального масштабирования. HPE Superdome Flex появилась в нашем портфеле бизнес-критичных систем уровня High-End в конце 2017 года. При этом ее экономическая эффективность приближается к уровню стандартных систем x86.
Отличительная черта системы – модульный дизайн на базе 4-процессорных стандартных блоков, устанавливаемых в стойку и объединяемых в высокоскоростную коммутируемую матрицу. Это позволяет создать более доступную минимальную конфигурацию для системы уровня High-End, устранив избыточность на начальном этапе. По мере роста нагрузки ресурсы можно наращивать постепенно до 32 сокетов, с шагом 4 сокета, и до 48ТБ оперативной памяти. Вычислительную мощность можно добавлять без замены имеющегося оборудования, масштабировать систему как вертикально, так и горизонтально.
На рисунке ниже показана архитектура базового шасси HPE Superdome Flex Base Chassis, которое является модульным блоком для серверного решения. Каждая система HPE Superdome Flex состоит из, по меньшей мере, одного базового шасси плюс до семи дополнительных шасси расширения (Expansion Chassis), что обеспечивает возможность масштабирования до 32 сокетов или деления системы на аппаратно-независимые разделы (HPE nPars) для изоляции рабочих нагрузок и/или объединения нескольких рабочих нагрузок на одном управляемом комплексе. Специализированные интегральные схемы HPE Superdome Flex ASIC связывают основное шасси и шасси расширения между собой с помощью кабелей в ультрабыструю коммутационную матрицу Superdome Flex Grid.
Архитектура HPE Superdome Flex Base Chassis
Подробный обзор архитектуры платформы содержится в документе HPE Superdome Flex server architecture and RAS, который мы вскоре опубликуем на русском языке.
Отдельно отметим отказоустойчивость и доступность платформы HPE Superdome Flex – на уровне 99,999%, что уникально для мира систем х86. Такой показатель достигается благодаря расширенным свойствам RAS и комплексной стратегии управления отказами, которая предусматривает предиктивное обнаружение, регистрацию, анализ сбоев и в случаях, где это возможно, самовосстановление без привлечения оператора. Механизм обнаружения сбоев Firmware First обрабатывает ошибки на уровне микропрограммного обеспечения firmware.
Еще одна особенность RAS в Superdome Flex – это возможность организовать электрически изолированные аппаратно-независимые разделы, которая повышает безопасность и уровень доступности отдельных независимых приложений в рамках одной аппаратной платформы.
Возможности масштабирования, сверхбыстрая коммутационная матрица Superdome Flex Grid с низкими задержками доступа к общему пулу глобальной памяти, мощнейшая подсистема ввода-вывода делают HPE Superdome Flex лучшей платформой для высокопроизводительных вычислений в памяти (in-memory), сочетающих транзакционную нагрузку и анализ больших массивов актуальных данных в реальном времени. Основные сценарии использования HPE Superdome Flex:
HPE Superdome Flex проектировался по принципам memory-driven computing (вычисления, ориентированные на память, а не процессор; см. нашу статью). Блоки в Superdome Flex соединяются с использованием высокопроизводительной коммутационной матрицы, через которую операционная система получает доступ к памяти во всех блоках. Обычно система работает под управлением одного экземпляра ОС, как единый вычислитель.
Возможно также создать в системе несколько разделов и в каждом из них запустить свой экземпляр ОС. При этом, разные разделы смогут иметь доступ ко всей памяти через коммутационную матрицу, даже за пределами своей ОС. Каждый раздел системы может предоставлять часть своей памяти в общий пул, и этот общий ресурс можно будет использовать приложениям в разных операционных системах.
Благодаря коммутационной матрице Superdome Flex Grid, с небольшими изменениями в операционной системе, можно заставить приложение полагать, что оно уже работает на The Machine (в рамках установленных 32 сокетов и 48 ТБ оперативной памяти), и тем самым предоставить возможность реализовать преимущества Memory-Driven Computing уже сейчас.
Подробнее о платформе мы расскажем на двух мероприятиях:
«HPE Tech-Talk: поговорим о технологиях», онлайн-трансляция 30 января
Вебинар: HPE Superdome Flex — Новая платформа для высококритичных задач и вычислений в памяти, 14 февраля.
Новый импульс развитию космологии придали недавние открытия, в первую очередь, обнаружение гравитационных волн в 2016 году. Вот что говорит об этом Стивен Хокинг: «Группа COSMOS работает над пониманием того, как функционирует пространство и время, от первой триллионной доли секунды после Большого Взрыва до сегодняшнего дня. Недавнее открытие гравитационных волн предлагает нам удивительные знания о черных дырах и всей Вселенной. С появлением таких интересных новых данных нам нужны гибкие и мощные компьютерные системы, способные с ними справиться». Именно такую систему, основанную на HPE Superdome Flex, факультет получил в ноябре.
Новая, десятая по счету высокопроизводительная система COSMOS, созданная в партнерстве с HPE, позволит обрабатывать массивы данных недоступного ранее масштаба в режиме реального времени. Благодаря этому можно будет дополнить теоретические основы космологии, уже использующие такие источники как реликтовое излучение, размещение звезд и галактик, новыми данными – о гравитационных волнах.
Новый суперкомпьютер основан на нашей новинке – HPE Superdome Flex, дополненной суперкомпьютером HPE Apollo и системами с Intel Xeon Phi. HPE Superdome Flex уникальным образом подходит для потребностей математического факультета Кембриджского университета: это самая масштабируемая платформа для вычислений in-memory (с объемом разделяемой оперативной памяти от 768 Гб до 48 Тб, до 32 сокетов в рамках единой вычислительной системы). Такая мощность позволит параллельно обрабатывать значительные объемы данных и получать все более точные результаты, быстрее проверять новые концепции и алгоритмы. Кроме задач космологии, новая система будет поддерживать исследования факультета в других областях, от моделирования в океанологии до экспериментальной биофизики. А теперь расскажем подробнее о платформе.
HPE Superdome Flex
Платформа HPE Superdome Flex является первым совместным продуктом компаний HPE и SGI, который объединяет лучшие наработки в области Superdome X и MC990X (ранее SGI UV300). От Superdome X она унаследовала испытанную отказоустойчивость и свойства высокой доступности, а от SGI – технологию практически неограниченного вертикального масштабирования. HPE Superdome Flex появилась в нашем портфеле бизнес-критичных систем уровня High-End в конце 2017 года. При этом ее экономическая эффективность приближается к уровню стандартных систем x86.
Архитектура и масштабирование
Отличительная черта системы – модульный дизайн на базе 4-процессорных стандартных блоков, устанавливаемых в стойку и объединяемых в высокоскоростную коммутируемую матрицу. Это позволяет создать более доступную минимальную конфигурацию для системы уровня High-End, устранив избыточность на начальном этапе. По мере роста нагрузки ресурсы можно наращивать постепенно до 32 сокетов, с шагом 4 сокета, и до 48ТБ оперативной памяти. Вычислительную мощность можно добавлять без замены имеющегося оборудования, масштабировать систему как вертикально, так и горизонтально.
На рисунке ниже показана архитектура базового шасси HPE Superdome Flex Base Chassis, которое является модульным блоком для серверного решения. Каждая система HPE Superdome Flex состоит из, по меньшей мере, одного базового шасси плюс до семи дополнительных шасси расширения (Expansion Chassis), что обеспечивает возможность масштабирования до 32 сокетов или деления системы на аппаратно-независимые разделы (HPE nPars) для изоляции рабочих нагрузок и/или объединения нескольких рабочих нагрузок на одном управляемом комплексе. Специализированные интегральные схемы HPE Superdome Flex ASIC связывают основное шасси и шасси расширения между собой с помощью кабелей в ультрабыструю коммутационную матрицу Superdome Flex Grid.
Архитектура HPE Superdome Flex Base Chassis
Подробный обзор архитектуры платформы содержится в документе HPE Superdome Flex server architecture and RAS, который мы вскоре опубликуем на русском языке.
RAS
Отдельно отметим отказоустойчивость и доступность платформы HPE Superdome Flex – на уровне 99,999%, что уникально для мира систем х86. Такой показатель достигается благодаря расширенным свойствам RAS и комплексной стратегии управления отказами, которая предусматривает предиктивное обнаружение, регистрацию, анализ сбоев и в случаях, где это возможно, самовосстановление без привлечения оператора. Механизм обнаружения сбоев Firmware First обрабатывает ошибки на уровне микропрограммного обеспечения firmware.
Еще одна особенность RAS в Superdome Flex – это возможность организовать электрически изолированные аппаратно-независимые разделы, которая повышает безопасность и уровень доступности отдельных независимых приложений в рамках одной аппаратной платформы.
Сценарии использования
Возможности масштабирования, сверхбыстрая коммутационная матрица Superdome Flex Grid с низкими задержками доступа к общему пулу глобальной памяти, мощнейшая подсистема ввода-вывода делают HPE Superdome Flex лучшей платформой для высокопроизводительных вычислений в памяти (in-memory), сочетающих транзакционную нагрузку и анализ больших массивов актуальных данных в реальном времени. Основные сценарии использования HPE Superdome Flex:
- платформа для традиционных СУБД и баз данных с технологией in-memory (SAP HANA, SQL server, Oracle 12c и др.);
- высокомасштабируемая и отказоустойчивая платформа для миграции с систем RISC/UNIX;
- отказоустойчивая платформа для консолидации критичных нагрузок;
- платформа для задач искусственного интеллекта и машинного обучения;
- платформа in-memory HPC для определенного круга задач.
Платформа для memory-driven computing
HPE Superdome Flex проектировался по принципам memory-driven computing (вычисления, ориентированные на память, а не процессор; см. нашу статью). Блоки в Superdome Flex соединяются с использованием высокопроизводительной коммутационной матрицы, через которую операционная система получает доступ к памяти во всех блоках. Обычно система работает под управлением одного экземпляра ОС, как единый вычислитель.
Возможно также создать в системе несколько разделов и в каждом из них запустить свой экземпляр ОС. При этом, разные разделы смогут иметь доступ ко всей памяти через коммутационную матрицу, даже за пределами своей ОС. Каждый раздел системы может предоставлять часть своей памяти в общий пул, и этот общий ресурс можно будет использовать приложениям в разных операционных системах.
Благодаря коммутационной матрице Superdome Flex Grid, с небольшими изменениями в операционной системе, можно заставить приложение полагать, что оно уже работает на The Machine (в рамках установленных 32 сокетов и 48 ТБ оперативной памяти), и тем самым предоставить возможность реализовать преимущества Memory-Driven Computing уже сейчас.
Подробнее о платформе мы расскажем на двух мероприятиях:
«HPE Tech-Talk: поговорим о технологиях», онлайн-трансляция 30 января
Вебинар: HPE Superdome Flex — Новая платформа для высококритичных задач и вычислений в памяти, 14 февраля.