Установка системы от Lenovo, основанной на архитектуре Intel, началась в середине апреля. Пиковая производительность составляет 20 петафлопс в секунду.
Размещение нового итальянского суперкомпьютера для исследований, который создан при участии Cineca и построен на платформе Lenovo NeXtScale, началось в середине апреля. Устройство базируется на следующем поколении Intel Xeon Phi и процессоре Intel Xeon E5-260 v4. Эти решения дают ученым технологически продвинутый, энергоэффективный и высокопроизводительный супекромпьютер.
Соглашение на постройку подписано 30 марта после отбора, который начался больше года назад – тендер был опубликован в апреле 2015 года. Процедура завершилась в декабре 2015, заявку на создание компьютерной системы получила Lenovo, один из трех крупнейших производителей серверов на архитектуре Intel x86 и компания по выпуску персональных компьютеров №1 в мире на протяжении двух лет подряд.
Достигнутое соглашение представляет собой первый шаг итальянского плана по развитию инфраструктуры, выдвинутого руководством Cineca. Основная задача – развитие научных исследований. Глобальный план подразумевает привлечение инвестиций на 50 миллионов евро в две стадии. Первая, которая только началась, сделает доступным для научного сообщества компьютер мощностью 20 петафлопс и хранилище данных емкостью более 20 петабайт. Постройка завершится во второй половине 2017 года. Вторая стадия начнется в 2019 году, ее задача – увеличить мощность компьютера до 50-60 петафлопс до начала 2020 года.
«Этим планом Cineca вновь подтверждает свою миссию – предложить цифровую инфраструктуру под вычисления и большие данные, которая будет доступна для научных исследований и технологических инноваций», – сказал Эмилио Феррари, президент Cineca.
Установка суперкомпьютера
Новая система «MARCONI» будет полностью готова между апрелем 2016 и июлем 2017. Постройка идет в соответствии с планом, который включает следующие пункты:
» Предварительная система пойдет в производство в июне. Она будет основана на недавно анонсированном процессоре Intel Xeon E5-2600 v4, который создан на архитектуре Intel x86 и выдаст мощность в 2 петафлопса.
» К концу года добавится новая секция, оснащенная процессором семейства Intel Xeon Phi следующего поколения (под кодовым названием Knights Landing). Решение базируется на многоядерной архитектуре, суммарная конфигурация будет состоять примерно из 250 тысяч ядер. Ожидается, что мощность компьютера вырастет до 11 петафлопс.
» В ближайшем будущем система выйдет на запланированную мощность в 20 петафлопс при помощи следующих поколений Intel Xeon.
Суперкомпьютер использует архитектуру Intel Omni-Path, которая обеспечивает высокопроизводительную взаимосвязь тысяч серверов системы для эффективной работы.
Мощное хранилище Lenovo GSS представляет собой подсистему, которая включает файловую систему IBM Spectrum Scale (GPFS). Оно соединено с Intel Omni-Path Fabric и обеспечивает хранение данных.
Прогрессивное развитие Marconi позволит использовать передовые технологии процессоров, включая экстремально производительную систему с «зеленой душой». Дело в том, что один из параметров, заданных командой Cineca, предполагает увеличение мощности до 50 петафлопс без превышения лимита энергопотребления в три мегаватта на всех стадиях.
«Мы даем возможность исследователям изучать главные научные и социально-экономические испытания нашего времени, охватывая все – от медицины до изменений климата, фундаментальной физики и новых материалов. Суперкомпьютеры и большие данные – инструменты для вычислительной и построенной на данных науке для национальных и международных исследований», – заявил Санцио Бассини, глава вычислительного и инновационного отдела Cineca.
«Мы можем лишь гордиться – и как компания, и как итальянская команда, – что Cineca выбрала нас для участия в огромной национальной и международной научной работе», – говорит Мирко Погги, генеральный директор Lenovo в Италии.
«Участие в таком проекте крайне важно для Lenovo. Оно подтверждает стремление компании быть лидирующим поставщиком инновационных решений для дата-центров», – добавил Алессандро де Бартоло, директор направления дата-центров в итальянском отделении Lenovo.
«Мы готовы сделать все необходимые шаги, чтобы убедиться в лучших решениях по части вычислений и производительности, которые будут использоваться в Cineca. Нужно сделать круг возможностей для работы ученых максимально большим», – подытожил Марко Брисколини, руководитель высокопроизводительных вычислений в группе дата-центров Lenovo Italy.
«Мы рады возможности принести выгоду Intel Scalable System Framework в Cineca для ведущих итальянских исследователей и ученых в области данных. Оптимизированная оболочка HPC-продуктов, включая процессоры Intel Xeon Phi и Intel Omni-Path Architecture, дает сбалансированное решение. Это позволяет добиться высочайшей производительности, которая нужна для вычисления экстремальных задач HPC и анализа больших данных в общей инфраструктуре», – говорит Кармин Страгапед, генеральный директор Intel Italia.
Cineca
Cineca – консорциум университетов, базирующийся в Казалеккью-ди-Рено (Италия). Некоммерческое объединение основано в 1969 году, оно включает семьдесят итальянских университетов, пять исследовательских институтов и Министерство образования, университетов и научных исследований (MIUR). На протяжении более сорока лет Cineca оказывает поддержку исследованиям научных сообществ при помощи суперкомпьютеров и программному обеспечению для них. Консорциум создает системы управления для администраций университетов и MIUR, а также разрабатывает информационные системы для промышленности, здравоохранения и государственных структур.
Комментарии (29)
azsx
29.08.2016 15:36Интересно, как бы каждый использовал такие мощности? Если бы Вы имели возможность арендовать какую-либо часть на длительное время, но объяснив зачем вам они.
edd_k
29.08.2016 15:46-2Для отопления жилища с помощью майнинга.
Ну или района, если речь о комплексе целиком.
Turbo
30.08.2016 23:17Машинное обучение. Я в ночь частенько дома запускаю XGBoost. С утра смотрю чего там… ) В последнее время правда у меня больше проблема с нехваткой памяти нежели с процессорными мощностями.
Как я понял архитектура этого суперкомпа, не особо подходит для нейронных сетей.
Alex_ME
29.08.2016 15:39Первая, которая только началась, сделает доступным для научного сообщества компьютер мощностью 20 петафлопс и хранилище данных емкостью более 20 петабайт
Первое место ТОП-500:
- Sunway TaihuLight: 93,014.6 TFlop/s
Этот будет в 200 раз производительнее? В порядке не ошиблись?
geisha
29.08.2016 15:50+2Что-то я не пойму как тут 200 получить. 20 петафлопс = 20 000 терафлопс. Всего лишь в 4 раза менее мощный.
Alex_ME
29.08.2016 16:30+2Я слепой и невнимательный. 93,014.6 TFlop/s — воспринял запятую как десятичный разделитель, а точку не увидел.
90 и 20 PFlops. Все встало на свои места.
Doverchiviy_kot
29.08.2016 16:43Думаю это ещё один шаг для развития науки. Даже интересно поставят ли туда теслы п100/к80 или ограничатся лишь сервер.процессорами?
geisha
29.08.2016 17:46Традиционно делают несколько GPU-нод ибо редко кто пишет научный код под нестандартные архитектуры (это просто-напросто никому не надо). Бывают еще постоянные клиенты HPC провайдеров такие как сервис прогнозов погоды. Их легче мотивировать перейти на GPU ибо это экономически выгодно клиенту.
a5b
30.08.2016 04:11базируется на следующем поколении Intel Xeon Phi
www.intel.com/content/www/us/en/processors/xeon/xeon-phi-detail.htmlСобирают в несколько стадий, сначала Xeon E5-2697 v4 Broadwell общим уровнем в 2 Пфлопс (1.5 тысячи узлов с двумя 18-ядерными чипами на 2.3 ГГц +128 GB DDR4 на узел; уже в top500: https://www.top500.org/system/178755), около 21 стойки с 72 узлами каждая
Затем Xeon Phi (суммарно 250 тыс ядер = 3.6 тысячи чипов phi; 96 GB + 16 GB MCDRAM; +11 Пфлопс) — каждый узел состоит только из XeonPhi в качестве центрального процессора
Затем замена на более современные Xeon — летом 2017.
http://www.hpc.cineca.it/hardware/marconi
The new system will gradually be completed in about 12 months, between April 2016 and July 2017, according to a plan based on a series of updates:
A1: a preliminary system going into production in July 2016, based on Intel® Xeon® processor E5-2600 v4 product family (Broadwell) with a computational power of 2Pflop/s.
A2: by the end of 2016 a new section will be added, equipped with the next-generation of the Intel Xeon Phi product family (Knights Landing), based on a many-core architecture, enabling an overall configuration of about 250 thousand cores with expected additional computational power of approximately 11Pflop/s.
A3: finally, in July 2017, this system is planned to reach a total computational power of about 20Pflop/s utilizing future generation Intel Xeon processors (Sky Lakes).Инструкции — https://wiki.u-gov.it/confluence/display/SCAIUS/UG3.1%3A+MARCONI+UserGuide
В предварительных планах на 2019-2020: http://www.hpc.cineca.it/content/introduction-marconi-hpc-cluster-users-and-developers "expected final peak performance of 50/60 Pflop/s"
Mad__Max
31.08.2016 03:33Intel Xeon Phi это не обычные серверные процессоры. Это отдельная специфическая архитектура, которая ближе к GPU и ускорителям на их базе типа теслы от зеленых, чем к обычным процессорам. Соответственно отдельные ускорители тут не требуется, это уже и так гибридная архитектура из обычных универсальных процессоров (Xeon E5-2600) и специализированных векторных процессоров (Xeon Phi)
PlayTime
29.08.2016 17:33Интересно, уверен что я не первый, но вот все такие монстры собираются в одном помещении. Но почему не попробовать создать облачный суперкомпютер который будет работать на компютерах пользователей мира.
Достаточно к примеру скачать что то на подобии виртуалбокса и развернуть там специальный образ. И наш компютер получается подключенным к большому облаку. При первом запуске будет запущен бенчмарк чтобы оценить потенциал компютера.
Както делают сети ботнетов, кто то запускает майнеры, но почему не делают полезные расчеты?
P.S Или я что то пропустил и такое уже давно есть, или было и не выстрелило…geisha
29.08.2016 17:51+3Вы, наверное, не представляете, что такое HPC. Там ноды физически соединены ВСЕ со ВСЕМИ Infiniband или чем-нибудь еще быстрее. Такая производительность сети просто-напросто невозможно в облаке да и цель такая там, в общем, не ставится.
scg
30.08.2016 08:29Там даже не в пропускной способности дело а в латентности — как быстро пакет данных дойдет от отправителя получателю. В том же самом MPI, имеется необходимость отсылать огромное количество маленьких пакетов, и оверхед на один пакет может убить всю вычислительную способность системы. И вы правы: в этом случае, даже Ethernet сеть не очень-то и подходит. В первую очередь избавляются от свичей, так как они вносят задержку, и соединяют машины напрямую. Правда, не все со всеми, а преимущественно соседние, используя известную (или не очень) топологию: сетка, тор или что-нибудь, чего я не знаю. Со стороны софта, латентность пытаются побороть, выведя управление сетевой карт картой из операционной системы, использую user-space драйвера, вроде DPDK. В этом случае, буферы с данными передаются напрямую сетевой карте, минуя буферы и очереди сетевого стека ядра.
geisha
30.08.2016 12:31Никогда не сталкивался с пингом как реальной проблемой для MPI. Хотя я не сомневаюсь, что те, кто собирает такие системы выкручивают все доступные параметры.
Я, собственно, за что купил — за то и продал: экскурсовод сказал, что соединены все со всеми в рамках пары стоек. Реальные задачи, полагаю, можно разместить в рамках одной пары в 99% случаев.scg
30.08.2016 14:17А, ну в рамках пары стоек это вполне возможно: натыкать в каждый узел адаптеров на 48 портов или около того. Просто на картинке таких стоек — целый зал.
Kasatich
29.08.2016 18:01+2Такому проекту уже много лет, называется boinc. Пользователи по всеми миру могут принять участие в любом полюбившемся научном проекте, выделить так сказать свои мощности) У меня несколько машин вписано, считают для проектов по поиску внеземных цивилизаций seti и исследование гравитационных волн.
Причем работает это и без виртуалбокса. Ставишь клиент, выбираешь проекты, назначаешь расписание работы и погнали. Но для отдельных проектов виртуалбокс идет как опция, да.
edd_k
29.08.2016 19:09+2Когда возможно — делают. Но в большинстве случаев необходима не только огромная вычислительная мощность, но и огромная пропускная способность для активного обмена данными между вычислительными узлами. Вот задачи, которые можно распределять без этого, и получают распространение за пределами подобных вычислительных центров.
Было бы достаточно полезных подходящих задач, можно было бы развивать тему индивидуальных вычислительных систем отопления. 10-20-киловаттный вычислитель пришелся бы кстати во многих домах на доброй половине планеты. Не понимаю, почему выше уже начали минусить упоминание этого очевидного стремления объединить нужды «согреться» и «посчитать».PlayTime
29.08.2016 19:21+3Кстати да. Читал раньше про это, и скажу за себя — зимой мой ПК работает 24/7 так как отопление у меня частично электрическое. Мне абсолютно всеравно что будет вырабатывать тепло а лишний раз выключать компютер вредно :). В этом году к примеру в среднем я использовал 2.5 квт*час на отопление электричеством. Это 5 месяцев в году. А если бы мне кто то поставил гудящий шкаф в кладовке и оплачивал электричество то я был бы безмерно щастлив, я бы подвел 3 фазы и оформил тариф на отопление электричеством (а это 3000квт*час в месяц на отопительный сезон по льготным ценам) :). Тем болие для физиков электричество дешевле чем для юрлица. А еще бы я мог поменять блок питани или винчестер если что, или даже заменить сервер в стойке(наверно).
Mad__Max
31.08.2016 03:45+1Ну выше ссылок уже накидали кучу, что такое давно есть и активно используются. Лишь добавлю что это 2 принципиальных разных подхода и архитектуры:
HPC — High Performance Computing — высокопроизводительные вычисления = классические суперкопьютеры типа описанного в статье
и
HTC — High Throughput Сomputing — вычисления с высокой пропускной способностью, обычно это распределенные/облачные сети
И соответственно разные классы задач. Для решения каких-то достаточно HTC(в частности множество научных задач), для других обязательно нужен только HPC. При этом суперкопьютер может эффективно решать как HPC так и HTC задачи. А вот наоборот — нет, на HTC сети можно только HTC задачи обсчитывать.
kranky
>20 петафлопс в секунду
Это как 60 фпс в секунду.
geisha
Или как кВт/ч.
UDiy34r3u74tsg34
Узел в час
edd_k
А что смущает? Китайцы, не покладая рук, вводят в эксплуатацию по 20 петафлопс в секунду. Пока мы тут рассуждаем…
SilverHorse
… не задумываясь о правилах употребления единиц измерения, годы проходят, а население так и остается неграмотным.
Флопс — это уже сокращение, flops — FLoating-point Operations Per Second.… флопс в секунду — это либо масло масляное, либо операций в секунду за секунду, то есть не скорость, а ускорение вычислений.
edd_k
Я полагал, что банальная шутка про ускорение будет понятна не только лишь математикам.
В предыдущем сообщении о чем написано?
«Китайцы, не покладая рук, вводят в эксплуатацию по 20 петафлопс в секунду.» < — речь об ускорении, о ежесекундном росте скорости вычислений