Сетевой адаптер отечественной разработки с чипом TSMC (65 нм) для соединения вычислительных кластеров российского суперкомпьютера
Холдинг «Росэлектроника» госкорпорации Ростех разработал суперкомпьютер «Фишер» с пиковой производительностью 13,5 терафлопс.
Если сравнивать с видеокартой GeForce RTX 2080 Ti, то нужно смотреть на показатель "FP64 (double) performance" (420,2 GFLOPS), а не на "FP32 (float) performance" (13,45 TFLOPS). Таким образом, на самом деле производительность суперкомпьютера не равна производительности RTX 2080 Ti, а превышает её в 32 раза по FP64 (double), спасибо за уточнение Pand5461.
Система сделана по заказу Объединённого института высоких температур Российской академии наук (ОИВТ РАН) для расчёта цифровых моделей и прогнозирования поведения веществ в экстремальных состояниях (при сверхвысоких температурах, давлениях и плотностях энергии).
Модульный суперкомпьютер сконструирован на базе сети «Ангара», которая позволяет объединять любое количество компьютеров в единый вычислительный кластер, сообщают разработчики.
Проект реализован специалистами Научно-исследовательского центра электронной вычислительной техники (входит в «Росэлектронику»).
Сеть «Ангара»
Сеть «Ангара» — первое российское решение для суперкомпьютеров высокой производительности, вычислительных кластеров для обработки больших данных и расчётов на основе параллельных алгоритмов, пишут разработчики. Сеть позволяет объединить в единой системе тысячи серверов, в том числе разных производителей и с разной процессорной архитектурой.
Первое поколение «Ангары» увидело свет в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).
СБИС для сетевого адаптера
Для связи с другими устройствами предусмотрены разъёмы Samtec HDLSP (до восьми подключений). СБИС ЕС8430 разработана московским «Научно-исследовательским центром электронной, вычислительной техники» (НИЦЭВТ) и изготавливается тайваньской компанией TSMC по технологии 65 нм. Плата сетевого адаптера изготавливается НИЦЭВТ на собственном производстве.
В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.
Коммуникационная сеть «Ангара» (1-е поколение). Принципы построения (из документации)
См. также руководство пользователя.
Второе поколение «Ангары» позволяет создавать кластеры из серверов и рабочих станций с использованием обычных медных или оптических кабелей. Разработчики утверждают, что подключить таким образом машины сможет «любой подготовленный пользователь». Коммуникационную задержку при обмене данными между узлами удалось сократить до 0,85 мкс.
Характеристики модульного суперкомпьютера «Фишер» и межконнекта
- Топология сети: 4D-тор
- Адаптер на базе СБИС
- Различные физические среды передачи данных
- 8 каналов связи
- Задержка на MPI: 0,85 мкс
- Задержка на хоп: 130 нс
- Масштабирование до 32К узлов
- Коммутаторное и бескоммутаторное исполнение
- Поддержка RDMA и GPUDirect
- Детерминированная и адаптивная маршрутизация
- Маршрутизация с обходом отказавших узлов и каналов связи
- Протокол надёжной передачи данных по каналу связи
- Поддержка ОС на базе ядра Linux
- Поддержка ОС Astra Linux Special Edition
- Поддержка средств параллельного программирования OpenSHMEM, MPI, OpenMP
- Энергопотребление до 20 Вт
«Фишер»
«Фишер» — это первый суперкомпьютер на базе «Ангары» в коммутаторном исполнении, что позволяет создавать суперкомпьютеры с большей плотностью компоновки (по сравнению с бескоммутаторным вариантом исполнения) и облегчает монтаж и дальнейшую эксплуатацию вычислительной системы за счёт уменьшения числа используемых для коммутации кабелей.
«Сложные расчёты требуются для научных исследований, обучения нейронных сетей, обработки больших объемов данных, моделирования характеристик новых изделий промышленных предприятий. При этом вычислительные ресурсы суперкомпьютеров крайне востребованы и дорогостоящи, — говорит исполнительный директор Госкорпорации Ростех Олег Евтушенко. — Сеть "Ангара" успешно решает эти задачи, позволяя сравнительно дёшево и в сжатые сроки формировать суперкомпьютеры на основе отдельных вычислительных узлов. В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети "Ангара". Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании "младшего брата" этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности "Фишера" могут быть существенно расширены».
Предыдущий кластер состоял из 32-х узлов с адаптерами на базе СБИС и процессорами Intel Xeon E5-1650 v3.
«Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. В вычислительном кластере используется погружная (иммерсионная) система охлаждения, обеспечивающая равномерную и энергоэффективную терморегуляцию.
На Хабре публиковалось несколько статей о разных системах иммерсионного охлаждения, например, с погружением в минеральное масло и сухую воду.
Благодаря такому решению суперкомпьютер не требует специально подготовленных помещений, а диапазон рабочих температур кластера составляет от ?50°С до +50°С.
Раньше иммерсионное охлаждение считалось труднореализуемым с инженерной точки зрения и плохо масштабируемым решением, но сейчас в число самых высокопроизводительных систем мира (из рейтинга Топ 500) входит несколько достаточно компактных и крайне экономичных систем именно с погружным охлаждением.
В настоящий момент самым мощным суперкомпьютером в России является установленный в МГУ суперкомпьютер «Ломоносов-2» производства «Т-Платформы» (пиковая производительность 4,9 петафлопс, по тесту Linpack 2,5 петафлопс). На втором месте суперкомпьютер производства «T-Платформы» и CRAY, установленный в главном вычислительном центре Федеральной службы по гидрометеорологии и мониторингу окружающей среды (1,2 петафлопс по Linpack). Замыкает тройку система «Ломоносов» («Т-Платформы», МГУ) с производительностью 901,9 терафлопс по Linpack.
Комментарии (51)
balamutang
20.09.2019 10:18Это наш суперкомпьютер или фото из интернета?
dolovar
20.09.2019 10:45Фото взято из статьи 2014 года: Охлаждение погружением, серверы «под водой»: Immersion-2 для 3M™ Novec™ обеспечил волшебные результаты, применение на практике в Гонконге.
Geghamyan
20.09.2019 10:23+3Суперкомпьютер с производительностью как у видеокарты? И при том с системой иммерсионного охлаждения. У GeForce RTX 2080 Ti и TDP — 300 Вт.
YuraLia
20.09.2019 10:42+3Да, у меня тоже неоднозначные ощущения возникли от названия статьи) Зачем тогда такой суперкомпьютер, если есть видеокарта 2080Тi? Я понимаю, что у такого суперкомпьютера могут быть преимущества, но название статьи говорит что скорее в пользу 2080Тi. Типа покупайте видеокарту, у нее производительность такая же как у самого передового российского суперкомпьютера))
upd. Пока писал коммент, название изменили, и теперь оно действительно отражает суть статьи.RomanZon
20.09.2019 10:52+1Ну так даже смешнее получается Россия наконец то одолела Нвидию
сколько лет понадобилось?
А ну да сделано то всеравно у ТМСЦ. Порядок!lelik363
20.09.2019 11:01А это как раз и не понятно.
Предыдущий кластер состоял из 32-х узлов с адаптерами на базе СБИС и процессорами Intel Xeon E5-1650 v3.
Ангара — это коммутатор, обеспечивающий передачу данных между «считалками».
eumorozov
20.09.2019 11:02-1Откуда столько злорадства? А что надо делать? Не развивать вообще ничего — покупать все готовое? Может и люди не нужны — сразу правильных откуда-нибудь закупить?
lelik363
20.09.2019 11:12+2Скорее всего из-за странной подачи материала. В официальном пресс-релизе никакого сравнения с nVidia нет.
dolovar
20.09.2019 11:20+1Предполагаю, что сравнение было почерпнуто из комментариев к статье на 4pda.
Pand5461
20.09.2019 14:01+1название изменили, и теперь оно действительно отражает суть статьи
Ну да, было "незваный гость хуже татарина", стало "незваный гость лучше татарина".
На самом деле, именно российская часть — интерконнект "Ангара" — по задержке на пересылку MPI сообщения сопоставима с Infiniband, 0,85 мкс против [0,9 мкс у Infiniband] (http://sc16.supercomputing.org/sc-archive/tech_poster/poster_files/post149s2-file3.pdf).safari2012
20.09.2019 15:33который практически полностью теперь тоже принадлежит nvidia (после покупки mellanox).
Gryphon88
20.09.2019 11:07Я правильно понимаю, что этот суперкомпьютер надо скорее рассматривать как proof of principle для нового поколения коммутации «Ангара»? Вот сомневаюсь я, что «Фишер» стоит как 32 видюшки.
Pand5461
20.09.2019 12:17+1До некоторой степени, да. "Ангара" работает, но любят всё российское у нас только на словах, а на деле НИЦЕВТу не особо верят и на предложения собрать на их интерконнекте хотя бы тестовый кластер отвечают "мы перезвоним". Ну вот в ОИВТ всё-таки собрали.
По стоимости — 32 видюшки без блоков питания, матплат, оперативной памяти, процессоров, дисковой и сетевой периферии тоже как бы не нужны, а со всем этим они и стоить сразу начинают ого-го.
Tyusha
20.09.2019 11:15+3Я конечно не специалистка, но всегда считала, что суперкомпьютер отличается от кластера в частности тем, что между узлами используется не сетевой интерфейс, а высокоскоростные шины.
В статье везде путаница с терминологией. Там то про сетевой интерфейс, то про вычислительный узел (который почему-то назван суперкомпьютером). Короче, что это было на самом деле так и не поняла.
blind_oracle
20.09.2019 11:57+1Я конечно не специалистка, но всегда считала, что суперкомпьютер отличается от кластера в частности тем, что между узлами используется не сетевой интерфейс, а высокоскоростные шины.
В суперкомпьютерах обычно используется Infiniband. Считать его сетевым интерфейсом или нет — вопрос религии. Другое дело что там используется его RDMA функционал.
safari2012
20.09.2019 15:51Принципиальная разница между MPI-интерконнектами, если очень грубо это либо соединения между процессорами (ccNuma), либо на уровне шины PCI-Express (Infiniband, Ангара и т.п.).
В первом случае очень дорого, но получаем некое подобие SMP (aka NUMA).
Во втором случае всё действительно очень похоже на соединение сетевыми картами, только интерфейсы и протоколы более скоростные с меньшими задерками, но и длина зачастую существенно меньше. Ну и это кластер, а не SMP/NUMA.
ni-co
20.09.2019 11:33+5В статье с кричащим названием какая то непонятная мешанина фактов. Одному мне здесь многое непонятно?
solariserj
20.09.2019 12:02Не только вам. От таких заголовков уши вянут, вместо реальной работы. Пусть спокойно запустят, даст профит, но без кликбейта.
alemiks
20.09.2019 11:55-6в 32 раза быстрее видеокарты GeForce
советские инженеры сумели сделать его всего в 32 тыщи раз больше по размерамTufed
20.09.2019 12:40Советские инженеры перестали быть советскими 18 лет назад.
Serge78rus
20.09.2019 13:43-1А какое именно событие, произошедшее именно 18 лет назад, сделало уже не существующих к тому времени советских инженеров не советскими?
cxell
20.09.2019 12:26Энергопотребление до 20 Вт
Маловато будет. Может, всё-таки киловатты?balamutang
20.09.2019 12:54+2Это потребление этой карты, которая толи сетевая, толи еще какой-то интерконнект.
Разработали карту, на базе которой можно построить (и вроде построили суперкомп)
Статья конечно дичь, от заголовка до содержания
SovietTwins
20.09.2019 13:44-2Я немного не понял. Эта карта что-то вычисляет? Столько террафлопс на 20Вт? На 65нм тех процессе? Да это почти перпетуум мобиле! Или же этот кусок устаревшего г… на просто позволяет отправить пачку данных в супер компьютер на сверхвысокоростную обработку на такой огромной скорости? Как я понял это именно об этом и идёт речь. При чём здесь 2080? Ну создали сверх быстрый интерфейс. Ну молодцы. Но не он эти операции обсчитывает. Это блин как рекламировать модем. Который быстрее звуковой карты, поскольку может музыку скачать за 2 секунды, а звуковая карта такой сигнал вообще не воспроизведет. Нелогично? Как и эта статья.
norguhtar
20.09.2019 14:18Это карта которую можно использовать для построения кластеров. Дальше можно ставить куда хочется.
Andrey_Dolg
20.09.2019 13:57+1В России разработана самая передовая технология, написания непонятных статей о передовых технологиях.
Интересно, если нельзя притянуть за уши какую-нибудь компанию покрупнее, то статья и не будет написана. Это так работает?
Per_Ardua
20.09.2019 14:01Что-то это начинает очень походить на akket.com. Даже обидно как-то за хабр.
aroman313
20.09.2019 15:12-1Уже давно и смартфоны разработали, показывали, и внедряли планшеты в школы, и даже глонасс сделали, правда, ненадолго, и ракеты в мультфильмах.
safari2012
20.09.2019 16:00На самом деле, очень своевременное решение (если действительно это решение работает, как заявлено). Основным поставщиком Infiniband оборудования является израильский Mellanox, который теперь является частью nvidia (плюс немного Qlogic, который тоже американский). Если сервера в режиме санкций можно закупить где-угодно, в том же Китае, то вот с Infiniband теперь могут быть проблемы.
Однако, в настоящий момент на сайте Ангары нашел только PCIe-карты, коммутаторов не видать…Pand5461
20.09.2019 23:55Есть публикации с тестами: раз, два.
Во второй есть и статистика использования кластера, чтобы тут не думали, будто это оборудование годится только на то, чтобы тесты на нём прогнать и оставить пылиться.safari2012
21.09.2019 10:32Прочитал, спасибо. Нет там коммутаторов. Узлы соединяются друг с другом, образуя кольцевую (тороидальную) шину. Коммутаторы Infiniband «могут быть организованы в сети с топологиями типа утолщенное дерево (Fat Tree), Сеть Клоза, реже — многомерный тор, двойная звезда, и в различных гибридных комбинациях», т.е.вариантов больше. Я также вижу слабое место — гигабитная сеть в параллели с ангарой. Infiniband в себя также инкапсулирует IP и не требует отдельной сетевой карты, отбирающей ресурсы PCIe шины, необходимой для CUDA и интерконнекта.
Тем не менее, будем посмотреть, во что это все вырастет.Pand5461
21.09.2019 13:38Да, тесты все для PCIe исполнения. Что в новой системе коммутаторная версия — я только из этой новости и узнал.
Тор — это неплохо, по крайней мере, для HPC. IBM Blue Gene с тороидальной топологией сети какое-то время стабильно занимали первые места в Top500. Сейчас, правда, сами IBM ушли в сторону Fat Tree — как объясняют, на большой системе проводов меньше.
С точки зрения MPI, тор даёт быстрее точечные обмены (send/receive) между соседними узлами, а fat tree — глобальные операции (broadcast, scatter/gather, reduce, alltoall).
xmikex
20.09.2019 17:16Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?
То есть экономически оно выгодно?dolovar
20.09.2019 18:46Не думаю, что цена здесь является основным параметром, но позволю себе немного развить эту тему. Во имя пятницы.
Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?
Вы забыли про систему охлаждения и про энергоснабжение, соответствующее охлаждению. Но это мелочи, наверняка цена станет основным козырем, терафлопсы есть терафлопсы, не так ли?
В оригинальном пресс-релизе:
В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности «Фишера» могут быть существенно расширены
Самое трудное — конкретность каких-то задач и возможность расширения. Но всё решаемо, конечно.
До основания стартапа по закупке видеокарт осталось несколько шагов:
— Уточнить решаемые задачи.
— Прикинуть решение «на видеокартах».
— Получить сертификаты по допускам и надежности.
— С легкостью выиграть конкурс по цене.
— Начать массовые продажи решения в другие институты и учреждения, в которых заседают замшелые старики, которые до сих пор думают, что видеокарты годятся лишь для игр и майнинга.
— Написать книгу о свершившейся революции.
Pand5461
21.09.2019 22:02А что он дороже-то будет? Плюс-минус одинаково стоит, и доля утилизируемой производительности от пиковой выше, чем с видеокартами.
Память, дисковое хранилище, интерконнект, система охлаждения, ИБП — нужны в равной мере CPU и GPU системам. Или видеокарты должны магическим образом без этого всего образовать параллельную вычислительную систему?
pavelcd
21.09.2019 14:57А бюджету эта "разработка" обошлась как строительство завода Nvidia? Покажут путену матплату Huanan с русскими наклейками и он ещё трилиончик на реализацию. Ничего нового.
SovietTwins
21.09.2019 19:35Я немного не понял насчёт минусов… Если хабр прополитизировался, то может кто подскажет альтернативы?
Никто так и не написал как связанны сетевая карта которая сама ничего не считает и видеокарта, которая сама считает. Какие террафлопсы? Зачем сравнивать пору с пальцем?
Pand5461
Это на 13 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti (https://www.techpowerup.com/gpu-specs/geforce-rtx-2080-ti.c3305). Что за дурацкая идея, что скорость суперкомпьютера в 2019 году считают по одинарной точности?
Sdima1357
В статье немного непонятно, что на самом деле
Зависит от области приложений. Иногда достаточно и одинарной точности. На игровых карточках двойная точность урезана искусственно. Возьмите «Теслы»
Tesla v100 — 7.8 TFLOPS double, 15.7 TFLOPS single
crazy_llama
С другой стороны часто нужно одинарная или даже половинная точность. Это может дать очень хороший буст в скорости обработки. 20хх как раз поддерживают половинную точность, + в последнее время, видел много статей про machine learning и половинную точность. Выглядит это очень многообещающе.
Pand5461
Ну пускай собирают на базе 20xx те, кому нужна одинарная или половинная точность. В институте пока что основная база программ требует двойной точности, поэтому собрали то, что удовлетворяет нуждам.
С видеокартами — стоит уже "Десмос", частично задача и в том, чтобы увести с него пользователей, которые видеокарты не используют.