В сервисе Matterport стал доступен для всех пользователей виртуальный тур по машзалу и инфраструктуре суперкомпьютера Summit.
Этот вычислительный комплекс разработала компания IBM и Ок-Риджская национальная лаборатория (Oak Ridge National Laboratory, ORNL), которая входит в министерство энергетики США.
Комплекс для работы Summit веден в эксплуатацию в июне 2018 года и занимает площадь около 520 м?. Summit состоит из 4608 серверных узлов IBM Power Systems AC922. Суперкомпьютер оснащен 9216 22-ядерными процессорами IBM POWER9 и 27648 графическими процессорами NVIDIA Tesla V100. Общее количество вычислительных ядер системы — 2 414 592. Пиковая производительность — 200 794,88 TFLOPS.
Потребляемая мощность системы составляет 15 МВт. Месторасположение суперкомпьютера — около города Ок-Ридж и рядом с городом Ноксвилл, штат Теннесси.
Экскурсия по Summit также доступна с устройствами виртуальной реальности. В этом случае эффект погружения в недра IT-инфраструктуры суперкомпьютера получается намного сильнее. Cервис Matterport рекомендует для этого использовать шлем виртуальной реальности Oculus Quest.
Детальные сканы показывают комнату управления операторов Summit, машинный зал на 260 стоек по 18 серверов в каждой и энергоблок комплекса, где расположена водяная подсистема охлаждения суперкомпьютера.
Информационные блоки рассказывают о встречаемых на пути элементах суперкомпьютера, их историю и функции.
В машинном зале заметно рабочее место системного инженера.Сейчас мощности суперкомпьютера Summit используются для исследований в области эпидемиологии, биоинформатики и молекулярного моделирования для помощи в изучении коронавируса. Также его системы задействованы для анализа данных и выдачи прогноза погоды по всему миру для ВВС США.
drWhy
Весьма познавательно. Зал с теплообменниками занимает площадь, равную половине площади машзала. Отдельное здание с градирнями на 20 МВт и 6000 т воды.
Симпатично выглядит водяное охлаждение сервера. Интересно назначение шести малых теплообменников. Судя по цвету побежалости меди ближний средний и дальний правый перегревались.
Спасибо за статью.
v1000
В свое время сервера от Sun Technics называли сантехникой. А это недалеко от правды оказывается :)
serejk
Для графических ускорителей.
drWhy
То есть они распаяны на материнской плате?
Впрочем, всё сходится — три графических процессора на один осеновной.
serejk
Нет, они съемные, я держал ее в руках, когда меняли в таком сервере. Выглядят как, вот здесь:
Вот схема с расшифровкой:
drWhy
Спасибо за подробности. Т.е. действительно выходят из строя. А троттлинга им не сделали?
2,2 кВт блок питания даже не выглядит избыточным для подобной конфигурации.
serejk
Ну вот у нас одна из 10 как-то сразу себя вела странно, показывала значительный нагрев по сравнению с остальными и начинала троттлиться. Может косяк в тепловом пакете, там все вместе одним модулем идёт, который нам прислали по гарантии.
Насчёт БП тоже интересно — на каждом из них надпись 1300Ватт, то есть вдвоём они как раз закрывают пиковое паспортное потребление сервера. Что будет, если один на полной нагрузке откажет — не знаю.
serejk
Хотя я, наверно, гоню — у нас всего две из шести возможных карточек, и бюджета питания вполне хватает.
drWhy
Так и подмывает спросить — ну и как, Crysis потянет, есть вообще способ использовать это чудо как 3D ускоритель?
serejk
Это кластер с консольным линуксом- пользователи считают на нем научные задачи :)
drWhy
Конечно же, но определённо должен быть способ подключить суперкомпьютер из девяти Raspberry Pi с двумя геймпада при входе в офисной части здания к основному суперкомпьютеру Summit ;)
sim2q
в БП воду не решились?)
скорее всего теплообменником сделали
ps как же сложно то не игруну там ходить мышой
AlexBrown
«Зал с теплообменниками занимает площадь, равную половине площади машзала. Отдельное здание с градирнями на 20 МВт и 6000 т воды»
Для человека знакомого с терминами «вектор потока энергии» и «плотность потока энергии» наблюдение вполне очевидное.
P.S. Эх, помню, вызвал гомерический смех на одном совещании. Генеральному некто из приближённых надул в ушки идею очередной аферы — ферма на асиках, все в курсе. Гене нравилось то, что у него под рукой был «почти бесхозный» кусочек промзоны с очень ограниченным доступом физлиц и почти неограниченным доступом к электричеству.
Совещание длилось долго и выглядело вполне практическим — ровно до той секунды, когда в повисшую тишину встрял Шурик. А Шурик спросил лишь: «ребята, вот у вас ВУ и потребитель на 4 МВт. А как вы планируете отводить тепло?».
Тут-то совещание дружно зависло. «Типа, бизнесмены» искренне полагали, что мегаватты энергии из промсети преобразуются в биткойны и утекают через оптику в Большой Интернет.
Когда фишка дошла до гены (а он очень сообразительный, просто умница) — гена гомерически рассмеялся и достал из своего шкафчика пузырь конины.