В рамках курса «Математика для Data Science» подготовили для вас традиционный перевод интересной статьи.

Приглашаем также посмотреть открытый вебинар на тему «Производная функции и формула Тейлора». Вспомним ключевые понятия математического анализа: функции и ее производной. И при помощи этого матаппарата содержательно обсудим формулу Тейлора — один из самых фундаментальных математических разделов. Поговорим о том, зачем нужна эта формула, дадим необходимую теорию и, конечно, порешаем примеры.

Раньше суперкомпьютеры были прерогативой ученых и военных. Теперь набирают обороты промышленные варианты использования. Но в некотором смысле все компьютеры — суперкомпьютеры. Сегодня мы взглянем на то, как развивалась эта область, и на то, что ждет нас в будущем.

Суперкомпьютеры — компьютеры? Нет, не совсем. Суть суперкомпьютеров в том, что они вовсе не компьютеры. Это научные инструменты открытий или стратегические бизнес-объекты — просто они созданы с помощью компьютерных технологий. Впечатляющего количества компьютерных технологий.

Формально являясь традиционной прерогативой научных исследований и обороны, суперкомпьютеры находят применение в коммерческом секторе.

Суперкомпьютеры — каково может быть их применение в промышленности?

Вот несколько примеров: обработка сейсмических данных в нефтяной промышленности — это область применения, в котором преобладают высокопроизводительные вычисления (High Performance Computing — HPC), поскольку большая часть вычислений носит явный характер и выполняется на структурированных матрицах. Аналогичным образом, как прикладная область электромагнетизма, использующие методы алгоритмов моментов, так и прикладная область обработки сигналов — полагаются на использование высокопроизводительных вычислений в аэрокосмическом сообществе — например, делая 787 легче.

Но более широкое применение можно найти в инженерии, продуктовом дизайне, сложной оптимизации цепочек поставок (вообще, практически любой вид оптимизации), майнинге биткоинов (который вы могли бы реализовать на ПК, если бы он не стал настолько сложным). Крупнейшая в мире стекольная компания AGC поддерживает постоянный поток симуляций, полагаясь на симуляционное создание продуктов. Для города Чикаго это «Проект массива вещей» (The Array of Things Project) — 5000 датчиков на фонарных столбах не могут передавать данные в центр обработки данных для моделирования в реальном времени, поэтому они создали датчики, которые сами выполняют вычисления и действуют как распределенный суперкомпьютер. Ожидайте увидеть в будущем еще много подобных реализаций умных «Вещей». С помощью суперкомпьютера Ливерморской лаборатории Лоуренса исследователи обнаружили, что грузовики должны использовать боковые юбки. Trek Bicycle сделали велосипеды обтекаемыми со всех сторон с помощью HPC-моделирования с разделением времени.

По мере постепенного отхода суперкомпьютеров от зацикленности на математике, новейшие из них обладают необходимой гибкостью для обработки ИИ, аналитики и других общих рабочих нагрузок высокопроизводительных вычислений на больших данных, для дата сайнс, конвергенции, инноваций, визуализации, симуляции и моделирования.

HPE недавно объявила о программе под названием GreenLake, о которой я расскажу вам в следующей статье. Меня заинтриговало использование ими термина HPC. HPE, с момента приобретения Cray, Inc. в 2019 году, стала лидером в области суперкомпьютеров под кодовым названием exascale. Exascale означает способность производить один или несколько квинтиллионов вычислений с плавающей запятой двойной точности в секунду (exaFLOP). Эти машины, Aurora (1 exaFLOP, 2021 г.), Frontier (1,5 exaFLOP, 2021 г.) и El Capitan (2 exaFLOP, 2023 г.), находятся в стадии сборки.

Имейте в виду, что цена этих монстров составляет больше 500 миллионов долларов, и это не включает стоимость помещений для их размещения, массивных систем охлаждения и системы питания в 30-40 МВт (и счетов за электричество). Это одна из причин, почему вы не можете установить их где угодно. Им нужна магистральная линия с мощностью, достаточной для работы небольшого города. Можно ожидать, что суперкомпьютеры следующего поколения резко сократят потребности в энергии и охлаждении в течение следующих десяти лет.

Приведу цитату, которую так часто повторяют, что ее уже невозможно переиначить:

"exaFLOP — это один квинтиллион (10^18) операций с плавающей запятой двойной точности в секунду или 1000 петафлопов. Чтобы сравниться с тем, на что способна компьютерная системам с одним exaFLOP всего за одну секунду, вам придется выполнять одно вычисление каждую секунду в течение 31 688 765 000 лет ".

Все они должны были заменить два нынешних спидстера; Summit (200 петаФЛОП, 2018 г.) и Sierra (125 петаФЛОП, 2018 г.) от IBM. Таким образом, до тех пор, пока машины HPE/Cray не будут запущены, Summit и Sierra по-прежнему будут оставаться лидерами. По крайней мере, мы так думали.

Fujitsu удивила всех в 2020 году машиной Fugaku, работающей на удивительной скорости ~475 петафлоп, заняв текущее первое место. Но ходят слухи, что для Fugaku это только начало, потому что они разрабатывали все с нуля — чипы, межкомпонентные соединения и даже программное обеспечение. Затем HPE/Cray объявили, что в 2021 году они привезут в Финляндию компьютер на 500 петафлопов. Теоретически это поставит его на первое место, если только Aurora или Frontier не заработают первыми. 

В TOP500 перечислены 500 самых быстрых суперкомпьютеров в мире. Пятьсот. Это не опечатка. Моя альма-матер для суперкомпьютеров, Sandia National Labs, на самом деле имеет 486 по скорости лабораторию (у них есть и другие), но просто чтобы попасть в список, она должна выполнять > 2 петафлопс. Для сравнения: 486-й самый медленный суперкомпьютер в мире может сделать за одну секунду то, что вам нужно будет выполнять по одному вычислению каждую секунду всего за 63 377 530 лет! Когда я работал над дизайном ASCI Red в 1997 году, мы создали первый компьютер teraFLOP. Он в миллион раз медленнее, чем будущие экзафлопсные компьютеры. 

Все компьютеры теперь суперкомпьютеры

 Удивительно, что всего один человек изобрел суперкомпьютер. Сеймур Крей основал Cray Research в 1972 году и произвел суперкомпьютер Cray-1. С 1976 по 1982 год это был самый быстрый суперкомпьютер в мире. Он имел размеры 8? футов в ширину и 6? футов в высоту и содержал 60 миль проводов. Он был достаточно неплох. Для сравнения: сегодняшние экзафлопсные монстры занимают пространство двух футбольных полей и бегают в несколько миллиардов раз быстрее.

Первым заказчиком была Лос-Аламосская национальная лаборатория. В 1993 году Cray выпустила свой первый суперкомпьютер с массовыми параллельными вычислениями T3D. Суперкомпьютеры стали популярными, когда они фактически переключились на большие массивы идентичных серверов, поддерживаемых многоядерными чипами.

Итак, в каком-то смысле все компьютеры теперь суперкомпьютеры.

К сожалению, Cray погиб в автомобильной катастрофе в 1996 году, и компания была продана Silicon Graphics, которая позже объединилась с Tera Computer Company в 2000 году. В том же году Tera переименовала себя в Cray, Inc. По мнению аналитиков, HPE приобрела Cay, Inc., чтобы выпустить суперкомпьютер HPE Cray EX Shasta (компания HPE использовала технологию Cray), созданный для рабочих нагрузок эпохи экзадачности, — плавное слияние технологий. Он может поддерживать конвергентные рабочие нагрузки, устраняет различие между суперкомпьютерами и кластерами, сочетая рабочие нагрузки высокопроизводительных вычислений и искусственного интеллекта. Вот изображение Сеймура Крея с этим суперкомпьютером Cray-1:

Центральным элементом его конструкции является межкомпонентная магистраль Slingshot™. Все первые три экзафлопсных суперкомпьютера США — это системы Shasta. На данный момент HPE/Cray готов предоставить три (или более) из четырех самых быстрых суперкомпьютеров в мире (на самом деле, Frontier был проектом Cray до того, как HPE приобрела Cray, но они плавно смешали свои технологии). В следующий раз я подробно расскажу о GreenLake и о том, как HPE предлагает возможности высокопроизводительных вычислений для организаций любого размера.   

Один вопрос: обрабатывают ли они данные иначе, чем в коммерческой схеме MPP? 

Что не меняется, так это то, что использование HPC-машины требует от программиста совершенно по-другому думать о том, как решать свои проблемы. Сегодняшние суперкомпьютеры, в некоторой степени аналогичны кластерам MPP, из которых состоят коммерческие базы данных, такие как Oracle, Teradata, Vertica, IBM и т. д. Оба используют установку MPP «без общего доступа», где каждый сервер независим, за исключением сетевой системы. Каждый сервер состоит из собственных процессоров, памяти и, иногда, хранилища, а также копии операционной системы. Разница между ними заключается в том, что производимые сегодня суперкомпьютеры значительно больше. IBM Sierra: объединяет коммерческие ЦП и графические процессоры Nvidia в 4320 узлов с общим количеством в 190 080 ядер и 256 ГБ памяти на ЦП + 64 ГБ памяти на каждый графический процессор. Развернутые коммерческие базы данных составляют лишь некоторую часть ее размаха. 

Коммерческий MPP не может обрабатывать 2,56 квадриллиона вычислений с плавающей запятой двойной точности в секунду в корпусе Dell с не более чем 3000 ядрами. Но настоящая разница в том, что они делают. База данных MPP может обрабатывать сотни или тысячи запросов в минуту и ??выполнять оптимизацию, балансировку нагрузки и управление рабочей нагрузкой. Обрабатываемые запросы сами по себе просты по сравнению с моделированием изменения климата. Суперкомпьютер не может справиться с таким параллелизмом, когда каждая программа может включать миллиарды вычислений. 

В настоящее время программирование суперкомпьютеров в основном выполняется на Fortran, C или C++. В отличие от операционных, транзакционных и аналитических программ эти «коды», как они их называют, сравнительно просты, сложная часть — конфигурация.

Суперкомпьютеры в облаке

За исключением установок с воздушным зазором, где все устройство отключено от внешнего мира, большинство суперкомпьютеров являются «shared», но совсем в той же манере, как облако. Сотни пользователей по всему миру могут использовать суперкомпьютеры, но они не интерактивны. Программы выполняются как задания и помещаются в очередь в рамках специального гранта, финансируемого исследовательскими организациями. Гранты составляют тысячи или миллионы процессорных часов. Они закрыты для публики. Вы платите за час ЦП, умноженный на стоимость очереди (определяется спецификациями очереди и приоритетом). Если у вас есть программа с 11 процессорами, работающая 1 час, вы потребляете одиннадцать служебных единиц, умноженных на стоимость очереди). 

Поставщики облачных услуг поддерживают множество архитектур, поэтому вполне возможно, что они могут предоставить HPC фактическое время суперкомпьютера. Преимущества облака: оплата по тарифам, распределенная и с несколькими арендаторами. Для следующей статьи я постараюсь разобраться с HPE. Насколько я понимаю, суперкомпьютерные вычисления в петаскейли и эксафлопе на данный момент не являются частью GreenLake, и программа шире, чем просто HPC.

Узнать подробнее о курсе «Математика для Data Science».

Посмотреть открытый вебинар на тему «Производная функции и формула Тейлора».