Следом за этим, большинство игроков серверного рынка, среди первых — Lenovo, Dell, SGI, HPE и Fujitsu, объявили об обновлении своих серверов и поддержке новых процессоров линейки Intel Xeon E7 v4. Последние три компании: SGI, HPE и Fujitsu отличаются от остальных ещё и тем, что имеют возможность предложить своим клиентам супер-сервера на процессорах x86 с суперкомпьютерными аппаратными ресурсами по-сути класса "мэйнфрейм".
Например, компания Silicon Graphics International предлагает своим клиентам сервера SGI UV 300 — масштабируемые до 64 процессоров Xeon E7-8890 v4 в едином сервере, и соответственно этот сервер может поддержать работу целых 1536 процессорных ядер, и в итоге операционной системе станут доступны целых 3072 потока выполнения. А потоки в большинстве операционных систем воспринимаются как логические процессоры, и соответственно в этом монстрообразном сервере для ОС становятся доступны 3072 логических процессора, а кроме этого ещё и целых 64 TB оперативной памяти — см. описание на сайте производителя: «SGI UV 300 and SGI UV 30EX».
Всё это прекрасно когда появляются такие невероятно мощные ресурсы, да ещё не в виде кластера (у которых есть свои проблемы), а в виде единого супер-сервера. Но вот возникает вопрос, а как мы может управлять всем этим железом?
Компания Hewlett Packard Enterprise также старается не отставать от конкурентов и предлагает супер-серверы HPE Integrity Superdome X — в которых могут быть установлены до 16 процессоров Xeon E7-8890 v4 и соответственно мы получаем 384 процессорных ядра и целых 768 потока выполнения, плюс к этому они могут содержать до 24TB оперативной памяти — см. описание на сайте производителя: «HPE Integrity Superdome X».
И японская компания Fujitsu имеет возможность предложить новые сервера FUJITSU Server PRIMEQUEST 2800B3 — содержащие до 4 материнских плат, на каждой из которых сегодня установлено по 2 процессора и в итоге компания предлагает 8-ми процессорные сервера со 192 процессорными ядрами и с доступными 384 потоками выполнения, плюс в этом сервере может быть установлено до 24TB оперативной памяти — см. описание на сайте производителя: «FUJITSU Server PRIMEQUEST 2800B3» (тут кстати на Хабре была интересная и подробная статья об этих серверах Fujitsu линейки PRIMEQUEST 2000 — см: «FUJITSU против всех или Японский убийца RISC серверов»).
А по утверждению компании Intel на новых процессорах линейки Xeon E7-8800 v4 можно легко строить материнские платы на 4 или 8 сокетов (я так понимаю вся необходимая логика для этого есть в самих процессорах). Так что, компания Fujitsu вскоре собирается изготовить 8-сокетные материнские платы для своих серверов, и в итоге тогда мы можем получить единый сервер от компании Fujitsu который будет содержать до 32 процессоров Xeon E7-8890 v4, и соответственно мы получим 768 процессорных ядер и целых 1536 потока выполнения.
Самое большое распространение на рынке x86-серверов сегодня имеет операционная система RedHat Linux, но специалисты говорят, что у неё на сегодня есть ограничение и она может поддерживать работу только до 288 процессорных ядер в единой системе. Получается, что даже самый слабый на сегодня сервер из трёх перечисленный — FUJITSU Server PRIMEQUEST 2800 с 384-мя потоками выполнения (логическими процессорами) — не может управляться единой операционной системой:(
Конечно кроме RHEL есть наконец SUSE Linux, Oracle Linux, Oracle Solaris for x86, и есть же FreeBSD. Ну наконец есть же даже MS Windows Server 2016 (который как обещают будет супермасштабируемый), и даже вроде бы уже устаревающая ОС MS Windows Server 2012 поддерживает до 640 логических ядер.
Но все эти перечисленные операционные системы не могут обслуживать в единой системе 3072 логических процессора, которые нам предлагает SGI UV 300.
И кроме того в большинстве систем есть ограничение на количество оперативной памяти которую они могут адресовать, например возможности MS Windows Server 2012 заканчиваются на 4 ТБ ОЗУ:( А что нам делать с лишними — остающимися 60 TB ОЗУ, которые нам может предоставить SGI UV 300?
Я конечно же понимаю, что железо такого уровня наверно не предназначено чтобы на нём работала единая операционная система, конечно же через виртуализацию с помощью гипервизоров типа Hyper-V, KVM и VMware ESX мы получаем разделение аппаратных ресурсов и на таких мощных серверах можем запускать десятки различных операционных систем (ну всё как на мэйнфреймах), и каждая из этих ОС будет иметь доступ только лишь к определённым и только для неё предназначенным аппаратным ресурсам, количество которых определит сам великий серверный администратор:)
Но я всё же до конца не могу понять, а зачем же нам могут понадобится эти замечательные супер-дорогие супер-сервера? И чем они лучше простого набора из нескольких обычных серверов установленных в серверную стойку, которые почти таким же образом с помощью той же виртуализацию и гипервизоров нам могут предоставить возможность работы с тем же набором из нескольких операционных систем?
Да здесь мы можем с вами начать обсуждать отказоустойчивость этих mission-critical серверов. Можем конечно же говорить о том, что на самом деле чем больше ресурсов тем лучше. И современные системы управления базами данных построенные на принципах БД in-memory сожрут всю память которую им только может предоставить система. Но тогда нам и нужна такая операционная система которая может предоставить все доступные аппаратные ресурсы.
А иначе сегодня получается, что если например посмотреть на сервер FUJITSU Server PRIMEQUEST 2800 — который состоит из 4-х 2-сокетных материнских плат объединённых воедино. То железо их объединяет воедино, а гипервизор заново их разделяет. Так зачем же тогда их объединять? Почему нельзя собрать систему из 4-х отдельных 2-сокетных серверов даже уровня mission-critical и с помощью виртуализации объединить их во единый ресурс — если это кому-нибудь надо.
Я так думаю, что видимо в развитии IT-технологий мы сегодня вновь подошли к тому времени, когда аппаратное обеспечение значительно опережает возможности программной составляющей компьютерной техники. Когда-то в конце 1980-х годов тоже возникала проблема в настольных компьютерах типа IBM PC — когда физической оперативной памяти в компьютере могло быть установлено целых 1 или даже 2 MB, а операционная система MS-DOS могла адресовать лишь 512 KB, а чуть позже её возможности выросли до адресации целых 640 KB основной области памяти (это было связано с тем, что MS-DOS изначально была написана в конце 1970-х годов для 16-битных процессоров Intel 8086 у которых изначально было такое ограничение). Тогда когда это ограничение стало реальной проблемой, у компании Microsoft ушло пять или даже десять лет на её решение — и всё это время они затыкали эту проблему с помощью всяких заплаток и полумер. И проблему удалось окончательно победить, только лишь в середине 1990-х годов, когда вышла совершенно новая ОС MS Windows NT — с совершенно новым ядром и принципом устройства (говорят принципы построения MS Windows NT были взяты от прославленной ОС для миникомпьютеров — DEC VMS).
Так вот я к чему тут обо всём этом разглагольствую, а к тому, что возможно для эффективного использования всех этих невероятно громадных аппаратных ресурсов — как эти 3072 логических процессора и 64 TB ОЗУ в супер-сервере SGI UV 300 — сегодня возникает необходимо создать совершенно новую операционную систему, построенную на совершенно новых принципах!
И конечно всё новое — это давно забытое старое:) Новая ОСь может быть развитием принципов заложенных например, в такие операционные системы как: Plan 9 или Inferno. ОС Inferno — имеет явно дурацкое название, может именно поэтому она и не приобрела до сих пор широкого распространения, хотя сами идеи заложенные в ней являются революционными и она явно могла бы помочь обуздать, цивилизованно и эффективно использовать громадные «залежи» железа предоставляемые современными супер-серверами.
И если мои рассуждения имеют долю правды, то так может оказаться, что лет через десять или двадцать, к сожалению ОС типа Linux могут оказаться на свалке истории, а в серверном мире будут править бал новые ОСи типа какой-нито GoogleOS или VMwareOS :)))
P.S.: Что вы обо всём этом думаете? Мне очень интересно ваше мнение, как о новых супер-серверах, так и о моих рассуждениях по поводу назревшей необходимости создания новой серверной операционной системы?
Комментарии (29)
youROCK
08.06.2016 11:27+1Вот уж где микроядерные ОС должны сиять, так это на таких серверах. «Всем известно», что распараллеливание вычислений с использованием общей памяти — дело весьма непростое и подверженное ошибкам. Поэтому обычно выбирают системы с посылкой сообщений, потому что их легче программировать и проверять корректность. Так что, я надеюсь, за микроядерными ОС будущее, особенно для очень больших серверов вроде представленных в этой (откровенно рекламной) статье.
khim
08.06.2016 14:38+2К сожалению именно на таких серверах микроядерные ОС будут «сливать», причём жестоко. Да, распараллеливание вычислений с использованием общей памяти — дело сложное. Потому и все суперкомпьютеры сейчас — это кластера без разделяемой памяти.
Однако. Фишка конкретно и именно этих систем — ровно и исключительно в том, что они предлагают «самый единый большой x86 комп» — и одной из определяющих характеристик тут является общая память (пусть и NUMA). Микроядру тут делать нечего, увы: эффективность микроядер на подобных системах — ещё хуже, чем на системах меньшего размера. z/OS ведь тоже не микроядерная…youROCK
08.06.2016 16:21+1Не могли бы вы пожалуйста поподробнее рассказать, почему эффективность микроядерных систем будет ниже на «больших» системах, чем на «маленьких»? Пока что мне это, мягко говоря, не очевидно.
khim
08.06.2016 23:13+1Подобные системы очень часто упираются в шину памяти. Нужно минимизировать пересылку между разными «нодами» и вообще всё стараться делать локально. Микроядра — в общем-то о строго противоположном. Существуют техники, которые позволяют им избегать ненужного копирования, существуют техники, которые позволяют им масштабирваться до сотен (но вряд ли до тысяч) ядер, но попытки (только лишь попытки!) это объединить — это сейчас ещё предмет научных изысканий, а не практического использования.
Когда я читаю статью типа Adding SMP support to fastpaths in an L4 microkernel мне плакать хочется: они сейчас занимаются тем, что в каком-нибудь Linux'е начали реализовывать лет так 10-15 назад!
И вы хотите вот это взгомоздить на суперсервер ценой под миллион? И который, по задумке, должен деньги «отбивать», а не ждать пока под него OS «допилят»?
zboris
09.06.2016 01:11Спасибо за ваш комментарий и за ваше мнение.
Мне только конечно немного обидно, что вы увидели откровенную рекламу в моей статье.
Мне просто интересно, что же я там прорекламировал то?
Может Интеловские Сионы?
Так они как бы в рекламе особо не нуждаются. Интел просто занимает около 99% мирового рынка серверных процессоров — и им наверное на этом рынке расти больше не куда (их и так за монополизацию этого рынка пора засудить, да вот некому).
Просто я прочитал статью (см.: «Intel представил 24-ядерный процессор для серверов») и комментарии к ней, и на меня накатило вдохновение от впечатления об этих новостях про 24-х ядерный Сион и 64-х сокетные Силиконовые суперсервера.
Захотелось просто обсудить с вами (со специалистами) на Хабре эту новость, поделится своими мыслями, что-то может быть узнать от вас нового.
Я то наивный, от всего сердца хотел разделить с вами впечатления.
А народ на Хабре оказался не впечатлительный, оказывается такими масштабными творениями и вовсе уже вас не возможно впечатлить и развести на обсуждение:(
P.S.: Если вы зайдёте в мой профиль, то увидите, что перед этой моей статьёй я последний раз писал на Хабре комментарий 24 апреля 2015 года — то есть я тут больше года не появлялся. Вот пришёл через год простоя с вами обсудить впечатлившие меня новости. А Хабравчане нос воротят, мол нас не впечатляет, мол не хотим не чего обсуждать. Ну не хотите, — так как хотите. Мне тоже своё драгоценное время тратить на вас влом. После такой реакции, которую я увидел на свою статью, я видимо ещё не скоро напишу следующую:(
Хотя некоторые комментарии были полезны и действительно открыли для меня что-то новое — за это всем огромное спасибо:)
SemperFi
08.06.2016 13:51+1еще можно к сравнению добавить Huawei KunLun — 32 сокета
zboris
09.06.2016 01:57Да есть такой сервер от китайских товарищей:)
С помпой представленный в марте 2016 года — как самое великое творение инженеров Китайской Народной Республики — см.: «Huawei KunLun 9032: первый в мире 32-сокетный x86-сервер для критически важных вычислений».
Но в моей статье мы обсуждаем, не столько многосокетные сервера, а именно те многосокетные сервера, которые поддерживают установку новейших (только что в июне 2016 года представленных) 24-х ядерных процессоров новой серии Intel Xeon E7-8800 v4 (уже четвёртого поколения я замечу).
Так вот, а этот KunLun 9032 к моему сожалению, пока что работать только лишь с процессорами Intel Xeon E7-4800 v3 / E7-8800 v3 Series (т.е. предыдущего третьего поколения) — как утверждает сайт самой компании производителя — см:. KunLun 9008/9016/9032 Mission-Critical Server.
Наверное китайские товарищи скоро обновят свои сервера (хотя обычно обновление чаще чем раз в год таких серьёзных серверов не происходит) и тогда всё встанет на свои места, и Huawei KunLun 9032 в один ряд с творениями SGI, HPE и Fujitsu:)
zboris
09.06.2016 02:17Про этот сервер Huawei KunLun 9032 вообще очень интересно можно было бы порассуждать.
Откуда у китайский инженеров такая экспертиза и интеллектуальная собственность в области многопроцессорных архитектур (SMP или NUMA)?
Ну у Silicon Graphics понятно откуда 64-сокетные суперсерверы SGI UV 300. Потому, что многопроцессорными система они занимаются уже наверное лет 20-ть так точно, а то может даже и все 30-ть лет — они же и изобрели архитектуру NUMA и они продолжают её все эти годы совершенствовать.
Hewlett Packard Enterprise — тоже понятно откуда взял свой HPE Integrity Superdome X. Он не с луны у них свалился. Хотя Hewlett Packard Enterprise — это сегодня новая компания, но она включает в себя все серверные отделы и разработки славной Hewlett-Packard Company. И они в этих своих отделах тоже разрабатывают многопроцессорные серверы не первый год (тоже лет 30-ть наверное этим делом занимаются если не больше).
При этом Hewlett-Packard ещё в течение нескольких десятилетий включала в себя в качестве составных частей или в качестве отдельных подразделений такие поглощённые компании и корпорации как: Convex Computer (в 1995 поглощена Hewlett-Packard); Tandem Computers (в 1997 поглощена Compaq); Digital Equipment Corporation (в 1998 поглощена Compaq); Compaq (в 2002 поглощена Hewlett-Packard) — и все эти компании разрабатывали многопроцессорные сервера и суперкомпьютеры. Серия серверов Superdome — у HP появилась как раз вскоре после поглощения компании Convex Computer (которая их собственно и разработала) в 1995 году.
Ну Fujitsu — это тоже стара компьютерная корпорация, которая ещё с 1970-х годов взялась конкурировать с корпорацией IBM и практически с тех самых пор занимается разработкой многопроцессорных компьютеров и мэйнфреймов.
Ну и конечно же корпорация IBM — имеет интеллектуальную собственность в области многопроцессорных серверов. Они изобрели мэйнфрейм и многопроцессорные разработки у них развиваются уже наверное лет 40-к если не больше. По-моему они первые в конце 1980-х и начале 1990-х кто начал выпускать суперкомпьютеры с архитектурой MPP на тысяча своих процессорах PowerPC. В общем, они как правило в области многопроцессорных компьютеров были законодателем моды или в первых рядах и много чего в этой нише наизобретали.
А вот откудава в Китайской Народной Республики Huawei вдруг взял и выпусти такой вот сякой многопроцессорный KunLun?
Ну они вроде бы раньше этим никогда не занимались. Только лишь последние годы занялись сервера и на тебе сразу сделали суперсервер?!
Мне как-то это чудно.
Я конечно слышал, что у китайских товарищей есть какая-то Китайская академия наук, которая занимается исследованиями по компьютерным технологиям, и которая там наизобретал такие китайские процессоры как Godson и Loongson — и ещё и делает на них всякие многопроцессорные китайские суперкомпьютеры.
Может товарищи из этой академии Huawei помогли.
А может товарищи из Huawei просто у кого-нито слямзмли интеллектуальную собственно (ведь промышленный шпионаж существует и в Китае он развит не слабо).
А может не спроста Silicon Graphics в 2009 году был поглощён китайской компанией Rackable Systems (см.: «Rackable Systems купит обанкротившуюся компанию SGI за $25 млн.»), после чего в результате ребрендинга Rackable стала именоваться SGI — что теперь означает Silicon Graphics International (вместо бывшей когда-то Silicon Graphics, Inc.).
Может именно одни китайские товарищи из бывшей Rackable Systems (ныне SGI) помогла другим китайским товарищам из Huawei и последние наконец-то выпустили свой собственный суперсервер KunLun 9032 :)
P.S.: Это просто мои рассуждения и предположения, прошу сильно не оскорблять за эти мои смелые рассуждения:)khim
09.06.2016 03:38+1Вы опять «мимо кассы» попадаете. Чем обсуждаемые тут сервера отличаются от обычных серверов «из коробки»? Процессоры в них стоят более-менее обычные, память… ну не совсем, но где-то как-то что-то. Ах, ну да: спецчипы для прокачавания невменяемого количества данных между всеми этими процессорами, многоплатная разводка с «бекбоном» и «дочерними платами»… то есть как бы всё то же самое, что и в мощном роутере — только с другим процессором (не обычно используемые в телекоммуникациях MIPS, а Xeon). А Huaiwei — один из ведущих производителей телекоммуникационного оборудования.
Ситуация примерно как если бы производитель тракторов занялся бы производством суперокаров — история та же, в общем. Никакой магии.zboris
09.06.2016 08:01Ну, любопытные рассуждения.
Подскажите пожалуйста, а что же корпорация CISCO таких серверов не выпускает? Ведь с мощными роутерами и маршрутизаторами у них тоже всё впорядке, да и на рынке серверов они уже больше 5-ти лет утверждаются и отгрызают долю у HP, Dell, SGI, и др. монстров этого рынка, и денег у них много (всё время пытаются расширяться на какие-нито новые рынки), а вот многопроцессорных суперсерверов у них нету. Что же это они так не хотят использовать возможность с легкостью расширить свой серверный бизнес?khim
09.06.2016 15:47Потому что большая проблема новичков на корпоративном рынке — это найти покупателя. Для CISCO — это особенно сложно: на рынке полно конкурентов, а сделать сходу дешевле, чем у HP или там SGI вряд ли получится. Потому и приходится идти снизу и потихоньку «отгрызать» долю рынка.
Для Huawei же — этой проблемы нет: мало того, что в Китае проще сделать более дешёвый сервер (что уже есть какое-никое, но преимущество), но ещё и совершенно очевидно, что сколько-то этих серверов госструктуры закупят. А там — и другие подтянутся.
Вообще сочетание «я могу это сделать» и «я могу это продать» всё определяет, а не какая-то компонента в отдельности. Нужна какая-то база, на которой делать, но также важно — возможность результат ваших разработок продать. Посмотрите на Антонов — думаете они самолёты разучились делать? Нет, проблема в том, что покупать их некому. Или посмотрите на Microsoft… если бы Windows Phone был готов в 2008м-2009м году — мы бы совсем в другом мире жили.zboris
09.06.2016 17:56Ну ладно вам, что бы Cisco Systems не мог бы продать многоядерные супер-сервера. Уж кто-кто, а они то имеют огромную базу корпоративных клиентов. Именно потому что они активно работают на корпоративном IT-рынке — они и начали в 2009 году выпускать и продавать сервера. И уже очень глубоко внедрились на этот рынок серверов, обогнав такие компании как Oracle (бывшие сервера Sun), Fujitsu и др. По итогам 2015 года на рынке серверов Cisco занимает 5-ое место — и идёт сразу же за такими мощными корпорациями как: HPE, Dell, IBM и Lenovo — см.: «Рынок серверов растет седьмой квартал подряд».
И этот серверный рынок для них действительно важен, потому как они на нём неплохо зарабатываю — см.: «Серверный бизнес помог Cisco увеличить прибыль на треть». А расширив свою линейку серверов ещё и много-сокетными монстрами могли бы заработать и ещё больше — потому как в этом сегменте маржа намного выше :)
И конечно же их сервера собираются в Китае — это даже без вопросов, потому как они одни из самых дешёвых на этом рынке. Возможно разрабатываются они в США, хотя и это вовсе не факт, а вполне возможно что и разрабатывает их и выпускает их для Cisco Systems какой-нито китайский ODM-производитель типа Foxconn`а или Pegatron`а:)
zboris
09.06.2016 18:06Ну, про Microsoft не надо — это отдельная песьня, они всегда были первыми во многих областях, но только их передовые разработки всегда сделаны через одно место (пятую точку) и вовсе не для людей, а для инопланетян каких-то.
Ведь именно Microsoft подмяла под себя рынок смартфонов в первой половине 2000-х годов и первый выпуск MS Windows Mobile состоялся в 2000-м году! — Но эта система была сделана для сумасшедших гиков, а не для людей.
И вот лишь спустя СЕМЬ долгих лет, лишь после выпуска Apple iPhone в 2007 году в Microsoft наконец то увидели какой на самом дела должна была быть их система для смартфонов!
Это же надо было столько денег вгрохать с конца 1990-х годов в рынок смартфонов..., потом ещё купить за $7,2 миллиарда Nokia… (см.: «Microsoft покупает Nokia за 7,2 миллиарда долларов»), и всё это потом списать коту под хвост — это же надо какая у них там замшелая корпоративная культура — что там могут работать только одни бездарности и ничего толкового без копирования у конкурентов сами сделать не могут :(((
SemperFi
09.06.2016 10:55+1добрый утр.
никого не собираюсь оскорблять, я ж не ЖП, яростно отрицающий все несогласное =)
насчет рассуждений — можно не рассуждать, я был на RnD и производстве Huawei в ШеньЧжэне, и таки могу сказать — на первых многопроцессорных (т.е. более двух сокетов) обкатывали «позаимствованные» технологии (реинкарнация старой шутки — сколько надо инженеров NAMED вендора, чтобы сконструировать блейд-сервер? два! Один держит блейд от HP, второй обводит карандашом). Так вот, по моим ощущениям, примерно с 2011 года вендор начал крайне плотно работать с Intel'ом, и утверждать, что все, шо есть, «позаимствовано и творчески переработано» не совсем корректно.khim
09.06.2016 15:56все, шо есть, «позаимствовано и творчески переработано» не совсем корректно.
Тут сложный вопрос. Р7 тоже многие называют «всего лишь развитием» Фау 2… Но скорее всего тут как центрифугой Циппе: уехал в Австрию он ведь без каких-либо бумаг, но со знаниями в голове. Считать ли результат «независимой разработкой» или это «позаимствовано и творчески переработано»?zboris
09.06.2016 17:20То есть вы согласны, и вполне допускаете, что часть китайских инженеров, например работавших в бывшей Rackable Systems (ныне SGI), затем могли быть зафрахтованы или переманены в компанию Huawei (ну естественно не с голыми руками они туда пришли, ведь скопировать на флэшку нужные файлы не так уж и сложно) и там уже не слабо помогли китайским товарищам разработать свой Huawei KunLun 9032:)
Да помоги им Господи, пусть развивают свою оборонную промышленность (потому как все эти технологии именно там в первую очередь и будут использоваться).
Наши бы — русские инженера, хотя бы так научились бы позаимствовать западные технологии, а то в Интеле работают сотни ели не тысячи русских инженеров, а этот наш отечественный процессор «Эльбрус» так довести до современных технологических высот никто и не может. И ведь запрос есть и покупатели найдутся (конечно в основном из военных ведомств и госструкту — см.: «На процессорах «Эльбрус» создана система обработки персональных данных»).
И некоторые спецы из этих ведомств только и мечтают что бы получить 64-сокетный супер-сервер на отечественных процессорах Эльбрус-4С — да вот никто в России такого сделать не может.
Хотя у нас и теоретическая база вроде бы есть и несколько исследовательских институтов ещё с 1970-х годов разрабатывали различные виды многопроцессорных систем, но всё это куда-то почти бесследно делось:(
Из известных, пожалуй осталась одна компания «МЦСТ Эльбрус», которая конечно выпускает 16-сокетные (96-ядерные) вычислительные комплексы — см.: «ВК Эльбрус-3С» — но всё это в основном для оборонной промышленности и на корпоративном рынке эти разработки никому не нужны, потому как коммерческого софта для них нету:(
Да конечно же у нас инженера из «Росатома» пытаются внедрять советские разработки в области многопроцессорных систем, но всё равно это всё делается в основном для оборонной промышленности и для нужд самого «Росатом». Причём как не чудно, но именно на процессорах x86-64, и явно не для коммерческих целей, потому что даже на сайте производителя об этих разработках ничего не сказано (сайт «РФЯЦ-ВНИИЭФ»), зато есть журналистские статьи и какой-то пиар — см.:
1. «У «Росатома» разыгрался суперкомпьютерный аппетит» (2011 год);
2. «РФЯЦ-ВНИИЭФ принял участие в выставке «Будущее России»» (2015 год);
3. «В 2016 году саровский РФЯЦ-ВНИИЭФ предложит отечественной промышленности суперкомпьютер мощностью в один экзафлопс» (2016 год).khim
09.06.2016 23:06+1И некоторые спецы из этих ведомств только и мечтают что бы получить 64-сокетный супер-сервер на отечественных процессорах Эльбрус-4С — да вот никто в России такого сделать не может.
Сделать-то можно. Вопрос в цене, как бы.
Узнайте на досуге — сколько стоит комплект масок и сколько вам нужно процессоров выпустить, чтобы его «отбить».
Хотя у нас и теоретическая база вроде бы есть и несколько исследовательских институтов ещё с 1970-х годов разрабатывали различные виды многопроцессорных систем, но всё это куда-то почти бесследно делось:(
Почему же бесследно? В тех же самых Xeon'ах много вещей реализовано. Тот же самый SSE — это из этой школы.
А что в России выпустить не могут… ну так это классика. Ещё в одноэтажной америке в тираде про готовальни. Современная электроника — это тираж, тираж и ещё раз тираж. «Штучные образцы», увы, не окупаются…
vadimr
14.06.2016 23:49Такие серверы предназначены для балансировки разнородной нагрузки. Если у вас, например, тысяча выполняемых виртуальных машин с нестабильной нагрузкой (предположим, вы хостите виртуальные машины своих клиентов), то их гораздо производительнее будет объединить на одном компьютере с 768 ядрами, чем разбивать на много компьютеров, какие-то из которых окажутся перегруженными, а какие-то в это же время будут простаивать. То есть идея состоит в свободном перераспределении вычислительной мощности между приложениями.
P.S. SUSE Linux Enterprise Server поддерживает до 4096 процессоров.
khim
А что об этом думать? Свалили в кучу всё на свете. Сходите наконец на страничку RHEL и прочитайте примечание номер 2: Supported limits reflect the current state of system testing by Red Hat and its partners for mainstream hardware. Systems exceeding these supported limits may be included in the Hardware Catalog after joint testing between Red Hat and its partners.
Теоретический лимит для RHEL'а — 5120 процессоров и 64TiB оперативки. Как раз под описанное здесь железо. А 288 процессоров и 12TiB — это mainstream hardware нонче. То же самое — и для других систем.
Только RHEL можно поставить и протестировать самому, а Windows, видимо, потребуется в особой сборке под такое железо. В чём нет ничего странного и нового: мы ещё в прошлом веке получили как-то в школу Dell PowerEdge 2300, для которого Windows решили «не брать» (тогда был выбор между Novell'ом и Windows NT). Так техники, которые всё это хозяйство монтировали, потратили полдня, чтобы взгромоздить туда хоть-что-нибудь-вообще. Ничего не вставало. Мы их от этой почётной обязанности освободили сказав «да оставьте уже всё как есть, мы сами как-нибудь поставить туда Linux и всё протестируем». После чего провозились ещё день в попытках заставить Linux видеть это железо (причём наверняка бы отказались если бы не знали точно, что Dell поставляет эту модель с Linux'ом — но не в России).
Так что не вижу проблем: обратитесь на фирму, закажите подобного зверя и узнайте — что они поддерживают. Делов-то.
P.S. Предвижу причитания: а что же завтра-то будет, вдруг кто-то выпустит сервер с 128TiB оперативки? Не выпустит. По одной простой причине: у этого самого вашего процессора 46-битная шина адреса. И, соответственно, драйвер в ядре поддерживает именно эту шину — отсюда ограничение в 64TiB. Сделают процессор, который сможет адресовать больше — выпустят и RHEL (SUSE, далее по списку), которые могут больше. То же самое — и с ядрами. Не устраивайте панику.
zboris
Спасибо за ваше мнение, вы развеяли часть моих сомнений.
Но вы сами пишете, что это: Теоретический лимит для RHEL'а — 5120 процессоров и 64TiB. Всем известно, что на практике очень часто теория работает не эффективно.
Ведь вы согласитесь, что тенденция развития параллельных вычислений развивается ускоренными темпами, тут можно привести в примеры и появившуюся моду на многоядерные энергоэффективные ARM-сервера — см. статьи:
1. «Производители демонстрируют образцы серверов на базе процессоров с архитектурой ARM» — на 48-ядерных процессорах Cavium ThunderX;
2. «Qualcomm разрабатывает 64-ядерный процессор для серверов»;
3. «Phytium покажет 64-ядерный процессор ARMv8-A в августе на конференции Hot Chips»;
4 «Phytium Technology собирается опередить Qualcomm со своим 64-ядерным серверным процессором»;
5. «Applied Micro представила 16-нм 32-ядерные серверные ARM-СнК третьего поколения»;
6. "AppliedMicro готовится вывести на рынок 64-ядерный серверный ARM-чип";
7. «HP предлагает новые серверы на 64-битных ARM-процессорах»;
8. «64-битные ARM-серверы дополнят видеокартами NVIDIA»;
9. «Процессор Tilera TILE64 — 64 ядра, в 10 раз быстрее и в 30 раз более энергоэффективен, чем 2-ядерный Xeon»;
10. «Tilera выпустила 36-ядерный процессор для интернет-серверов».
Тут можно вспомнить тенденция в HPC использовать многоядерные ускорители вычислений такие как NVIDIA Tesla, AMD FirePro и Intel Xeon Phi
И тут для параллельных вычислений появляются такие программные костыли как NVIDIA CUDA и др. и т.д.
В общем ядер становится всё больше и проблемы их эффективного использования всё возрастают.
P.S.: Хочется ещё рассказать про ОСи и программирование для параллельных вычислений, но нет времени:(
stalkerg
У RHEL могут быть конечно глюки с их лицензией но на любом другом свободном дистре вы можете поставить ядро сами из исходников (даже не на gentoo), и там у вас все руки развязаны. Лично я тестировал системы Power8 c SMT8 где 512 «потоков-ядер».
Супер компьютеры все поголовно работают на Linux и там куда больше 5000 ядер бывает.
Это прикладные проблемы, а не ОС. Самый простой вывод — запускайте больше сервисов на одной машине.
navion
В них разве не горизонтальное масштабирование, когда много нод объединяют в кластер по IB?
stalkerg
По разному бывает. К примеру HP SuperDome… NUMA тут везде просто разные её масштабы.
navion
Это не суперкомпьютер и его шина не позволяет объединить несколько шасси в один большой сервер для вертикального масштабирования.
zboris
А как вы определяете что есть суперкомпьютер?
В середине 1990-х годов, согласно определению Госдепартамента США, любой компьютер с производительностью свыше 10 000 млн. теоретических операций в сек. (MTOPS) считался суперкомпьютером — см. статью: «Современные суперкомпьютеры: состояние и перспективы».
В 1980-х годах большинство суперкомпьютеров было 1-но и 2-х процессорными — например такие как: «Cray-2».
Прочитайте пожалуйста хотя бы статью в Wiki: «Суперкомпьютер».
Так что теоретически, по своей производительности в максимальной конфигурации и «HPE Integrity Superdome X» — тоже можно отнести к суперкомпьютерам!
Другое дело, что этот Superdome скорее всего построен по архитектуре SMP или NUMA (я точно не знаю, надо разбираться).
А большинство современных многотысячно-процессорных суперкомпьютеров строятся по архитектуре MPP — массово-параллельная архитектура.
navion
Вам того же:
В настоящее время суперкомпьютерами принято называть компьютеры с огромной вычислительной мощностью («числодробилки» или «числогрызы»). Такие машины используются для работы с приложениями, требующими наиболее интенсивных вычислений (например, прогнозирование погодно-климатических условий, моделирование ядерных испытаний и т. п.), что в том числе отличает их от серверов и мэйнфреймов (англ. mainframe) — компьютеров с высокой общей производительностью, призванных решать типовые задачи (например, обслуживание больших баз данных или одновременная работа с множеством пользователей).
stalkerg
Поверьте superdome не для типовых задач. И не смотря на NUMA, просто запустить приложение в N потоков не даст особого плюса и реально всё раскрывается только на приложениях работающих с ним скорее как с MPP. Там очень большая латентность на синхронизацию между некоторыми нодами… (CAS/TAS очень больно)
zboris
Кластерные параллельные суперкомпьютеры — это несколько другой класс решений.
Там как правило используется много дешёвых серверов с числом центральных процессоров не больше двух в каждом сервере (ну если мы не считаем GPU-ускорители типа NVIDIA Tesla или Intel Xeon Phi как за отдельный процессор).
На каждом сервере крутится своя операционная система: RHEL или что-то другое.
И все эти многотысячно-процессорные суперкомпьютеры — по факту большая куча дешёвых двухпроцессорных серверов (иногда с GPU), объединенных в общую вычислительную сеть — см. статью: «Кластер».
В кластере своих проблем навалом — скорость передачи данных между отдельными узлами, организация эффективного безошибочного обмена данными и командами между серверами, необходимость рационального распараллеливания вычислительной задачи и исходных данных на это множество тысяч процессоров, безошибочное итоговое собирание во едино результатов вычислительной работы с тысячи отдельных серверов, их интерпретация и итоговое представление и т.д
— Всё это конечно же должно выполнять специализированное кластерное программное обеспечение. Причём порой в зависимости от поставленной вычислительной задачи программное обеспечение приходится дорабатывать и создавать новые сервисы настроенные под конкретную задачу
zboris
Если вам интересно и вы хотите узнать больше про параллельные вычисления, то могу рекомендовать прочитать советскую книжку:
Вальковский В. А., Малышкин В. Э. «Элементы современного программирования и суперЭВМ».
Её можно найти в некоторых библиотеках, например здесь:
http://virtua.library.nstu.ru/lib/item?id=chamo:50239&theme=NB_NSTU
Несмотря на то, что в книжке всего 144 страницы и она была выпущена в 1990 году (аж 26 лет назад — ещё при СССР), но там замечательным языком изложены самые основные и фундаментальные понятия о параллельных вычислениях и мультипрограммировании.
Я считаю, что эта книжка совершенно не устарела и именно сейчас крайне необходима программистам желающим разобраться и изучить основы параллельного программирования для современных многотысячно-ядерных суперкомпьютеров.
Если дать краткую аннотация, то:
«В книге рассказывается об устройстве параллельных ЭВМ, языках параллельного программирования, способах и алгоритмах организации вычислений, подходах к решению задач на ЭВМ. Предполагается, что читатели хоть немного знакомы с каким-либо языком программирования, например Бейсиком, сами пробовали решать задачи и теперь хотели бы расширить свой кругозор, получить пищу для новых размышлений. В книгу вошли редко популяризируемые материалы: конструкции параллельных языков, алгоритмы поиска данных, асинхронное управление, сложные структуры данных.
Издание адресовано широкому кругу читателей: школьникам старших классов, студентам, инженерам, всем тем, кто интересуется нюансами программирования для ЭВМ.»