Процессоры «Эльбрус» достигли производительности, которая позволяет использовать их при создании суперкомпьютеров, считают разработчики из компании МЦСТ. Раньше отечественные ЦП применялись только в настольных компьютерах и серверах, было построено лишь несколько небольших систем размером со шкаф. Однако новый проект с бюджетом более 1 миллиарда рублей — это полноценный суперкомпьютер, который наверняка войдёт в список Топ-500 самых мощных суперкомпьютеров мира, пишет «Коммерсантъ».На фото: микросхема центрального процессора 1891ВМ12Я — вычислитель серверного класса с усовершенствованным набором векторных команд. Содержит 8 ядер архитектуры «Эльбрус» 5-го поколения с тактовой частотой до 1500 МГц. Позволяет строить многопроцессорные серверы и рабочие станции, а также бортовые вычислители
Знакомые с ходом проекта специалисты рассказали «Коммерсанту», что речь идёт «долгосрочном военно-промышленном проекте, одна из частей которого — создание суперкомпьютера на российском процессоре „Эльбрус”». Одним из исполнителей проекта выступает Институт программных систем им. А. К. Айламазяна.
Сейчас идут подготовительные работы по проекту.
Информацию об участии в проекте подтвердил директор Института программных систем Сергей Абрамов. Он сообщил, что сейчас «формируется крупный проект с целью решения конкретной прикладной проблемы в ОПК, и создание суперкомпьютера на российском процессоре — одна из частей этого проекта».
Другими словами, компьютер строится для конкретной военной задачи. По мнению экспертов, суперкомпьютер идеально использовать в ОПК для разработки и моделирования вооружений: «В боевых условиях необходимо вести огромное количество вычислений, обрабатывать видео, аудио и сенсорные данные. Все это сложно делать без участия кластера суперкомпьютеров», — сказал руководитель центра бизнес-анализа ГК «Рамакс» Сергей Левашов.
Комментарии (147)
IgorKh
13.11.2018 14:58+8Процессоры «Эльбрус» достигли производительности, которая позволяет использовать их при создании суперкомпьютеров
Я правильно понимаю эту фразу, как «процессоры Эльбрус достигли производительности процессоров ARM»? Или «разработчики из компании МЦСТ» занимаются еще и «маркетологией»?Igor_O
13.11.2018 15:45+4«процессоры Эльбрус достигли производительности процессоров ARM»
Вопрос даже не в том, как и чем именно меряться. (Если фотошопами, то, кажется, еще не достигли. Если в чистой математике, то, кажется, Эльбрус в несколько раз быстрее...)
Проблема в том, что при закупке любых более-менее заметных количеств «заграничных» комплектующих, «поставщик» получает всю информацию о том кем, где и для чего оборудование будет использовано (а дальше «поставщик» обязан передать всю эту информацию в определенные ведомства для получения разрешения на продажу).
Не зря же речь идет именно о суперкомпьютере для военных.
Кстати, 1000 вычислительных узлов на петафлопс (если я не обсчитался в своей прикидке) — не так и плохо, даже в наше время.IgorKh
13.11.2018 16:30Я ничего не говорю о производительности этих процов, тем более что я мало чего о ней знаю. Здесь меня смущает выбранная стратегия позиционирования.
А флопсы — то такое, у Nvidia вон по 15 Tфлопс, кажется сейчас процы есть.ooby
14.11.2018 06:42+2Надо сравнивать по вычислениям с двойной точностью, с такими вычислениями у графических карт были и есть большие трудности (другое дело новые «тензорные» ядра, но это тоже немного из другой оперы). Также, графические карты имеют преимущества в понятии массивно-параллельные вычисления с общей памятью, а в «честном» параллельном вычислении их нельзя считать эффективными по цене. По «математике», согласно информации МЦСТ, Эльбрусы более чем привлекательны
dinoth
14.11.2018 10:13Чем же они привлекательны? Тем, что конкурируют с процессорами Intel 10 летней давности?
gnomeby
14.11.2018 10:22+3Они не обязаны конкурировать с интел, это другая архитектура. Как и процессор вашего смартфона не обязан конкурировать с интел.
dinoth
14.11.2018 11:17-2Интел, кстати, вполне производит процессоры для телефонов.
А конкуренция ARM и Intel разумеется есть, почитайте, какие сервера ставит Cloudflare.gnomeby
14.11.2018 11:25+1Уже он отказался развивать Atom для мобильного сектора.
www.anandtech.com/show/10288/intel-broxton-sofia-smartphone-socs-cancelleddinoth
14.11.2018 11:47-1Зато разрабатывают другие процессоры, например те, что стоят в радиочасти iphone.
На днях как раз анонсировали XMM 8160 — это вполне себе процессор, причем отобрали уже несколько клиентов у Qualcomm.
ooby
14.11.2018 10:30+1ИМХО Как минимум это, высокопроизводительная математика аналог Intel MKL, с заявленной производительностью проца Эльбрус 8С, на мой взгляд очень круто. Если сравнить например с intel xeon (можно посмотреть по производительности например здесь), то я бы сказал что совсем мало отстает Эльбрус, а в некоторых тестах с учетом энергопотребления, даже и выигрывает
dinoth
14.11.2018 11:18Все доступные бенчмарки Эльбрус 8С говорят о значительном отставании от Intel. Учитывая, что независимого тестирования Э. никогда не проводилось — то даже это уже показательно.
gnomeby
14.11.2018 11:29+11. В рамках пересчёта на мегагерцы — нет. habr.com/company/smartengines/blog/317672
2. В рамках оптимизированного софта — нет. habr.com/post/390099
В неоптимизированном софта — да. Но этож дело времени.dinoth
14.11.2018 11:431. Пересчет на мегагерцы — это PR технология. Покупают ведь конкретный процессор, а не мегагерцы.
2. По Вашей ссылке Эльбрус сравнивают с Atom (!). Это тоже PR технология. Разумеется современные процессоры Intel — значительно быстрее Эльбрусов даже с оптимизированным софтом.
«Вопрос времени» — это фраза из вокабуляра PR-специалиста. Потому что сравнивать нужно существующие продукты, а обещания не стоят ничего. МЦСТ может обещать что угодно, но за последние 20 лет они как значительно отставали от Intel, так и отстают. И отставание не сокращается.gnomeby
14.11.2018 12:00+1Я понял в чём у нас с вами проблема. И сейчас попробую объяснить:
Я работаю сейчас на двух ноутбуках: Lenovo U310 (2012 год), но когда он в ремонте, то возвращаюсь к Toshiba A100 (2005 год). Мне хватает. Поэтому если Эльбрус проигрывает в 2-3 раза по сравнению с современным Интел, то ок. Мне хватит с большим запасом. При этом я разработчик и гентушник, то есть требования по процу у меня не минимальные.
Пусть Интел быстрее в 2-3 раза, пусть это отставание будет всегда. Но офисные задачи и задачи военные он покрывает. А это почти всё что надо в рамках импортозамещения. Ну так почему бы и нет, пусть будет и такой вариант.dinoth
14.11.2018 12:321. Вы никогда сами не купите ноутбук с Эльбрусом, потому что его цена всегда будет выше аналогичного с процессором Intel. Ни один фанат Эльбруса не захотел его купить самостоятельно, хотя такая возможность есть.
2. Если никто не хочет покупать медленный процессор за высокую цену, то вариант тут может быть один — заставить.
3. Заставить можно какими-то ограничениями (например — государство запрещает применять какие-либо другие процессоры в определенных проектах), либо выделить деньги.
4. Подобные ограничения приведут к тому, что проекты будут требовать большего финансирования, без каких-либо значимых преимуществ.
5. Большее финансирование = эти деньги нужно где-то брать. Брать их на такие задачи можно только в одном месте — в госбюджете.
6. Как только задача сводится к выделению бюджетных средств, то вообще не важно, какие у процессора характеристики, цена, производительность. С таким же успехом можно выделять деньги на золотые унитазы, купола храмов или дворцы с прислугой. Задача из технической переходит в область лоббистской.
Ибо пофиг, Эльбрус, Байкал или RISC-V. Даже локализация пофиг. Достаточно приклеить лейбл «импортозамещение» поверх надписи «сделано в Тайване» и вперед, отмечать очередной отчетный период.gnomeby
14.11.2018 13:02Все представители МЦСТ в один голос говорят, что пока частным лицам они не продают, ибо:
1. Дорого
2. Ждите выхода двуядерного SoC`а, который будет дешевле.
Если я могу купить как-то через задницу, то меня эта возможность не интересует.
2. Он нормальный для большинства задач.
По 3-6 ничего не могу сказать, вы живёте в этой стране вам виднее. Я рассматриваю Эльбрус как исключительно интересный представить архитектуры VLIW, наравне с Itanium.dinoth
14.11.2018 13:08-11. Было бы желание — купить можно, юр.лицо организовать — элементарно. Другое дело — никому не нужно.
2. Для большинства задач, о которых Вы говорите — достаточно вообще любого более-менее производительного процессора, в том числе достаточно большинства ARM, которые стоят сущие копейки.
Мы обсуждаем продукт, который не имеет вообще никаких перспектив на открытом рынке и не будет иметь никогда.Nalivai
14.11.2018 14:49Комп на эльбрусе стоит 250 тысяч, если я не путаю. 250 гребаных тысяч за ну, просто комп, и документацию в зеленой папочке.
vanxant
14.11.2018 16:26Это скорее пока не комп, а отладочная плата в корпусе.
Тут вот люди паспорта распознавали, им надо было на госплатформу перенести и тестировать — они купили. Ну, для них 250к не деньги, от слова вообще.
Igor_O
14.11.2018 18:17+1Один голый Xeon может без корпуса, коробки, документации, просто голый, стоить 400 тысяч.
Есть такие сущности, «корпоративный заказчик» называются. Там когда 10 тысяч десктопов и 5 тысяч ноутов закупают — все соки выпьют и додавят закупочную цену до половины от розничной. Но когда одну машину для какой-то специфической задачи… Эти 250 килорублей потеряются в ежемесячных счетах за канцтовары.dinoth
14.11.2018 18:27-1Нет смысла сравнивать Xeon и Эльбрус — это процессор уровня Atom.
Причем это в нативном режиме, на эмуляции гораздо тормознее.
nidheg666
14.11.2018 16:52конкретно эльбрус может и не продают.
тот же байкал:
www.chipdip.ru/product/be-t1000
вполне себе у ретейлеров.
chapai22
14.11.2018 16:02+6Вы не стой стороны смотрите.
Для государства, которое хочет быть независимым, и тем более супердержавой, нет выбора кроме как все основное производить самостоятельно и развивать.
Именно чтоб _не зависеть_ от решений других. Даюы не могли выключить свет, эти самые другие, внезапно.
В первую очередь вооружение, во вторую все потребное для жизни.
И в при таком раскладе не важно будет ли оно лучше других — главное чтоб было не значимо хуже (бесполезным) и было адекватно текущим задачам.
Именно поэтому приходится делать и транспорт, оружие, оборудование, финансы и жратву. В том числе электронику. Не все это тянут — но все пытаются.
И жигули пусть хуже современных лучших образцов — но если чего, из точки а в точку б они довезут. И поэтому есть завод производящий и рабочие умеющие их делать. А не потому что кто то кому то дал взятку.
второе — поддержание всего это позволяет развивать отрасль у себя и специалистов, а они постепенно подтягивают. Если не будет отрасли — не будет спецов, им попросту нечем будет заняться, а там и наука рассосется и инженерия.
Что до «заставить» — то государство не может заставить вас, но обязано в госпроектах максимально исходить из интересов государства а не чьих то сиюминутных удобств и выгод.
И сови финансы направлять соответственно, как и требования к их использованию.
И требовать чтоб в проектах оплаченных госденьгами было то то и то то. Это помогает оплачивать дискотеку и не тупо вливать без отдачи — то есть поддерживать именно развитие, через спрос, пусть несколько искуственный.
И это правильно и вообще единственный способ.
Будет ли дороже? Да, в конкретном проекте. Но в целом, для государства и long term, так полезней.
Свой проц и компьютер — тут даже обсуждать нечего, слишком много зависимостей от зарубежных поставшиков и проблем с тем связанных. А стоимость как и параметры можно и пооптимизировать со временем.
Точно так же поступали штаты да и вообще все.
Эвон Франция делает самолеты, даже швеция — хотя пошел и купил американский, лучше и дешевле. Однако тянут. И автомобили делают и прочее. И иначе скатитесь вниз и будете сникерсы получать по разнарядке. А ваши рабочие вместо работы и налогов, сидеть на пособиях и спиваться.
Достаточно приклеить лейбл «импортозамещение» поверх надписи «сделано в Тайване»
С чег ото надо начинать. А не так чтоб сразу и только в дамки. Будут процы — смогут постепенно и сами делать кремний.TonyLorencio
14.11.2018 16:08-1И жигули пусть хуже современных лучших образцов — но если чего, из точки а в точку б они довезут. И поэтому есть завод производящий и рабочие умеющие их делать.
На "нашем" современном автопроме нашего не очень много. Хотя раньше было не так. В случае чего, свет несложно выключается.
dinoth
14.11.2018 16:18-1Напомню, как оно было:
Компания Sun пришла в РФ и поделилась с МЦСТ лицензией на производство процессоров SPARC, которые сразу пошли на военную технику и до сих пор туда идут.
Далее балабол Бабаян развел государство на финансирование процессора E2K, который должен был обогнать интелловские.
Это действительно случилось — Эльбрусы стабильно конкурируют с Intel, правда 10 летней давности.
Производят их в Тайване и прекратить их производство совсем не сложно. Даже существующее оборудование для производства по 90нм — покупали на Западе, новое не продадут.
А Эльбрус остался, хотя и не нужен никому, кроме торговцев страхом, которые пугают нас каждый год новыми страшилками.
Самолет, кстати, можно делать и не самим — SSJ-200 хороший пример. Другое дело, что когда продукт убыточен (как убыточен АвтоВАЗ, даже с французами, SSJ, Эльбрус) — то тащить его будут до тех пор, пока лоббисты справляются.
Как перестанут справляться — бросят, закроют, и забудут, что такое было вообще.
nidheg666
14.11.2018 16:58-1«С чег ото надо начинать. А не так чтоб сразу и только в дамки. Будут процы — смогут постепенно и сами делать кремний.»
вы правильно начали эту фразу… но слили её далее.
да, надо с чего то начинать.
да, не бывает ничего сразу.
но почему то наши любители импортозамещения считают что начинать надо с процессоров. не с простейшей компонентной базы, не с материалов, не с монокристаллического кремния… а блин, сразу с процессоров. ну не бывает чудес. ну если мы не можем в стране сделать конкурентоспособный техпроцесс производства простых светодиодов, то каким боком сразу сможем залепить конкурентоспособный техпроцесс процессоров?
ах да… и запретительные регуляции тут не работают. от слова совсем. они лишь приводят к пузырям, громким заявлениям и попилам.vanxant
14.11.2018 17:22+1Ерунду пишете, уважаемый. Причём очень часто встречающуюся ерунду.
Нет смысла начинать с производства светодиодов или там конденсаторов, потому что у них нет рынка сбыта. А если делать малыми партиями, то неизбежно будут высокие цены и давай с рынка до свидания.
Начинать всегда и везде нужно 1) с захвата рынка, но для государства с этим проблем нет, будем считать сделано и 2) со сборки.
Сборка тянет за собой а) логистику, когда вам нужны тысячи и тысячи наименований компонентов, и отсутствие любого останавливает конвейер; б) контроль качества, и входной и выходной; и в) культуру производства.
Вот когда все процессы по сборке отлажены, вот тогда начинается этап локализации производства компонентов. Начиная с самых простых. Потому что привезти из Китая какие-нибудь хитрые болты или конденсаторы, с учётом расходов на сертификацию и растаможку, оказывается уже дороже и главное непредсказуемей по срокам, чем организовать местное производство.
Посмотрите на автопром: начинали с крупноузловой сборки, когда местные только коврики стелили, сейчас уже двигатели сами делаем.
Так и в суперкомпьютерах: сборку из чужих компонентов те же Т-Платформы уже давно освоили. Сейчас, вот, начинаем замещать основные компоненты — процессоры и чипсеты. А резисторы и разъёмы пока проще ещё завозить из Китая. Пойдут объёмы — освоим.nidheg666
14.11.2018 17:56-1куда уже мне инженеру понимать это ?\_(?)_/?
только вот вы упёрлись в автопромный пример и не смотрите в более технологичные области.
да, заградительные меры для стимуляции импортозамещения может и действуют на какую-то громко пиаримую отрасль (и то не факт, и то только в госструктурах), попутна руша другие производственные цепочки.
возьмём тот же самый IPG. не знаете, случаем, почему у них все основные производства за рубежом? =)
к слову… указанное мною есть способ, которым развивался китай. в итоге за пару десятилетий они прошли от ширпотреба, к собственной космической программе.Igor_O
14.11.2018 22:12+1возьмём тот же самый IPG.
Причем здесь Interplanetary Government? Или вы имели в виду Impedance phlebography? Ну не Interpacket gap же?..
Я к тому, что я впервые в жизни вижу рядом аббревиатуру IPG и «производство»… И к полутора десяткам расшифровок, имеющихся на Вики, тоже «основные производства за рубежом» как-то не очень подходят. В таких ситуациях, хорошо бы как-нибудь под катом или ссылкой давать расшифровку аббревиатуры…
не с монокристаллического кремния…
Это ничего, что Россия на втором месте в мире по производству кремния? И, к сожалению, данные более-менее официальные есть только отчете за 6 килобаксов, но Россия держит какую-то достаточно приличную в мире позицию по производству кремниевых монокристаллических пластин для микросхем. (В середине 2000-х один российский заводик держал треть мирового рынка, но потом Китай сильно нарастил мощности).
vanxant:
сборку из чужих компонентов те же Т-Платформы уже давно освоили.
Тут опять же, зависит от того, что считать «сборкой из чужих компонентов». Полностью собственную блэйд-платформу с полностью собственными платами вычислительных узлов Т-Платформы разрабатывают и достаточно успешно внедряют уже скоро 10 лет. И свой процессор выпускают и продвигают уже лет пять.
khim
14.11.2018 18:50+1На самом деле вы оба правы. Просто ваши стратегии работают в разных условиях. Если какая-то страна решает вас «поднять» и предоставляет вам возможность что-то на её рынках продавать — то да, нужно производить то, что вы там можете продать. Но вы тогда будете зависеть от неё очень сильно даже когда у вас, вроде бы, всё будет уже «на мази» (как раз пример ZTE это очень хорошо показал).
Если же вы хотите сохранять самостоятельность — то вы должны продавать то, что обязательно купят и делать то, что вам могут отказаться продавать. Что, собственно, Россия и делает: продаёт газ, нефть и продукты питания, а делает процессоры. Да, это может быть не так выгодно и прибыльно, но зато гарантированно.
P.S. Только не надо тут про свободный рынок и прочую лабуду. Внутри страны — может быть свободный рынок (но и то с оговорками), но международный рынок — он вот нифига не свободный. Если бы он был свободным — не нужны были бы США куча авианосцев и самолётов.dinoth
14.11.2018 19:17-2Напомните мне страну, которая не может покупать микропроцессоры 10 летней давности?
КНДР? Сирия? Нет.
Что гарантирует создание Эльбрусов — я догадываюсь: финансирование работы компании TSMC. Чем больше у нас всякого импортозамещения — тем лучше TSMC :)
gnomeby
14.11.2018 18:50но почему то наши любители импортозамещения считают что начинать надо с процессоров. не с простейшей компонентной базы, не с материалов, не с монокристаллического кремния… а блин, сразу с процессоров.
Всё проще. Ну был просто в России разработан во времена СССР комплекс Эльбрус. Не выкидывать же наработки только потому что вы считаете, что начинать надо со светодиодов.dinoth
14.11.2018 19:14-2Интел выкинула свой VLIW процессор и прекрасно живет дальше.
Эльбрус во времена СССР тоже отставал от зарубежных суперкомпьютеров.
stardust1
13.11.2018 16:46+6Не зря же речь идет именно о суперкомпьютере для военных.
А «Эльбрус» разве не в Китае производится? Американцы уже показали китайцам на примере ZTE (продавала свою продукцию в страны под американскими санкциями), что будет с фирмами, которые их ослушаются.gnomeby
13.11.2018 17:27-6Нет в России.
TonyLorencio
13.11.2018 17:38+7В России нет серийного производства чипов 28 нм. Если я не ошибаюсь, то речь именно о них
gnomeby
13.11.2018 17:50-3Я именно не в курсе. Они утверждают, что производят сейчас именно в России, ранее — нет. Где именно не говорят, возможно это тайна.
Nalivai
14.11.2018 14:52В России производится материнка. Собственно, ничего другого произвести в России и не получится, это не та проблема которую можно решить маханием руками и магическими словами «секретно» и «военные»
gnomeby
13.11.2018 17:51Ещё они конкретно говорят, что именно у них не своего в сборном корпусе. Там не мало: память, диск, корпус, часть чипов.
dinoth
14.11.2018 13:46Корпуса еще не свои :)
Сервера на фотографиях — сплошь с корпусами supermicro.gnomeby
14.11.2018 13:52+1Кажется в моём комментарии слово корпус было два раза.
dinoth
14.11.2018 13:54-2Пардон, не заметил.
Но это, конечно, очень смешно — в «импортозамещенном» сервере не смогли заместить самое простое — корпус.vanxant
14.11.2018 16:30Да и правильно, ящитаю. Импортозамещение ради импортозамещения никому не нужно. Уж корпус, какой-нибудь кривой косой с острыми кромками, но выполняющий свою задачу, в случае чего произведём. Но сейчас разрабатывать и запускать собственную линию для производства ну пусть тысячи корпусов в год — ну это бред.
dinoth
14.11.2018 16:34-3А зачем будет нужен корпус, если не будет процессоров? Их то где производить?
roscomtheend
14.11.2018 11:05-1Правильно написали «нет в России», действительно, такого производства нет в России. Ролики про мегаракеты у нас уже показывали, а потом оказалось что не в спортлото и не 100 рублей. А вся эта «секретность» позволяет говорить «у нас есть такие приборы, но мы вам их не покажем».
Пруф же должен давать утверждающий, мусорные газетёнки (а АиФ десятки лет завоёвывала это звание) — не аргумент, но даже там речь идёт о 800МГц варианте (у нас вообще есть живое на 65нм?).
imanushin
13.11.2018 17:38Производятся и там, и там.
Мой знакомый разрабатывал ранее для Эльбрусов (он говорил, почему-то, про Тайвань, но неважно), там процессоры были точно иностранные.
Однако в РФ действительно есть производство.dinoth
14.11.2018 10:03Нет РФ производства Эльбрусов. Были попытки выпускать Эльбрус-2СМ в Зеленограде (Микрон), 90нм, 500 Мгц, но…
gnomeby
14.11.2018 10:15+2У вас устаревшие данные:
Микропроцессоры «Эльбрус-2СМ», «Эльбрус-4С» и другие производятся на зеленоградских предприятиях «Ангстрем» и «Микрон». Новейший микропроцессор «Эльбрус-8С» выпускается на Тайване, на фабрике TSMC, поскольку в России микроэлектронных производств с технологией 28 нанометров на сегодняшний день не существует.
отсюда: www.aif.ru/dontknows/file/chto_izvestno_o_rossiyskih_mikroprocessorah_elbrusdinoth
14.11.2018 10:18Вы бы еще Спид Инфо процитировали, причем за 2015 год, как эта статья :)
Серийного производства 90нм на Микрон нет, а на Ангстрем и подавно. Были опытные экземпляры, на них все и закончилось.
Эльбрус-4С — это вообще 65нм, в РФ такого нет.
Производит Эльбрусы сейчас TSMC на Тайване, если можно назвать производством по сути опытные партии.gnomeby
14.11.2018 10:25Пруфлинк дайте и мы успокоимся. Может вы работаете в Ангстреме и вам виднее.
TonyLorencio
14.11.2018 10:36К чему всё это? Эльбрус-8С (как и будет новый Эльбрус-8СВ, на основе которых планируется создание суперкомпьютера) производятся TSMC. Точка.
Другие процессоры Эльбрус не имеют отношения к этому проекту.
gnomeby
14.11.2018 10:39+1Здесь нет возражений, всё верно.
Я тут видос параллельно смотрю:
«Зльбрус-2 для военных делается в Зеленограде, остальное на Тайване»
youtu.be/8rYfUO1x_MQ?t=1000dinoth
14.11.2018 10:47Военным интересен не столько Эльбрус, сколько процессоры SPARC, которые разрабатывает МЦСТ. Свежий R-2000, созданный по контракту с министерством обороны — делают на Тайване.
Но SPARC — это не PR проект, поэтому «видосы» про него никто не выпускает и про Зеленоград не говорит :)
dinoth
14.11.2018 10:41Невозможно дать пруфлинк на то, чего нет (прозводства).
Успокаиваться не надо — Эльбрус это в значительной части — медийный проект, поэтому никакого смысла соперничать с PR специалистами, которые занимаются его продвижением, нет.
Нужно просто предложить купить тот самый Эльбрус-2СМ, который якобы производится. Сможете купить — значит есть производство :)
insanustu
13.11.2018 19:03+8Эльбрус производится в Тайване, поэтому американцы более чем в курсе обо всех вычислительных можностях «производимых» Россией
gnomeby
14.11.2018 10:18+11. Разные Эльбрусы производятся в разных местах.
2. Часть сотрудников того НИИ, которое делало Эльбрус уже и так работают в Интел, поэтому американцы и без Тайваня в курсе.
3. Процессорная мощность не является краеугольным камнем в гипотетическом военном конфликте. Тигр во всём был лучше Т-34, но это не помешало немцам уверенно отступать.dinoth
14.11.2018 10:22Т-34 был дешев и массов, Тигр — дорог и сложен в эксплуатации.
С Эльбрусом так же — он очень дорогой, серийного производства нет. Тот, кто решил строить на нем суперкомпьютер — принесет TSMC неплохую прибыль, ибо цена за счет мелких партий — будет высокой.
Т.е. в условном конфликте победил Тайвань :)
nidheg666
14.11.2018 17:04+1эм… во всём?
тигр страдал о переусложнённой подвески и бензиновых двигателей. из за чего часто требовал обслуживания и весело горел.
не возводите в абсолют)
Am0ralist
14.11.2018 17:18Тигр во всём был лучше Т-34, но это не помешало немцам уверенно отступать.
Так Тигр же — тяжелый танк, а Т34 — средний.
как их вообще сравнивать напрямую...
BoogieMan75
13.11.2018 23:04-2а дальше «поставщик» обязан передать всю эту информацию в определенные ведомства для получения разрешения на продажу
Это вот на полном серьезе?
algotrader2013
13.11.2018 23:06а дальше «поставщик» обязан передать всю эту информацию в определенные ведомства для получения разрешения на продажу
По сути ж, ведь собирают суперкомпьютеры в том числе и на вполне обычных ксеонах. Как поставщик поймет, это суперкомпьютер для военных делают, или ростелеком очередного убийцу гугла решил создать? Да, может конфигурация сетевого оборудования выдать, но, думаю, проще сетевые платы импортозамещением покрыть...
vanxant
14.11.2018 05:06+1И ещё раз повторю, что суперкомпьютер отличается от просто стойки серверов, собранных в логический кластер, в первую очередь не процессорами, а межпроцессорными шинами. И вот тут вам никто ничего не продаст.
Классические сетевые интерфейсы, доступные на рынке, драматически проигрывают и по пропускной способности, и, главное, по латентности (задержке доступа).
Идея в том, что у каждого процессора есть «своя» память, плюс выделенные каналы, по которым он может ходить в память к нескольким аппаратно заданным соседям, обычно 4-6. В итоге получается архитектура типа тор или гипертор. Но это работает и в обратную сторону — соседи могут одновременно залезть в память конкретного процессора, а из-за кэшей это всё адски сложно реализуется на аппаратном уровне.Kobalt_x
14.11.2018 08:02По которым он может ходить в память
Это только если PGAS — количество работающих PGAS можете в top500 сами посчитать.Тор, гипертор уже реже используют вроде потому что это очень затратно и дорого на интерконнекте. Из известных мне топовых это только топ1 — summit.
Taihunlight, tianhe 2 — fat tree(никакого PGAS)
Из отечественных Lomonosov-2 — butterfly
Lomonosov-1 fat tree
Про интерконнект и санкции
Есть такое АО ницэвт у него есть в железе сеть ангара как раз с поддержкой тора,
Эту сеть ангара уже предлагает кажется РСК для конечного потребителя
NecroRomnt
13.11.2018 15:09+9Я, наверное не прав, но с моей точки зрения компьютер определяет вычислительная мощь, а не вложенный бюджет. Можно вложить и 100 миллиардов рублей, но не получить суперкомпьютера.
DROS
13.11.2018 16:44+4Можно вложить и 100 миллиардов рублей, но не получить суперкомпьютера.
Погодите, они же еще ничего не начали строить. Все будет. Терпение, только терпение.Max-812
13.11.2018 20:06+2Вот именно что увеличение бюджета и будет, да. Потому как ключевое в этой статье — уже будет выделено более миллиарда. А что касается того, что производительность достигла уровня, подходящего для суперкомпьютеров… Честно говоря, сто тысяч таджиков со счетами тоже в некотором смысле можно будет считать суперкомпьютером. Но есть нюансы.
Am0ralist
13.11.2018 15:21То есть под суперкомп они, скорей всего, новую версию ядра создадут, а так же за счет большого объема смогут себестоимость немножко понизить, если получится новые версии в обычных компах использовать?
Или это вряд ли?ne_kotin
13.11.2018 17:25Судя по страничке с описанием чипа — новая версия архитектуры (5-я) и 28 нм техпроцесс. Уже неплохо, предыдущая была то ли на 65, то ли на 90 нм и на частоты меньше гигагерца.
Am0ralist
13.11.2018 20:19Ну, он уже в виде инженерных образцов — год как есть.
Вот и интересно — на нем будут делать или дальше что разрабатывать? Плюс так же, насколько партия будет большой, дабы цены издержки снизить, а может и цены на прочие комплексы (при условии, что чипы будут одинаковые в этом супере и в прочих комплексах)khim
14.11.2018 02:26Тут нужно учесть один интересный момент. Если вы возьмёте более-менее любой банчмарк (даже какой-нибудь древнйший), то обнаружите, что на целочисленных вычислениях Эльбрус очень и очень сильно отстаёт, а вот как раз на плавучке — ведёт себя очень неплохо.
Для суперкомпьтера как раз нужна плавучка, а вот чтобы GMail редерить — она особо не нужна. Так что применимость Эльбруса к суперкомпьютерам не означает, что персоналки на нём будут иметь смысл… но стоит признать что это — всё равно впечатляющее достижение.
beeruser
14.11.2018 03:13+2То есть под суперкомп они, скорей всего, новую версию ядра создадут
За $15 млн? Этого мало.
Разработка одного лишь «Эльбрус-8С» обошлась в 836 млн, и это ещё очень дёшево.
На западе создание среднестатистического чипа (а Эльбрус довольно сложный) под техпроцесс 28нм оценивалось в $30 млн.
Китайский Tiahne-2 обошёлся в $390 млн. Но это конечно была топовая система, но для примера сойдёт. Бюджет Summit/Sierra (на готовых чипах) — $325 млн. Бюджет Fujitsu Post-K — $910 млн и сюда входит разработка процессора.Kobalt_x
14.11.2018 08:06С tianhe -2 сравнивать смысла нет вот с Sunway уже можно он стоил $283млн и тоже на китайских чипах.
beeruser
14.11.2018 13:14Tiahne-2 тоже на китайских. Его апгрейдили процессорами Matrix-2000 после того как американцы остановили поставки Xeon Phi.
www.top500.org/news/tianhe-2-supercomputer-being-upgraded-to-95-petaflops
Faenor
13.11.2018 15:34+21История называется: «Мы пилили миллиард»…
fzn7
13.11.2018 16:07+36Тот неловкий момент, когда вспоминаешь, что целый миллиард рублей это всего-лишь 15 миллионов долларов и приблизительно соответствует годовой официальной зарплате председателя Правления ПАО «Газпром» Алексея Миллера. Исходя из текста статьи становится очевидным, что Алексей Борисович наверняка может войти в ТОП-500 самых мощных суперкомпьютеров мира
KevlarBeaver
13.11.2018 16:34+1В моей голове вполне укладывается, зачем нужны эти деньги для создания процессора/суперкомпьютера, и совсем не укладывается, зачем они нужны человеку в виде зарплаты. Хотя, вон недавно читал, что кто-то там где-то тырил миллиардами и складывал всё это дело дома в сумках. Вопросы отпадают и становится обидно. Но не за себя, а за человечество в целом, сколько хорошего, нужного и полезного можно было бы создать, если бы бабло не уходило в никуда.
domix32
13.11.2018 17:07+1Скажем софт писать под такое золото не представляется мне чем-то дешевым. Всякое околооборудование и инфраструктура, которое надо доразработать, произвести и поддерживать тоже. Как потратить миллиард деревянных на такое придумать в принципе можно, но с учетом что примерно половина растечётся по рукам не имеющим к суперкомпьютеру отношения не исключаю, что циферки окажется даже мало и бюджет снова пересчитают не в меньшую сторону.
solariserj
14.11.2018 00:14+315 млн в год легко тратится на Элитную недвижимость где-то в Маями/Лондоне или замок во Франции. Складируют на потом, а можно делать прямо сейчас. Печально то что они идут в никуда — это точно.
roscomtheend
14.11.2018 11:12«Знаете что дороже, чем покупка тигра-альбиноса? Содержание тигра-альбиноса»(Ц)
Куда потратить они найдут.
Rayslava
13.11.2018 16:51Ну если они его реально за этот миллиард соберут, это будет невероятно круто.
Но я сомневаюсь, что получится собрать импортозамещённый суперкомпьютер, слишком уж там много разнородного железа надо, и далеко не всё у нас делают. А если «полуимпортный», то ключевое его свойство становится подпорчено, впрочем, всё ещё не самая плохая трата миллиарда.vanxant
13.11.2018 16:58+2Ту же память можно купить на китайском рынке (буквально) и привезти в коробках, не смотря ни на какие санкции. Даже регистровую с ECC.
С мостами для суперкомпьютеров фокус не пройдёт, с топовыми серверными процессорами тоже.Rayslava
13.11.2018 17:47Так я ж про это и пишу.
Если всё равно на китайском рынке покупать, то проще купить целиком суперкомьютер, даже миллиард не нужен будет.vanxant
13.11.2018 18:06+3Суперкомпьютеры на рынке не продаются.
Китайские тоже не продаются.
А если и продаются, то там будет одна сплошная закладка, а не суперкомпьютер.
sergof
13.11.2018 17:06+21Предварительная конфигурация суперкомпьютера:
vyacheslav_ka
13.11.2018 18:17+12Миллиард это, конечно, звучит впечатляюще, но такая яхта стоит примерно на порядок дороже.
Igor_O
13.11.2018 22:32+1но такая яхта стоит примерно на порядок дороже.
На двоичный порядок дороже. Такая яхта, в зависимости от комплектации, стоит от 2 до 3 миллиардов рублей новая. Ну или до 2 миллиардов меньше 5 лет БУ. Можно, конечно, за счет комплектации поднять цену выше, но, судя по всему, большинство предпочитает за лишний ярд получить совсем не лишние 20 метров длины яхты.vyacheslav_ka
14.11.2018 11:54Мое гугление дает цены на такую новую яхту от 6 млрд до 10 млрд, б/у не в счет.
ZlobniyShurik
13.11.2018 17:06Вот и нашли, куда все наштампованные эльбрусы потратить. Не хотят брать в розницу — сбагрим оптом.
Vlad_fox
13.11.2018 18:44это только начало.
после построения суперкомпьютера начнут строить Гиперкомпьютер, чтоб управлять гиперзвуковой ракетой с непредскузуемой траекторией полета в реальном режиме времени.
за гипермиллиард.
esleer
13.11.2018 19:03Проектов разных много, но из них этот вроде потихоньку двигается вперёд.
Когда создадут, тогда и посмотрим.
BkmzSpb
13.11.2018 19:46+4Я не являюсь специалистом в области построения суперкомпьютеров, но работал с суперкомпьютерами из Top-500 в процессе обучения и использовал в STEM области. Суперкомпьютер требует гораздо больше, чем ангар с пачкой CPU. Как было отмечено выше, требуется качественная память, а еще специализированные платы и неплохо было бы иметь быструю файловую систему (и гигантскую по объему). Все это железо помножено на софт — когда я использовал суперкомпьютеры, то распределение ресурсов выполнялось своего рода балансировщиком — пользователи имели свой аккаунт, под которым собирали проект необходимыми кимпиляторами под текущую архитектуру, после чего использовали отдельный софт для выполнения приложения. Балансировщик должен был учитывать приоритет пользователя, количество запрошенного CPU-time, памяти и так далее. Сейчас тренд на контейнеризацию — подход с «одним большим линуксом на всех» не позволяет настроить окружение под себя и добавить нужные зависимости/компиляторы/интерпретаторы (точнее нужно просить персонал «а постаааавьте пжлста вот это»).
Для сравнения, соседняя страна инвестирует около €37M (2.8 млрд руб) в построение нового суперкомпьютера на замену одного из старых.legolegs
13.11.2018 20:13Как было отмечено выше, требуется качественная память
Эльбрусы всегда комплектовались ECCшной памятью. Импортной, конечно.
софт
ОС для Эльбруса — обычный линукс. Найдётся уж софт-то. И ФС.
то распределение ресурсов выполнялось своего рода балансировщиком
Проект для военных, балансировать поставят майора.
2.8 млрд руб) в построение нового суперкомпьютера на замену одного из старых.
Ну так то старый. А это новый, на новой архитектуре. Глупо сразу лезть в топ-1-из-500 тратя 999999 лярдов, даже наши государевы люди это понимают.BkmzSpb
14.11.2018 02:17Мой комментарии скорее был о том что для обывателя (типа меня) такие проекты это черный ящик. Если есть возможность построить и они смогут это сделать, получится вполне скье конкурентоспособная железка. Но если это чисто для военки, то непонятно что они там будут гонять. Т.е. либо у них уже есть задачи и им просто нужно железо мощнее, либо они будут изобретать велосипеды с нуля. Это как раз и интересно, но мы этого не узнаем. Соседнюю страну привёл в пример потому что там суперкомпьютеры управляются гос организацией и гос учереждения вместе с университетами имеют «безлимитный» доступ.
river-fall
13.11.2018 20:17+1ВПК удобно, можно даже не расписывать, на что деньги из бюджета потрачены — засекретил и всё.
Zergos_Z
14.11.2018 12:03Ну если в мире всего 499 суперкомпьютеров, то компьютер на эльбрусах гарантировано войдет в топ-500!
И что это за рейтинг такой — топ-500. Т.е. они даже не пытаются брать планку топ-100 или близко?gnomeby
14.11.2018 12:13Вы просто дезинформированы журналистами. При построении суперкомпьютера нет задач войти в ТОП-500, а есть задачи, что-то считать хорошо, лучше чем сейчас. Вход в ТОП-500 — просто побочный профит для прессы.
hokum13
14.11.2018 14:11+1В ТОП-500 в конце списка 15-50 тысяч ядер.
Себестоимость производства 8С обещают 20 тысяч рублей.
Итого: 15[50] 000*20 000/8=37,5 — 125 млн. рублей только за процессоры. Ну вроде адекватно.
Но если цена будет как за 4С — 200 тыс. рублей за ПК, то бюджет улетает в космос. И это не считая пассивки, сетей и т.п…
dinoth
14.11.2018 14:31По ссылке приводится цена на Эльбрус-1С+, а не на 8C.
В TOP500 в конце списка гораздо более производительные процессоры, так что Эльбрусов потребуется сильно больше.
hokum13
14.11.2018 17:19Сори, прочитал новость по диагонали. Да, 1С+ стоит 25к рублей.
Вот тут для Эльбрус-4.4 (четыре процессора по 4 ядра) 1U цена упоминается 600к рублей. Ну значит не взлетит.
С другой стороны стоимость эльбрусов взята с потолка (т.к. за 600к скорее всего они не окупаются из-за штучного производства). А на большой (десятки тысяч) серии процессоров и мат. плат вполне можно ожидать разумную стоимость отдельного изделия.dinoth
14.11.2018 17:25Цена на Эльбрусы — это не рыночный механизм. Так что на больших сериях цена может быть вообще любой.
Задачи окупиться у них нет вообще.
snizovtsev
14.11.2018 21:45+1Меня недавно удивил Эльбрус тем, что его директор маркетингу отлично разбирается в технических деталях, очень интересно слушать их презентации без лишней воды об устройстве процессоров, вот последняя — https://www.youtube.com/watch?v=8rYfUO1x_MQ. Ещё интересны дебаты с независимым оппонентом — https://www.youtube.com/watch?v=GQh_Hw2XpNk
Чтобы холивар был более аргументирован, я решил сделать небольшой TLDR из этих презентаций (как сторонний наблюдатель):
- В терминах Intel — функции микрокода вынесены на компилятор, это приятная новость для безопасности — инструкции выполняются как есть без мухлежа в чёрном ящике микрокода;
- Эта приятная особенность сводится на нет тем фактом, что единственный компилятор LCC — закрытый, без добра от чиновников его не откроют;
- Даже открытый референс системы команд не готов, но обещают;
- Отсюда следует, что доработкой компилятора им всё еще удаётся получать сильные ускорения на том же железе, но для ускорения старых сборок бинарей на новых ревизиях железа потребуется пересборка софта новым компилятором;
- Есть хороший режим совместимости x86, а также режим, грубо, быстрого аппаратного address sanitizer-а. Но, в отличие от санитайзеров, ему не скормишь список suppressions, поэтому под него с потом и кровью портирован только glibc и uclibc;
- Порядок произведённых сейчас процессоров в штуках — тысячи, печатают в Тайване, но военным старую версию в Зеленограде;
- Производительности в среднем стоит ждать, очень очень грубо, как Core 2 Duo, на математике может лучше;
- Полная поддержка C++14 и Fortran 2003, хорошая поддержка OpenJDK 8 SE с JIT, есть хороший аналог Intel MKL, на троечку работает JIT .NET (Mono) и JavaScript (V8, SpiderMonkey);
- Linux kernel портирован в версиях 3.14 и 4.9, ещё есть QNX;
- LLVM, Rust, Go, Haskell, Scala, Clojure в пролёте;
- Паравиртуализацию обещают на kvm в 2020, cgroups есть сегодня;
- Дистрибуции нет — продают только юр. лицам, qemu нет, есть какой-то эмулятор собственной разработки, пообещали когда-нибудь выложить на сайте всем;
- В 2020 обещают двуядерный 16нм дешёвый SoC "для всех".
BaLaMuTt
Чтобы в Топ-500 попасть им этих процов надо будет наклепать весьма немало. Ну и частоты бы им ещё докинуть хотя бы до 3ГГц. Правда такие показатели теоретически можно банальным разгоном получить благо в суперкомпьютере организовать охлаждение жидкостью или фреоном нетривиальная задача.
KevlarBeaver
Насколько я понимаю, частота не играет решающего значения в производительности… Но о производительности в статье как раз ни слова.
legolegs
vanxant
Это верно для обычных ПК, да и то если процессор — слабое звено.
Большинство задач для суперкомпьютеров — это решение гигантских СЛАУ (систем уравнений). И там всё упирается даже не в память, а в межпроцессорные шины.
Грубо, ядро посчитало свой кусочек СЛАУ, дальше ему нужно отправить граничные значения своего кусочка соседям и получить их границы. И пока чипсет этого не сделает — проц будет курить бамбук, как его не разгоняй.
Jabher
то есть эльбрус за счет ядерного параллелизма как раз должен это хорошо решать?
KevlarBeaver
Нужны цифры. Хоть какие-нибудь. А не вот это вот всё. Если всё упирается непонятно во что, то также непонятно, зачем вообще упоминались гигагерцы.
GeMir
DarkTiger
Само по себе несложно. Сложно при этом будет заменить вышедший из строя вычислительный узел, не останавливая всю стойку с 128 или 256 нодами. Это ни разу не не блейд в датацентре. Фреоном, кстати, ноды не охлаждают — им охлаждают воздух, который охлаждает ноды. Видимо, имелось в виду что-то для иммерсионного охлаждения, типа 3M Novec 509.
Время бесперебойной работы IBM Sequoia — 23 часа (слышал на конференции, не было возможности уточнить, что имеется в виду). Sunway TaihuLight на полной мощности работал только один раз, на тесте Линпака, да и для этого убили массу времени.
Вычислительных нод МНОГО, а теория надежности не хочет делать исключений
algotrader2013
>Фреоном, кстати, ноды не охлаждают
Для меня это всю жизнь было загадкой, почему) Казалось бы, что сложного сделать стандартизированный разъём в сервере, и запитывать каждый сервер фреоном с разводки труб в ДЦ, ведущей к фанкойлу? Можно сделать такую конструкцию, чтобы перед отсоединением шланга фреон в конкретной ноде заменялся на воздух, чтобы учесть требования безопасности. А если речь идет о ДЦ с серверами одного владельца, то можно просто персоналу ходить в спец одежде и датчиками газа.
DarkTiger
Не понял вопроса. Если про центральную разводку фреона — потому что придется сертифицировать (и ежеквартально поверять) все от ушей до хвоста в датацентре, а это очень-очень-очень дорого. Технически можно, да, но если фреоновую трубу пробьет в любом месте, испаряющийся в больших количествах фреон быстро вытеснит воздух из помещения, с последующими человеческими жертвами.
Поэтому никто так не делает, проще и безопаснее поставить рядом со стойкой (или в самой стойке) чиллер и передавать холодный воздух с небольшими потерями внутрь стойки, много фреона из одного чиллера не утечет.
black_semargl
Ну внутри помещения можно и воду или какую ещё жидкость гонять, а сам холодильник за пределами помещения.
Igor_O
Поздравляю, вы изобрели систему охлаждения чиллер-фанкойл.
Собственно, так все и делают. Жидкость гоняют — воду в помещении, раствор этиленгликоля на улице. Иногда, если система небольшой мощности и объема, этиленгликоль и в помещение заходит. Проблема с непосредственным охлаждением электроники — вся та же самая. Вода плюс алюминий в радиаторах = белая каша, которая забивает все и приводит к ускоренному износу насосов, плюс дыры в алюминии. Достаточно буквально микроскопических примесей меди в любом из материалов в водяном контуре. Если учесть, что большинство легкодоступных алюминиевых сплавов сами в себе содержат медь… «Просто добавь воды!»
Crunch-f
В Kraftway мне показывали такое решение, причем при пропадании электричества охлаждение ещё долго работало, часа 3 вроде.
Igor_O
Ну если уж совсем честно, то жидкостное охлаждение электроники — действительно нетривиальная задача. Пока речь идет об одной игровой машине — все хорошо. Когда о нескольких тысячах вычислительных узлов… Да еще так, чтобы это можно было обслужить. Да еще так, чтобы это можно было обслужить без полного обесточивания всего компьютера… Тут же начинают вылезать забавные тонкости и особенности. Или тщательный подбор и проверка точного химического состава всего, что с жидкостью контактирует, или брать Новек. Но он, если оригинальный, что-то около 10 килорублей за литр, и примерно кубометр на каждую стойку… Правда, если покупать кубометрами, то можно скидку получить большую…
Можно, конечно, дешевым маслом обойтись, но там свои риски. Самая малость из них то, что опять есть риски с некоторыми материалами, которые масло растворяет/разъедает/приводит к набуханию.
Но. Если все делать официально, удельная теплота сгорания у масла очень близка к таковой у бензина. И это значит, что больше одной стойки — это уже риск получить категорию по взрыво-пожароопасности Б-какую-нибудь. А это может потянуть взрывозащищенное исполнение примерно всего, аварийную вентиляцию и прочие сопутствующие радости.
lolhunter
OVH свои сервера охлаждает банальной водой (скорее всего с гликолем).
По нынешней инфе 70% всех серверов OVH имеют жидкостное охлаждение.
Igor_O
Много кто охлаждает банальной водой. Но тут выбор простой — дорогой Новек или Флюоринет и дешевая обвязка из любых материалов, или относительно недорогая жидкость (деминерализованная вода) и дорогая обвязка (или все из меди, или что-то из алюминия, но тогда все остальное — из нержавейки, причем, не всякая нержавейка подходит, или алюминий и все остальное обычное, но алюминий тогда с хитрыми покрытиями, которые умеют делать три производителя в мире, один на НАСА работает, один ЕКА, один на Роскосмос. Ценники — соответствующие.)
А по форумам годовалой давности — залили водой EMC-шный сторадж и положили весь ЦОД больше, чем на сутки.
…
L'hebergement mutualise d'OVH a subi un incident majeur vendredi, avec une indisponibilite de nombreux sites pendant plus de 24h.
C'est un gros filer (serveur de fichiers) EMC qui est tombe, alors que ce genre d'equipement est normalement intrinsequement tres redonde.
Sur twitter, un utilisateur a capture un suivi des travaux qui parle de fuite d'eau! Je ne pense pas que c'est un fake, puisque cet utilisateur n'est pas anonyme.
De la a penser qu'il s'agit d'une fuite d'eau liee au watercooling made by OVH, il n'y a qu'un pas, que je franchis volontairement. Ce suivi a ete modifie depuis et il parle desormais uniquement d'incident electrique.
…
Но, говорят, что информацию о том, что проблема с утечкой воды — быстро убрали, заменили на «проблемы с электричеством». (Если честно, то если проблемы с электричеством могут положить ЦОД на сутки, в этом ЦОД серьезные проблемы, надо оттуда бежать куда-нибудь, где умеют ИБП и ДГУ...)
algotrader2013
Спасибо, посмотрел youtu.be/Y47RM9zylFY?t=79 — почти так себе и представлял. Да, не фреон, но, по сути, должно очень нехилый прирост относительно воздуха давать. Приятно удивлен)
aFanOfSwift
Нетривиальная? А в чем благо?