Привет, Хабр! Меня зовут Максим, я работаю тестировщиком оборудования в Selectel Lab. Кажется, сейчас как никогда важно иметь план Б, поэтому мы взяли на изучение процессор «Эльбрус-8СВ». Он шел в комплекте с материнской платой «2Э8СВ-EATX» производства компании МЦСТ.
Процессор впаян в плату, и возможность апгрейда материнской платы ограничена — точнее ее нет. Под катом рассказываю, как мы собирали и тестировали сервер на отечественном процессоре.
Собираем тестовый конфиг
К нам в лабораторию приехала исключительно плата с процессором — без радиаторов, вентиляторов и корпуса. Поэтому мы собирали кастомный сервер на «Эльбрусе».
В итоге тестовый конфиг выглядел так:
Корпус: 2U NVMe
Процессор: «Эльбрус-8СВ»
Матплата: «2Э8СВ-EATX»
RAM: 8 шт. DDR4 32 ГБ 2933 МГц ECC Reg DIMM (MTA36ASF4G72PZ-2G9J3) Micron
SSD: 1 шт. Micron 5300 Pro 1 ТБ
HDD: 1 шт. ST4000NM0035 Seagate 4 ТБ
SSD: Samsung 480 ГБ MZ7LH480HAHQ
SSD: Intel 240 ГБ S4510
Для отвода тепла подошли радиаторы Intel BXSTS100A c активным охлаждением. Корпус взяли на два юнита от Supermicro 825TQ-R720/R740, так как изначально мы хотели добавить в конфиг GPU и NVMe. Правда, план не увенчался успехом.
Для тестирования показателей IOPS мы подключили HDD- и SSD-диски. «Под руку» попались ST4000NM0035 Seagate 4 ТБ и Micron 5300 Pro 1 ТБ. Эти диски проходили у нас испытания по тестовым кейсам, поэтому были выбраны для сравнения показателей с другими тестовыми конфигами.
В надежде, что мы сможем протестировать SSD NVMe-накопители, подключили PCIe NVMe Host Bus Adapter AOC-SLG3-4E4T, но система NVMe-диски не увидела. То же самое случилось с SSD Samsung 970 EVO Plus NVMe M.2. Речь здесь об операционной системе «Эльбрус». Как работает сборка на других ОС, я опишу ниже.
Установка операционной системы
Сначала решили установить нативную ОС «Эльбрус» на архитектуре e2k. Система ставится как с USB-носителя, так и c DVD, также есть возможность установки по сети (PXE).
Так называемого BIOS в системе нет, но есть его аналог — «Загрузчик», или boot. По факту это оболочка, принимающая команды и параметры через командную строку.
Для работы в дата-центре это минус. Обычно первичная настройка платформы производится в BIOS, в том числе и Baseboard Management Controller (BMC). Операционная система устанавливается уже позже. Грубо говоря, при заказе выделенного сервера. В случае сервера на «Эльбрусе», чтобы настроить BMC, для начала нужно установить «родную» ОС или другую систему, подходящую под архитектуру e2k.
А теперь представьте: в дата-центр поступило 100 серверов на «Эльбрусе». Как будем настраивать BMC? Правильно, сначала будем ставить ОС с флешки на каждый сервер и только потом настраивать BMC. Уйдет, мягко говоря, много времени. Есть конечно вариант с PXE-сервером, что немного облегчит задачу, но BMC придется настраивать все равно «руками» через ОС.
Остринки добавляет то, что мануалов по настройке BMC нет. И тут начинаются «танцы с бубном».
Как я писал выше, настройка осуществляется только после установки ОС. Все из-за того, что в системе нет BIOS и на данной плате не реализован «мост» между интерфейсом BMC и «Загрузчиком» (аналогом BIOS). Подключение ноутбука напрямую в Ethernet-порт BMC результатов не дало… Достаю второй бубен.
После консультаций со специалистами МЦСТ получилось настроить BMC. Для этого я соединил порты BMC и eth0 перемычкой патч-кордом, поднял DHCP-сервер на интерфейсе eth0 и указал пул из одного нужного нам IP-адреса. После этого BMC получил нужный нам адрес, а у нас появился доступ к веб-интерфейсу BMC.
Настройку BMC специалист дата-центра может производить только с ноутбука непосредственно в серверной, что не очень удобно. Работу системных инженеров с серверами мы стараемся максимально автоматизировать — так мы готовим серверы гораздо быстрее и исключаем возможные человеческие ошибки.
Настройка сети
Настройка сети схожа с настройкой в других Linux-системах.
Пример настройки файла конфигурации:
/etc/sysconfig/network-devices/ifconfig.eth1/ipv4
DEVICE=eth1
TYPE=Ethernet
CHECK_LINK=yes
ONBOOT=yes
USERCTL=no
PEERDNS=no
SERVICE=ipv4-static
IP=192.168.1.135
BROADCAST=192.168.1.255
PREFIX=24
GATEWAY=192.168.1.1Обзор операционных систем для e2k
Перед следующим блоком сделаем отступление про подходящие операционные системы. На данный момент есть четыре операционных системы, поддерживающие архитектуру e2k. Мы попробовали установить все. Каждая требует определенных «танцев с бубнами».
ОС «Эльбрус». Установилась с USB, число программных пакетов — 1 256 шт., GUI неприветливый. Сетевой репозиторий отсутствует, только локальный. Тестовой версии ОС не предусмотрено — в комплекте с материнской платой и процессором не идет.
ALT Linux. Установка производилась с USB-носителя, интерфейс приятнее, чем в ОС «Эльбрус», количество пакетов — 17 211 шт. Также ограничено своим репозиторием, но уже имеет гораздо большее количество пакетов для разработки — например, Java, которого нет на ОС «Эльбрус». Также из преимуществ — наличие сетевого репозитория. Для записи на USB в комплекте к ОС идет скрипт.
Astra Linux 8.1, релиз «Ленинград». Установка не удалась. Так как служба поддержки у Astra Linux — платная опция, нам не удалось выяснить причины отказа установки.
ЗОСРВ «Нейтрино». Дистрибутив ОС нам не предоставили, пояснив, что ЗОСРВ «Нейтрино» и ЗОСРВ «Нейтрино-Э» нечасто применяется на серверах. В отличие от, например, бортового промышленного оборудования, решающего задачи в режиме реального времени. По заявлению производителя архитектуру e2k данная ОС поддерживает.
Программы под ОС «Эльбрус»
Возвращаемся к нашему конфигу. После настройки платформы наконец добрались до самой ОС «Эльбрус». Здесь сразу же столкнулись с тем, что сетевых репозиториев нет и стек скомпилированных программ под архитектуру e2k ограничивается одним DVD-диском, идущим в комплекте с операционной системой. В нашем комплекте оказалось 1 256 программ, со списком можно ознакомиться по ссылке. Все, что потребуется сверх этого списка, придется «пересобрать» или написать самим.
Для решения задачи совместимости с ПО для платформы x86 в МЦСТ разработали проприетарный бинарный транслятор. Он работает в двух режимах, чем-то напоминающих гипервизор. Первый режим реализован в Lintel, второй — в «RTC». Последний работает под управлением уже запущенной операционной системы.
В приложенном списке мы не увидели Docker, Prometheus, Java и еще очень много пакетов, необходимых для нормальной работы сервера в дата-центре. На данный момент на e2k реализована только одна СУБД — PostgreSQL, которая будет работать вне режима бинарной трансляции. Остальные СУБД и ПО, которого нет в комплекте с ОС, можно запустить только через бинарный транслятор. Чтобы перекомпилировать отсутствующие инструменты для «Эльбруса», потребовалась бы целая команда.
Из плюсов — есть необходимые пакеты для разработки ПО, Python, Git, библиотеки и компиляторы от МЦСТ.
Подготовка к тестам
Для проведения тестов мы использовали бинарный транслятор приложений «RTC» и дистрибутив Ubuntu 22.04
Существенный минус «RTC»: производительность, которой и так немного, будет ограничена. По тестам из разных источников она падает до 30% в зависимости от ПО.
С дистрибутивом тоже пришлось немного помучиться. После развертывания Ubuntu-server 20.04 x86 возникла проблема с системным временем. Происходит отставание системного времени от реального. Для серверного оборудования это критично. Есть предположение, что это из-за системы бинарной трансляции.
Из подключенных 32 планок RAM используется только 3. По информации от МЦСТ в режиме бинарной трансляции используется только один КПИ (можно посмотреть на схеме).
Соответственно, вся периферия, завязанная на КПИ_1, в этом режиме работать не будет.
Результаты бенчмарк-теста
Мы провели бенчмарк-тест Geekbench5 в режиме бинарной трансляции и получили такие результаты:
Видно, что пока «Эльбрус» в режиме бинарной трансляции пытается догнать по показателям AMD Ryzen 5 2400G. Но это десктопный процессор, релиз которого произошел в феврале 2018 года. О конкуренции с современными серверными процессорами речи пока не идет.
Также «Эльбрус» догоняет по бенчмаркам (и даже перегоняет по image compression) Intel Xeon E3-1225, выпущенный в 2014 году. Сравнение с ним на картинке ниже.
Более подробно по ссылке. Кстати, с каким серверным процессором сравнили бы вы «Эльбрус-8СВ»? Пишите в комментариях!
Попадет ли решение на «Эльбрус-8СВ» в дата-центры Selectel?
Как можно понять по тексту, на данный момент препятствий для этого более чем достаточно. Чтобы привести серверы на Эльбрусе к такому же удобству для конечного пользователя, нужно будет вложить очень много сил и времени. Нужно будет поломать голову над автоматизацией процессов, перекомпилировать необходимые программы, подумать, как обойти все существующие ограничения.
Кажется, без катастрофической надобности эти вложения не будут оправданы.
Вот «Эльбрус 32-С» уже более реалистичен для использования в дата-центрах. Скорее всего к тому времени и ПО «допилят». Но смогут ли его произвести по 7-нм процессу? Это вопрос будущего. Компания МЦСТ основана в 1992 году, а Intel — в 1968. Возможно, отечественная компания еще сможет нагнать конкурентов.
В целом, мы провели базовый обзор. Возможно, он не такой подробный и щепетильный, каким мог бы быть. Нашей основной целью была быстрая оценка потенциала сервера на «Эльбрусе» в дата-центрах Selectel. Возможно в будущем мы постараемся протестировать «Эльбрус» другим софтом, написанным под архитектуру e2k.
На данный момент очень хочется появление поддержки NVMe и современных GPU. Будем надеяться, что МЦСТ будет развиваться и дальше и в будущем мы сможем использовать эти решения в повседневных задачах.
Комментарии (115)
vkni
07.07.2022 17:55+1Спасибо!
Понятно, что проблем выше крыши, а самая главная — это вопрос производства. Тем не менее, с программистской точки зрения 2 раза в однопотоке — это ни о чём. Алгоритмической пессимизацией на высоком уровне легко теряются под два-три десятичных порядка. То есть, кровавый энтерпрайз легко сожрёт терагерцовые процессоры и не подавится.
Наш ALT известные люди (irsi) ругали за то, что он "хипстерский". Поэтому там, скорее всего, чего-то нет для дата-центра.
apelsyn
07.07.2022 18:52+4Вы только посмотрите на эти выдающиеся характеристики: 8 ядер 1.3 mHz и DDR3-1600. ВНИМАНИЕ производился на TSMS и попал под санкции (о каком импортозамещении может идти речь?), они его что паяльником собирать будут?
«Эльбрус-8СВ» это имитация сервера, так же как в советском союзе была имитация электронно-вычислительной техники. Несмотря на то что использовались позолоченные контакты и толстые медные дорожки, все это выпускалось безнадежно устаревшим и имело спрос только потому что персональные ПК не могли просочиться к советскому потребителю.
RetroStyle
09.07.2022 13:31+2Вы совершенно не правы, говоря о персональных компьютерах. Архитектура мэйнфреймов от IBM полностью доминировала в мире до середины 80х, и копировалась далеко не только в СССР.
Персональные компьютеры, несомненно, нанесли сильный удар и по IBM и по их флагманской архитектуре. Но это объективный процесс развития, а не какой-то кризис исключительно советской ВТ. Хотя, до сих пор мэйнфреймы IBM востребованы и работают в ряде корпораций.
Ну и насчет имитации, не понятно, что имеется ввиду. То, что вычислительная техника СССР отставала от передовых разработок США, особенно в чипах, - это факт. То, что многое копировалось у американцев - тоже факт. Но во всем мире лишь несколько самых передовых стран в принципе могли хотя бы частично закрывать внутренние потребности ВТ собственного производства. А полностью, кроме США и СССР + соцлагерь, может быть, только Япония на определенном этапе.
Пусть в СССР было даже отставание от США на 3-5 лет. Но это было полностью свое производство. Да если бы современная РФ могла полностью самостоятельно в достаточном количестве производить аналоги американских чипов и ВТ даже 5-летней давности, то и проблема бы не стояла так остро сегодня. Китайцы неимоверными усилиями пытаются достичь хотя бы этого уровня "отставания" в своей технике от США, и их достижения очевидны всему миру, хотя, они и многое копируют, и через спецслужбы добывают технологии... Ай, какие они нехорошие "имитаторы"!А без ВТ уже годов с 60-х было бы просто невозможно сделать технологии, которые демонстрировал СССР. Просто потому что невозможно спроектировать и запустить ни современную для того времени АПЛ ни космический челнок. И где же тут имитация? Что, американцы, напрасно боялись? Не долетели бы к ним ракеты, и АПЛ не доплыли? Не дали бы спутниковые системы координаты, не рассчитали бы необходимые параметры полета ракеты? Все это регулярно испытывалось и демонстрировалось потенциальному противнику. Чтобы у того не возникало ненужных соблазнов...
Так что собственная электронная промышленность и советская ВТ - как раз повод для гордости за достижения СССР и людей того времени. И тема для изучения и во многом восхищения.
А вот их сверстникам в РФ как раз гордиться особенно нечем в области достижений. Тут действительно, больше имитация и наклейки. МЦСТ просто героически пытается делать что-то хоть частично свое. И тут же в него кидают палки. За что? Ах, они медленнее американских процессоров в "режиме бинарной трансляции"! Ну все, надо всем русским посыпать голову пеплом и удалиться..., я уж не знаю куда, в Грузию, наверное?
Вообщем, не гоже хаять прошлое. Отвечайте за себя, за день сегодняшний, гении предпринимательства и свободного рынка.
А МЦСТ делают нужную стране работу и, хорошо, что сейчас это становится очевидно все большему количеству людей в России. Так что надо оказывать им поддержку.
Вот такое мое ИМХО.
edo1h
09.07.2022 14:07+1МЦСТ просто героически пытается делать что-то хоть частично свое. И тут же в него кидают палки. За что?
за то, что в 2022 году уже очевидно, что выбранный ими путь создания процессора общего назначения — тупиковый. благо, трансмета и интел вложили достаточно денег в то, чтобы продемонстрировать это всему миру.
классический чемодан без ручки же: нужно остановиться, потерять время и переложить вещи в рюкзак, например; чем сильнее оттягивать этот момент, тем больше времени в итоге будет потеряно.RetroStyle
09.07.2022 15:17+3Ну, раз вам очевидно, то тогда конечно...
Однако, если опереться на факты, то имеем следующее:
В РФ разрабатывались и имеются условно "свои" процессоры RISC. По производительности они значительно уступают эльбрусам.
Заподозрить МЦСТ в отсутствии компетенций в RISC, учитывая что у них есть свой процессор SPARC сложно.
Да, Интел не получил прибыли с VLIW. Хотя сервера были вполне себе достойные с технической точки зрения. Надо закрывать свои VLIW разработки по этому поводу? С таким подходом можно смело ставить крест на любой новой технологии, потому что почти всегда первые попытки внедрения принципиально нового заканчиваются убытками в лучшем случае.
Что касается потраченных денег, то все познается в сравнении. Обратим внимание на компанию Ядро и их RISC проекты. Сколько сил и денег было вбухано в Power? Чего стоило одно платиновое членство наравне с IBM и Google в open power fundation? Какие деньги там крутились, можно только представить, но МЦСТ явно нервно курит в сторонке. И где "отечественный" процессор на архитектуре power? А его нет, оказалось что все сводилось к перелицовке продукции IBM.
Да, теперь уже, в виду сложившихся обстоятельств, Ядро заявило что теперь они нацелены на RISC-V. И процессор непременно будет лет через 5. Но это неточно. А уж насчет превзойдет ли он Эльбрус - это даже кажется и Ядро таких заявлений не делает.
Так что прежде чем зарубать работающий процессор, вы покажите альтернативный, высокопроизводительный, перспективный RISC своей разработки.
У МЦСТ есть сервер. Который можно потрогать, запустить, использовать. У вас - только гипотетические рассуждения и даже не логика, а "вера" в превосходство RISC. Доказательного, научного обоснования этой вере нет. И то, что у Интела не получилось, вовсе не значит, что не может получиться в принципе ни у кого.
edo1h
10.07.2022 01:28В РФ разрабатывались и имеются условно "свои" процессоры RISC. По производительности они значительно уступают эльбрусам.
ЕМНИП уже первая итерация серверного ARM от байкала выглядела не так уж плохо.
Так что прежде чем зарубать работающий процессор
его уже зарубили без меня. производить процессоры негде, и выхода в обозримом будущем не предвидится.
У вас — только гипотетические рассуждения и даже не логика, а "вера" в превосходство RISC
и много лет разглядывания ассемблерного кода, генерируемого разными компиляторами — одни условные переходы. ну негде, кроме счётных задач, развернуться vliw.
заметьте, что при этом мейнстрим предлагает и способы ускорения счётных операций: simd, специализированные наборы команд, вроде расширений для aes, вынос вычислений на gpu и прочие asic'и. и да, vliw-сопроцессоры тоже используются, и в видеокартах amd до недавнего времени использовался vliw — но всё это как дополнение к классическому cpu.
в итоге ниша, где vliw-процессоры будут конкурентоспособны, если и есть, то очень узкая. а эльбрус пытаются продвигать как процессор общего назначения.RetroStyle
10.07.2022 13:07Ну так вы опубликуйте статью о результатах ваших многолетних "разглядываний". Тогда можно будет говорить предметно.
Mox
07.07.2022 19:35+17Кажется это все бессмысленно пока они не начнут производить свои процессоры где-то кроме TSMC.
vkni
07.07.2022 19:43+7Частично решённая задача всегда лучше полностью нерешённой. Конечно, идеальное положение — это выпущенные по наилучшей технологии процессоры с наилучшей архитектурой, но даже такое положение лучше, чем, скажем, то, что есть у Франции.
Пусть расцветают 100 цветов, тем более, что прогресс в микроэлектронике почти застопорился (по сравнению с 90ми, когда каждые 3 года приходилось выбрасывать компьютер).edo1h
07.07.2022 19:53+20прогресс в микроэлектронике почти застопорился (по сравнению с 90ми, когда каждые 3 года приходилось выбрасывать компьютер)
вы что-то путаете, за последние 5 лет число ядер и объём памяти выросли и в серверах, и в десктопах кратно.
при этом и производительность одиночного ядра растёт, как за счёт ipc, так и за счёт роста частоты.вот до этого был относительный застой, не буду спорить.
но даже такое положение лучше, чем, скажем, то, что есть у Франции
вы это серьёзно написали? на поставку каких высокотехнологичных товаров в францию наложен запрет?
event1
08.07.2022 13:11+3вы что-то путаете, за последние 5 лет число ядер и объём памяти выросли и в серверах, и в десктопах кратно.
Не знаю что там на серверах, но рабочую станцию свою, лично я использую уже лет пять. Там как было 32Гб, так и есть. И домашний лаптоп MBP 13 9-го года с 2-мя гигами использовал бы до сих пор, если бы не повредил материнку. Он отлично показывал и фейсбук и ютюб. В 90-е, как верно заметил ваш оппонент, компьютер за 3 года устаревал безвозвратно во всех отношениях. Т.е. компьютер 95-го года производства, в 2000-м году невозможно было использовать ни для чего кроме каких-то узкоспециализированных задач.
при этом и производительность одиночного ядра растёт, как за счёт ipc, так и за счёт роста частоты.
Роста частоты? Частоты в 4 ГГц были достигнуты ещё на четвёртом пеньке почти 20 лет назад.
вы это серьёзно написали? на поставку каких высокотехнологичных товаров в францию наложен запрет?
Очевидно коллега имел ввиду отсутствие собственных французских процессорных компаний. И допустил оплошность: широко известная STM является французской компанией. Хоть и со штаб-квартирой в Женеве.
Polaris99
08.07.2022 14:03+1домашний лаптоп MBP 13 9-го года с 2-мя гигами использовал бы до сих пор, если бы не повредил материнку. Он отлично показывал и фейсбук и ютюб.
Видимо, очень давно повредили материнку, сомнительно, что с 2Гб он теперь что-то бы показывал более-менее адекватно, сейчас и с 4Гб не разгонишься особо, причем это уже лет 5 как.
event1
08.07.2022 15:01в конце 19-го продал. Кстати сам факт того, что компьютер 10-летней давности без материнки и НМЖД за 50 евро улетел за день косвенно подтверждает мои тезисы. В 2000-м и даже в 2010-м такое не было бы возможно.
hw_store
08.07.2022 16:52Мне пришлось три года назад в лаптоп 14-го года добавить ещё 8Гб, теперь их стало 10. С двумя гигабайтами он еле ползал, при том что его задачи - [одновременное] хождение по интернету, редактирование простых документов в Word и Excel и изредка правка простых картинок в фотошопе.
edo1h
08.07.2022 17:26+1Т.е. компьютер 95-го года производства, в 2000-м году невозможно было использовать ни для чего кроме каких-то узкоспециализированных задач
странно, у меня в 2000 году, если я правильно помню, был компьютер, попавший к мне не новым в 95 году. да, я его апгрейдил потом, менял pentium 75 на pentium 133, диск на объёмом побольше, но и в первоначальном варианте он был вполне пригоден для использования (да и апгрейд, может быть, был уже после 2000 года, разве сейчас вспомню).
cepera_ang
08.07.2022 17:36Справедливости ради, в 95-м лучшее, что могло быть — это Pentium 150, а в 2000-м — это PIII 1.3ГГц и за прошедшие годы добавилось много приятных улучшений микроархитектуры — кеши выросил, спекулятивное исполнение/ОоО, SIMD…
event1
08.07.2022 17:37Ну так-то я в 2005-м писал на аналогичной машине диплом свой. Но там стояла гента с xfce и очень точно подобранным окружением. Любой более адекватный пользователь не смог и не захотел бы с ней возиться.
DrPass
08.07.2022 17:42Ну это вы перегибаете. Если вы брали Р-75 в 1995-м году, это у вас был топчик за немеренное количество денег. В 2000-м году вы даже со всеми возможными апгрейдами могли бы его превратить в Р-200 с 64Мб EDO, 8.4Гб винтом и без поддержки USB. Короче, в печатную машинку, на которой можно было запустить MS Office. На нём бы даже Windows 2000 еле бы ворочалась.
В то же время средний десктоп пятилетней давности сейчас является… примерно средним десктопом. Хороший игровой комп пятилетней давности сейчас является тоже в принципе хорошим игровым компьютером — шестилетняя видяха среднего сегмента а-ля GeForce 1070 до сих пор тянет современные игры пусть и не на ультра качестве, но на высоком так точно.cepera_ang
08.07.2022 18:03Просто десктопные задачи плюс-минус решены любым компьютером современным и не сильно хуже решаются компьютерами пяти-десятилетней давности.
Но это не говорит о том, что компьютеры перестали совершенствоваться и ускоряться. Если провести аналогию: обычный авто может гонять 250км/ч по идеальной прямой, но в реальности ездит дай бог 60км/ч по городским улицам. Но при этом технология транспорта позволяет иметь самолёты летающие на сверхзвуке и ракеты, имеющие скорость далеко за пределами автомобилей.
Так и с компьютерами: домашний за 10 лет почти не изменился, зато сервер/сети/мобильники — получили преимуществ с закона мура в полной мере. И сейчас один сервак может быть быстрее, чем стойка десятилетних.
Впрочем и в бытовых задачах вполне себе прогресс: x220 2012 года — это тяжелый, горячий и шумный гроб по сравнению с каким-нибудь Макбуком Эйр, хотя его и хватает, чтобы сидеть в любых браузерах и прочих офисных задачах. Но уже простые вещи типа «обработать 40 мегабайтные фотки» или подредактировать (хотя бы FHD) видос — ну нафиг, лучше мак. Не говоря уже о времени работы от батареи (практически 10х разница), температуре (на коленях первый держать просто невозможно), весе (2х с зарядкой), связности (usb3 только в самых топовых вариантах, иначе — радуйся скорости 40мбайт/с, блютус — небо и земля, вайфай — тоже).
DrPass
08.07.2022 20:04Но это не говорит о том, что компьютеры перестали совершенствоваться и ускоряться.
Мы говорим скорее не про «перестали», а «существенно снизили скорость прогресса». Десятилетний сервер — это Зеон E5, пусть по нынешним меркам не особо эффективная машинка, но разница между десятилетним Xeon E5-2470 и его современным «одноклассником» Xeon E-2388 будет в лучшем случае двукратная при одинаковом энергопотреблении. Но блин, сравните сэндик 2012 года с четвёртым пнём 2002 года — разница будет уже этак шестикратная (при большем потреблении пня, к слову). Отмотайте ещё на десять лет, сравните четвёртый пенёк с 486DX2-66, топчиком 1992 года. Разница будет примерно раз в триста… Правда, при значительно меньшем энергопотреблении четвёрки, но всё-таки.vkni
08.07.2022 20:24В 90е компьютеры каждые 3 года получали возможность делать что-то новое. К примеру, старшие 486 смогли проигрывать mp3. Pentium - гонять Quake (3d игры с полностью трёхмерной графикой). И т.д.
То есть, добавлялся принципиально другой класс задач. Сейчас же такого нет.
cepera_ang
08.07.2022 20:28+1А почему не сравнить Xeon E5-2690 и его «одноклассника» EPYC 7763? :)
Никто не отрицает, что компьютеры снизили скорость прогресса, но это всё равно десяток иксов за десятилетие. Просто они достигли насыщения с одной стороны и исчерпали многие возможности с другой (вычерпать параллелизм из соседний инструкций бесконечно не получается + смерть роста частоты и уменьшения энергопотребления с масштабированием). Вот в восьмидесятые рост был ещё стремительнее, однако вы же не сравниваете как хорош был компьютер 1991 по сравнению с 1981, потому что его всё равно было недостаточно.
Теперь компьютера десятилетней давности в принципе достаточно, но топовое железо всё равно делает 10-100х в своих отдельных областях. Сколько сэндиков нужно будет, чтобы 800гбит/сек TLS-стримов видео отдавать? Нетфликс с одной коробки это делает. А сколько сэндиков заменит H100?
DrPass
08.07.2022 21:00А почему не сравнить Xeon E5-2690 и его «одноклассника» EPYC 7763? :)
Потому что они ни разу не одноклассники. Второй стоит в четыре раза больше первого, и жрёт энергии в два раза больше.но топовое железо всё равно делает 10-100х в своих отдельных областях.
Ну как делает… только за счет специализированных вычислителей.cepera_ang
08.07.2022 21:58+1Они одноклассники в том смысле, что оба являются топовыми в линейке. Стоит в четыре раза больше и жрёт в два раза больше, а работы делает в 20 раз больше (200 GFLOPs vs 3500 GFLOPs). (Это не уточняя про инфляцию — 2000 в 2012 = 2500 в 2022 и то, что аналогичный 64-ядерник есть за $5к, т.е. всего в два раза разница, а скорость всё же как минимум 10х и это только вычисления, без учёта поддерживаемой памяти и I/O.)
Ну как делает… только за счет специализированных вычислителей
Как будто это что-то плохое. Это просто эволюция: компьютеры сначала не решают какую-то тяжелую задачу, потом решают её медленно, с помощью кода, написанного «бизнес-программистами», которым главное скорость разработки, потом это постепенно оптимизируется (особенно если бизнес тратит деньги на это на бэкенде и становится достаточно массово), потом упирается в пределы оптимизации и начинается долгий процесс, когда исходную задачу растаскивают на кусочки, которые можно в железе реализовать — тут инструкция для процессора, там модуль, сям кусочек на fpga. В конце концов задача постепенно запекается в железо и решается с минимумом багов и максимальной эффективностью (ведь железу никогда не прощают то, что почему-то нормально для софта — быть тормозным и глючным).
И сейчас этот процесс только ускоряется — если раньше надо было экономить транзисторы, то теперь их нужно тратить. А куда ещё девать очередные миллиарды после каждого следующего удвоения? Экстенсивное наращивание кешей и ядер и параллельных модулей уже не работает как раньше.
Плюс растёт доступность этого процесса, начиная со всяких высокоуровневых языков спецификации железа, продолжая готовыми блоками, в том числе опенсорсными. Сейчас студенты нормальных вузов (типа ETH Zurich) многоядерные ОоО процессоры реализуют в качестве курсовой.
То, что старый компьютер пыхтел над всеми задачами в основном потоке выполнения, а сейчас «специализированные вычислители» на любой чих, начиная от широченных SIMD’ов в самом процессоре, блоками шифрования, инструкциями для нейронок, продолжая ускорением графики, видео, звука, отдельными мини-компьютерами для I/O на диск, сетевыми картами и заканчивая графами/строками для геномов и чем угодно говорит не столько о том, что старые компьютеры быстрее прогрессировали, а о том, что прогресс изменил форму — вместо ускорения заданной линейной программы путём наращивания транзисторов, теперь ускорение растущего множества отдельных подзадач, путём наращивания транзисторов.
edo1h
10.07.2022 04:33В то же время средний десктоп пятилетней давности сейчас является… примерно средним десктопом
да, в этом вы правы.
однако смотрим сюда, выбрал топовый десктопный процессор intel сейчас и 5 лет назад (ну и m1 добавил для интереса):
https://www.cpubenchmark.net/compare/Intel-i9-12900KF-vs-Apple-M1-Ultra-20-Core-vs-Intel-i7-7700K/4611vs4782vs2874
прогресс заметный, а то, что современный софт достаточно хорошо работает на относительно старом железе, так разве это плохо? да и вы сильно не переживайте, как газ заполняет весь выделенный ему объём, так и софт пишется для актуального сейчас железа; пройдёт не так много времени, и десктоп с 4 ядрами будет «фи».
мне пока 4 ядер хватает, но уже впритык, а вот 32 гигабайта памяти временами откровенно мало, своп на ssd спасает, но хочу апгрейд на 64 гига памяти (заодно и на 8-16 ядер).
zuek
08.07.2022 17:51Ну, можно вспомнить и мой опыт - в июле 2000 проходил сборы в учебной военной части, до этого находившейся на консервации около 4 лет, и все документы набирал на единственном имевшемся в наличии 486DX80 (года, примерно, 1992-го), под Windows 3.1, и распечатывал на матричный Robotron - на всю толпу из 400 курсантов с этим раритетом мог совладать только я, хотя машинке было лет 8, а сейчас на моём домашнем компьютере 2010-го года сборки (какой-то i3 второго поколения, на интегрированной видяхе, с 8Г оперативки и SSD), не подвергавшегося никакому апгрейду, вполне комфортно выполнять повседневные задачи (Windows, правда, обновил недавно до 10, и openSUSE регулярно обновляется), единственное, что уже руки чешутся обновить - 19" монитор 2007 года (которому уже дважды перепаивал конденсаторы в блоке питания) - один из первых формата 16:9 - маленький для сегодняшних реалий, да и древний уже, яркость проседает.
iu3564
08.07.2022 21:45ну достаточно таких кто считает что все поссорятся со всеми обязательно когда- нибудь, вот тогда пушка стрельнет по тех у кого ничего своего нет. Но я так не считаю, все на столько срослись экономически, что выпиливать с рынка даже очень маленькие экономики болезненно абсолютно всем и не у всех хватит смелости взять пилу и резать себе ногу.
vkni
09.07.2022 05:07что выпиливать с рынка даже очень маленькие экономики болезненно абсолютно всем и не у всех хватит смелости взять пилу и резать себе ногу.
А всем и не надо этой смелости, достаточно центрам по отношению к некоторым перифериям. Сами знаете, чтобы построить — нужно трудиться, а развалится оно само. :-)
Вообще, на эту тему рекомендовали книжку "The Great Illusion", под авторством Нормана Ангелла. :-) Он за 5 лет до Великой Войны эту же мысль продвигал.
cepera_ang
07.07.2022 20:38+5Пусть расцветают 100 цветов
Вы же в курсе исторического контекста связанного с этой фразой?
А так, у каждой страны конечно должна быть пара тройка процессорных микроархитектур, написанных в стол, которые она не может физически производить. Это позволяет дизайнерам сохранять критически важный опыт проектирования. Прямо как у японцев, которые разбирают и собирают свои храмы для того, чтобы не забывать и совершенствовать классическое мастерство строительства.
Или как у солдат из известной шутки, которые сначала копают яму, а потом закапывают, если позволите менее благородную трактовку происходящего.
edo1h
07.07.2022 19:49+11GUI неприветливый
что это делает в обзоре сервера?
Для проведения тестов мы использовали бинарный транслятор приложений «RTC» и дистрибутив Ubuntu 22.04
но зачем?!?
логично было тестировать альт в нативном режиме.ну а в общем, как выше уже сказали, опоздали вы с тестом. несмотря на прекращение официальных поставок, xeon/epyc реальнее купить, чем эльбрус (если речь не о единичных серверах).
z0mb
07.07.2022 20:11+6А какой смысл тестировать быстродействие эмуляции х86 а не поставить Альт и тестировать быстродействие именно проца?
Или цель была именно показать как все плохо?
Maksvelis Автор
07.07.2022 20:13+2Смысл в том что под архитектуру Эльбрус мало ПО и требуется время что бы его запилить. В альте так же нету многих нужных пакетов.
Jeditobe
07.07.2022 21:03+7Эльбрусу нужна еще и Windows-соместимая ОС, чтобы создать реально импортозамещающий сервер. Самый простой способ для вендоров из РФ - наконец-то обратить внимание на ReactOS. Тем более, что освободились десятки миллиардов рублей, которые раньше ежегодно тратились на закупку лицензий Windows.
EntityFX
07.07.2022 22:39-5Не нужна: Эльбрус может запускать Windows 7, 8, 10, 11 в режиме бинарной трансляции Lintel. И не только винду.
Hlad
08.07.2022 08:55+1Скорее уж «запускать Windows 95, 98, NT4.0, Windows 2000 и Windows XP». Насколько помню, этот режим сильно роняет производительность.
EntityFX
08.07.2022 09:59+4Нет, именно с Win 7 +, так у них указано в Lintel (новый гораздо лучше работает)
Hlad
08.07.2022 10:37Хм, неожиданно. Получается, что Эльбрус — просто очень дорогой процессор, с характеристиками, вполне приемлемыми для рабочего компа. Осталось только вопрос цены решить
cepera_ang
08.07.2022 10:49+2Сразу после окончания строительства фабрики в 2030-м году пойдёт массовый тираж и цена будет приемлимая.
Johnneek
08.07.2022 16:10+5Сразу после окончания строительства фабрики в 2030-м году
Это при линейном времяисчислении произошло бы в 2030 году. А при относительном это произойдет, например, через 15 лет после постройки российской лунной базы. Или через 10 лет после того, как средняя з/п в РФ будет 2700 дол.США.
Jeditobe
08.07.2022 16:24+2Вы немного забыли про текущие реалии.
Windows больше нельзя легально купить, скачать трудно, и есть или могут быть проблемы с обновлениями. Кроме этого, продукт проприетарный с бинарной поставкой. Есть огромный риск факапа или диверсии.
hw_store
07.07.2022 21:28+1Кстати, а есть тут на хабре кто-нибудь из МЦСТ или из ИНЭУМа? поделитесь контактами, плз!
EntityFX
07.07.2022 22:32+3На Хабре их нет, но есть крупное сообщество в Телеграм: https://t.me/e2k_chat
EntityFX
07.07.2022 22:13+37Так, связался с одним из разрабов из МЦСТ (с ним можно связаться тут: https://t.me/elbrus_gensokyo) , вот что он ответил:
Почитал.
Ничего подобного, BMC вполне нормально работает и настраивается без физического доступа к серверу (ну, шнурок только воткнуть, последние прошивки BMC уже умеют в DHCP).
Автоматизированная установка ОС через BMC - в целом будет возможна, когда будет МикроОС. Уже сейчас нет проблем (на AST2500 и выше; если там AST2400 - то увы) подключить виртуальный образ ОС через BMC и поставить ОС через последовательную консоль. В МикроОС можно будет даже автоматически запускать установщик - передав параметры через флешку (сейчас нельзя, т.к. бут читает параметры из NVRAM, которая недоступна BMC).
Возможность апгрейда материнской платы, разумеется, есть - например, память и т.п. Апгрейдить процессор смысла нет, если он один в линейке, подходящей к конкретной матери.
Не понимаю ,как у них не получилось запустить GPU и NVMe. Они вообще в нашу поддержку обращались? А, да, я забыл про нашу поддержку с её "спасибо, ваши пожелания будут учтены, FIXED, CLOSED." Но вообще в ОС современные GPU (поддерживаемые ядром 5.4) работают, как и NVMe (но не в буте, это да).
"мануалов по настройке BMC нет". Вот щас обидно было. Мануал есть, общедоступный и обновляемый (github.com/makise-homura/reimu-docs-ru), и я не понимаю, почему эту инфу саппорт не доносит до пользователей. А, или они путают BMC с бутом? (я у них вообще не вижу общения с BMC, только с бутом)
"Подключение ноутбука напрямую в Ethernet-порт BMC результатов не дало…" Понятное дело, что просто подключить ноутбук не даст никаких результатов. А вот зайти с этого ноутбука на указанный в докментации IP-адрес не пробовали?
"Тестовой версии ОС не предусмотрено — в комплекте с материнской платой и процессором не идет. " Щито. Мы, няз, поставляем ОС Эльбрус с каждым сервером (если от нас не требуют другой ОС, например, астры).
"Java, которого нет на ОС «Эльбрус»" Опять же, щито? Java в состав входит (возможно, её просто надо было поставить со второго диска).
"Установка не удалась. <...> нам не удалось выяснить причины отказа установки." отличный багрепорт, штатные телепаты правда в отпуске и не могут понять, что же там не так.
"стек скомпилированных программ под архитектуру e2k ограничивается одним DVD-диском, идущим в комплекте с операционной системой" Вообще-то там три диска, а не один.
Про ПО - плохо искали, java и СУБД (тот же mysql и sqlite) точно есть
"Происходит отставание системного времени от реального." Батарейка-то на плате стоит? А то если им поставили без ОС, то могли и батарейку в плату не воткнуть. Удивлён, как там ещё бут и BMC прошиты, это тоже нечастое удовольствие. А ещё это может быть не остатавание, а неправильно выставленная в окружении RTC таймзона.
"Из подключенных 32 планок RAM используется только 3" - ничего подобного, в RTC используются все, в Lintel - минимум 4, а не три (нечётное количество 8С и 8СВ не могут использовать принципиально).
Резюме: да, у эльбруса много косяков, и некоторые найдены честно (про неюзерфрендли и недостаток инфы (недохождение её до пользователей) согласен целиком и полностью). Но есть и просто такие вещи, которые можно решить немного подумав, а не говорить, что этого нет, того нет и т.п. То есть второй класс вещей - это не конкретные недостатки эльбруса, а то, что кажется вследствие первого.
edo1h
07.07.2022 22:36+1Так, связался с одним из разрабов из МЦСТ (с ним можно связаться тут: https://t.me/elbrus_gensokyo), вот что он ответил:
честно говоря странно, что он не смог сам тут написать )
cepera_ang
07.07.2022 22:44+13Ответ такой, как будто это пользователи продают Эль-брус разработчикам за большие деньги, а не наоборот.
ermouth
08.07.2022 16:43+6Этих «разрабов» такое ощущение что где-то на секретном заводе клонируют, из генетического материала хамоватой сельмаговской продавщицы времён позднего СССР.
Аналогичного розлива спец из Астра-линукс тут недавно собственной персоной отвечал ровно в том же духе: «наш продукт супер, а автор дурак, всё врёт и вообще читать не умеет».
Особенно доставило замечание про батарейку на плате, ага.
cepera_ang
08.07.2022 17:28Так скорее всего они и есть поколение позднего СССР. Даже если лично отвечавший по-моложе, то ролевые модели-то у него (коллеги и руководители) как раз все родом оттуда.
vkni
08.07.2022 20:34Кмк, тут помогает одна простая мысль — если так грубо высказаться и совершить ошибку, то потом будешь выглядеть как злобный дурак. А вот если эти же мысли выразить менее жёстко и в виде вопроса, то и ответки не будет.
Я последние несколько лет очень плотно занимаюсь рецензированием кода. И принял за правило формулировать претензии в виде вопроса "уточните пожалуйста, нет ли тут ошибки". Это страшно помогает, т.к. хотя в двух третях случаев прав я, в оставшейся трети случаев я не прав, а прав автор. Но, поскольку, претензия выдвинута не жёсткая, то никакой потери лица с моей стороны нет — всегда можно сказать "ну конечно автору виднее, спасибо за уточнения".cepera_ang
08.07.2022 20:41Проблема в том, что люди не видят ничего плохого в том, чтобы выглядеть как злобный дурак, а подобную вежливость в стиле «уточните, нет ли тут ошибки» считают притворным лицемерием.
vkni
09.07.2022 05:04Я склонен полагать, что не рефлексируют. Человек с неполоманной психикой хочет быть хорошим. :-)
cepera_ang
09.07.2022 05:18Хочет быть хорошим. Но только для своих. А с «чужими» можно максимально злобно.
Maksvelis Автор
07.07.2022 23:09+151. BMC не настраивается без физического доступа к серверу, как раз все вышеописанное было сделано со специалистом из МЦСТ…
3. А если появятся другие или модификации будем платы целые покупать?
4. Саппорт МЦСТ сказал, что поддерживаются только старые GPU от AMD определенной серии к сожалению не запомнил какой, поддержки NVME так же нет, в загрузчике он не видит диски NVMe и m.2.
5. Да мануал по настройке BMC в итоге нашелся только вот не актуальный, так как пришлось делать выше описанные действия со специалистом МЦСТ.
6. Обидненко, то есть вы думаете мы подключили патч и ждали чуда? Конечно же это все было испробовано, даже запомнил эти адреса 192.168.1.10 (2.10)
7. Не понял предложения из-за орфографии, но в комплекте с платой системы не было.
8. Второй диск не был предоставлен в комплекте
9. Подробно не стал описывать так как установка даже не запускалась. Какой тут может быть баг репорт? Была задача установить все так сказать из «коробки» без костылей.
10. Было бы здорово их увидеть списком, может нам старый репо дали?
11. Не описал про mysql и sqlite согласен. Java не нашел вопрос выше.
12. Все проверял 10 раз timezone все ок, батарейка тоже была на месте. Время очень сильно отставало, за час могло на 10-15 минут улететь в увеличение. Устанавливал локальный сервер времени, не помогло.
13. Через lintel определялись только 3 планки по 8гб, к сожалению не сделал скрины и логи, в следующий раз учту, видимо какая то особенность железа.
Жаль что не данный специалист МЦСТ сопровождал нас на тесте.
makarich72
08.07.2022 08:48Со временем на серверах (Elbrus 4C) действительно проблемы, сам в свое время много времени на убил, ntpd не помог, решилось установкой Chrony
EntityFX
08.07.2022 10:06+6Раз у человека нет аккаунта Хабра, перепощу его ответ:
Не понимаю, зачем нужен физический доступ больше, чем "воткнуть кабель Ethernet в нужную дырку". Возможно, тот специалист из МЦСТ невнимательно читал документацию или что-то не понял. Вообще, с BMC есть много других проблем (которые мне никак не дадут времени и ресурсов решить, да), но уж проблема необходимости физического доступа к этому точно не относится - она решена была чуть ли не в первых релизах REIMU в плане статического IP-адреса, а в плане реакции на наличие DHCP - в https://github.com/makise-homura/openbmc/commit/b73cd321a0a1e5f45bd1e93c913fdceef32a76f3 (что поддержано уже с версии REIMU 1.0.2).
Они не появятся. У нас так выходит, что у нас под десяток материнок для одного процессора, а не наоборот, десяток процессоров, совместимых с конкретной материнкой. У МЦСТ нет возможности делать более одного процессора в линейке (была мысль, по слухам, делать разбраковку на разные классы в 32-ядернике, но известно что поставило на всех этих планах крест, видимо).
Саппорт, видимо, не изучает то, что происходит у нас с ядром, ОС и так далее. В ОС уже давно поддерживается хоть Vega 64, хоть GTX 1080 (понятно, что не самый топчик, но для ядра 5.4 - это предел, вроде). Бутовщиков пока никто не может заставить выпилить из бута все костыли а-ля белые списки моделей видеокарт или самодельный эмулятор текстового режима для SMI и юзать VGA BIOS карточки, поэтому да, там не всё работает. Но всё равно эти карточки нужны же в ОС, а не в буте. То, что в загрузчике не видит NVMe - есть такое, это будет решаться с помощью МикроОС (если бут сравнивать с BIOS, то МикроОС - это в некотором смысле аналог UEFI). Главное, опять же, в ОС они видны и их можно использовать; а грузиться можно с SATA (DOM, SSD, HDD и т.п.)
Непонятно, почему неактуальный? Актуальный мануал есть по приведённой ссылке и всегда доступен.
Ну, так звучит упомянутая фраза. То есть фактически это звучит как багрепорт: "Что сделали? Воткнули кабель. Что ожидали? Результат. Что получили? Результата не дало".
Адреса, к слову, неправильные (откуда их вообще взяли)? Без DHCP спустя 60 секунд после загрузки BMC устанавливает себе адреса 192.168.1.1 и 192.168.2.1, о чём написано в документации.А, кажется, я начинаю понимать: наши выдали плату безо всего вообще (и сказали бы "ахахах, разбирайтесь сами, как это всё работает", если б были честнее). Ну да, там естественно ОС в комплекте не идёт - потому что комплекта-то как такового нет. С обычными материнками в магазине тоже ОС не поставляется. А вот с серверами у нас (как и со сборными компами в магазине) ОС идёт. Так что эта претензия, имхо, мимо.
Опять же, как это делается в случаях "я купил мать без всего" - надо писать на саппорт, чтобы выслали все три образа диска последней версии ОС.
Что такое "не запускалась"? Это звучит как "Пойди посмотри, у меня ошибка вылезла. - Какая? - Ну там написано "нахмите любую клавишу". - Так нажми. - О, починилось". "Не запускалась" - это с равным успехом может быть и то, что сама машина не включилась, и то, что зависло в буте, или при передаче управления ядру, или в самом ядре, и т.п. Очень помогает при этом увидеть последние сообщения на экране/в консоли (если это, конечно, не случай вообще не включившейся машины).
Никаких проблем - идём на elbrus.6te.net, заполняем формочку, получаем доступ, заходим на нужный сервер и смотрим через dpkg -l - там версия ОС 7.1. Заодно можно попробовать то, чего нет на предоставленном к плате одном диске.
В ОС 7.1 она есть, причём на первом диске:
molchan_i@yukari ~ $ readlink -e which java
/usr/lib64/jvm/java-8-openjdk-e2k/bin/java
molchan_i@yukari ~ $ dpkg -S /usr/lib/jvm/java-8-openjdk-e2k/bin/java
openjdk8: /usr/lib/jvm/java-8-openjdk-e2k/bin/java
molchan_i@yukari ~ $ find /export/install/ -name 'openjdk8*'
/export/install/disk1/images/debs/openjdk8_1.8.0-3.6.4-vd7u13_e2k-8c.debО, хоть теперь есть конкретика. То есть улетал системный таймер? hwclock при этом говорило правильное время? Я правильно понимаю, что речь о запущенном под lintel (не rtc!) Ubuntu? Возможно, это оттого, что в качестве основного таймера использовался софтовый таймер (который, вероятнее всего, будет отставать, потому что показания rdtsc под трансляцией, насколько я знаю, растут неравномерно). И да, сервер-то времени как спасёт? Тут нужен клиент, который синхронизировался бы с удалённым сервером (в убунте это, как я понимаю, systemd-timesyncd по дефолту).
Опять. Что такое "определялись"? Не надо пытаться интерпретировать наблюдаемое, надо говорить его как есть специалисту. Слова "у меня определяются три планки памяти" не несут никакой нагрузки. Вот "в /proc/meminfo я вижу 24123456 кБ памяти в графе TotalMem, а у меня установлено 32 планки по 8 ГБ" - куда информативнее и позволяет уже начать думать над причиной. Короче, откуда инфа о трёх планках и как она там отображается? (в идеале нужен скриншот)
Maksvelis Автор
08.07.2022 10:23+7Это все очень здорово, если это действительно так, но я увидел то что я увидел, вместе с инженером из МЦСТ заметьте с инженером а не сапортом.
В любом случае есть информация для новых тестов, я думаю мы продолжем тесты, после обсуждения с специалистами МЦСТ всех выше упомянутых нюансов.
vkni
08.07.2022 01:47+11Резюме: да, у эльбруса много косяков
Рекомендую в таком случае писать менее агрессивно — тогда отзывы пользователей будут более информативны и полезны.
И вообще, есть громадная разница между "работает у разработчика", "работает у пользователя-энтузиаста" и "работает у среднего пользователя". Я обычно, когда пишу документацию на скрипты, прошу коллегу пройти по всем пунктам и проверить — всегда находится какой-то косяк описания.
Всё будет хорошо, просто надо ещё чуть-чуть подпилить. Поэтому лучше общаться доброжелательнее, тогда ещё тесты сделают, помогут ещё улучшить.
symbix
08.07.2022 02:15+10Довольно странный подход, когда вроде бы покупаешь программно-аппаратный комплекс за нехилые такие деньги, а поддержка (и вообще отношение разработчиков к покупателям) как в опенсорсе.
Хотя, с другой стороны, ничего странного, когда "импортозамещение" происходит не за счёт конкуренции на свободном рынке, а командно-административным способом. Куда они, типа, денутся.
Kitsok
08.07.2022 08:30+2Поскольку я разрабатываю именно BMC, то и вопросы у меня по BMC, а не по общему тону ответов.
Что за проблема такая научиться получать IP по DHCP? OpenBMC это умеет из коробки, как и вообще любой другой дистрибутив для встраиваемой системы.
Почему используется не новый-кленовый AST2600, а AST2500 и даже AST2400?
Что за проблема пробросить образ через VUSB на AST2400? Нет такой проблемы вообще.
Это что такое надо настраивать из хоста, что с BMC нельзя работать напрямую из коробки?
-
У BMC нет доступа к NVRAM хоста? На Интеле у BMC тоже нет доступа к NVRAM в PCH, однако передача настроек и туда, и сюда, прекрасно работает.
В общем, воля ваша, профессор, но что-то вы не дорабатываете.
EntityFX
08.07.2022 17:53Человек из МЦСТ попросил вам ответить (не я автор сообщения):
Проблемы нет (это было ещё в ранних релизах, хоть и требовало включения вручную). Проблема в том, как задать нужную статику, если DHCP не ответил. Systemd-networkd так не умеет, поэтому это пришлось допиливать ручками.
Потому что к моменту производства этой платы AST2600 ещё не вышел (да и сейчас-то как-то не очень доступен).
Не помню, что с VUSB, а iKVM точно не работал. Поэтому там поддержка USB просто вырублена, ибо в ОС сыплются кучи сообщений о неудачном подключении USB-устройств.
Ничего - с ним можно работать из коробки
Нет, доступа нет. На интеле настройки, скорее всего, передаются либо через память (но к ней у нас тоже доступа нет), либо через отдельную SRAM (которой у нас нет), либо через флешку (мы хотим это сделать в МикроОС, но надо убедить всех, кто завязан на NVRAM, чтобы её выкинуть - это бутовщики и линтелщики, как минимум).
Просил ответить ему тут: https://t.me/elbrus_gensokyo/9403
SergeyMax
08.07.2022 08:35+10"мануалов по настройке BMC нет". Вот щас обидно было. Мануал есть, общедоступный и обновляемый (github.com/makise-homura/reimu-docs-ru),
Ну в принципе логично, не на сайт же производителя выкладывать документацию)
Hlad
08.07.2022 08:57+17— Однако, мистер Дент, маршрут был выставлен для всеобщего ознакомления в местном бюро планирования и висел там девять месяцев.
— Ага, как только я узнал, то сразу же помчался прямо в бюро. Это было вчера в полдень. Вы ведь не особенно утруждали себя предупреждениями? Я имею в виду: никому ни слова, ни одной душе, правда?
— Но маршрут был обнародован для…
— Обнародован? В конце концов мне пришлось спуститься в подвал, чтобы отыскать его!
— Верно, там у нас находится отдел информации.
— С фонариком!
— Наверное, света не было.
— И ступенек тоже!
— Но послушайте, вы ведь нашли план!
— Да, — сказал Артур, — нашел. На дне запертого шкафа в заколоченном туалете. А на двери табличка висела: «Осторожно, леопард!»
EntityFX
07.07.2022 22:32+3Мне тут сорока передала информацию:
В Кремниевых Секретах Эльбрус 8С был бонус для тех, кто дочитал до конца. Скажем так, это, своего рода, возможность поковырять Эльбрус самому для каждого из читателей.
Я там оставил инструкцию по тому, как получить удалённый доступ к одному из тестовых стендов Эльбруса в МЦСТ. За эту возможность я выражаю благодарность Игорю Молчанову из МЦСТ, по инициативе которого и развёрнуты эти тестовые стенды.
Сейчас процесс получения доступа упростился: генерируете SSH-ключ у себя на компьютере, отправляете его публичный ключ (именно публичный, не приватный) через форму на веб-странице, и затем получаете оповещение с результатом в Телеге, которую вы оставили в форме на той же странице.
http://elbrus.6te.net/Желаю успехов! В общем, развлекайтесь!
Dark_Purple
07.07.2022 22:44+1реально ли сделать «импортозамещающий» серверРеально, но только один, потому что больше "камней" не завезли :)
mylitsyn
08.07.2022 00:46Поддержка процессоров 8СВ реализована в 3 Бюллетене безопасности для Astra Linux Special Edition, релиз 8.1, что, вобщем-то, описано в release notes:
https://wiki.astralinux.ru/pages/viewpage.action?pageId=149067155
Уважаемые коллеги, запросите актуальный дистрибутив с поддержкой в ядре этого процессора и будет все работать
Maksvelis Автор
08.07.2022 01:01+1Нам скинули, такой.... сказали что он поддерживает 8-СВ, пытались обратится в тех поддержку но были отправлены на сайт wiki.astra.
arheops
08.07.2022 00:49И будет ли в нужном количестве доступна, к примеру, память… ну хоть через три месяца?
WinLin2
08.07.2022 07:08+1Процессоры стоят в один ряд, первый греет горячим воздухом второй процессор. Отечественный сервер "ricor" с таким же расположением процессоров, отечественным охлаждением: ноль пластика для разделения потоков, максимальные обороты кулеров. Авторы сами собрали сервер, к ним нет претензий.
13werwolf13
08.07.2022 08:11-1также есть возможность установки по сети (PXE).
не pxe а aoe
и не только установка но и загрузка и работа боевой системыА теперь представьте: в дата-центр поступило 100 серверов на «Эльбрусе». Как будем настраивать BMC? Правильно, сначала будем ставить ОС с флешки на каждый сервер и только потом настраивать BMC. Уйдет, мягко говоря, много времени. Есть конечно вариант с PXE-сервером, что немного облегчит задачу, но BMC придется настраивать все равно «руками» через ОС.
госпадя, да зачем зизнь то себе усложнять? делаем один AOE диск с которого грузятся все эти сервера, после загрузки автоматически выполняют скрипт настраивающий bmc как вы хотите и выключается, всё. тоесть в реальности первоначальная настройка будет выглядеть так:
1) воткнул питание и сеть в первый порт
2) включил
3) нажатием двух кнопок пнул его грузиться с aoe
4) повторил для всех
5) ушёл курить
да, это немного печальнее чем с ilo хулета или айдраками дела, но всё ещё лучше чем супермикра. по крайней мере не всё так печально как вы описываете13werwolf13
08.07.2022 08:19
Maksvelis Автор
08.07.2022 08:32+1Не наш формат) все таки задача была более менее из коробки установить, но надо будет попробовать.
13werwolf13
08.07.2022 08:46я имею некоторый (больше пяти лет) опыт работы с эльбрусами и байкалами, не всё успел что хотел конечно, сменил сферу деятельности, но могу ответить на пару вопросов или свести с теми кто продолжает еври дей с ними работать, думаю они не откажутся вам помочь.
Kitsok
08.07.2022 08:38+1Вот как только доходит дело до нажатия кнопок, тут и становится понятно, что сервер для установки в ДЦ не очень подходит.
13werwolf13
08.07.2022 08:44так или иначе, но пару кнопок тыкнуть прийдётся, особенно если в ДЦ пришла пачка не новых а БУ серверов, как минимум сбросить пароль на ipmi, говорю это на опыте. Учитывая повторяемость действий кстати можно и автоматизировать нажатие кнопок, в том же хулете чтобы попасть в tui bios ilo нужно нажать f8 в определённый момент времени, раньше или позже нажмёшь и попадёшь в bios сетёвки или raid контроллера, тут же все нажатия будут в одно и то же время на всех эльбрусах.
Это всё равно костыль, я не спорю. Но хоть какое-то решение.
Вообще если уж на то пошло то использование aoe уже пахнет нафталином, но оно работает и работает неплохо, и настраивается очень легко.Kitsok
08.07.2022 08:49Понятно, что на безрыбье и рак-рыба, но на мой взгляд, как только речь заходит о сотнях (хотя бы) серверов, никаких нажатий на кнопки быть не должно, иначе это не решение для ДЦ.
13werwolf13
08.07.2022 08:52+5увы, но у меня есть подозрение что либо в МЦСТ не особо понимают что такое ДЦ и как там принято работать, либо уверены что сначала нужно заняться более "важными" проблемами типо производительности самого CPU прежде чем заниматься "вторичным". Прямого ответа на этот вопрос от них конечно же не добиться..
Kitsok
08.07.2022 09:00+4Это плохо, но нормально, что разработчик серверов не в курсе реальных проблем эксплуатации, это почти у всех так. Но не отдавать себе в этом отчёт и не организовывать саппорт так, чтобы собирать обратную связь от эксплуатантов (а делать совсем наоборот) - это управленческий провал. А пользоваться при этом лоббированием и навязывать использование своих изделий через государство - это просто... не знаю, какое слово тут подобрать.
DaemonGloom
08.07.2022 10:29в том же хулете чтобы попасть в tui bios ilo нужно нажать f8 в определённый момент времени, раньше или позже нажмёшь и попадёшь в bios сетёвки или raid контроллера
А это с какими контроллерами так? Родные у них других кнопок требуют (F5 для настройки raid, например).
Но, в целом, если мы не говорим про Б/У оборудование, то на самом сервере жать ничего не надо изначально, он и так получит адреса и даст управление по сети.13werwolf13
08.07.2022 10:38может и f5, простите если перепутал
Но, в целом, если мы не говорим про Б/У оборудование, то на самом сервере жать ничего не надо изначально, он и так получит адреса и даст управление по сети.
ага, особенно если сетевой интерфейс был настроен предыдущими владельцами на статический адрес неизвестной новым владельцам адресации, а пароль поменян на "а я уж не помню какой, сбросите сами"..
edo1h
08.07.2022 16:24да, это немного печальнее чем с ilo хулета или айдраками дела, но всё ещё лучше чем супермикра
сто лет не щупал ilo, что там в плане сетапа принципиально отличается от микры?
13werwolf13
08.07.2022 16:29Плюс ipmi супермикры в том что они гораздо раньше чем хулет догадались что для ikvm не нужна жаба, достаточно html5 viewer
Ну а минусов пачка, лично меня больше всего бесит то что брать образ супермикры умеют только с самбы, хулет умеет по http, умеет через .net kvm, умеет по собственному протоколу.. Ну а спёрмикра только по сраной самбе..
edo1h
08.07.2022 16:55Плюс ipmi супермикры в том что они гораздо раньше чем хулет догадались что для ikvm не нужна жаба, достаточно html5 viewer
брать образ супермикры умеют только с самбыне только.
в java-приложении можно использовать локальный файл. в html5 теоретически тоже можно, но нужна отдельная лицензия.ну а для локальных серверов я обычно пользуюсь pxe-загрузкой
13werwolf13
08.07.2022 17:00Ну да, у всех админов же на компе по копии всех необходимых для работы образов, а про то что сервера чаще всего не рядом и даже часто не на том же континенте я вообще молчу..
edo1h
08.07.2022 17:10+1Ну да, у всех админов же на компе по копии всех необходимых для работы образов
у админов есть интернет обычно, а в интернете эти самые образы обычно присутствуют )
про то что сервера чаще всего не рядом и даже часто не на том же континенте я вообще молчу
монтировал локальный iso на сервер в европейском датацентре, сетап прошёл успешно (хоть и небыстро).
я не спорю, что иметь дополнительную возможность грузиться с http-образа неплохо, но и без этого жить можно.
13werwolf13
08.07.2022 17:18Ну если так рассуждать то жить можно и вообще без ipmi. Некоторые ip kvm позволяют подоткнуть не один десяток серверов, умулировать из образа и флешку и оптический привод, и требуют один ip а не пачку. Стоят только как говорящий слоник, и юнит занимают (а то и два).
EntityFX
08.07.2022 11:23+3Кстати, по поводу бенчмарков Geekbench 5, я сделал тесты почти всех моделей Эльбрусов:
Результаты в моём профиле: EntityFX's Profile - Geekbench Browser
Ну и есть у меня несколько статей по тестам Эльбрусов.
P.S. тут Эльбрус 16 ядерный (32 ядра показывает, потому что я подменил /proc/cpuinfo иначе падал Geekbench 5).
webhamster
08.07.2022 19:47Строки с одинаковыми процами - это замеры на разных экземплярах одной и той же модели проца?
webhamster
08.07.2022 15:41Были бы вы заинтересованы в сервере на «Эльбрусах»?
И где вариант "Да"?
Но вообще задрали уже тестировать RTC и Lintel вместо родного кода. И делать на основе этого какие-то выводы.
Режим бинарной трансляции - это заглушка для критического кода, который авторы не портировали на E2K. Но никак не для построения современных информационных систем. А специалисты Selectel почему-то берут эту примочку и на ней пытаются построить информационную систему. Зачем?
devzona
10.07.2022 05:16Так весь смысл в том, что спецы в Selectel правильно делают. Они взяли железку, есть запрос на серверное ПО, http-серверы, базы данных, java, и т.д. Все из этого практически ничего не портированно под E2K. Но часть работает в режиме трансляции, поэтому они и берут что есть. Смотрят результаты, а они мягко говоря, не впечатляют. Когда весь необходимый софт для хостинга будет портирован под E2K, вот тогда и будет разговор. А пока я вижу уж очень сырой продукт в виде Эльбруса, который ни на что не годится.
Железо недопиленно, софт только самый базовый, аппаратной виртуализации нет, docker отсутствует, java не работает, dotNET тоже не работает. Спрашивается, ну и зачем нужен этот кусок не пойми чего за мегабабло? Потратили овердофига народных денег, а результат нулевой.
edo1h
10.07.2022 05:34Они взяли железку, есть запрос на серверное ПО, http-серверы, базы данных, java, и т.д. Все из этого практически ничего не портированно под E2K.
всё перечисленное вами портировано же
https://www.altlinux.org/%D0%AD%D0%BB%D1%8C%D0%B1%D1%80%D1%83%D1%81/%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80
https://habr.com/ru/company/icl_services/blog/534296/ЕМНИП из серьёзного остался только golang, это целый пласт инфраструктуры (k8s, prometheus, docker, grafana,…).
devzona
10.07.2022 15:09Docker отсутствует. Производительность ниже плинтуса, толк с Эльбруса при такой производительности, нулевой.
Эльбрус существует только за счет госдотаций. Как только халявные деньги от государства иссякнут, все позабудут что был вообще такой процессор.
Alex500IS
08.07.2022 18:23Наши процессоры не так уже и плохие, и сервера на их базе. Сравнивать с другими процессора не корректно ввиду того что это наш "первый" продукт такого плана, в котором будет обязательно масса недочетов и шероховатостей, это не избежно. Ну и то что это по факту отставание на 5 лет в производительности так же не столь критично, не все и сейчас используют самые новейшие разработки, да и не видна ощутимая разница, только энергопотребление ниже и прочая не столь существенная ерунда, а добавить еще десяток другой ядер это не новое поколение ... Когда начнется фидбэк от покупателей с пожелания и рекомендациями толковыми тогда начнется более быстрое развитие. А самое важное что бы полный цикл производства был у нас в стране, а не кусочками
cepera_ang
08.07.2022 18:38+2За свои деньги вы тоже покупаете только наши продукты, независимо от качества?
только энергопотребление ниже и прочая не столь существенная ерунда
Действительно, какая разница если датацентр будет потреблять 10МВт и обслуживать миллионы пользователей, или 100МВт и обслуживать сотни тысяч пользователей.
А самое важное что бы полный цикл производства был у нас в стране, а не кусочками
Казалось бы, причём тут тогда Эльбрус?
StaceZ
08.07.2022 21:49+2У меня есть предложение: надо сначала давать таким ребятам на тестирование, для примера, IBM POWER AC922 - https://www.ibm.com/products/power-systems-ac922, а когда они напишут разгромный обзор про то, что эти железки в принципе не подходят для ЦОДов (а там даже бинарного транслятора нет), говорить, что именно на них построен Summit, который "являлся самым высокопроизводительным компьютером в период с июня 2018 года по июнь 2020 года в открытом рейтинге суперкомпьютеров Top500" - https://ru.wikipedia.org/wiki/Summit_(суперкомпьютер)
Зато почитаем рассуждения о том, что "Возможно, компания IBM еще сможет нагнать конкурентов." ;)))
edo1h
09.07.2022 14:27Зато почитаем рассуждения о том, что "Возможно, компания IBM еще сможет нагнать конкурентов." ;)))
а что, Вы считаете, произойдёт разворот и доля серверов с power начнёт увеличиваться?
сегодня эта архитектура выглядит столь же тупиковой, как и эльбрус, но совершенно по другим причинам: дорого, закрыто (да, было что-то про openpower, но «не взлетело»).
oller
Прикол в том что 5950x в 5 раз быстрее в многопотоке и в 1,5 раза быстрее в однопотоке чем 2400G и это за 47000р на текущее число (цена не оптовая и у проверенных поставщиков)
В общем без развития эльбрусы займут нишу калькуляторов, не о каких базах данных, машинном обучении и чем-то современно речи идти не может, только если формально.
vkni
Это если продают. А ведь конец глобализации только начинается.
Если придётся всерьёз пересаживаться на Эльбрусы, у программистов появится много очень интересных задач. Всё-таки, выжать десяток в производительности типичной программы не всегда можно, но обычно удаётся.
Так что тут для некоторых есть и хорошие новости. :-)
SergeyMax
Глобализация кое-для-кого уже давно закончилась, Куба не даст соврать.
Xambey97
Эльбрусы очень неплохи в расчетах криптографии, если проц. оптимизирован под такие задачи, в чем в принципе и фишка эльбрусов в сравнение с конкурентами. Государственная система изготовления, оформления и контроля паспортно-визовых документов (ПВДНП), которая с 17 года контролирует выдачу и контроль всех биометрических паспортов в рф, работает как раз на эльбрусах (первый ЦОД из них в стране) и очень неплохо с этим справляется, они действительно хорошо обрабатывают криптографические алгоритмы по гостам. У меня коллега работает в этом ЦОДе, вроде как ничего так, нормально все работает с его слов. Производитель охотно идет на поддержку, консультирование и допил фич на заказ
unwrecker
Пример неудачный. Криптографии там почти нет. Чип записывается в Гознаке, а считавается при выдаче в паспортных столах. В Гознаке вроде бы не Эльбрусы, а в паспортных столах количество криптографических рассчётов соответствует количеству выданных паспоров - нагрузка смешная.
Xambey97
Не буду спорить, не знаю точно, может вы и правы, но как мне рассказывали, они вроде как там почти только и занимаются, что криптографией и железо под это дело оптимизировано. Для чего-то другого это очень неудачное решение было бы, эльбрусам в большинстве задач с современным на тот момент железом было не тягаться даже близко, а тогда все же планировалось, что в конце концов всех граждан на эти новые паспорта переведут и нагрузка будет активно расти.
DrPass
Как оно оптимизировано для криптографии, вы можете увидеть прямо в статье — в тесте на AES отставание Эльбруса у начального Зеона восьмилетней давности почти девятикратное. Вот у Зеона как раз аппаратная поддержка есть.
Pinkbyte
Ну так речь видимо про посконную, гостовую криптографию. А "вражеский" AES никто ускорять не собирается...