В предыдущей статье об отечественных производителях серверного оборудования я попытался раскрыть особенности всего цикла производства и сборки серверов. Результаты прошлого голосования показали, что Вы больше доверяете продукции A-брендов. Но, как известно, мало кто производит комплектующие самостоятельно — для этого есть уже проверенные мировые производители. А одним из основных отличий A-брендов, помимо сервиса, является разработка уникального дизайна корпуса, системной платы, дискретных контроллеров, написание собственного BIOS и FW.
В одном из проектов компании STSS по поставке серверного оборудования, я столкнулся с серверной платформой, спроектированной у нас, в России.
Эту статью я хочу посвятить как раз этой отечественной разработке от компании «Т-Платформы».
Серверная платформа E-Class основана на передовой системной плате V210 под процессоры Intel Xeon E5-2600V3.
Она разработана в России с перспективой переноса производства электронных плат на территорию РФ. Системная плата обеспечивает высокий уровень информационной безопасности благодаря возможности установки модулей доверенной загрузки в форм-факторе mPCIe, которые отвечают требованиям ФСТЭК и ФСБ для защиты информации, составляющей коммерческую или государственную тайну.


Состав платформы


Платформа включает разработанную в России материнскую плату TP V210 и корпус производства Chenbro с двойным блоком питания 800Вт или 1200Вт, изготовленный по уникальному дизайну специально для «Т-Платформы».

Начнём с корпуса


В качестве основы использовался корпус RM23612 производства братьев Чен. Но узнаваем он только по лицевой панели. Корпус «Т-Платформы» глубже на 195мм и имеет широкие возможности модернизации и оптимизации.



Внутренние изменения, от вентиляторной перегородки до задней панели, включая последнюю, весьма существенны. Корпус адаптирован под использование с системной платой V210: перенесён блок питания на противоположную сторону, задняя панель выполнена с возможностью использования 2-х райзер-карт, что позволяет использовать 2 слота PCI-E x16.
Кроме этого, внутри корпуса предусмотрено дополнительное место для установки 2-х дополнительных PCI-E-устройств, например — дискретного контроллера и графического сопроцессора, без возможности вывода на заднюю панель. Таким образом мы получаем 2U-платформу с возможностью установки 4-х полнопрофильных плат расширения.

Варианты реализации платформ E-Class можно увидеть в официальной презентации. Там представлены различные комбинации riser-карт, задних панелей и дополнительных бэкплейнов под корзины с горячей заменой дисков.

А в остальном — всё как у исходного корпуса: передний бэкплейн на 12 SAS/SATA-дисков 3,5"/2,5" с возможностью горячей замены, причём корзины уже адаптированы под использование 2,5"-дисков без дополнительных салазок (на видео видно). Поддержка 4-х высокоскоростных 80мм-вентиляторов, с возможностью горячей замены. Если 4-й вентилятор не устанавливается, то предусмотрена заглушка для оптимизации воздушного потока.

Ускоренная в 10 раз запись сборки сервера на базе E-Class


Системная плата


Материнская плата, как уже говорилось, разработана в России. Для детального ознакомления с дизайном, функциональной диаграммой и техническими характеристиками, лучше воспользоваться официальным документом.



Из основных особенностей можно отметить наличие 4-х PCI-E x16, которые становятся полезными благодаря оптимизации корпуса. На плате есть разъем под microSD-карты памяти. IPMI идёт опционально, и в моём случае, к сожалению, отсутствовал.
Удивило планирование SATA-портов. Т.к. системная плата универсальна и предназначена для использования в различных корпусах, на передней части платы зачем-то распаяны 2 SATA-разъема. При этом остальные SATA-порты реализованы в виде 2-х Mini-SAS, для удобства коммутации с бэкплейном.
Так вот эти 2 передних SATA-порта имеют нумерацию №0 и №1. Соответственно порты SATA в Mini-SAS форм-факторе начинают нумероваться с №2 и так далее. Выяснился глюк нумерации при подключении дисков через бэкплейн с использованием Mini-SAS интегрированного контроллера. Контроллер нумерует диски начиная с №2, а бэкплейн — с №0. В результате этого сдвига нумерации, когда драйвер пытается сигнализировать об опасности, он отправляет на бэкплейн номер своего порта, например №2. А бэкплейн воспринимает этот номер, как номер своего порта и мигает лампочкой корзины, в которую установлен диск с номером 4 по нумерации контроллера.
«Т-Платформы» обещали разобраться в этом вопросе и в новой версии BIOS избавиться от ошибки нумерации.

Сравнительные тесты


Для того, чтобы оценить этот отечественный продукт, я провёл небольшие сравнительные тесты двух идентичных конфигураций: Т-Платформы и Supermicro.

Конфигурация сервера E-Class


Платформа E-Class на базе V210
2 х Intel Xeon E5-2620V3
32ГБ DDR-4 PC4-17000 ECC Registered
SSD Intel S3500 series 120GB

Конфигурация сервера Supermicro


Платформа Supermicro на базе X10DRi
2 х Intel Xeon E5-2620V3
32ГБ DDR-4 PC4-17000 ECC Registered
SSD Intel S3500 series 120GB

Тестирование SiSoftware Sandra


Обе системы получились максимально идентичны. Поэтому у меня вызвало интерес, как себя поведут обе конфигурации при нагрузочных тестах Sandra.

Суммарный индекс производительности

Сравнение производительности процессоров



Сравнение производительности памяти


Сравнение производительности диска




Тестирование PassMark PerformanceTest


Результаты этого бенчмарка показали более сильное различие в производительности системы.

Суммарный индекс производительности

Сравнение производительности процессоров




Сравнение производительности памяти


Сравнение производительности диска



Оценка результатов


Тесты проводились каждый по 10 раз, в таблице представлены средние результаты. Были прогоны, когда Т-Платформы существенно опережали Supermicro по производительности, а были и обратные случаи.
Но средний итог показывает следующее:
Производительность процессоров практически одинаковая — были перекосы и в одну и в другую сторону, но крайне незначительные.

Результаты по памяти отличаются: пропускная способность у E-Class оказалась чуть выше чем у Supermicro, но время отклика больше почти на 5 наносекунд. Это вызвано тем, что «Т-Платформы» пожертвовали этим параметром для повышения стабильности работы системы.


Тесты работы SATA-контроллера тоже показали противоречивые результаты: платформа E-Class при последовательном чтении уступила Supermicro, но при этом отыграла на IOPs и последовательной записи.

О чём всё это может нам говорить? Да о том, что наши разработчики создали системную плату последнего поколения, которая конкурирует с бестселлером массового сегмента! При этом, вся конструкторская документация выполнена на русском языке по российским стандартам проектирования. По последним данным, производство материнских плат уже переносится в Россию.

Для тех, кто не смотрел официальную презентацию платформы, под спойлер выкладываю подборку вариантов реализации.
Модели различных конфигураций платформы E-Class







Ну и напоследок. Руководство по эксплуатации написано на русском языке и содержит 250 страниц!
Вы согласны со мной, что этот отечественный продукт способен вызывать гордость за российских разработчиков?

Проголосовало 266 человек. Воздержалось 64 человека.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Комментарии (14)


  1. Usikoff
    21.12.2015 15:45
    +1

    Забыл добавить. Сервер на базе «Т-Платформы» остался у нас в демо-зоне. Если кому-то интересно посмотреть его в живую — это возможно сделать у нас на Бережковской набережной.


  1. d7s2di
    21.12.2015 17:26
    +1

    Результаты тестирования видятся некорректными.

    Вот взять, к примеру, производительность дисковой системы:
    — какой размер блока?
    — прямой доступ к устройству или через «прокладку» файловой системы?
    — сколько времени занимал тест: успевали за это время забиться дисковые кэши?
    — latency не обозначены

    Очень не радуют такие обзоры, где тестирование производится без понимания предмета: нельзя просто взять пимпочкотыкательную программульку, рисующую пару графиков без понимания, что и как она рисует, и сделать какие-то выводы.

    Почему результаты «гуляли» в разные стороны? Да потому, что методика тестирования оставляет желать лучшего.


    1. Usikoff
      21.12.2015 17:37

      Согласен с Вами, что для получения конкретных данных необходимо использовать серьёзную методику тестирования. Но моя задача была не получить цифры производительности, а получить средние «попугаи» в одинаковых условиях и сравнить их между собой. Поэтому и взял «пимпочкотыкательную программульку». Интерес вызывала разница между двумя платформами, а не конкретные данные.
      Если кому-то интересно получить реальные показатели при конкретных условиях (размер блока, глубина запроса и пр.) — я могу прогнать тесты целенаправлено для получения именно этих данных.


    1. ULP
      22.12.2015 13:38
      +2

      все серверные матери на Интеловских чипсетах одинаковы как близнецы-братья (за исключением может быть брендовых матерей — ibm/hp/dell). Биос одинаковый, AMI. Код IPMI одинаковый — AMI. рефдизайн матери — одинаковый. дрова в ОС одинаковые. так что разницы не будет, все одинаково.
      Ребята тестят мать, а не дисковую подсистему дисковой полки или редкий рэйд-контроллер.


  1. d7s2di
    21.12.2015 18:45

    Дык и смысл в этих «попугаях», если это даже не «средняя температура по больнице»?

    Тут, опять на примере дисков: вот есть у вас пара серверов с равным количеством оперативной памяти, одинаковым количеством одинаковых дисков, но разными контроллерами и, пусть будет, 2.0 и 3.0 шиной. Попугайная абы-как тестилка использует средства операционки для обращения к дискам, попросту кладет на файловую систему какое-то количество файлов, пишет, читает. Время теста, скажем 5 минут. Какой объем данных оно за эти 5 минут запишет? И получим мы примерно одинаковые результаты потому, что «протестили», фактически дисковые кэши, лежащие в оперативке. А может и нет. Мы-то не знаем, что оно там делало: с тем же успехом можно было от балды нарисовать, исходя из аппаратных характеристик.

    Потестить, ну например, имело бы смысл характерный для баз данных сценарий: блок 8КБ, 100% случайный доступ, 70/30 r/w, с прямым доступом к устройству и нарастающим количеством потоков. Там вот наглядно заметны узкие места. Рекомендую для этих дел использовать iometer, fio или sqlio микросовтовский. В общем-то, собирал под это дело мини-дистрибутивчик. А для комплексного тестирования есть такая штука, как phoronix. Думаю, в ближайшее время напишу на эту тему статейку.

    Как-то так.


    1. Usikoff
      22.12.2015 10:35
      +1

      Вы правы, но для баз данных используют дискретные контроллеры и RAID-массивы. Я же тестировал интеловский интегрированный контроллер. Тест должен был показать отличия в одинаковых условиях — и не принципиально важно в каких. Наборы микросхем у них одинаковые. Отличие результатов 2-х платформ — это следствие различий разводки, базовых настроек, и схемы материнок в целом. Поэтому я и выбрал распространенный попугайный тест.
      PS: а статью пишите — интересно будет прочесть.


      1. d7s2di
        22.12.2015 11:28

        Гм. А кто-то, кроме админов локалхоста, вообще использует встроенное sata нечто? Подозреваю, что оно еще и softraid со всеми вытекающими.


        1. Usikoff
          22.12.2015 11:42
          +1

          Дык я о том же! SATA-тест был лишь частью попугайного бенчмарка. Стояла задача проверить насколько грамотно наши разработчики спроектировали разводку системной платы. Компоненты те же, что и везде, а вот как они расположены, как настроены, как рассчитаны расстояния и всяческие неведомые мне задержки и помехи — это и есть результат работы «Т-Платформы».
          Результаты тестов 2-х платформ отличаются, но они стабильны при всех 10 прогонах. И это при идентичных процах, памяти, дисках и наборах микросхем. Из этого я сделал вывод, что спроектированная плата — продукт конкурентоспособный, и может являться аналогом представителей массового сегмента. Детальные тесты с реальными цифрами для этого не нужны ИМХО.
          Если я не прав — поправьте меня.
          PS: если бы стояла задача протестировать досконально всё — я бы не ограничился этими тестами. Я проверил бы производительность всех PCI-E, сетевых контроллеров и пр…


      1. d7s2di
        22.12.2015 11:47

        А так, если не базы данных, окей: сценарии бывают разные blogs.msdn.com/b/tvoellm/archive/2009/05/07/useful-io-profiles-for-simulating-various-workloads.aspx

        Либо, если говорить о каком-то тестировании, стоило прогнать хотя бы тот же iozone — это будет всяко информативнее всех этих поделкок для «компьютеров для учебы».

        То же самое по процессорам на конкректных задачах: lzma компрессия в один и несколько потоков, кодирование видео, например, средствами ffmpeg, компиляция чего-нибудь тяжелого… А вся эта непонятно что делающая синтетика, ну вы понимаете.


  1. ULP
    22.12.2015 13:41
    +1

    два SATA разъема спереди матери — для использования этой матери в V-класс, там корзина на 10 матерей с 2 не-хотсвапными 2,5" дисками на самом лезвии. Сама мать унитарная для V и E класса.


  1. pepelac
    22.12.2015 16:05
    -1

    Где заземляющий браслет у сборщика?


    1. Usikoff
      30.12.2015 07:38

      А Вы сами знаете для чего он нужен?


  1. unwrecker
    22.12.2015 16:18
    -1

    То есть серийный корпус дорабатывается напильником? Выходит, что партия мала настолько что заказ собственных корпусов необоснован.


    1. ULP
      22.12.2015 16:26
      +2

      он и заказан — мать длинее самой длинной ee-atx на 20 сантиметров почти. Поэтому китайцы и удлинили корпус, оставив все остальное на своих местах. Обратите внимание на расположение блока питания и на платку слева от матери на фотки. Это никак не серийный корпус — OEM заказ на несколько тысяч штук.