В одном из проектов компании STSS по поставке серверного оборудования, я столкнулся с серверной платформой, спроектированной у нас, в России.
Эту статью я хочу посвятить как раз этой отечественной разработке от компании «Т-Платформы».
Серверная платформа E-Class основана на передовой системной плате V210 под процессоры Intel Xeon E5-2600V3.
Она разработана в России с перспективой переноса производства электронных плат на территорию РФ. Системная плата обеспечивает высокий уровень информационной безопасности благодаря возможности установки модулей доверенной загрузки в форм-факторе mPCIe, которые отвечают требованиям ФСТЭК и ФСБ для защиты информации, составляющей коммерческую или государственную тайну.
Состав платформы
Платформа включает разработанную в России материнскую плату TP V210 и корпус производства Chenbro с двойным блоком питания 800Вт или 1200Вт, изготовленный по уникальному дизайну специально для «Т-Платформы».
Начнём с корпуса
В качестве основы использовался корпус RM23612 производства братьев Чен. Но узнаваем он только по лицевой панели. Корпус «Т-Платформы» глубже на 195мм и имеет широкие возможности модернизации и оптимизации.
Внутренние изменения, от вентиляторной перегородки до задней панели, включая последнюю, весьма существенны. Корпус адаптирован под использование с системной платой V210: перенесён блок питания на противоположную сторону, задняя панель выполнена с возможностью использования 2-х райзер-карт, что позволяет использовать 2 слота PCI-E x16.
Кроме этого, внутри корпуса предусмотрено дополнительное место для установки 2-х дополнительных PCI-E-устройств, например — дискретного контроллера и графического сопроцессора, без возможности вывода на заднюю панель. Таким образом мы получаем 2U-платформу с возможностью установки 4-х полнопрофильных плат расширения.
Варианты реализации платформ E-Class можно увидеть в официальной презентации. Там представлены различные комбинации riser-карт, задних панелей и дополнительных бэкплейнов под корзины с горячей заменой дисков.
А в остальном — всё как у исходного корпуса: передний бэкплейн на 12 SAS/SATA-дисков 3,5"/2,5" с возможностью горячей замены, причём корзины уже адаптированы под использование 2,5"-дисков без дополнительных салазок (на видео видно). Поддержка 4-х высокоскоростных 80мм-вентиляторов, с возможностью горячей замены. Если 4-й вентилятор не устанавливается, то предусмотрена заглушка для оптимизации воздушного потока.
Ускоренная в 10 раз запись сборки сервера на базе E-Class
Системная плата
Материнская плата, как уже говорилось, разработана в России. Для детального ознакомления с дизайном, функциональной диаграммой и техническими характеристиками, лучше воспользоваться официальным документом.
Из основных особенностей можно отметить наличие 4-х PCI-E x16, которые становятся полезными благодаря оптимизации корпуса. На плате есть разъем под microSD-карты памяти. IPMI идёт опционально, и в моём случае, к сожалению, отсутствовал.
Удивило планирование SATA-портов. Т.к. системная плата универсальна и предназначена для использования в различных корпусах, на передней части платы
Так вот эти 2 передних SATA-порта имеют нумерацию №0 и №1. Соответственно порты SATA в Mini-SAS форм-факторе начинают нумероваться с №2 и так далее. Выяснился глюк нумерации при подключении дисков через бэкплейн с использованием Mini-SAS интегрированного контроллера. Контроллер нумерует диски начиная с №2, а бэкплейн — с №0. В результате этого сдвига нумерации, когда драйвер пытается сигнализировать об опасности, он отправляет на бэкплейн номер своего порта, например №2. А бэкплейн воспринимает этот номер, как номер своего порта и мигает лампочкой корзины, в которую установлен диск с номером 4 по нумерации контроллера.
«Т-Платформы» обещали разобраться в этом вопросе и в новой версии BIOS избавиться от ошибки нумерации.
Сравнительные тесты
Для того, чтобы оценить этот отечественный продукт, я провёл небольшие сравнительные тесты двух идентичных конфигураций: Т-Платформы и Supermicro.
Конфигурация сервера E-Class
Платформа E-Class на базе V210
2 х Intel Xeon E5-2620V3
32ГБ DDR-4 PC4-17000 ECC Registered
SSD Intel S3500 series 120GB
Конфигурация сервера Supermicro
Платформа Supermicro на базе X10DRi
2 х Intel Xeon E5-2620V3
32ГБ DDR-4 PC4-17000 ECC Registered
SSD Intel S3500 series 120GB
Тестирование SiSoftware Sandra
Обе системы получились максимально идентичны. Поэтому у меня вызвало интерес, как себя поведут обе конфигурации при нагрузочных тестах Sandra.
Суммарный индекс производительности
Тестирование PassMark PerformanceTest
Результаты этого бенчмарка показали более сильное различие в производительности системы.
Суммарный индекс производительности
Оценка результатов
Тесты проводились каждый по 10 раз, в таблице представлены средние результаты. Были прогоны, когда Т-Платформы существенно опережали Supermicro по производительности, а были и обратные случаи.
Но средний итог показывает следующее:
Производительность процессоров практически одинаковая — были перекосы и в одну и в другую сторону, но крайне незначительные.
Результаты по памяти отличаются: пропускная способность у E-Class оказалась чуть выше чем у Supermicro, но время отклика больше почти на 5 наносекунд. Это вызвано тем, что «Т-Платформы» пожертвовали этим параметром для повышения стабильности работы системы.
Тесты работы SATA-контроллера тоже показали противоречивые результаты: платформа E-Class при последовательном чтении уступила Supermicro, но при этом отыграла на IOPs и последовательной записи.
О чём всё это может нам говорить? Да о том, что наши разработчики создали системную плату последнего поколения, которая конкурирует с бестселлером массового сегмента! При этом, вся конструкторская документация выполнена на русском языке по российским стандартам проектирования. По последним данным, производство материнских плат уже переносится в Россию.
Для тех, кто не смотрел официальную презентацию платформы, под спойлер выкладываю подборку вариантов реализации.
Ну и напоследок. Руководство по эксплуатации написано на русском языке и содержит 250 страниц!
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Комментарии (14)
d7s2di
21.12.2015 17:26+1Результаты тестирования видятся некорректными.
Вот взять, к примеру, производительность дисковой системы:
— какой размер блока?
— прямой доступ к устройству или через «прокладку» файловой системы?
— сколько времени занимал тест: успевали за это время забиться дисковые кэши?
— latency не обозначены
Очень не радуют такие обзоры, где тестирование производится без понимания предмета: нельзя просто взять пимпочкотыкательную программульку, рисующую пару графиков без понимания, что и как она рисует, и сделать какие-то выводы.
Почему результаты «гуляли» в разные стороны? Да потому, что методика тестирования оставляет желать лучшего.Usikoff
21.12.2015 17:37Согласен с Вами, что для получения конкретных данных необходимо использовать серьёзную методику тестирования. Но моя задача была не получить цифры производительности, а получить средние «попугаи» в одинаковых условиях и сравнить их между собой. Поэтому и взял «пимпочкотыкательную программульку». Интерес вызывала разница между двумя платформами, а не конкретные данные.
Если кому-то интересно получить реальные показатели при конкретных условиях (размер блока, глубина запроса и пр.) — я могу прогнать тесты целенаправлено для получения именно этих данных.
ULP
22.12.2015 13:38+2все серверные матери на Интеловских чипсетах одинаковы как близнецы-братья (за исключением может быть брендовых матерей — ibm/hp/dell). Биос одинаковый, AMI. Код IPMI одинаковый — AMI. рефдизайн матери — одинаковый. дрова в ОС одинаковые. так что разницы не будет, все одинаково.
Ребята тестят мать, а не дисковую подсистему дисковой полки или редкий рэйд-контроллер.
d7s2di
21.12.2015 18:45Дык и смысл в этих «попугаях», если это даже не «средняя температура по больнице»?
Тут, опять на примере дисков: вот есть у вас пара серверов с равным количеством оперативной памяти, одинаковым количеством одинаковых дисков, но разными контроллерами и, пусть будет, 2.0 и 3.0 шиной. Попугайная абы-как тестилка использует средства операционки для обращения к дискам, попросту кладет на файловую систему какое-то количество файлов, пишет, читает. Время теста, скажем 5 минут. Какой объем данных оно за эти 5 минут запишет? И получим мы примерно одинаковые результаты потому, что «протестили», фактически дисковые кэши, лежащие в оперативке. А может и нет. Мы-то не знаем, что оно там делало: с тем же успехом можно было от балды нарисовать, исходя из аппаратных характеристик.
Потестить, ну например, имело бы смысл характерный для баз данных сценарий: блок 8КБ, 100% случайный доступ, 70/30 r/w, с прямым доступом к устройству и нарастающим количеством потоков. Там вот наглядно заметны узкие места. Рекомендую для этих дел использовать iometer, fio или sqlio микросовтовский. В общем-то, собирал под это дело мини-дистрибутивчик. А для комплексного тестирования есть такая штука, как phoronix. Думаю, в ближайшее время напишу на эту тему статейку.
Как-то так.Usikoff
22.12.2015 10:35+1Вы правы, но для баз данных используют дискретные контроллеры и RAID-массивы. Я же тестировал интеловский интегрированный контроллер. Тест должен был показать отличия в одинаковых условиях — и не принципиально важно в каких. Наборы микросхем у них одинаковые. Отличие результатов 2-х платформ — это следствие различий разводки, базовых настроек, и схемы материнок в целом. Поэтому я и выбрал распространенный попугайный тест.
PS: а статью пишите — интересно будет прочесть.d7s2di
22.12.2015 11:28Гм. А кто-то, кроме админов локалхоста, вообще использует встроенное sata нечто? Подозреваю, что оно еще и softraid со всеми вытекающими.
Usikoff
22.12.2015 11:42+1Дык я о том же! SATA-тест был лишь частью попугайного бенчмарка. Стояла задача проверить насколько грамотно наши разработчики спроектировали разводку системной платы. Компоненты те же, что и везде, а вот как они расположены, как настроены, как рассчитаны расстояния и всяческие неведомые мне задержки и помехи — это и есть результат работы «Т-Платформы».
Результаты тестов 2-х платформ отличаются, но они стабильны при всех 10 прогонах. И это при идентичных процах, памяти, дисках и наборах микросхем. Из этого я сделал вывод, что спроектированная плата — продукт конкурентоспособный, и может являться аналогом представителей массового сегмента. Детальные тесты с реальными цифрами для этого не нужны ИМХО.
Если я не прав — поправьте меня.
PS: если бы стояла задача протестировать досконально всё — я бы не ограничился этими тестами. Я проверил бы производительность всех PCI-E, сетевых контроллеров и пр…
d7s2di
22.12.2015 11:47А так, если не базы данных, окей: сценарии бывают разные blogs.msdn.com/b/tvoellm/archive/2009/05/07/useful-io-profiles-for-simulating-various-workloads.aspx
Либо, если говорить о каком-то тестировании, стоило прогнать хотя бы тот же iozone — это будет всяко информативнее всех этих поделкок для «компьютеров для учебы».
То же самое по процессорам на конкректных задачах: lzma компрессия в один и несколько потоков, кодирование видео, например, средствами ffmpeg, компиляция чего-нибудь тяжелого… А вся эта непонятно что делающая синтетика, ну вы понимаете.
ULP
22.12.2015 13:41+1два SATA разъема спереди матери — для использования этой матери в V-класс, там корзина на 10 матерей с 2 не-хотсвапными 2,5" дисками на самом лезвии. Сама мать унитарная для V и E класса.
unwrecker
22.12.2015 16:18-1То есть серийный корпус дорабатывается напильником? Выходит, что партия мала настолько что заказ собственных корпусов необоснован.
ULP
22.12.2015 16:26+2он и заказан — мать длинее самой длинной ee-atx на 20 сантиметров почти. Поэтому китайцы и удлинили корпус, оставив все остальное на своих местах. Обратите внимание на расположение блока питания и на платку слева от матери на фотки. Это никак не серийный корпус — OEM заказ на несколько тысяч штук.
Usikoff
Забыл добавить. Сервер на базе «Т-Платформы» остался у нас в демо-зоне. Если кому-то интересно посмотреть его в живую — это возможно сделать у нас на Бережковской набережной.