Сегодня я расскажу, как мы обнаружили проблемы с производительностью на современном китайском оборудовании, которое можно встретить в ЦОДах крупных российских компаний.

Это печальная история о том, как 10 материнских плат Gooxi из Шеньчженьска оказались критически непригодными для использования в НЕ самых сложных задачах.

График ниже показывает с чем мы столкнулись. При использовании серверного решения Труконф обнаружили проблему: служба видеоконференцсвязи нагружала систему значительно сильнее, чем должна была.

В первую очередь подумали на процессор, но замена укомплектованного Xeon Gold 6336Y на Xeon 4316 не решила проблему с производительностью.

А вот замена материнской платы Gooxi на проверенную SuperMicro при тех же составляющих дала ощутимый рост. При работе на 10 ядрах — более чем в 2 раза.

Для чистоты эксперимента на SuperMicro были протестированы на комплектном Xeon Gold 6336Y и на Xeon 4316, результаты можете наблюдать сами.

Итак, разбираемся с тем, как серверная платформа Gooxi не справляется с Транскодированием видеопотоков.

Кто и что это?

Gooxi — китайский производитель серверного оборудования, в частности, нашего злополучного RACK-сервера. Это автономные системы AIO (All In One), в которых установлено всё необходимое – материнская плата, жесткий диск, блок питания. На официальном сайте производителя представлен широкий ассортимент: RACK, ноды, сервера хранений. Несмотря на широкий ассортимент, документации, к сожалению, не обнаружено.

Какое железо было приобретено?

В связи с высокой доступностью китайского оборудования, особенно в условиях санкций, выбор пал к готовому для установки в стойку сервера Gooxi SL101-D10R-G3. Но при работе с многопоточными задачами все преимущества данной платформы исчезают. О чём и пойдёт речь дальше.

Характеристики Gooxi SL101-D10R-G3:
ОС: Astra Linux 1.8
Процессор: 2 x Intel Xeon Gold 6336Y
ОЗУ: 16*16 Gb DDR4 3200Mhz

Сервер видеоконференцсвязи

Одна компания-интегратор подбирала железный сервер для развёртывания ВКС (это всего-навсего безобидная видеоконференцсвязь), выбор пал на TrueConf Server. Если коротко, то главное требование к хосту – тянуть не менее 100 параллельных групповых конференций, где будут участвовать порядка 1000 пользователей одновременно.

Далее цитирую своего коллегу из компании-интегратора, который занимался внедрением ВКС и впоследствии игрался с решением проблемы.

«Инженеры Труконф посчитали, что сверхмощный сервер не нужен, и указанный выше должен был легко справляться со своей задачей. Если конкретнее, нам пообещали что ожидаемая нагрузка на систему не будет превышать 50%. Но не всё получилось так весело и задорно. Казалось бы, в отличии от большого количества нишевых китайских производителей, Gooxi использует современные компоненты, и какие могут быть проблемы… Ох, как же я ошибался… »

Подводные камни

После установки и настройки ПО Труконф, настало время тестировать это добро. Стандартное тестирование — конференция с большим количеством абонентов, где стали проявляться проблемы с изображениями участников. При подключении SIP-терминалов проблема усугубилась. В 3 параллельных конференциях с участием SIP-терминалов мы не смогли получить ожидаемое качество изображения, а именно FullHD при 30 FPS.

Как итог: деградация (рассыпание на пиксели) картинки на стороне SIP-терминалов. Мониторинг системы показал аномально низкую производительность работы с ОЗУ.

Причем, что самое интересное, подобный сценарий не вызывает проблем с производительностью у значительно менее мощных систем. Решил, что возможно проблема в конкретном процессоре Xeon 6336Y. Заменили камень на другой — Xeon 4316, который стабильно работает на другой сборке. Ничего не изменилось. Следующий подозреваемый — комплектная ОЗУ. Её замена также не оказала никакого влияния на производительность.

Оставалось проверить материнку путём замены на проверенную Supermicro X12DPI-NT6.

Кропотливый поиск проблемы

После многочисленных тестов, оценки производительности и сравнений мы подключили инженеров Труконф, которые помогли диагностировать проблему.

А вызвана она была двумя ключевыми факторами:

1. Аномально низкая производительность серверной платформы Gooxi при работе с ОЗУ. После выявления узкого горлышка в производительности разработчиками ВКС было подготовлено специализированное тестовое ПО, которое максимально точно эмулировало нагрузку на ОЗУ при операциях кодирования, декодирования и ресемплинга, и позволяло определять и фиксировать скорость работы с ОЗУ.

Т. к. после установки процессора Intel Xeon Gold 6336Y на серверную платформу Supermicro проблем не наблюдалось, то были собраны сравнительные результаты замеров производительности:

1.1. Первый тест на скорость копирования данных из ОЗУ: произведен первый замер скорости в той комплектации ОЗУ, в которой она была получена от Gooxi. На графике обозначена бордовым цветом. Скорость копирования при работе на 2 и более потоках не превышает 5000 Мбайт/сек.

1.2. Второй тест на скорость копирования данных из ОЗУ: были заполнены все доступные слоты ОЗУ для работы в 8-канальном режиме и произведен замер скорости копирования данных в/из ОЗУ — скорость возросла более чем в 4 раза. На графике обозначено голубым цветом.

1.3 Третий тест на скорость копирования данных из/в ОЗУ: ЦП был извлечен из серверной платформы Gooxi и установлен в Supermicro с идентичным количеством слотов и планками для ОЗУ — работа в 8-канальном режиме. Произведен третий замер скорости копирования данных в/из ОЗУ — скорость возросла в 23 раза. На графике обозначена серым цветом.

Дополнительно в рамках исследования проблемы были произведены сравнительные замеры для иного процессора — Intel Xeon Silver 4316 при работе на серверной платформе Gooxi и Supermicro.

Производительность на серверной платформе Supermicro выросла более чем в 4 раза.

C целью дать максимально объективную оценку производительности работы ЦП на платформе Gooxi, был произведен замер скорости работы с ОЗУ с помощью AIDA64 6.88.6400. По результатам тестирования, скорость работы ЦП с ОЗУ находится на уровне 16-поточного Atom C3958 c базовой тактовой частотой 2.0 ГГц.

После перевода памяти в 8-канальный режим работы производительность ОЗУ выросла до 85725 Мбайт/сек согласно AIDA.
Для сравнения: Intel Xeon Silver 4316 в с ОЗУ в 8-канальном режиме работы на серверной платформе Supermicro показал 262980 Мбайт/сек по AIDA.

2. Работа ОЗУ. Проблема усугублялась тем, что Gooxi содержала ОЗУ не на всех доступных 8 каналах. Изначально низкая производительность памяти ухудшилась из-за того, что производитель не попытался замаскировать проблему загрузкой всех каналов. Как уже было указано в пункте 1.1.2 — переход от 2-канального к 8-канальному режиму повышает производительность более чем в 4 раза.

Что там с конференциями?

После решения проблемы с памятью путём замены материнки на «проверенную» Supermicro, была замерена нагрузка на систему в реальном использовании.

Отдаём нашу машинку пользователям на растерзание в свободное использование, в свою очередь отслеживаем нагрузку на сервер в течение недели. В один из рабочих дней все решили разово провести свои планёрки и прочие рабочие созвоны, тем самым устроив стресс-тест нашему хосту. Но оптимизация TrueConf Server не подкачала, во время пиковой нагрузки на сервере вертелось 90 конференций, в которых участвовало 850 пользователей, 15 из них использовали SIP-терминалы. Ниже на скриншоте представлен график нагрузки ЦПУ из панели управления ВКС-сервера. На графике заметно, что с 14:00 до 14:30 была зафиксирована максимальная нагрузка в 47%.

Несмотря на внушительные (по мерками видеоконференцсвязи) нагрузки, наша машинка справляется, и даже остаётся внушительный запас производительности.

Заключение

Поизучав информацию в открытых источниках, увидел, что отзывы о Gooxi не самые радужные, часто возникают вопросы к качеству исполнения хостов, в частности, проблемы при инсталляции в стойку. А также в исполнении присутствует шлейф старого доброго «китая».

В нашем случае обидно, что цена ошибки — это целых 10 серверов, именно столько их было заказано. Если же вам всё-таки не хочется таких приключений с серверной инфраструктурой, закажите и протестируйте для начала хотя бы 1-2 экземпляра.

P. S. Отдельное спасибо технической поддержке Труконф, которая сопровождала и помогала определить не самую очевидную проблему работы хоста.

P. S. S. Представители Gooxi заявили что это проблема в прошивке BIOS, и они уже занимаются решением этим проблемы. Здорово, но это не отменяет фактического брака в виде отсутствия заявленной производительности системы.