В последнее время мы начали намного активнее смотреть по сторонам в поиске альтернатив железу. К нам на знакомство попали малоизвестные серверы с китайским лейблом Gooxi. Расскажем о проблемах, решаемых даунгрейдом BIOS, логах на китайском языке и как сделать так, чтобы заработало.

Кто такие Gooxi? Первое знакомство

У Gooxi широкая линейка решений. Есть как стандартные rack-серверы, так и компактные ноды, серверы высокой плотности, серверы хранения и т. д. Нам на тест достались четыре стандартных сервера, немного различающиеся по конфигурации. Три rack-сервера формата 1U и один сервер формата 2U. Комплектации их практически ничем не отличаются от комплектаций привычных нам брендов. Материнские платы, похоже, собственного производства. Особенностью обладал 2U-сервер — в его задней части корпуса можно смонтировать до двух корзин для дополнительных 2,5” дисков.

Мы протестировали данные четырех хостов с минимальными различиями: в одном — чуть больше памяти, в другом вместо двухпортовой сетевой платы — четырёхпортовая, в третьем, помимо HDD, стоят еще SSD. Разное исполнение дисковых корзин на «морде» — под 2,5” или 3,5” диски. В двухюнитовом были установлены более мощные процессоры. Очевидное отличие 2U-сервера только в том, что в него можно физически вставить больше плат расширения и дисков.

Ниже — конфигурация одного из хостов для обзора:

Gooxi SL101-D04R-V1_0 p/n 80100311:

  • Процессор: Intel Xeon 4214R*2

  • Память: 16GB DDR4 2933 REG*2 PowerEdge R640

  • HDD: 960G 2.5 6G SATA R SSD*2 (Micron)/ 4T 3.5 6Gb SATA HDD*2 (Toshiba)

  • SAS контроллер: Avago Mega Raid 2GB SAS 12Gb 8-Port RAID Card

  • Сеть: Onboard Dual-port 1GbE RJ45 Ethernet NIC/ OCP Dual-Port 10G SFP (10GBase-X SNR-G82599L-V.B-10G) (на чипсете Intel 82599) + NIC/10G SFP + MM Optical Transceiver*2/ Dual-Port 1G RJ45 PCIe NIC (на чипсете Intel I350)

  • БП: 800W Power Module*2

  • Рельсы: Track for Rackmount/150cm

  • Кабели: C13-C14 Power Cord*2

Тоска по документации и комьюнити

На сайте производителя документации нет. Как нет и базы драйверов и firmware. Чего ещё не нужно ждать от вендора, так это классической матрицы совместимости. Можно получить только общие характеристики в виде «частота такая-то», «память такая-то». Совместимость компонентов придётся проверять методом проб и ошибок.

Не стоит рассчитывать на помощь комьюнити, пытаясь решить какую-то проблему с Gooxi. Когда ищешь в интернете свой запрос по проблемам, вместо вариантов решения выпадают объявления с Alibaba. Что ж, остаётся идти к вендору. Но зато получаешь информацию из первых рук — вендор показал себя отзывчивым.

Производитель по запросу предоставляет описание технических характеристик и условий эксплуатации оборудования (включая точные размеры, вес и т. п.), комплект технической документации (руководства по установке, и первоначальной настройке). А вот данные о жизненном цикле продукта (даты старта и конца продаж, даты старта и окончания фаз технической поддержки) получить не удалось. Как и матрицы совместимости с ПО и оборудованием разных производителей. Дополнительных средств, которые так облегчают планирование конфигурации (калькуляторы энергопотребления, калькуляторы ожидаемых параметров производительности) тоже нет.

Ставим в ЦОД

Монтаж никаких сюрпризов не преподнёс. В комплекте у Gooxi поставляются рельсы, которые сами защёлкиваются на стойке. Единственный нюанс — чтобы отрегулировать эти рельсы по длине, придётся ослабить две гайки и потом затянуть их уже по месту. До монтажа это не очевидно, а обнаруживается в процессе. На блоках питания есть средства фиксации кабеля с защитой от случайного отсоединения, что хорошо. Но вот кабельные рукава и прочие кабель менеджменты похоже отсутствуют как класс.

Для тестирования мы подключили в менеджмент-сеть и настроили только порты управления. Времени на знакомство с оборудованием отводилось немного, задача по стендированию не стояла, поэтому мы не стали коммутировать и настраивать сети передачи данных.

Менеджмент-порт iBMC по умолчанию настроен на получение адреса по DHCP. В нашем случае для настройки понадобилось подключить монитор и клавиатуру, чтобы через раздел в BIOS задать статические адреса портам управления и завести нового пользователя. По умолчанию стандартная учётная запись: admin с паролем admin.

На одном из серверов — двухюнитовом — при настройке порта управления столкнулись с проблемой: статический адрес не сохранялся при перезагрузке. Пришлось поднимать на ноутбуке локальный DHCP, чтобы получить доступ к консоли iBMC. Проблему решали пару дней с помощью вендора. Сначала производитель прислал другую версию прошивки для iBMC и утилиту для её установки. Не помогло. Спасла ситуацию только прошивка высланной предыдущей версии BIOS. Версия BIOS, которая стояла на сервере изначально, была более новой и сыроватой. А «обновление» оказалось «обновлением наоборот» — даунгрейдом. После этого адрес стал сохраняться корректно. Но тут случилась новая беда: порт управления пинговался только непосредственно с локального коммутатора или напрямую, хотя gateway в BIOS был прописан корректно. В итоге мы потратили время и нервы, а потом обнаружили через графический интерфейс, что в настройках сети был забит другой gateway! Поправили, и всё взлетело.

Впечатления от web-интерфейса

Общее впечатление от интерфейса управления: хм! неплохо! Работает шустро, функционал достаточный.

Рис. 1. Интерфейс управления
Рис. 1. Интерфейс управления

Что он умеет можно посмотреть в таблице ниже.

Таблица 1

Продолжаем тестирование

ОС встали на серверы без танцев с бубнами. Для теста использовались дистрибутивы AltServer 10.0, Zvirt 4.4, ESXi 7.0.3, Windows 2022. Правда, под Windows пришлось поискать драйверы для чипсета на сайте Intel. Мелочь, но всё же было бы приятнее найти готовые драйверы на сайте производителя. В остальном проблем не возникло.

Что по надёжности и производительности?

Стандартные тесты по доступности и отказоустойчивости, — выход из строя блока питания, горячая замена вентилятора, выход из строя диска из состава Raid группы на контроллере, — серверы прошли без проблем. (При горячей замене сбойных жёстких дисков нужно совершить некоторые манипуляции в контроллере через утилиту в BIOS или же в ОС можно воспользоваться графической утилитой MegaRaid Storage Manager от LSI. А именно — зайти в контроллер, пометить нужный диск и запустить процедуру инициализации и затем ребилда массива. Например, если вы работаете с HPЕ, то привыкли, что, когда новый диск вставлен, ребилд начинается автоматически. Вероятно, в Gooxi диски заранее не прошиты под горячую замену. Мы провели прогоны с помощью утилит AIDA 6.33.5700, SiSoftwareSandra 2021 (табл. 5). Ну и сделали архивацию тестовых файлов, какие нашлись под рукой. Сжатие папки с файлами 194 Мб заняло 15 секунд, а файла AIDA64.exe 72 Мб — 7 сек.

Рис. 2. Тестовая конфигурация
Рис. 2. Тестовая конфигурация

Результаты тестов

Мы провели ряд тестов с помощью AIDA 64.

Этот тест замеряет эффективность основного ЦП и подсистемы оперативной памяти, применяя сжатие объёмов информации ZLib (рис. 3).

Рис. 3. Zlib
Рис. 3. Zlib

Тест рассчитывает продуктивность процессора на базе алгоритмов работы двухмерных изображений (рис. 4).

Рис. 4. PhotoWorxx
Рис. 4. PhotoWorxx

Оценка эффективности основного ЦП с применением шифровки по AES (методу зашифровки по узлам). AES применяется в программах: 7z, RAR, WinZip (рис. 5).

Рис. 5. AES
Рис. 5. AES

Этот тест дал нам оценку, каким способом происходит функционирование по предсказанию разветвлений основного ЦП и выполняется неверный прогноз ответвления. Делается выработка заключений для головоломки с восемью ферзями, находящимися на шахматной доске 10х10 (рис. 6).

Рис. 6. CPU Queen
Рис. 6. CPU Queen

Также мы провели тесты на скорость чтения из оперативной памяти с результатом 37800 МБ/c, и тест на скорость записи в оперативную память — 32398 МБ/c. Задержка памяти составила 70,7 ns.

Китайские логи

После тестов на надёжность захотелось взглянуть на IPMI-логи. Выгрузили их в файл. И что же вы думаете?! Частично они оказались на китайском (рис. 7)! Если загнать иероглифы в переводчик, то в принципе всё понятно. Но согласитесь, неудобны дополнительные телодвижения, особенно, если под рукой нет интернета. Пробовали для выгрузки логов использовать три разных браузера. У нас почему-то не взлетело. Возможно, дело в языковых параметрах системы, и если попробовать англоязычный дистрибутив ОС, то проблемы не будет.

Рис. 7. Пример выгруженных логов
Рис. 7. Пример выгруженных логов

Производитель заверил нас, что выгрузить логи на английском возможно. Но так как к этому моменту стенд уже был разобран, мы договорились, что вендор покажет нам это заочно из штаб-квартиры. Итоги напишем в комментариях или сделаем обновление поста.


Серверы Gooxi не являются альтернативой высокопроизводительным решениям. Для сложных высоконагруженных вычислений эти серверы не подойдут и не заменят какой-нибудь Superdome.

А вот с большинством стандартных задач, таких как виртуализация, веб-серверы, хранение данных, выданные нам на тест-драйв серверы вполне справятся и практически не уступают тем же американцам. Да, у них есть нюансы, но с ними можно жить, особенно, если знать о них заранее.

Александр Козлов, инженер-проектировщик «Инфосистемы Джет»

Комментарии (17)


  1. autuna
    12.05.2022 10:50
    +2

    Немного наивный вопрос - Gooxi скорее всего не сам платформы делает, а использует готовые от Quanta или Foxconn. С ODM не пытались связаться?


    1. JetHabr Автор
      12.05.2022 11:03

      Этот вопрос мы не выясняли. Наверняка, вы правы, и Gooxi использует готовые платформы. Нас в больше интересовал готовый продукт, как он работает, как поддерживается, а самое главное сейчас — можно ли его заказать) Наверняка на этой платформе есть и другие ТМ.


    1. SergeyMax
      12.05.2022 23:32

      По-моему раньше НАГ продавал серваки под маркой SNR, а внутри был этот гукси, так что вполне возможно, что гукси - это и есть ODM.


  1. edo1h
    12.05.2022 11:09

    Правда, под Windows пришлось поискать драйверы для чипсета на сайте Intel. Мелочь, но всё же было бы приятнее найти готовые драйверы на сайте производителя.

    эээ… кто-то на сервера ставит «готовые драйверы на сайте производителя» на чипсет intel?


    1. JetHabr Автор
      12.05.2022 11:55

      Кто-то пилит собственные сборки. В случае с Gooxi интересен сам факт, что на сайте производителя не было никаких. Пришлось искать.


    1. DaemonGloom
      12.05.2022 12:40
      +3

      А что не так? Те же HPE их вполне выкладывают. Например:
      https://support.hpe.com/hpesc/public/docDisplay?docId=a00118394en_us&docLocale=en_US


      1. edo1h
        13.05.2022 09:20

        да, выкладывают. но мой приоритет доверия:


        1. разработчик ОС;
        2. разработчик железа (чипсет, контроллер, etc);
        3. разработчик сервера (хотя сейчас зачастую не поймёшь, кто разработчик, а кто перепродавец).

        притом, если с hpe ещё могут быть какие-то сомнения, то в случае с производителями второго эшелона я без крайней на то нужды даже смотреть не буду что за драйвера они там у себя выложили.
        а этого китайца я пока даже вторым эшелоном считаю )


  1. inkvizitor68sl
    12.05.2022 13:39
    +2

    Общее впечатление от интерфейса управления: хм! неплохо!

    Это чей-то стандартный BMC, у асуса и гиги такие же сейчас.


    1. JetHabr Автор
      12.05.2022 14:15

      Верно, BMC это открытый стандарт. Каждый вендор его доделывает под себя, но формат одинаков.


      1. inkvizitor68sl
        12.05.2022 15:20
        +1

        Дело не в стандарте, дело в том, что это готовый модуль, который они просто впаяли - и в его состав входит в том числе и определённого вида вебморда, которая у вас на скрине.

        Стандарт стандартом, но у intel-а, супермикры и кванты вебморды другие, не говоря уже о более именитых производителях.


        1. edo1h
          12.05.2022 15:24

          да модуль-то наверняка aspeed, а вот прошивки различаются, да.


          1. inkvizitor68sl
            12.05.2022 15:30

            На вебморде, в общем, написано, что это American Trends, продукт называется MegaRAC (с различными приставками).


            1. edo1h
              12.05.2022 15:37

              оно и в опенсорсе есть:
              https://github.com/opencomputeproject/HWMgmt-MegaRAC-OpenEdition/tree/master/meta-aspeed


              думаю, там ast2600 стоит.


    1. edo1h
      12.05.2022 15:23

      у асуса

      точно, а я вспоминал где я такой видел.


    1. Herdan
      13.05.2022 10:16

      на российских гравитонах такой же интерфейс


  1. SchrodingersCat
    12.05.2022 17:54
    +1

    Есть два вопроса :)

    1. Как обстоят дела с поддержкой данных серверов. Каковы сроки, например, замены диска?

    2. Нет ли проблем с поставкой "железа" на Intel процессорах?


  1. screwer
    14.05.2022 07:22

    Забавно что древнючие Хасвеллы (рис.3) уделали современный зион, имея такое же число ядер. Не, я понимаю что у Хасвелла частота чуть выше. Но где же эти IPC, неистово растущие от поколения к поколению ?

    Второй момент - абсолютная производительность. Хасвелл 2660в3 даже нищие студенты не жалуют, потому что есть 2666, у которого частоты выше. И стоит (стоило?) оно копейки. Двухголовый сервак типа обозреваемого, и даже более производительный, можно было собрать менее чем за 30 тысяч срублей (без хдд, корпуса и БП, потому что они слишком вариативны, а на производительность не влияют никак).