Согласно нашим наблюдениям, в последние годы в дополнение к традиционным бизнес-критичным задачам, работающим в окружениях Unix, всё большее количество приложений под управлением Linux и Windows входят в разряд критически важных для бизнеса наших заказчиков. Сторонние аналитики связывают эти изменения с рядом факторов, таких как изменение стиля IT, появление новых технологий – Cloud, Big Data, Mobility. Помимо этого не последнюю роль играет цена и большое количество приложений, написанных под системы x86.



При этом наблюдается неуклонный рост сегмента x86:


Отгрузки серверов x86 и non-x86 систем по данным IDC, 2014

Как результат, можно наблюдать зарождение нового сегмента рынка IT и все возрастающую потребность в системах mission critical x86, сочетающих в себе надежность и высокую доступность из мира Unix и стандартную архитектуру х86 (по данным аналитиков – 67% заказчиков требуют для своих бизнес-критичных задач уровень доступности 99.99% и выше).


67% организаций требуют уровень доступности своих бизнес приложений не ниже 99.99%, ITIC 2013

В 2011 году НР анонсировала проект Odyssey, который отражает стратегию развития вычислительных платформ для критически важных корпоративных приложений. Этот проект предусматривает расширение уже имеющегося и хорошо зарекомендовавшего себя набора решений этой категории, а также создание новой бизнес-критичной платформы на базе архитектуры х86.

Что с Itanium? Системы никуда не уходят, они востребованы нашими заказчиками, поэтому их развитие продолжается (подробнее о Superdome на Itanium).

В рамках проекта Odyssey НР переносит на архитектуру х86 часть своих технологий, интеллектуальную собственность и весь опыт, наработанный в течение десятилетий в области традиционных бизнес-критичных окружений HP-UX, OpenVMS и NonStop на базе Integrity, усиливая тем самым окружения Linux и Windows для решения критически важных задач наших пользователей. Это позволяет повысить производительность, масштабируемость, устойчивость к сбоям и общий уровень доступности в сравнении с современным рынком систем х86.

Результатом реализации проекта Odyssey явилась новая серверная платформа HP Superdome X, эта система предназначена для ресурсоемких критически важных нагрузок, но при этом спроектирована с использованием индустриально стандартной архитектуры х86. Одно из основных применений HP Superdome X – аналитические и транзакционные нагрузки. При этом заказчик получает высокую масштабируемость (до 16 процессоров в одной системе с 48 слотами памяти DIMM на каждом серверном блейде, до сих пор — это единственная система на рынке x86, обеспечивающая подобную масштабируемость).


Помимо большой масштабируемости каждый блейд сервер обладает высокой отказоустойчивостью: HP Superdome X унаследовал от Integrity Superdome набор специальных микросхем HP sx3000, резервные каналы передачи данных с автоматическим подтверждением завершения транзакции, надежную систему обнаружения ошибок и неисправностей.

Коммутация между узлами HP Superdome X выполнена по архитектуре Crossbar, её отличает:

• Повторная передача пакетов данных от начала до конца, в том числе и по резервным путям, для гарантированного завершения транзакции;

• Электрическая изоляция аппаратных разделов для максимальной гибкости, ремонтопригодности (независимое вкл/выкл питания) и физического обеспечения безопасности данных


Архитектура связи блейд-серверов в корзине HP Superdome X

Пропускная способность Crossbar составляет более 1.2TB/s, что позволяет использовать HP Superdome X даже для самых производительных задач. Совокупная пропускная способность, замеренная внутренними тестами, составляет более 1TB/s.

Важно заметить, что HP и Intel разрабатывали платформу совместно, результатом этого стало перенесение функционала RAS (resilience, availability, serviceability) с платформы Itanium на платформу Xeon E7.

Помимо этого шла активная работа с сообществом Linux, что позволило добавить поддержку RAS функционала в саму ОС Linux.

Внедрение RAS функционала в процессоры Intel E7, память сервера, его поддержка со стороны Linux OS в сочетании с микрокодом Firmware First позволило говорить об уровне доступности HP Superdome X на x86 99.999%+, сопоставимом с уровнем доступности RISC систем и превосходящим традиционные системы x86 (отчет компании ITIC, сравнивающий уровни доступности RISC и x86 систем, в отчете приведены цифры стоимости внепланового простоя):


Отчёт компании ITIC о доступности систем x86 в сравнении с традиционными RISC системами
 
Принципиальным отличием архитектуры Mission Critical x86 (MC x86) от традиционной архитектуры х86 является способ обработки ошибок и неисправностей. В обычной системе х86, после обнаружения некорректируемой ошибки на аппаратном уровне, системное ПО (firmware) останавливает работу операционной системы с целью избежать дальнейшего распространения ошибки и, в конечном счете, повреждения данных.
В отличие от этого в системе HP Superdome X в обработке ошибок главную роль играет специальный микрокод системы Firmware First. Архитектура процессоров E7v2 (Enhanced Machine Check Architecture) позволяет микрокоду системы HP Superdome X «изучать» логи ошибок и выполнять действия по устранению последствий этих ошибок еще до перехода их на уровень ОС и приложения.

Firmware First обрабатывает как корректируемые, так и некорректируемые ошибки в компонентах системы (Процессоры, память, ввод/вывод), также микрокодом выполняется сбор всех данных об произошедших инцидентах с целью их дальнейшего анализа администратором.  Таким образом, система останавливает работу только отдельных затронутых ошибкой процессов и пытается обойти неисправность и восстановить работу уже на программном уровне системного ПО, ОС или даже приложения.

В случае невозможности продолжения работы, система инициирует автоматическую управляемую перезагрузку с дальнейшей реконфигурацией компонентов и сохранением полной информации об ошибке и состоянии модулей для отчета администратору. Такой механизм обработки неисправностей становится возможным только при тесной интеграции всех уровней системы – аппаратного обеспечения, firmware и операционной системы.

Функционал RAS, внедренный в HP Superdome X:

Deconfiguration of failed or failing components (позволяет продолжить выполнять работу приложения и системы в случае проблемы с модулями памяти или CPU);

Blade deconfiguration (позволяет продолжить работу приложения или системы в случае выхода из строя целого блейд-сервера в multi blade конфигурации);

Corrupt data containment (режим, в котором данным, содержащим ошибку присваивается бит «Error Containment», после этого firmware и ОС применяют сценарии восстановления, включая UCNA, SRAO, SRAR. HP Superdome X поддерживает все эти сценарии);

Live error containment (Отработка Firmware HP Superdome X ошибок ввода/вывода «на лету»);

Viral error containment (режим, схожий по принципу работы с Corrupt data containment, отслеживающий фатальные ошибки адресации, и препятствующий их распространению в устройства ввода/вывода);

Processor interconnect fault resiliency (все связи между CPU, включая QPI, интерконнект памяти и PCIe имеют избыточные пути с проверкой CRC и механизмом самовосстановления);

Advanced MCA recovery (Отработка Firmware HP Superdome X ошибок памяти);

Clock Redundancy (Дублирование генераторов тактовой частоты);

Partition and error isolation (пассивный мидплейн, обеспечивающий электрическую излояцию блейд-серверов).

А может ли ваш производитель бизнес-критичного оборудования предложить такой функционал?

Во второй части цикла статей про HP Superdome X мы рассмотрим подробнее механизмы Advanced Error Recovery, Live Error Containment, Partition and Error Isolation.

FAQ


Q1: Есть ли открытые тесты производительности системы HP Superdome X?
A1: Есть, HP Superdome X показал высокую производительность в стандартном тесте SPECjbb2013, первым среди систем x86 преодолев отметку в 1-млн jOPS.

Июнь 2014 | Ноябрь 2014 | Декабрь 2014

Тест SPEC CPU2006

Q: Я слышал, что с ростом количества процессоров в системе производительность растет не линейно, это так?
A: Да, при использовании стандартной архитектуры Intel это так, но в системе HP Superdome X при добавлении процессоров наблюдается почти линейный рост производительности благодаря использованию высокопроизводительной архитектуры Crossbar (фактор 1.92x при росте системы с 4 до 8 сокетов и фактор 1.86x при росте системы с 8 до 16 сокетов, подтверждение можно увидеть из результатов теста выше.

Q: Есть ли открытые внедрения системы HP Superdome X у российских заказчиков?
A: Есть, например, компания МТС.

Q: Есть ли цифры производительности HP Superdome X для баз данных?
A: Есть, например, для SQL 2014.

Q: А есть ли документы, показывающие испытание HP Superdome X на Oracle?
A: Да, есть на Oracle 12c, есть реальные заказчики, протестировавшие свои данные на HP Superdome X под Oracle, референсы не публичные, но цифры доступны при обсуждении.

Q: А поддерживается ли установка гипервизора на HP Superdome X?
A: Да, например, VMware, это можно проверить в матрице совместимости (http://www.vmware.com/resources/compatibility/search.php)

Почитать


» Running Linux on BL920c Gen8
» Running Windows on HP Superdome X
» Running SQL 2014 on HP Superdome X – reference guide
» Лучшие практики по оптимизации производительности Superdome X в среде Linux: NUMA, энергопотребление, сеть, I/O

Комментарии (15)


  1. DLag
    14.07.2015 18:39

    По ссылкам на тесты часто ошибка 503.
    Как-то не очень для сайта такой компании…


    1. Effi3 Автор
      14.07.2015 21:02

      Да нет же, все открывается. Готов продублировать на почту.


      1. DLag
        14.07.2015 21:06

        Через 2 то часа… :) уже скачал и изучил.
        Но осадок остался…


        1. Effi3 Автор
          14.07.2015 21:12

          Забегался, в прямом смысле этого слова ;)
          В следующий раз пишите на почту, так быстрее отвечу)


  1. evg_krsk
    14.07.2015 18:55

    Про поддержку Linux: а ссылки на коммиты можно?


    1. evg_krsk
      14.07.2015 19:02

      Это к тому, что гугление этой темы почти полностью указывает на hp.com. Остальные интернеты, видимо, не в курсе за поддержку.


      1. evg_krsk
        14.07.2015 19:06

        И к тому же ваш партнёр (вроде так) утверждает несколько иное, чему я склонен верить.


    1. Effi3 Автор
      14.07.2015 22:35

      А подробнее? Ссылки на что прислать?


      1. evg_krsk
        15.07.2015 02:53

        Да хоть на что нибудь, что имеется ввиду под «позволило добавить поддержку RAS функционала в саму ОС Linux».


        1. Effi3 Автор
          20.07.2015 12:56

          Конечно, нет публичной информации о том сколько строчек кода было написано совместно в коммерческий Linux, но есть такая открытая информация с сайтов SUSE:

          HP approached SUSE and we agreed to adapt SUSE Linux Enterprise Server 11 SP3 to meet HP’s accelerated timeline. HP made collaboration easy by being proactive in their analysis, the development process, and the presentation of their results to demonstrate success. We accepted many of the scalability enhancements into our kernel, but the biggest improvements involved modifying core data structures.

          www.suse.com/communities/conversations/a-record-breaking-benchmark


          1. evg_krsk
            20.07.2015 13:12
            -1

            Вообще то там про бенчмаркинг CS900, Superdome X не при делах.

            Итог тот же: о поддержке в майнстриме ядра ни слова. Ок.

            Т.е. неясно, зачем покупателю вообще менять коммерческий Unix на такой же коммерческий и огороженный Linux. HP то ясно, зачем это.


            1. Effi3 Автор
              20.07.2015 16:16

              Вообще-то, Superdome X — основной вычислительный блок в CS900: www8.hp.com/us/en/products/solutions/product-detail.html?oid=7311041#!tab=features
              Как раз о поддержке ядра можно увидеть в этой статье: ядро, использованное в тесте — полностью поддерживаемое и доступно для всех заказчиков:

              This new kernel isn’t just a one-off intended to showcase great benchmark numbers. It’s been incorporated as a fully supported component of SLE11 SP3, will be available for all customers, and will receive maintenance updates concurrently with the kernels we already ship. While the new kernel is required to provide these scalability improvements in SLE11 SP3, the changes have already been integrated into the default kernels in the upcoming SLE11 SP4 and SLE12 releases.

              Зачем мигрировать с Unix? Этот вопрос должен задать себе сам заказчик. Если поддержка на старую RISC систему будет дороже стоимости миграции и поддержки Linux системы, то экономического смысла оставаться долго на такой RISC системе нет. Другое дело, что вопрос миграции — это не пару дней, но к нему нужно готовиться постепенно. Наши заказчики постепенно переносят среды разработки и тестирования на платформы Superdome X, только после этого вводятся продуктивные системы на x86.
              Зачем переходить на коммерческий Linux?
              Как минимум потому, что это предсказуемый продукт, за него отвечает конкретный разработчик и весь функционал, реализуемый в этих системах — результат совместной работы нескольких разработчиков (в нашем случае HP + Intel + SUSE/RHEL).


            1. valeris
              20.07.2015 16:48

              Вообще то, если внимательно почитать доступные материалы, то становится понятно зачем менять коммерческий Unix на совершенно неогороженный и свободно распространяемый Linux.

              Всем, кто действительно хочет разобраться, рекомендую начинать обзор Superdomt X с общедоступного портала www.hp.com/servers/superdomex
              В разделе Specifications есть перечень поддерживаемых ОС и ссылка на OS support matrix www.hp.com/go/ossupport. Superdome X там представылен в виде блейда BL920s Gen8. И вы легко сможете убедиться, что никакого «закрытого» Linux, так же, как и Windows, компания НР не разрабатывает. Это те же версии ОС, что используются и с серверами HP ProLiant.
              Для улучшения свойств RAS операционных систем, НР работала с Linux community и с Red Hat и Suse в частности. Так же, как и с Microsoft. Можно скакзать, что НР была инициатором этих изменений. Теперь эти свойства в Linux доступны всем производителям серверов, но работают они только при условии тесной интеграции с HW и Firmware сервера. Сегодня сервер Superdome X единственная платформа х86, которая максимально использует свойства RAS процессора Xeon Е7 и ОС Linux.
              В открытом доступе выложены два ролика, демонстрирующих как Superdome X обрабатывает некорректируемые на аппаратном ошибки памяти и вввода-вывода:
              h20324.www2.hp.com/SDP/Content/ContentDetails.aspx?ID=4407
              h20324.www2.hp.com/SDP/Content/ContentDetails.aspx?ID=4376

              Там же, на открытом портале, можно найти большое количество документации по ссылкам на:
              Data Sheets / Documents — h20195.www2.hp.com/v2/default.aspx?cc=us&lc=en&oid=7161269
              Technical Support / Manuals — h20565.www2.hp.com/portal/site/hpsc/public/psi/home/?sp4ts.oid=7161269&ac.admitted=1437400085444.1123376534.492883150



          1. Effi3 Автор
            27.07.2015 11:22

            И еще:
            it took working «upstream» with Red Hat partners and the Linux community to get the Superdome X to a place where it could scale and perform well. He said HP faced “a lot of interesting challenges over the past couple of years getting it enabled because it’s a really big machine.”
            «full use of a big 12-TB machine, [which] is a use case that a lot of people really are interested in with data analytics and such, being able to do that in memory, you can do things in seconds that used to take days.»

            For example, DNA analysis that used to take seven or eight days can now be processed in a number of minutes.

            www.crn.com/news/data-center/video/300077298/hp-superdome-x-servers-made-possible-by-partner-linux-community.htm


  1. Effi3 Автор
    27.07.2015 11:13

    UPD: добавлена ссылка на документ по лучшим практикам оптимизации производительности Superdome X в среде Linux: NUMA, энергопотребление, сеть, I/O.