Привет, GT! В 2017 году на рынке процессоров для серверов произошло много интересного. Пожалуй, самым знаменательным событием стала презентация новых серверных процессоров Intel Xeon Scalable, а также связанной с ними платформы Purley. И сегодня мы расскажем о том, как эти новинки работают с памятью, чем отличаются от своих предшественников и какие модули лучше с ними использовать.



По данным IDC, Intel принадлежит более 90% рынка серверных процессоров, но в текущем году AMD представила новые мощные процессоры EPYC. Лидеры не остались в долгу и летом показали всему миру платформу Purley, которая отличается от предыдущих решений, а также от продуктов конкурентов новой схемой работы с памятью.

Пожалуй, самой важной особенностью Purley является именно архитектура. Производитель представил одновременно процессоры Intel Xeon Scalable со встроенными контроллерами и специальными оптимизаторами, а также SSD-компоненты Intel Optane и чипсеты Intel Xeon Phi. При условии установки высокопроизводительной памяти DRAM, все это будет работать с максимальной скоростью, открывая новые возможности для «облачных вычислений, виртуализации, телекоммуникационных сетей нового поколения (5G), машинного обучения и искусственного интеллекта».

Сами процессоры Intel Xeon Scalable отличаются намного более высокой производительностью, чем предыдущее поколение. По данным Intel, рост составляет порядка 65%. Это касается топовых процессоров Intel Xeon Scalable Platinum, которые могут содержать до 28 ядер на кристалле (бывают версии с меньшим количеством), работающих на частоте до 2,4 ГГц. За счет новых технологий передачи данных между процессорами и вычислительными ядрами новинки позволяют выполнять плохо распараллеливаемые задачи, когда вы не можете заранее предсказать, какая информация потребуется в следующий момент. Давайте разберемся с тем, как новая платформа работает с данными.



Новая иерархия памяти


Помимо наличия 6-канального контроллера памяти DDR4, процессоры Intel Xeon Scalable могут работать и напрямую с SSD-накопителями Intel Optane. Благодаря специальным оптимизациям, подключаясь через интерфейс PCIe 3.0 они фактически создают новый уровень оперативного хранения данных, обеспечивая процессорам доступ к обширному полю памяти. Процессоры поддерживают до 48 интерфейсов PCIe на плате, что позволяет устанавливать дополнительные накопители Intel Optane в достаточно большом количестве. Скорость передачи данных по шине PCIe составляет 8 гигатранзакций в секунду (что эквивалентно 32 Гбит/с), и Optane могут работать со скоростью порядка 2 Гбит/с на каждый накопитель.

По данным Intel, при установке 6 накопителей Intel Optane и использовании Intel SPDK можно добиться снижения времени отклика до 40 раз, а также увеличения IOPS (количества операций ввода-вывода) до 5,2 раз и снижения задержек до 3,3 раз по сравнению с работой на традиционных накопителях. Это происходит за счет ускорения доступа к информации и Tier-инга размещения данных на различных накопителях.

Сколько при этом система получает памяти? Давайте посчитаем: каждый процессор Intel Xeon Scalable поддерживает 6 каналов памяти по 2 модуля в каждом. Таким образом, можно установить 12*128 ГБ=1,5 ТБ ОЗУ. Дополнив их 6 SSD емкостью 512 ГБ, можно получить 1,5+3=4,5 ТБ высокоскоростной памяти для КАЖДОГО процессора. Более того, использование технологии Intel Memory Drive Technology (MDT) позволяет создать программно-определяемое хранилище памяти для каждого конкретного сервера. Специальный драйвер загружается до ОС и объединяет в единое двухуровневое хранилище всю оперативную память и накопители. В результате операционная система получает готовое хранилище памяти с автоматизированным распределением данных по «быстрым» и «медленным» сегментам.

Это действительно невероятный результат, учитывая, что в каждый сервер можно установить достаточно много емких, но более медленных дисков для статического хранения дата-сетов. Например, 10 дисков SATA емкостью 2 ТБ каждый могут добавить 20 ТБ «медленного» хранилища, для достижения более высокой скорости выбор можно сделать в пользу SSD-накопителей. Процессоры Intel Xeon Scalable обладают встроенным модулем VMD (Virtual Management Device), который самостоятельно создает RAID-массивы из подключенных через PCIe и SATA дисков, поддерживая «горячую замену» выходящих из строя компонентов, а также напрямую взаимодействует с сетевым контроллером для ускорения работы с данными во всем вычислительном кластере.



Кеш и специальный доступ к памяти


Теперь давайте вернемся к самому процессору. Архитектура SkyLake меняет структуру самой кэш-памяти. Кэш L1 находится внутри ядра, рядом с каждым ядром размещается «добавка» к кэшу L2 в 768 КБ, которая позволяет ему достичь 1 МБ. А кэш L3, из которого каждое ядро может получать данные напрямую, расположен в отдельном слое кристалла и составляет 39 Мбайт – то есть 1,375 Мбайт на ядро. Этот кэш неинклюзивный – данные поступают из памяти непосредственно в L2, а уже ненужные или общие для нескольких ядер строки данных вытесняются в кэш L3.



Как вы можете видеть на представленной выше схеме, межъядерное взаимодействие происходит не по кольцевой шине, как это было в предыдущем поколении процессоров, а согласно архитектуре Mesh. Она ускоряет обмен информацией и качественно улучшает работу новых чипов при высоких нагрузках, характерных для задач виртуализации и сложных аналитических систем, особенно когда запросы ядер к памяти практически невозможно предсказать.



Кстати, такая же архитектура используется для обмена данными между процессорами в многопроцессорном сервере. Благодаря шине OmniPath «общение» чипов между собой происходит намного быстрее, а архитектура Remote Direct Memory Access позволяет получить доступ напрямую к «чужим» ячейкам памяти, минуя уровень ОС. Таким образом, вычислительные ядра могут работать с данными, находящимися в поле памяти другого процессора или даже другого узла вычислительного кластера.

И снова все дело в памяти!


Иерархия кэша, а также технологии доступа к данным, хранящимся в ОЗУ других процессоров, в том числе по сети, делают большое и доступное поле оперативной памяти одним из основных преимуществ новой платформы Intel. И если традиционные накопители, подключенные через интерфейс SATA, можно заменять в режиме hot swap, то оперативную память необходимо изначально выбирать максимально надежную и стабильную. В облачных ЦОД и в тяжелых аналитических системах, оперативная память играет ключевую роль, и у Kingston уже есть предложение, созданное специально для новых процессоров.

Платформа Purley позволяет устанавливать регистровые модули памяти RDIMM или модули со сниженной нагрузкой LRDIMM, либо 3DS LRDIMM для достижения энергоэффективности. С появлением новых платформ Intel и AMD, Kingston сертифицировала свои модули памяти для инновационных серверных платформ.

Кстати, обратите внимание, что для линейки серверной памяти Kingston теперь используется маркировка KSM (Kingston Server Memory), а не KVR, KCP, KTH, KTD, KTL, KCS – или как-то еще. Пока это касается модулей со скоростью 2666 МГц, но все новые брендовые модули серверной памяти Kingston будут иметь маркировку KSM, в том числе работающие на более высоких частотах, выпуск которых запланирован уже в 2018 году. Однако в случае с Xeon Scalable это пока не имеет значения, так как встроенный контроллер памяти у топовых Intel Xeon Scalable работает на частоте 2666 МГц и более быстрая память в Purley попросту не нужна. А для реальных задач и вовсе не всегда нужны именно самые дорогие чипы. В большинстве случаев вполне можно обойтись процессорами Gold 51xx, Silver 41хх и Bronze 31хх на той же архитектуре, которые поддерживают частоты памяти 2400 МГц и 2133 МГц.



Как вы можете видеть, при разумном подходе можно сэкономить и на памяти, благо Kingston, разумеется, предлагает продукты с любыми частотами из вышеприведенной схемы. Достаточно определить спектр задач, которые будет выполнять сервер, и установить в него память, соответствующую возможностям процессора. Например, в серию Bronze 31xx нет смысла покупать даже DDR4-2400 МГц, так как процессор не будет использовать ее возможности.



Заказ памяти нового поколения – модулей KSM – стал заметно проще. Нет больше никаких различий маркировок. Если вы покупали память Kingston для серверов, то прекрасно знаете, что раньше у нас было два вида серверной памяти – Server Premier и Value RAM. Вся память KSM обладает свойствами Server Premier, при том, что цена модулей была снижена по отношению к премиальной серии. К тому же, если раньше нужно было проверять, есть ли в маркировке памяти суффикс «i» (говорящий о сертификации Intel), теперь о нем можно забыть – вся серия KSM изначально проходит сертификацию. Поэтому новинки будет проще выбирать как сборщикам, так и пользователям серверных систем.

Все модули KSM используют фиксированный BOM (Bill of Materials). Это значит, что специалисты Kingston тщательно выбирают производителей самих микросхем и допускают в серию только самые качественные продукты. Инженеры проводят тестирование каждой ячейки памяти на этапе производственного контроля, а также проверяют сами печатные платы. Мы контролируем все, вплоть до ревизии чипов и производителя регистрового чипа. Таким образом, модули серии KSM представляют собой самую тщательно контролируемую серию памяти Kingston для профессиональных задач.

Вся информация о памяти теперь легко читается в ее парт-номере. Например, если вы прочитаете следующий номер на модуле:


То это будет значить, что производитель чипа H – Hynix, ревизия чипа – А, а производитель регистрового чипа – IDT. Кстати, производителями регистровых чипов могут быть разные компании. Кроме IDT (I) также используются компоненты от Rambus, известная ранее как Inphi ® и Montage (M).

Вообще более прозрачная маркировка не только отражает более целостный подход Kingston к Выпуску серверной памяти, но также поможет производить апгрейды модулей, контролируя все параметры, вплоть до производителя чипов. Это позволит избежать возможных конфликтов или снижения производительности оборудования из-за неполной совместимости, а также закупать однотипные модули для нескольких видов серверов, упрощая логистику и обслуживание систем.

Заключение


Подведем небольшой итог. Чтобы получить полную отдачу от новой платформы, необходимо тщательно подобрать все компоненты и использовать все средства оптимизации Intel, которые помогают использовать преимущества новых процессоров и платформы Purley в целом. Преимуществами памяти Kingston для серверов уже сегодня пользуются ведущие хостинговые компании, и если вы установите максимально производительные и надежные модули, переход на Intel Xeon Scalable даст максимально возможный эффект для решения тяжелых задач – от виртуализации до аналитики и моделирования.

Подписывайтесь и оставайтесь с нами — будет интересно!

Для получения дополнительной информации о продукции Kingston и HyperX обращайтесь на официальный сайт компании.





Широка страна наша родная, поэтому подготовили акции сразу в нескольких сетевых магазинах-партнеров – у каждого должна быть возможность получить аксессуары HyperX как можно ближе к дому и как можно быстрее. До 12 января можно приобрести периферию с максимальными скидками.

• скидка 1000 рублей — на гарнитуру HyperX Cloud Stinger 
скидка 2000 рублей — на клавиатуру HyperX Alloy FPS с переключателями Cherry MX (на выбор Brown/Blue/Red) 
скидка 1000 рублей — на гарнитуру HyperX Cloud Silver
скидка 700 рублей — на мышь HyperX Pulsefire FPS

Комментарии (23)


  1. Tyrauriel
    29.12.2017 20:13

    Заинтересовал модуль VMD.
    Интересно, заменит ли он обычные рэйд-контроллеры в каких нибудь областях?


  1. Vasily_T
    29.12.2017 21:43

    На первой картинке крышка такая большая — солидная, вот что там под ней в качестве «термоинтерфейса» — обычная термопаста?


    1. echo1
      30.12.2017 19:16
      -5

      термопаста удел потребителей, которые прикупили себе несчастный i7 непонятно зачем.


    1. Popadanec
      31.12.2017 13:51
      +1

      Там наверное не дураки сидят(хотя фэйлы все же бывают). Такие процессоры будут загружены в норме 24/7/365. Термопаста быстро высохнет при такой нагрузке. Но подтверждений что там металл я не нашел.
      Что впрочем не помешало интелу впихнуть термопасту в i9. Но есть определенная надежда, что её свойства будут все же получше.


  1. george_vernin
    30.12.2017 12:21

    А теперь хотелось бы услышать — кому и в каких задачан все это нужно?
    Как это сильно ускорит, улычшит или удешивит работу этих людей/программ


    1. unclejocker
      30.12.2017 17:06
      +2

      Виртуализация, особенно в интерпрайзе, когда бизнес приходит к айтишникам и говорит «нам бы нужно пару виртуалок, по 4 ядра и 12, а лучше 16 гиг на каждую, и да, у нас тут есть еще существующий уже инстанс… его тоже хорошо бы расширить»


      1. george_vernin
        30.12.2017 17:40

        Крупные предприятия? И/ Или арендодатели ВМ?


        1. unclejocker
          30.12.2017 18:08

          Да, я их и имел в виду.


      1. arheops
        31.12.2017 03:23
        -1

        Виртуализация только после того, как научится работать с меш-организацией памяти.
        Пока вроде нет ОС с полной поддержкой


    1. rPman
      30.12.2017 22:42

      на вскидку — финансовые сервисы, простейшая биржа просто обязана быть надежной так как это в принципе возможно (просто in memory базу данных не покатит, хотя варианты с многократным дублированием в разных датацентрах, почему нет, но тут уже скоростей сети не хватит)

      аналитика, особенно реалтайм (когда надо работать с большим объемом данных, быстро)


      1. george_vernin
        30.12.2017 22:46

        Поэтому такая штука туда не покатит скорее всего.
        Я проектировал сервисы — там нужно несколько физических компьютеров и в разных местах


  1. siryoshka
    30.12.2017 12:54
    -1

    Спасибо, очень хорошая статья. Помогло.


    1. 0o0
      31.12.2017 00:01
      -3

      Что собираете, для инета чтоб побыстрее или пару виртуалочек чтоб летали?


      1. siryoshka
        31.12.2017 12:45
        -1

        Нет всё обыденно. Посрал.


  1. Tyrauriel
    30.12.2017 13:25
    +1

    А в массовых десктопных процессорах шина все также кольцевая?


  1. YuriM1983
    30.12.2017 17:30
    +8

    Отличные скидки по-русски. В других магазинах без скидок дешевле.


    1. 3Dvideo
      30.12.2017 19:15
      +5

      Похоже, скидки рассчитаны на тех, кто не может в Яндекс-маркет скопировать модель и найти крупные магазины, где даже с доставкой получится дешевле, чем тут якобы с большой скидкой.

      Не очень понятно, зачем так делать, поскольку очевидно, что сегодня большинство покупателей (особенно на этом ресурсе) умеют быстро проверять цены. И очевидно, что дальше типа акции от тех же компаний будут вызывать скепсис изначально.


  1. denkle
    30.12.2017 19:48
    +2

    В этой статьей знаков больше чем во всех статьях из корпоративного блога Intel…


  1. rafuck
    31.12.2017 01:29
    +1

    Не очень понятно, как этот набор DDR + Optane выглядит для ОС.


    1. arheops
      31.12.2017 03:24

      Пока — как итаниум. Поддержка минимальная. Фактически нету.


  1. Wexter
    31.12.2017 13:51
    +1

    Optane могут работать со скоростью порядка 2 Гбит/с на каждый накопитель.

    как-то маловато для шины pci-e, SATA3 и тот 6Гбит/с на диск даёт


    1. a5b
      31.12.2017 20:32

      2 гигабайта в секунду, причем даже на небольших размерах очереди:
      http://www.techradar.com/news/meet-intels-insanely-fast-optane-ssd-900p-drives
      Optane SSD 900P sequential read speed rating of 2,500MB/s and a sequential write speed of 2,000MB/s.
      https://www.anandtech.com/show/11953/the-intel-optane-ssd-900p-review/8 The Intel Optane SSD 900P 280GB Review
      https://www.anandtech.com/show/12136/the-intel-optane-ssd-900p-480gb-review/6 The Intel Optane SSD 900p 480GB Review: Diving Deeper Into 3D XPoint


      составляет 8 гигатранзакций в секунду (что эквивалентно 32 Гбит/с)

      Эквивалентно при какой ширине шины?


      1. Wexter
        31.12.2017 20:38
        +1

        Я то знаю что там скорость поряда 2гбайт/с, но в статье речь про 2гбит/с, довольная смешная цифра по современным меркам.

        Эквивалентно при какой ширине шины?

        Ну судя по табличке в википедии 32Гбит/с это PCI-E 3.0 x4