Два года назад консорциум PICMG (PC Industrial Computer Manufacturers Group) инициировал разработку открытой спецификации COM-HPC для построения высокопроизводительных встраиваемых систем(HPEC). COM-HPC представляет собой следующее поколение COM-модулей, которые предназначены в основном для построения высокопроизводительных систем и дополняют уже существующую линейку стандартов COM Express. COM-HPC не заменят собой, а расширят существующий ряд модулей COM Express новыми решениями, которые движутся в направлении консольных Edge-серверов и более функциональных Edge-клиентов – компьютеров, которые всё чаще используются в качестве распределённых систем в промышленных приложениях для ответственных применений в расширенном температурном диапазоне.
Спецификация ещё не опубликована, но некоторые технические подробности уже известны.
Предполагается, что оборудование на базе COM-HPC будет востребовано на растущих рынках:
Для удовлетворения требований, предъявляемые индустрией, необходимо, чтобы встраиваемые компьютеры обладали еще большей производительностью. Также имеется потребность в высокоскоростных интерфейсах для реализации современных производительных интернет-решений, чувствительных к реальному времени, включая, в том числе поддержку стандарта TSN (TSN – стандарт передачи данных в реальном масштабе времени в детерминированных сетях Ethernet). Кроме того, при консолидации множества задач в одной вычислительной системе возникает необходимость в использовании гипервизора и виртуальных машин, так как параллельно с прикладными задачами может производится предварительная обработка данных в системах технического зрения и глубокого обучения, а также функционируют брандмауэр и система обнаружения вторжения – всё это увеличивает требования к системе.
Многие вендоры уже включились в борьбу за долю на рынке встраиваемых систем и предлагают вычислительные системы с мощным CPU совместно с GPGPU и/или FPGA, позволяющие производить параллельные вычисления. Некоторые, например компания Supermicro, для решения подобных задач приспосабливают имеющееся оборудование, которое не приспособлено для сложных условий эксплуатации и почти не возможно модернизировать и масштабировать:
Другие, например HPe или NVidia совместно с Gigabyte, разработали линейку встраиваемых компьютеров, которые имеют возможность модернизации и масштабирования, но основаны на проприетарных решениях:
Для нового класса встраиваемых Edge-серверов требуется практически неограниченная масштабируемость. 440 контактов в разъёмах стандарта COM Express является ограничением для мощных Edge-серверов, так как не позволяет вывести достаточное количество высокопроизводительных интерфейсов. Производительность разъёма COM Express также медленно приближается к предельному значению, хотя легко справляется с пропускной способностью 8 Гбит/с для интерфейса PCIe Gen3. При работе с высокопроизводительными вычислителями возникает потребность в высокоскоростном обмене данными, поэтому для повышения производительности в модулях COM-HPC увеличено количество линий PCI Express, что даёт возможность увеличить количество плат расширения с ускорителями вычислений.
Спецификация COM-HPC удовлетворяет всем вышеперечисленным требованиям: возможность сетевого обмена со скоростью до 100 Гбит/с, возможность увеличения производительности до 32 Гбит/с для шины PCI Express 4-го и 5-го поколений, а также наличие до восьми разъёмов DIMM и высокоскоростных процессоров с потребляемой мощностью до 300 Вт. На модулях COM-HPC Server-on-Modules возможно размещение массивов оперативной памяти до1 Tб на восьми разъёмах DIMM. Кроме того, они будут содержать до восьми каналов Ethernet 25 Гбит/с и поддерживать до 64 каналов интерфейса PCI Express 4-го или 5-го поколений. Таким образом, общая производительность ввода-вывода достигнет 256 Гбит/с.
Для такой высокой производительности, запроектированной внутри Edge-сервера, необходимы соответствующего уровня высокопроизводительные интерфейсы ввода-вывода, способные передавать данные на скорости до 25 Гбит/с. Дополнительно среди 800 контактов будет предусмотрено размещение до двух высокоскоростных интерфейсов USB 4. Кроме вышеуказанных интерфейсов модуль COM-HPC в зависимости от типа содержит интерфейсы USB 2.0, USB 3.0, SATA III, CSI, DP/HDMI/LVDS, I2S/Soundwire, а также поддерживает eSPI, 2? SPI, SMB, 2? I2C, 2? UART и 12 GPIO, для обеспечения интеграции простых периферийных устройств и стандартных коммуникационных интерфейсов, например в целях обслуживания. Назначение интерфейсов в зависимости от типа модуля указано в таблице.
Модули могут иметь различный набор компонентов, зависящий от производительности и назначения, поэтому спецификация COM-HPC определяет пять типоразмеров плат.
Клиентские платы имеют размеры: 95?120 мм (Size A), 120?120 мм (Size B) и 160?120 мм (Size C).
Серверные платы имеют размеры: 160?160 мм (Size D) и 200?160 мм (Size E).
Спецификация определяет обязательное наличие двух разъёмов: J1 (Primary connector) и J2 (Secondary connector) для модулей серверного типа. Модули типа Клиент могут быть как с одним J1, так и с двумя разъёмами – J1 и J2. Разъёмы гарантированно способны передавать сигнал со скоростью 32 Гбит/с.
Благодаря тому, что соединение между платами имеет высоту не более 10 мм, можно проектировать достаточно низкопрофильные модульные конструкции.
Высота конструкции от поверхности платы-носителя до верхней части теплоотводящей пластины, при использовании модулей размера А, В и С, будет составлять 20мм даже при использовании пары разъёмов высотой 10мм, а при использовании для межплатного соединения пары разъемов высотой 5мм высота конструкции будет составлять всего 15мм, но даже при этом остается возможность размещения разъемов SODIMM с обеих сторон процессорного модуля.
Для модулей размера D и E высота будет немногим больше — 23 мм от поверхности платы до верхней части теплоотводящей пластины из-за того, что высота модуля без учёта соединительного разъёма будет составлять 18мм. Увеличение высоты позволяет увеличить толщину теплоотводящей пластины до 4 мм и устанавливать на плату компоненты высотой до 11мм.
Размеры теплоотводящей пластины составляют для модуля размера A — 95x120мм, для модулей размера B, C — 120x120мм, для модулей размера D, E — 100-160мм.
Становится возможным конструировать как модули с низким профилем на базе GPGPU, FPGA или DSP, так и процессорные серверные модули, что, в свою очередь, даёт возможность для размещения их в блочных каркасах (rackmount) высотой 1U и 2U. Соответствующие решения для всех трёх вариантов модулей уже разрабатываются, так что COM-HPC представляет собой стандарт, описывающий процессорные модули не только для встраиваемых Edge-серверов, но и для модулей расширения на базе GPGPU, FPGA или DSP.Для использования этих модулей в качестве плат расширения предусмотрены сигналы внешней синхронизации, соответствующие стандарту PCI Express. Применение такого решения позволит отказаться от использования райзеров (riser), которые предназначались для установки плат под угломв 90 градусов, например ускорителей вычислений на GPU или FPGA, выполненных в формате AIC (Add-In Card).
Уменьшение количества разъёмов улучшает надёжность системы, а уменьшение количества переходов сигнала с платы на плату – целостность сигналов. Альтернативное решение – графические карты на платах формата MXM3 – имеют только 314 контактов против 2?400 в COM-HPC. Большее количество контактов делает возможным использование большого количества линий в интерфейсах, что приводит к увеличению пропускной способности интерфейса.
Для удаленного управления оборудованием на плате-носителе и в модулях COM-HPC появится встроенный интерфейс управления системой, предназначенный для мониторинга и управления аппаратными функциями серверных платформ независимо от процессора, BIOS или операционной системы. Благодаря этому инструменту COM-HPC будет предлагать реальные функции Edge-сервера, которые могут быть расширены за счёт применения подходящих контроллеров управления платами серверного класса (BMC) на платах-носителях. В зависимости от обстоятельств, для выполнения этих задач может использоваться как обычный микроконтроллер со специализированной прошивкой (firmware), так и специализированные микросхемы, используемые в высокопроизводительных серверах, с соответствующим программным обеспечением.
Спецификация COM-HPC не ограничивает количество применяемых модулей в одной вычислительной системе, что позволяет размещать на одной плате-носителе несколько модулей COM-HPC одного или разных типов. Таким образом можно разрабатывать многопроцессорные и/или гетерогенные вычислители. Благодаря наличию высокоскоростных интерфейсов, таких
как 10GBase-KR и PCIe, можно организовать эффективное сетевое взаимодействие между модулями, используя соединения точка-точка, или более сложное взаимодействие с использованием, например, PCIe Switch.
Совокупность всех перечисленных функций и возможностей ставит встраиваемые серверы на один уровень с серверами, используемыми в центрах обработки данных, но по сравнению с традиционными решениями у COM-технологии есть преимущество.
Как правило, для повышения производительности необходимо заменить всю вычислительную систему вместе с шасси или по крайней мере всю системную плату. Некоторые поставщики даже разработали собственные модули для замены процессора, но это не даёт преимуществ перед открытым стандартом. Теперь, с появлением новых модулей COM-HPC серверного класса и теми возможностями, которые они предоставляют, ситуация может измениться. Благодаря модулям COM-HPC, обновление систем, построенных на Edge-серверах, будет стоить гораздо меньше, поскольку необходимо заменить лишь небольшой компонент, а не всю систему.
Представленная технология COM-HPC – это возможность, позволяющая снизить капитальные затраты следующего поколения устройств и повысить окупаемость инвестиций за счёт продления срока действия первоначальных инвестиций в Edge-серверы. Подтверждением сказанному служат работающие системы, разработанные в 2000 году и до сих пор поддерживаемые производителями оборудования.
Несколько производителей плат, например Adlink и Trenz, уже представили свои прототипы и к концу года, после принятия спецификации, обещают выпустить полнофункциональные изделия.
Интеграторы, имеющие соглашение о неразглашении с одной из компаний, участвующих в разработке новой спецификации, уже сейчас могут разрабатывать подходящие конструкции платы-носителя. Новая спецификация станет доступна в качестве открытого стандарта только после официального релиза.
Членами подкомитета PICMG COM-HPC являются компании Acromag, Adlink, Advantech, AMI, Amphenol, Сongatec, Elma Electronic, Emerson, Machine Automation Solutions, Ept, Fastwel, GE Automation, HEITEC, Intel, Kontron,MEN Duagon, MSC Technologies, N.A.T., nVent, Samtec, Seco, TE Connectivity, Trenz Electronic, University Bielefeld, VersaLogic Corp.
Спецификация ещё не опубликована, но некоторые технические подробности уже известны.
Предполагается, что оборудование на базе COM-HPC будет востребовано на растущих рынках:
- Умные производства: предиктивное техническое обслуживание, автоматизация производства;
- Умные города: управление инфраструктурой, предиктивное обслуживание;
- Беспилотные транспорт: автомобили, грузоперевозки, сельское хозяйство;
- Видеоаналитика: безопасность, медицина, логистика, ритейл;
- Сети 5G: Multi-access edge computer(MEC).
Для удовлетворения требований, предъявляемые индустрией, необходимо, чтобы встраиваемые компьютеры обладали еще большей производительностью. Также имеется потребность в высокоскоростных интерфейсах для реализации современных производительных интернет-решений, чувствительных к реальному времени, включая, в том числе поддержку стандарта TSN (TSN – стандарт передачи данных в реальном масштабе времени в детерминированных сетях Ethernet). Кроме того, при консолидации множества задач в одной вычислительной системе возникает необходимость в использовании гипервизора и виртуальных машин, так как параллельно с прикладными задачами может производится предварительная обработка данных в системах технического зрения и глубокого обучения, а также функционируют брандмауэр и система обнаружения вторжения – всё это увеличивает требования к системе.
Многие вендоры уже включились в борьбу за долю на рынке встраиваемых систем и предлагают вычислительные системы с мощным CPU совместно с GPGPU и/или FPGA, позволяющие производить параллельные вычисления. Некоторые, например компания Supermicro, для решения подобных задач приспосабливают имеющееся оборудование, которое не приспособлено для сложных условий эксплуатации и почти не возможно модернизировать и масштабировать:
Другие, например HPe или NVidia совместно с Gigabyte, разработали линейку встраиваемых компьютеров, которые имеют возможность модернизации и масштабирования, но основаны на проприетарных решениях:
Для нового класса встраиваемых Edge-серверов требуется практически неограниченная масштабируемость. 440 контактов в разъёмах стандарта COM Express является ограничением для мощных Edge-серверов, так как не позволяет вывести достаточное количество высокопроизводительных интерфейсов. Производительность разъёма COM Express также медленно приближается к предельному значению, хотя легко справляется с пропускной способностью 8 Гбит/с для интерфейса PCIe Gen3. При работе с высокопроизводительными вычислителями возникает потребность в высокоскоростном обмене данными, поэтому для повышения производительности в модулях COM-HPC увеличено количество линий PCI Express, что даёт возможность увеличить количество плат расширения с ускорителями вычислений.
Спецификация COM-HPC удовлетворяет всем вышеперечисленным требованиям: возможность сетевого обмена со скоростью до 100 Гбит/с, возможность увеличения производительности до 32 Гбит/с для шины PCI Express 4-го и 5-го поколений, а также наличие до восьми разъёмов DIMM и высокоскоростных процессоров с потребляемой мощностью до 300 Вт. На модулях COM-HPC Server-on-Modules возможно размещение массивов оперативной памяти до1 Tб на восьми разъёмах DIMM. Кроме того, они будут содержать до восьми каналов Ethernet 25 Гбит/с и поддерживать до 64 каналов интерфейса PCI Express 4-го или 5-го поколений. Таким образом, общая производительность ввода-вывода достигнет 256 Гбит/с.
Для такой высокой производительности, запроектированной внутри Edge-сервера, необходимы соответствующего уровня высокопроизводительные интерфейсы ввода-вывода, способные передавать данные на скорости до 25 Гбит/с. Дополнительно среди 800 контактов будет предусмотрено размещение до двух высокоскоростных интерфейсов USB 4. Кроме вышеуказанных интерфейсов модуль COM-HPC в зависимости от типа содержит интерфейсы USB 2.0, USB 3.0, SATA III, CSI, DP/HDMI/LVDS, I2S/Soundwire, а также поддерживает eSPI, 2? SPI, SMB, 2? I2C, 2? UART и 12 GPIO, для обеспечения интеграции простых периферийных устройств и стандартных коммуникационных интерфейсов, например в целях обслуживания. Назначение интерфейсов в зависимости от типа модуля указано в таблице.
Модули могут иметь различный набор компонентов, зависящий от производительности и назначения, поэтому спецификация COM-HPC определяет пять типоразмеров плат.
Клиентские платы имеют размеры: 95?120 мм (Size A), 120?120 мм (Size B) и 160?120 мм (Size C).
Серверные платы имеют размеры: 160?160 мм (Size D) и 200?160 мм (Size E).
Спецификация определяет обязательное наличие двух разъёмов: J1 (Primary connector) и J2 (Secondary connector) для модулей серверного типа. Модули типа Клиент могут быть как с одним J1, так и с двумя разъёмами – J1 и J2. Разъёмы гарантированно способны передавать сигнал со скоростью 32 Гбит/с.
Благодаря тому, что соединение между платами имеет высоту не более 10 мм, можно проектировать достаточно низкопрофильные модульные конструкции.
Высота конструкции от поверхности платы-носителя до верхней части теплоотводящей пластины, при использовании модулей размера А, В и С, будет составлять 20мм даже при использовании пары разъёмов высотой 10мм, а при использовании для межплатного соединения пары разъемов высотой 5мм высота конструкции будет составлять всего 15мм, но даже при этом остается возможность размещения разъемов SODIMM с обеих сторон процессорного модуля.
Для модулей размера D и E высота будет немногим больше — 23 мм от поверхности платы до верхней части теплоотводящей пластины из-за того, что высота модуля без учёта соединительного разъёма будет составлять 18мм. Увеличение высоты позволяет увеличить толщину теплоотводящей пластины до 4 мм и устанавливать на плату компоненты высотой до 11мм.
Размеры теплоотводящей пластины составляют для модуля размера A — 95x120мм, для модулей размера B, C — 120x120мм, для модулей размера D, E — 100-160мм.
Становится возможным конструировать как модули с низким профилем на базе GPGPU, FPGA или DSP, так и процессорные серверные модули, что, в свою очередь, даёт возможность для размещения их в блочных каркасах (rackmount) высотой 1U и 2U. Соответствующие решения для всех трёх вариантов модулей уже разрабатываются, так что COM-HPC представляет собой стандарт, описывающий процессорные модули не только для встраиваемых Edge-серверов, но и для модулей расширения на базе GPGPU, FPGA или DSP.Для использования этих модулей в качестве плат расширения предусмотрены сигналы внешней синхронизации, соответствующие стандарту PCI Express. Применение такого решения позволит отказаться от использования райзеров (riser), которые предназначались для установки плат под угломв 90 градусов, например ускорителей вычислений на GPU или FPGA, выполненных в формате AIC (Add-In Card).
Уменьшение количества разъёмов улучшает надёжность системы, а уменьшение количества переходов сигнала с платы на плату – целостность сигналов. Альтернативное решение – графические карты на платах формата MXM3 – имеют только 314 контактов против 2?400 в COM-HPC. Большее количество контактов делает возможным использование большого количества линий в интерфейсах, что приводит к увеличению пропускной способности интерфейса.
Для удаленного управления оборудованием на плате-носителе и в модулях COM-HPC появится встроенный интерфейс управления системой, предназначенный для мониторинга и управления аппаратными функциями серверных платформ независимо от процессора, BIOS или операционной системы. Благодаря этому инструменту COM-HPC будет предлагать реальные функции Edge-сервера, которые могут быть расширены за счёт применения подходящих контроллеров управления платами серверного класса (BMC) на платах-носителях. В зависимости от обстоятельств, для выполнения этих задач может использоваться как обычный микроконтроллер со специализированной прошивкой (firmware), так и специализированные микросхемы, используемые в высокопроизводительных серверах, с соответствующим программным обеспечением.
Спецификация COM-HPC не ограничивает количество применяемых модулей в одной вычислительной системе, что позволяет размещать на одной плате-носителе несколько модулей COM-HPC одного или разных типов. Таким образом можно разрабатывать многопроцессорные и/или гетерогенные вычислители. Благодаря наличию высокоскоростных интерфейсов, таких
как 10GBase-KR и PCIe, можно организовать эффективное сетевое взаимодействие между модулями, используя соединения точка-точка, или более сложное взаимодействие с использованием, например, PCIe Switch.
Совокупность всех перечисленных функций и возможностей ставит встраиваемые серверы на один уровень с серверами, используемыми в центрах обработки данных, но по сравнению с традиционными решениями у COM-технологии есть преимущество.
Как правило, для повышения производительности необходимо заменить всю вычислительную систему вместе с шасси или по крайней мере всю системную плату. Некоторые поставщики даже разработали собственные модули для замены процессора, но это не даёт преимуществ перед открытым стандартом. Теперь, с появлением новых модулей COM-HPC серверного класса и теми возможностями, которые они предоставляют, ситуация может измениться. Благодаря модулям COM-HPC, обновление систем, построенных на Edge-серверах, будет стоить гораздо меньше, поскольку необходимо заменить лишь небольшой компонент, а не всю систему.
Представленная технология COM-HPC – это возможность, позволяющая снизить капитальные затраты следующего поколения устройств и повысить окупаемость инвестиций за счёт продления срока действия первоначальных инвестиций в Edge-серверы. Подтверждением сказанному служат работающие системы, разработанные в 2000 году и до сих пор поддерживаемые производителями оборудования.
Несколько производителей плат, например Adlink и Trenz, уже представили свои прототипы и к концу года, после принятия спецификации, обещают выпустить полнофункциональные изделия.
Интеграторы, имеющие соглашение о неразглашении с одной из компаний, участвующих в разработке новой спецификации, уже сейчас могут разрабатывать подходящие конструкции платы-носителя. Новая спецификация станет доступна в качестве открытого стандарта только после официального релиза.
Членами подкомитета PICMG COM-HPC являются компании Acromag, Adlink, Advantech, AMI, Amphenol, Сongatec, Elma Electronic, Emerson, Machine Automation Solutions, Ept, Fastwel, GE Automation, HEITEC, Intel, Kontron,