Меня зовут Максим Копосов, я руководитель компании «Промобит». 16 лет назад мы начали разрабатывать российские системы хранения данных и другую вычислительную технику. Сегодня делаем СХД на отечественных и зарубежных процессорах, создаем оригинальное ПО для них. Наши инженеры находятся в постоянном поиске, и поэтому появляются собственные исследования, одним из которых сегодня хочу поделиться с вами. Это отчёт о тепловом моделировании систем хранения данных в области массива накопителей. В нем были оценены температурные режимы ключевых компонентов системы, таких как накопители (HDD формата 3.5 дюйма и SSD формата 2.5 дюйма) и PCIe-свитчи, при различных условиях эксплуатации. Измерения проводились на нашей СХД серии 4100.
Если этот материал покажется вам интересным, буду рад обратной связи в комментариях, и продолжу знакомить вас с нашими исследованиями.

Настоящий отчёт посвящён анализу результатов теплового моделирования систем хранения данных (СХД) серии 4100. Основная цель исследования — оценить температурные режимы ключевых компонентов системы, таких как накопители (HDD формата 3.5 дюйма и SSD формата 2.5 дюйма) и PCIe-свитчи, при различных условиях эксплуатации. Исследование направлено на решение двух задач:

• Определение влияния форм-фактора накопителей на тепловые характеристики системы. HDD и SSD отличаются по тепловыделению (10 Вт против 20 Вт) и геометрическим параметрам (HDD имеют большую площадь поверхности, а SSD — меньшую, но с радиатором), что может существенно повлиять на охлаждение.

• Изучение влияния конструкции входных каналов быстросъёмных треев (салазок) на эффективность охлаждения. Сравниваются два типа треев: реальные треи, применяемые в СХД серии 4100 (с ограниченной перфорацией), и треи с полным продувом (без препятствий для воздуха).

Симуляции проводились в программной среде SolidWorks FlowSimulation, результаты представлены в виде числовых данных, температурных карт и визуальных материалов, которые иллюстрируют поведение системы в различных сценариях.

Методология и входные данные

Модели накопителей

Для проведения теплового моделирования были созданы упрощённые модели накопителей, которые позволяют точно воспроизвести их тепловые характеристики, минимизируя при этом вычислительную нагрузку:

• HDD 3.5 дюйма: Модель состоит из четырёх основных тел: корпус (материал — алюминий), крышка (нержавеющая сталь), плата (анизотропный PCB-материал) и коннектор (полипропилен). Разделение на тела позволяет задавать различные тепловые и материальные свойства для точного моделирования теплопередачи. Всего в симуляции участвовало 24 таких накопителя, каждому из которых назначено тепловыделение 10 Вт — среднее значение для современных HDD. Упрощённая геометрия исключает мелкие детали, такие как винты или элементы механики, что не влияет на тепловые характеристики, но упрощает расчёты.

SSD 2.5 дюйма: Модель представляет накопитель энтерпрайз-класса с алюминиевым корпусом и интегрированным радиатором, что характерно для таких устройств из-за их высокого тепловыделения. Всего 24 накопителя, тепловыделение каждого — 20 Вт. Алюминий выбран как материал корпуса благодаря его высокой теплопроводности, что способствует эффективному отводу тепла. Радиатор на верхней части SSD увеличивает площадь теплоотдачи, что критически важно для поддержания рабочих температур в допустимых пределах.

Компоненты системы

Для симуляции были смоделированы ключевые элементы системы, которые влияют на тепловой режим:

• PCIe-свитч: Устройство с тепловыделением 30 Вт, охлаждаемое радиатором стандартного профиля Лигра АВ0702. Этот профиль выбран благодаря его способности эффективно отводить тепло от микросхемы с таким уровнем мощности. Радиатор выполнен из алюминия и имеет рёбра для увеличения площади теплоотдачи, что позволяет поддерживать температуры в безопасных пределах.

• Мидплейн: Плата, к которой подключаются 24 накопителя и 2 платы адаптера. Мидплейн характеризуется низкой степенью перфорации, особенно в верхних рядах, что обусловлено топологией двухстороннего подключения устройств. Отсутствие перфорации в некоторых рядах создаёт зоны с повышенным сопротивлением воздушному потоку, что может приводить к неравномерному охлаждению и локальным перегревам.

• Треи (салазки): Рассматривались два типа конструкции:

  • Реальные треи СХД серии 4100 с ограниченной перфорацией, оптимизированной для равномерного распределения воздушного потока. Размер входного канала рассчитан как остаточная площадь ячейки с установленным накопителем 3.5 дюйма плюс 20% дополнительной площади, что позволяет компенсировать ограничения мидплейна.

  • Треи с полным продувом, полностью освобождённые от механизмов закрытия, что обеспечивает минимальное сопротивление на входе воздуха.

• Модуль контроллера: Упрощённая модель одного из двух модулей контроллеров, включающая 3 вентилятора 80×80×38 мм, плату адаптера с PCIe-свитчем и радиатором, а также габаритные разъёмы и частично отображённые провода. Модуль играет ключевую роль в обеспечении воздушного потока через систему, так как вентиляторы создают основной поток для охлаждения накопителей и PCIe-свитчей.

• Вентиляторы: Использовались два типа вентиляторов:

  • SUNON 80×80×38 мм (PF80381B1-000U-S99, 24 Вт): Основные вентиляторы на модулях контроллеров, обеспечивающие высокий воздушный поток и статическое давление. Эти вентиляторы способны преодолевать сопротивление, создаваемое мидплейном, что делает их подходящими для данной системы.

    SUNON 60×60×38 мм (PF60381B1-S99, 14 Вт): Вспомогательные вентиляторы, установленные за блоком питания, для охлаждения 4 дополнительных накопителей в задней части сервера. Их меньшая мощность соответствует их роли в локальном охлаждении.

Условия симуляции

Симуляции проводились в программной среде SolidWorks Flow Simulation с учётом следующих параметров:

• Режим: внутренний, моделирующий систему как трубу с входом спереди и выходом через вентиляторы. Этот подход позволяет точно воспроизвести воздушный поток внутри системы.

• Температура окружающей среды и твёрдых тел: 25°C. Это значение является стандартным для оценки тепловых режимов в серверных системах.

• Учитывались гравитация и теплопроводность твёрдых тел, что позволяет моделировать естественную конвекцию и теплопередачу между компонентами.

• Объёмная сетка: построена методом автоматического дробления с усилением в областях течения. Средний размер сетки составил 16–20 млн ячеек, что обеспечивает высокую точность расчётов без чрезмерного увеличения времени симуляции.

• Условие завершения: симуляция считалась завершённой, когда температуры твёрдых тел достигали равновесного состояния, то есть изменения значений температур прекращались.

Эти параметры обеспечивают реалистичное моделирование тепловых процессов в системе, позволяя выявить критические зоны нагрева и оценить эффективность охлаждения в различных сценариях.

Результаты симуляции

Конфигурация с HDD 3.5 дюйма

Для HDD с тепловыделением 10 Вт были проведены две симуляции: с реальными треями СХД 4100 и с полностью открытыми треями.

Реальные треи СХД 4100: Температура накопителей составила около 29°C (на 4°C выше окружающей среды). Нагрев оказался равномерным по всем ячейкам массива, что свидетельствует о сбалансированном распределении воздушного потока. Температура радиаторов PCIe-свитчей составила 56°C и 61°C - с разницей, обусловленной неравномерной перфорацией мидплейна: верхний радиатор нагревается сильнее из-за меньшего количества отверстий в верхних рядах. Эти температуры значительно ниже допустимого предела для PCIe-свитчей (105°C), что подтверждает надёжность системы в данной конфигурации.

• Полностью открытые треи: Результаты практически идентичны предыдущим: температура накопителей осталась на уровне 29°C, с разницей в долях градуса, что находится в пределах погрешности симуляции. Температуры радиаторов также не изменились (56–61°C), что указывает на отсутствие значительного влияния конструкции треев на охлаждение в данной конфигурации. Это объясняется низким тепловыделением HDD, которое не создаёт высоких требований к равномерности потока.

Конфигурация с SSD 2.5 дюйма

Для SSD с тепловыделением 20 Вт также были проведены две симуляции, результаты которых показали значительные различия в зависимости от конструкции треев.

Реальные треи СХД 4100: Температура накопителей варьировалась в диапазоне 42–48°C, что находится в безопасном диапазоне для SSD (допустимая температура — 80°C). Однако наблюдалась некоторая неравномерность: ряды, расположенные напротив участков мидплейна с меньшей перфорацией, нагревались сильнее (до 48°C), тогда как остальные оставались ближе к 42°C. Это связано с тем, что меньшая перфорация ограничивает приток воздуха к определённым ячейкам, создавая локальные зоны с повышенной температурой. Температура воздуха за массивом достигла 30°C (на 5°C выше окружающей среды), что увеличило нагрев радиаторов PCIe-свитчей по сравнению с конфигурацией HDD. Несмотря на это, температуры радиаторов остались в безопасных пределах.

Полностью открытые треи: Температура некоторых накопителей достигла 66°C, что значительно выше, чем с реальными треями, и указывает на сильную неравномерность охлаждения. Причина заключается в неравномерном распределении воздушного потока: воздух движется по путям с наименьшим сопротивлением, обходя ячейки с накопителями, расположенными напротив зон с меньшей перфорацией мидплейна. Это привело к локальным зонам перегрева, что нежелательно для стабильной работы системы, хотя температуры всё ещё находятся в пределах допустимого для SSD. Однако охлаждение радиаторов PCIe-свитчей улучшилось за счёт увеличения общей скорости потока, что позволило более эффективно отводить тепло от этих компонентов.

Анализ и интерпретация

Влияние форм-фактора накопителей

Различия в тепловыделении и геометрии накопителей оказали значительное влияние на результаты симуляции. HDD с тепловыделением 10 Вт показали низкий нагрев (29°C), что значительно ниже их допустимой рабочей температуры (52°C, ограниченной использованием неодимовых магнитов). Это объясняется как меньшей мощностью тепловыделения, так и большей площадью поверхности HDD, которая способствует эффективному отводу тепла. Кроме того, равномерность охлаждения в обеих конфигурациях треев указывает на то, что при низком тепловыделении система менее чувствительна к распределению воздушного потока. Даже при неравномерной перфорации мидплейна поток воздуха оказался достаточным для поддержания стабильного теплового режима.

SSD с тепловыделением 20 Вт продемонстрировали более высокий нагрев (42–48°C с реальными треями и до 66°C с полностью открытыми треями). Несмотря на это, температуры остаются в пределах допустимого (80°C), что подтверждает пригодность SSD для эксплуатации в данной системе. Однако меньшая площадь поверхности SSD и их высокая мощность делают их более зависимыми от равномерности воздушного потока. Неравномерность охлаждения, особенно с полностью открытыми треями, подчёркивает важность правильного проектирования входных каналов для таких накопителей. Высокое тепловыделение SSD также влияет на температуру воздуха, который нагревается до 30°C, что увеличивает нагрузку на последующие компоненты, такие как радиаторы PCIe-свитчей.

Влияние конструкции треев

Конструкция входного канала треев оказала решающее влияние на эффективность охлаждения, особенно в конфигурации с SSD. Реальные треи СХД 4100, с их ограниченной перфорацией, обеспечили более равномерное охлаждение (42–48°C для SSD), так как размер входного канала был рассчитан с учётом остаточной площади ячейки и дополнительного запаса (плюс 20%). Этот запас позволяет компенсировать неравномерность перфорации мидплейна, направляя поток воздуха ко всем накопителям, даже в зонах с меньшей перфорацией. Такой подход обеспечивает стабильный тепловой режим, минимизируя локальные перегревы, что особенно важно для SSD с высоким тепловыделением.

Полностью открытые треи, напротив, привели к сильной неравномерности охлаждения SSD (до 66°C). Минимальное сопротивление на входе увеличило общий поток воздуха, но из-за топологических ограничений мидплейна воздух устремился по путям с наименьшим сопротивлением, обходя некоторые ячейки. Это создало локальные зоны перегрева, что нежелательно для стабильной работы системы. Однако увеличение скорости потока положительно сказалось на охлаждении радиаторов PCIe-свитчей, что подчёркивает компромиссный характер такой конструкции: улучшение охлаждения одних компонентов достигается за счёт ухудшения охлаждения других.

Роль мидплейна

Низкая перфорация мидплейна стала ключевым фактором, ограничивающим равномерность охлаждения. В верхних рядах, где перфорация минимальна, наблюдался более сильный нагрев как накопителей, так и радиаторов PCIe-свитчей (например, 61°C против 56°C в конфигурации HDD). Этот эффект особенно заметен в конфигурации с SSD и полностью открытыми треями, где неравномерность потока привела к значительным перепадам температур (от 42°C до 66°C). Для минимизации этого эффекта требуется либо улучшение перфорации мидплейна, либо компенсация за счёт конструкции треев, как это сделано в реальных треях СХД 4100. Текущая топология мидплейна создаёт зоны с высоким сопротивлением, которые нарушают равномерность потока, что особенно критично для компонентов с высоким тепловыделением.

Охлаждение PCIe-свитчей

Температуры радиаторов PCIe-свитчей оставались в безопасном диапазоне (56–61°C при допустимой 105°C), что подтверждает эффективность выбранного радиатора Лигра АВ0702. Однако в конфигурации с SSD температура воздуха за массивом достигла 30°C (на 5°C выше окружающей среды), что увеличило тепловую нагрузку на радиаторы по сравнению с HDD. Это связано с большим тепловыделением SSD, которое нагревает воздух, проходящий через массив. Полностью открытые треи улучшили охлаждение радиаторов за счёт увеличения скорости потока, что позволило более эффективно отводить тепло, несмотря на более тёплый воздух. Этот эффект демонстрирует, как изменения в конструкции системы могут влиять на различные компоненты по-разному.

Выводы

Проведённое тепловое моделирование систем хранения данных серии 4100 выявило следующие ключевые аспекты, которые имеют важное значение для проектирования подобных систем:

• Для HDD 3.5 дюйма с тепловыделением 10 Вт конструкция треев не оказывает значительного влияния на охлаждение. Температуры остаются равномерными (29°C) и значительно ниже допустимого предела (52°C) как с реальными треями СХД 4100, так и с полностью открытыми треями. Это объясняется низким тепловыделением и большей площадью поверхности HDD, что снижает требования к равномерности воздушного потока. Система демонстрирует высокую стабильность в таких условиях, что делает её надёжной для эксплуатации с HDD.

• Для SSD 2.5 дюйма с тепловыделением 20 Вт конструкция входного канала треев играет критическую роль. Реальные треи СХД 4100 обеспечивают приемлемое и относительно равномерное охлаждение (42–48°C), что находится в безопасном диапазоне (допустимая температура — 80°C). Полностью открытые треи, напротив, приводят к сильной неравномерности (до 66°C), что связано с неравномерным распределением потока из-за топологических ограничений мидплейна. Это подчёркивает важность правильного проектирования входных каналов для систем с высокопроизводительными накопителями.

• Применяемые реальные треи СХД серии 4100 являются оптимальным решением для данной системы. Их входные каналы разработаны с учётом остаточной площади ячейки с установленным накопителем 3.5 дюйма и дополнительного запаса в 20%, что позволяет компенсировать неравномерность перфорации мидплейна. Этот расчётный подход обеспечивает равномерное распределение воздушного потока, минимизируя локальные перегревы даже в сложных условиях, таких как использование SSD или потенциальное гибридное заполнение. Таким образом, выбор конструкции входных каналов в треях СХД 4100 не случаен, а основан на тщательном анализе и инженерных расчётах, направленных на достижение стабильного теплового режима. Это делает треи СХД 4100 предпочтительным выбором для обеспечения надёжности и долговечности системы.

Полностью открытые треи увеличивают общий поток воздуха, что положительно влияет на охлаждение радиаторов PCIe-свитчей, но приводит к ухудшению охлаждения накопителей. Этот компромисс делает их менее подходящими для данной системы, особенно при использовании SSD, где равномерность охлаждения имеет первостепенное значение. Улучшение охлаждения радиаторов достигается за счёт создания зон перегрева в массиве накопителей, что может негативно сказаться на их сроке службы.