Сеть никогда не была самой гламурной частью ИИ-инфраструктуры. Все внимание всегда приковано к тысячам горячих GPU, которые с завидным упорством жгут электричество в дата-центрах, обучая очередную большую языковую модель. Но за любым масштабным ИИ-кластером невидимым фронтом стоит сетевая инфраструктура. Особенность современного ИИ-обучения в том, что это распределенная задача: сотни и тысячи ускорителей параллельно обмениваются гигабайтами данных. И как только сеть спотыкается, вся эта армия GPU простаивает в ожидании данных.

И вот на эту сцену выходит Celestica с DS6000. Именно эти коммутаторы призваны стать теми самыми невидимыми героями, которые должны накормить ваши ИИ-кластеры терабитами данных.

Celestica DS6000: два в одном на выбор

Одна из интересных находок Celestica в этой линейке — адаптация под разные сценарии работы дата-центров. Многие сейчас строят ИИ-фабрики на базе требований и стандартов Open Compute Project (OCP). Это достаточно актуальный тренд: лавируя между экспортными ограничениями и гонкой AI-вооружений, крупные игроки рынка стараются опираться на открытые стандарты, чтобы минимизировать риски.

Celestica выпустили две модификации коммутатора:

• DS6000 — базовая модель. Классический 19-дюймовый форм-фактор 3U с воздушным охлаждением.

• DS6001 — продвинутая версия. Формат под стойки OCP OpenRack(ORv3 ) 21-дюйм с гибридным воздушно-жидкостным охлаждением.

ИИ-кластеры переходят на прямоточное жидкостное охлаждение не только GPU, но и коммутационной инфраструктуры. Тепловыделение уже такое, что воздухом не справиться. И появление подобных гибридных решений говорит лишь о том, что 1,6 Тбит/с греются совсем не по-детски (до 6кВт потребления при максимальной нагрузке говорит о многом).

Технические характеристики:

О чем молчат спецификации

Broadcom Tomahawk 6 на сегодняшний день — один из главных козырей в колоде производителей высокопроизводительных сетевых решений. До анонса DS6000 этот чип уже гремел в индустрии, ведь это первый в мире Ethernet-коммутатор с пропускной способностью 102,4 Тбит/с, что ровно вдвое больше, чем у предшественника Tomahawk 5.

Сам Broadcom хвалится системой Cognitive Routing 2.0, которая обеспечивает расширенную телеметрию, динамический контроль перегрузки, быстрое обнаружение сбоев и обрезку пакетов, что обеспечивает глобальную балансировку нагрузки и адаптивное управление потоком в реальном времени. И для Celestica как OEM-партнера с хорошей инженерной базой интеграция такого сложного чипа в готовое изделие в одном из приоритетов.

Новые GPU в облаке Selectel от 196,09 ₽/час

Видеокарты для ресурсоемких задач — NVIDIA® H100, H200, RTX™ 6000 Pro.

Подробнее →

Почему переход от 800G к 1.6T нужен уже сейчас

Переход на 1,6T ИИ-сетей — не прихоть маркетологов. Модели растут, и обучение современных LLM требует объединения десятков и сотен тысяч GPU в единый вычислительный кластер.

Переход с 800G на 1.6T решает две ключевые задачи:

• Scale-Out (расширение наружу), то есть возможность соединять большее количество GPU с меньшим количеством уровней коммутации. С Tomahawk 6, говорят, можно соединить 128 000 XPU всего через два уровня коммутации, что резко снижает задержки и упрощает архитектуру сети.

• Scale-Up (расширение вверх), то есть ускорение обмена данными внутри одной стойки или между соседними стойками, где один GPU может общаться с другими как с общей памятью.

Сами порты OSFP224 построены на 8 линиях по 200 Гбит/с внутри чипа и, конечно, поддерживают брейкаут-режимы для подключения более старых устройств через кабели-разветвители (MTP/MPO) - универсальность всегда была сильным местом Broadcom.

Открытость как стратегия: SONiC и OCP на страже vendor lock-in

Одна из важных архитектурных философий, которую Celestica закладывает в DS6000, это полная открытость стандартов. В отличие от полностью вертикально интегрированных решений от NVIDIA (их собственные коммутаторы Spectrum-X с их же Ethernet-стеками), Celestica делает ставку на сообщество.

Работа через открытые интерфейсы и ПО:

• SONiC (Software for Open Networking in the Cloud). Сетевая операционная система с открытым исходным кодом, изначально разработанная Microsoft. Позволяет кастомизировать поведение сети под свои задачи без оглядки на вендора. Управлять тысячами портов и сотнями коммутаторов без привязки к конкретному производителю железа.

• Соблюдение стандартов UEC и OCP ESUN. Ориентация на спецификации Ultra Ethernet Consortium и OCP гарантирует, что железо будет корректно взаимодействовать с сетевыми картами  разных производителей в единой гетерогенной среде. 

Все это говорит о том, что DS6000 изначально проектировался для корпоративных заказчиков и крупных ЦОД, которые хотят сохранить контроль над своей инфраструктурой.

Место в иерархии: сравнение с другими решениями

Чтобы понять, куда Celestica позиционирует DS6000, полезно взглянуть на конкурентное поле.

DS6001 среди 1.6T-коммутаторов, совместимых с OCP ORv3 и жидкостным охлаждением, на рынке пока в единичных экземплярах. По сути, Celestica с этой моделью заняли довольно свободную нишу для требовательных к эффективности заказчиков.

Стоит ли смотреть в сторону 1,6T

Celestica DS6000 — это закономерная эволюция. Broadcom Tomahawk 6 дал рынку 102,4 Тбит/с, и Celestica одной из первых упаковала это в товарный продукт с двумя вариантами охлаждения, включая гибридный для OCP ORv3. Форм-факторы и поддержка SONiC делают коммутаторы гибким инструментом для крупных ЦОД, которые закладывают инфраструктуру на годы вперед.

Однако давайте смотреть на то, что есть в реальности. В типовых проектах, включая нашу инфраструктуру, на уровне доступа клиентам предоставляются стандартные скорости, которые давно стали индустриальной нормой. Аплинки агрегации и связи с роутерами могут работать на 100 Гбит/с и выше, но до 400GbE или 800GbE в массовом порядке пока далеко, тем более до 1,6T. Это просто факт: большинству дата-центров, даже тем, кто предоставляет GPU-серверы, такие полосы не требуются ежедневно.

Что это значит для DS6000? Для задач инференса, обучения моделей среднего размера, для парков из десятков или даже сотен GPU текущих скоростей 100-400GbE за глаза. Если вы строите кластер на тысячи самых горячих ускорителей и упираетесь именно в сеть, то DS6000 может быть актуальна. Но такой сценарий — удел единиц. Стоимость 1,6T трансиверов, оптических кабелей и всей необходимой обвязки для построения инфраструктуры пока остается запредельной для пробных внедрений.

В наших дата-центрах мы пока работаем на проверенных решениях, а Celestica DS6000 держим на радаре. Как только появятся реальные проекты с требованиями к 1,6T, будем тестировать и делиться результатами. А пока продукт для первых ласточек, которые готовы платить за неиспользуемый сегодня запас.