Совсем недавно мы вспоминали, что, помимо всего хорошо известного прочего, Intel славен своими сетевыми разработками, технологиями и устройствами. Как выяснилось, вспомнили вовремя, будто почувствовали выход нового поколения серверных сетевых контроллеров и карт Intel Ethernet 800 Series. В этом посте — номенклатура серии 800 и ее ключевые нововведения.
Новая серия пришла на смену хорошо зарекомендовавшей себя серии 700, выпускавшейся, между прочим, начиная с 2014 года. Ее главная особенность — поддержка 100G Ethernet. Таким образом, теперь сетевыми картами Intel поддерживаются все применяющиеся на практике скорости Ethernet: 1/10/25/50/100G.
Сетевые карты используют интерфейс PCIe 4.0 x8/x16 и выполняются в двух форм-факторах: собственно, PCI-Express и OCP NIC 3.0. Open Compute Project (OCP) — проект с давней историей, созданный еще в 2011 году под эгидой Facebook и ставящий своей целью создание открытых стандартов и архитектур оборудования для построения энергоэффективных и экономичных ЦОД. В настоящее время консорциум OCP включает в себя ведущих игроков на серверном рынке, входит в него, естественно, и Intel.
Сообщество OCP — более полутора сотен компаний
Спецификации OCP охватывают все компоненты и характеристики серверов: размеры, энергопотребление, питание и так далее. Подробнее об этом можно почитать здесь. Применительно к серверным сетевым картам стандарт OCP NIC 3.0 оговаривает следующие особенности:
- открытость и универсальность — карта стандарта OCP NIC любого производителя может работать в любом сервере;
- легкая установка карт без открытия корпуса;
- возможность горячей замены;
- монтажная скоба с защитой от случайных отключений;
- стандартизированный терморежим;
- унифицированный интерфейс мониторинга и управления.
Карта Intel Ethernet 800 в форм-факторе OCP NIC 3.0 показана на КДПВ слева.
Отметим кратко ключевые технологии, внедренные в картах 800 серии. Не все они являются принципиально новыми, но все стоят упоминания.
Intel Ethernet Port Configuration Tool (EPCT) — утилита, с помощью которой сетевой адаптер Intel можно настроить как необходимое количество сетевых портов суммарной пропускной способностью до 100G.
Application Device Queues (ADQ) — технология, позволяющая создать отдельные очереди для приоритетного трафика, тем самым уменьшая и выравнивая его задержки.
Dynamic Device Personalization (DDP) — гибко настраиваемая система фильтрации с продвинутой системой маршрутизации пакетов для их высокоэффективной обработки.
Remote Direct Memory Access (RDMA) — хорошо известная технология оркестрации, позволяющая организовать взаимодействие без сетевых оверхедов, копирования страниц памяти и лишних переключений контекстов.
Список поддерживаемых физических интерфейсов
| 100G | 50G | 25G | 10G | |
|---|---|---|---|---|
| DAC | IEEE 100GBASE-CR2 100GBASE-CR4 |
IEEE 50GBASE-CR 50GBASE-CR2 |
25GBASE-CR | SFP+ 10GbE DAC |
| Оптика и AOC | CAUI-4 100GAUI-2 100GAUI-4 |
IEEE 50GAUI-1 IEEE 50GAUI-2 IEEE LAUI-2 |
25GBASE-SR/LR | 10GBASE-SR/LR |
Общие технические характеристики адаптеров
| E810-CQDA2 for OCP |
E810-XXVDA2 for OCP |
E810-XXVDA2 | E810-XXVDA4 | E810-CQDA2 | |
|---|---|---|---|---|---|
| Скорость | 1-100G | 1-25G | 1-25G | 1-25G | 1-100G |
| Тип порта | QSFP28 | SFP28 | SFP28 | SFP28 | QSFP28 |
| Кол-во портов | 2 | 2 | 2 | 4 | 2 |
| Интерфейс | PCIe 4.0 x16 | PCIe 4.0 x8 | PCIe 4.0 x8 | PCIe 4.0 x8 | PCIe 4.0 x16 |
| Высота | — | — | LP/FH | FH | LP/FH |
| Стоимость | $763 | $288 | $327 | $667 | $799 |
radiolok
Вот бы еще 10Гбит Ethernet в потребительском сегменте бы распространить для построения домашних локальных сетей.
Ибо любой современный HDD в любом современном NAS способен на 146% утилизировать гигабитную линку.
amarao
Домашние локальные сети на 90% состоят из пустоты, т.е. воздуха, т.е. wifi'я. Есть отдельные упёртые товарищи, считающие, что важно оставаться на кабеле, но чаще всего — роутер в углу и всё.
Meklon
Особенно весело в типичном курятнике многоквартирном, где 2.4 еле 30 мегабит тянет.
saege5b
Весной всё это дело на 2.4 с гиканьем сваливалось, и неподавало признаков жизни, когда детей 15-20 разом шли в видеосвязь + родители в ютубе.
MMik
Для каких применений? 8K и 4K 360 (3D) съедают до 100 с небольшим Мбит/с максимум. Хорошо, если у вас дома наберётся больше трёх потребителей такого контента одновременно. Если вы профессиональный пользователь (например, редактируете видео, хранящееся на NAS), то у вас уж точно найдутся $3-10k, чтобы получить 10 Гбит/с.
radiolok
NAS у пользователя — давно не редкость. И паттерн закинуть/скинуть большой файл весьма распространен — Но скорость его работы упирается в 1Гбит. Согласен, что для большинства пользователей будет достаточно повысить ethernet хотя бы 2.5гбитсек.
Я к большинству пользователей не отношусь, да :) Я именно что создаю ролики про свои безумные проекты. Для меня нормальный кейс — это держать 300гбайт исходников видео на рабочей машине и еще дергать несколько терабайт остального с NAS.
Но с чего вдруг у меня должны найтись лишние 3-10к$ на домашние нужды — я связи не уловил.
По факту все закупки обошлись мне в 600 долларов (новый роутер с SFP+, коммутатор, две сетевухи и АОС), но 1гбит сетка была на порядок дешевле.
MMik
Редактирование видеороликов в 300ГБ – это явно не типичное использование NAS дома. Обычные пользователи видео снимают на мобильник, и максимум на нём же редактируют. А если и не на мобильник, то у них не по 300ГБ файлы, и тем более не потоковое RAW видео.
Если вы скажете, что 10Гбит/c вам необходимы дома для работы, то вам работа эти затраты и оплатит. Если нужны для хобби – ну на хобби легко и того больше денег потратить.
radiolok
Современная беззеркалка выдает 4К видео потоком около 1Гб/минута.
Так что 300 Гб набегают махом.
khulster
Простите, но единичные модели домашних NAS`ов выдают хотя бы 100 Мбайт/c даже в RAID 0. О каком упоре в гигабитный интерфейс речь?
А если уж так нужна высокая скорость дома, то LaCie 16TB 2big Dock Thunderbolt 3 RAID Storage нам в помощь.
radiolok
Мой NAS Упирается. Ну да, он слегка на базе 8600K, с 16Гб ОЗУ на борту, парой NVMe накопителей и 12Тб хардов. Но я и не типичный пользователь :)
StanEgo
RAID0 даже на паре самых простых HDD выдаёт без труда 150Мбайт/с. Тем более речь в основном идёт о sequential read. Узкое горло там в… просто посмотрите тесты домашних NASов на 2.5GbE. Да и SSD на 4Тб уже пробили $500.
Однопользовательский режим? Пока мама работает детям мультики не посмотреть?
khulster
Не совсем. Там возможны варианты. Но и выше кейс был не про — мама работает, детям мультики. ;)
StanEgo
Вы понимаете, что находитесь в топике про сети?
khulster
Прекрасно понимаю. Но мой пример выше был просто одним из вариантов решения вопроса в домашних условиях. Совершенно не обязательно каждый гвоздь забивать именно микроскопом. Особенно когда он шуруп.
sparksounds
Разбор кейса похожего на ваш
www.youtube.com/watch?v=740wIinb4-Q
radiolok
Хороший ролик, спасибо. У меня в итоге вышел и тот же бюджет(не считая затрат на новый роутер) и тот же коммутатор.
StanEgo
400 Мбит/с даёт потребительская камера вроде Fujifilm X-T3 стоимостью $1.5K. И это сырой контент и в real-time, а обрабатывать хочется гораздо быстрее. $750 стоит 3950X который может кодировать FHD preview в HEVC практически со скоростью x10. Среди этих ценников стоимость 10GbE сильно выделяется.
MMik
Ответил вам тут.
StanEgo
Агумент "на хобби легко и того больше денег потратить" должен объяснить, почему человек, который нашёл на него $1.5-2.5K может с легкостью добавить ещё "3-10к$" только на обеспечение линка к хранилищу?
Или ваше удивление про 300Гб? Я столько могу привезти с экшен камеры только за пару дней катания на сноуборде и это, естественно, нуждается в обработке. От детей я получаю контент всё большего размера. Что не удивительно. 15 лет назад я строил себе гигабитную сеть под видео-камеру FHD и фото-камеру 10Mп. Сейчас телефоны в семье 12-48Мп, а в следующем цикле уже 100-200Мп. Сравните это с ростом возможностей Ethernet.
MMik
Можно и дешевле $3k уложиться, если мало устройств подключать. Да, вполне можно потратить дополнительных денег и на домашнюю высокоскоростную сеть, если она вам действительно нужна. Почему бы и нет? QNAP, MikroTik, ASUS коммутаторы с небольшим количеством 10Гбит/с портов, кабели, сетевые карты (тот же ASUS или более серьёзные производители, в продаже встречаются так же USB-C <-> 5Гбит/с адаптеры). И в NAS нужно будет карточку воткнуть как-то, так как у них у домашних редко PCI-E слоты бывают, или NAS с USB-C найти.
Если вы только один обрабатываете видео, с одного компа, то в разы проще именно для обработки использовать DAS по USB-C, а готовое видео сливать на NAS для домашнего просмотра.
Возможности Ethernet выросли сообразно времени. И 100, и 400Гбит/с есть скорости.
StanEgo
Я могу и в $1k уложиться, что собрать Infiniband на 40ГБит/с. А вот в потребительском секторе никаких 100/400Гбит/с и близко нет. Там даже 10ГБит/с нет. А телефоны со 100Мп и 8К уже есть.
khulster
А потребители готовые все это оплачивать уже тоже есть? Что-то мне подсказывает, что если рядового потребителя поставить перед выбором: подождать часик или доплатить 3-5-10к не рублей, чтобы сократить час до 5-ти минут, выбор масс будет не в пользу второго варианта.
Примерно такая же картинка с интернетом. Много ли людей оплачивают честный гигабит сейчас? Хотя стримингов в 4к давно уже как грязи.
StanEgo
nochkin
Вроде 10Gbe уже достаточно доступно в потребительском сегменте. Карты для оптики можно купить на вторичном рынке за порядка $20-$30, трансивер и хвосты добавят ещё $5-$10.
Пожалуй, самое дорогое тут будет сам свитч. Но для некоторых применений можно и прямое соединение до NAS'а сделать.
radiolok
SFP+ вторичка — да. X520, или Connect X2 так и стоят. Я как раз пару X520-DA1 и взял. Цены на некоторые коммутаторы, например у микротика — приемлемы.
Первичный рынок — выглядит печальнее. Насчет меди все еще менее радужно.
Да, начинают появляться материнки с 10Гбит, но их мало, цены огромные, да и 10гбит коммутатор на меди тоже денег стоит.
Я свой выбор по оборудованию сделал, сижу жду когда приедет. Напишу на хабре потом что получилось.
nochkin
Не помню подробности, но вроде на меди latency хуже, потребление и нагрев тоже не фонтан. DAC хвосты дороже получается, да и они более нежные сами по себе. С расстояниями тоже ограничения.
Какие преимущества меди? Особенно для новой сети дома.
Для дома первичный рынок не даёт особых преимуществ когда можно на вторичном взять хорошее железо.
Я на SFP+ сижу уже больше года и не нарадуюсь. Микротик свитчем стоит, а адаптеры у меня Mellanox, Emulex и Solarflare (просто брал в разное время что по цене интереснее и обязательно PCIe 3.0).
Уже вторую сеть собрал на этом как раз недавно.
radiolok
Медь и 8P8C все же привычнее. Привычные порты, шнурки, топология. Ну подумаешь патч.корд надо cat7e и выше.
А не вот это вот все — DAC, AOC, SFP/SFP+, MM, SM, FC, LC, SR, LR…
Я в итоге плюнул на все эти аббревиатуры передатчиков и решил начать с SFP+ АОС от ONTi нужной мне длины. А там как пойдет.
б/ушные DAC-и кстати от 5 баксов найти можно. Но это 1-5 метров. Чисто в стойке разводку сделать.
nochkin
Раньше телефонная лапша была привычной, но вроде слезли с dial-up'ов.
DAC'и ограничены по расстоянию, поэтому там вариантов особо много и не будет.
По большей части эти термины типа MM/SM, SR/LR больше надо знать когда что-то более сложное, чем домашняя сеть в квартире разводится. Для дома многие варианты не нужны, а другие становятся проще, так как разницу особо не делают.
А так согласен, в начале это немного пугает. Потом уже понимаешь, что это нужно для каких-то особенных случаев в других масштабах.
У меня дома на одной сети разные трансиверы. Например, в одной куче стоят SR и LR, для дома это не критично. По поводу MM/SM надо было чуть больше времени потратить разве что.
По поводу привычности: с таким же успехом можно купить карты с трансивером и нужным хвостом сразу. Просто дешевле покупать раздельно на вторичке когда понимаешь что именно тебе надо.
Alekseyz
Поддерживаю, а еще не помешало бы добавить в линейку home роутеров модели с коммутаторами от 8 портов. Последняя удачная модель на рынке это кенетик Ultra II с восемью портами. Ну не хватает уже четырех портов, разносить по отдельным коробкам не хочется.
nochkin
Кому-то и 16 будет мало, а кому-то надо managed. Проще поставить отдельный свитч как раз под свои требования, а к роутеру только один провод от него должен идти.
У меня в роутер ничего кроме свитча не воткнуто со стороны LAN.
Alekseyz
Ну нет, тогда роутер должен быть роутером, а к нему еще проводом отдельно точку доступа wi-fi.
А если серьезно, телевизор, второй роутер на кухне (в качестве wi-fi транслятора), lte точка доступа, tv приставка (android), вторая android tv приставка на кухне (ютуб приятнее тащить по эзернету), накопитель Wd my cloud, линк от провайдера.
В итоге семь портов занято, остался один, храню его как зеницу ока.
nochkin
Отдельно ставить WiFi точку уже не так полезно, как это было лет 10-15 назад. Сегодня роутер дополняет WiFi, а не наоборот как раньше.
Для большого количества устройств есть свитчи на любой вкус и цвет. Можно даже по одному в комнату ставить если это поможет в плане проводов. Это не задача роутера.
Надо обновить роутер? Пожалуйста. Свитчи и проводка осталась и можно ставить почти любой подходящий роутер по параметрам или цене, а не только ту одну тормозную модель только из-за того, что там 8 «дырок».
Alekseyz
В случае кенетика, удобней когда одна коробка, с одной админкой, с одним блоком питания, итд. восемь портов было бы оптимально, по габаритам тоже не сильно выбивается, но маркетологи убрали эти модели.
nochkin
Потому что это бесполезно, так как ставит ненужные ограничения (нет, я не маркетолог).
Обычным тупым свитчам админка не нужна. Редко кто покупает managed свитчи для такого домашнего применения.
SlimShaggy
Asus RT-AX88U. У него 8 гигабитных портов и даже link aggregation есть. Хотя я с трудом представляю, как последнее применить в домашней сети. С одной стороны, 1Gb WAN для ax становится bottleneck'ом, но с другой я что-то не верю, что провайдеры начнут тянуть в квартиры по два кабеля с агрегацией.
Firz
Ну сейчас уже за недорого можно 10 гигабит дома сделать:
Свитч Mikrotik CRS305-1G-4S+IN (4x10G SPF+ порта + 1х1GbE) за 150$
В устройства сетевухи Mellanox CX311A по 35-40$ с того же Aliexpress/Ebay
Если все рядом со свитчем, то вообще экономно — DAC кабеля SFP+ 10G по 7-12$ за штуку с того же али.
А если NAS рядом с компом и другим устройствам не требуется 10 гигабит, можно купить 2 сетевухи и 1 DAC кабель и соединить напрямую, за 80-90$ итого.