От переводчика
В данном случае я не просто переводчик, но и автор оригинала. Писать подобные вещи на английском для меня проще и слог в оригинале скорее всего более понятный, поэтому, я позиционирую статью на хабре именно как перевод (с соответствующей пометкой).
В процессе перевода, для адаптации статьи к аудитории, сделано несколько небольших изменений в сравнении с оригиналом, например, убраны цены в франках и оставлены только доллары.
Начало
Я живу в маленьком сельском городке в Швейцарии и довольно давно являюсь клиентом init7 (местный провайдер). Этот провайдер стал известен тем, что только он начал пару лет назад предлагать доступное для частных лиц 25 Гбит/с подключение. Впрочем, обычно, ему требуется время, чтобы обновить оборудование в точке присутствия, а, в моем случае, ему нужно было открыть где-нибудь поблизости новую точку присутствия (до этого у них был договор с другим провайдером об аренде части оборудования и места в стойке, что по прежнему давало мне оптику в квартиру, она по прежнему была не GPON'ом, но скорость ограничена гигабитом).
В 2023 году они наконец анонсировали скорое открытие POPа и перевод всех пользователей на их основной продукт (fibre7). То, что это новый POP, для меня означает, что там сразу будет доступен 25 Гбит/с тариф.
Отдельно отмечу, что работаю SRE в Google Switzerland (примечание автора: статья и все что мною сказано является исключительно моими мыслями и позицией, никакого отношения к работе и компании она не имеет) и у меня есть небольшой опыт работы с сетями. Но все же, именно практического опыта у меня мало. Кроме того, в остальном, дома в деревне бывает скучновато, так что я решил — вот мой шанс получить новый опыт, хотя и 25 Гбит дома это сильный перебор. В этой серии статей я постараюсь рассказать мой путь и мыслительный процесс на протяжении всего проекта. Также, будет как минимум одна фотография котика (а их у меня много) и некоторые другие фотографии, которые я сделал в процессе (включая фоточки железа).
Планирование
Учимся на чужом опыте
После небольшого исследования интернета я обнаружил серию блог-постов Михаэлля Стапелберга о его опыте сборки роутера (статья на английском), а также о его опыте c Mikrotik CCR2004 (25 гбитный роутер). Правда, в случае микротика, какие либо тесты отсутствовали, что не позволяло оценить подходит ли он на самом деле. Впрочем, на форуме Mikrotik'а люди обсуждают всякое, включая производительность. Давайте процитирую некоторые сообщения:
Когда я впервые получил мой 2004-ый, маршрутизация казалось упиралась в 2-3 Гбит/с, далековато от потенциальных 20-40 Гбит/с указанных на сайте
Но это было в начале, дальше тот же пользователь писал:
В районе 19 Гбит/с оба 2004-ых достигли 90% утилизации, вне зависимости от того по UDP или TCP. Используя встроенный тест скорости на 2116-м, по TCP скорость варьировалась от 4 Гбит/с в одну сторону до 8.8 или в редких случаях даже 9.2 Гбит/с. У меня было 0 правил файрвола, очередей и прочего на всех 4-х роутерах, просто IP адрес и пара статических маршрутов.
Звучит вроде бы неплохо, да? 19 Гбит/с в принципе сойдет, может быть мне и не нужно заморачиваться со сборкой роутера? Я в принципе могу смириться с проблемами, что Михаэль описывал у себя...
Но подождите...
На 7.6 и 7.7бета9 мои тесты скорости стали заметно хуже, скорее 6-7 Гбит/с вместо прежних 8-9 Гбит/с на порт. То есть, хоть 7.7 и заявляет что исправило поддержку различных скоростей на SFP+, но производительность просела где-то в другом месте.
И другой пользователь в том же треде говорит:
Локально я получаю не более 7 Гбит/с, а тестируя скорость к init7 iperf3 сервером (25 Гбит/с соединение!), получаю около 5.5 Гбит/c.
И этот роутер стоит примерно 570$ в Швейцарии на момент написания статьи. В интернете люди обсуждают другие варианты и общий вывод, кажется, что если хочется получить стабильные 20+ Гбит/с, то нужно покупать CCR2216, у которого официальная цена — 2795$, а в Швейцарии в реальности — около 2760$.
Поэтому я и решил собирать мой собственный роутер.
Сбор требований
Подумать о том, что хочется от своего роутера звучит как разумный первый шаг, позволяющий понять что же покупать. После некоторых раздумий я определил для себя следующий набор требований:
Он должен маршрутизировать ≥ 20 Гбит/с.
У него должен быть хотя бы 1 SFP28 для входящего соединения и как минимум два SFP28 для исходящих. Но в идеале 1 входящий и 4 исходящих SFP28 (то есть всего 5).
Один из портов должен выдавать нормальные 10 Гбит/с, SFP+ или RJ45 — не важно.
Он должен быть тихим, так как будет стоять в гостиной (там находится "розетка" для оптики).
В идеале, у него должно быть низкое энергопотребление.
В идеале, неплохо переиспользовать железо, которое у меня уже есть.
В плане железа, с момента апгрейда основной системы, у меня осталась практически готовая система на Ryzen 3000, не хватает только корпуса и дисков (Ryzen 3900X, 32 GB памяти, MSI X570 Ace в качестве материнки и довольно старая AIO водянка, также есть несколько каких-то видеокарт).
Про выбор сетевых карт
Немного про PCIe
Так как мы говорим про пропускную способность — требуется сделать немного расчетов на тему того, что нужно в плане пропускной способности PCIe шины.
Если вам хочется узнать больше про PCIe (простыми словами), я бы порекомендовал видео за авторством Gynvael Coldwind под названием PCI Express To Hell (на английском). Но главное что нужно помнить — ограничивающий фактор в плане пропускной способности — это как версия поддерживаемая материнской платой, так и версия поддерживаемая устройством. После чего можно, в принципе, умножить пропускную способность одной линии нужной версии на количество линий которое дает слот или устройство (меньшее из двух). Так как мне важна цена устройства, я не буду даже смотреть в сторону устройств на PCIe 5.0 (к тому же, только Ryzen 7000 и Core 12-ого поколения или новее из десктоп процессоров имеют поддержку). Большинство сетевых карт, которые я буду рассматривать, достаточно старые, поэтому основной кандидат — PCIe 3.0. Хотя есть небольшой шанс на что-то чуть поновее, поэтому PCIe 4.0 я не буду полностью сбрасывать со счетов.
Для PCIe 3.0, пропускная способность одной линии это 8 GT/s (можно было бы сказать, что сырая пропускная способность — 8 Гбит/с, но в реальности есть небольшие дополнительные накладные расходы и на практике можно получить что-то ближе к 7.5 Гбит/с), а для PCIe 4.0 — вдвое выше, то есть 16 GT/s (накладные расходы никуда не деваются, так что я буду примерно считать её равной 15 Гбит/с).
Еще одна вещь, про которую надо помнить, выбирая из домашних компонентов, что домашние процессоры имеют 20-24 линии PCIe суммарно, то есть даже теоретически не получится получить более 360 Гбит/с для устройств. Тут есть еще один подвох — на практике количество линий PCIe на слот кратно степени двойки, то есть они могут быть x16, x8, x4, x2 или x1. Притом в реальности x2 встречается редко. То есть если карта не способна загрузить все 8 линий, вставленная в слот с 8 линиями она займет их все.
Один 25 Гбит/с сетевой порт требует примерно 3.34 линии PCIe 3.0 (округляем вверх до 4х), а в случае с PCIe 4.0 — половину от этого (округляем до 2х). То есть в случае с PCie 3.0 картами можно вставить 2 карты в x8 слот, по два 25-и Гбитных порта на каждой (SFP28) или одну карту с 4-я портами в x16 слот. В случае с PCIe 4.0 (если вообще удастся найти соответствующие недорогие карты), в теории можно получить 8 портов в PCIe 4.0 x16 слоте или две 4-х портовые карты в x8 слотах. Есть еще карты с 2xQSFP28 на PCIe 4.0, впрочем на практике, скорее всего, придется ограничиться картами с 4мя портами SFP28.
Для карт важно проверить что они поддерживают. Некоторые карты могут работать как в режиме PCIe 4.0 x8, так и в режиме PCIe 3.0 x16 (хотя встречаются реже). И более новые карты чаще дороже.
О самих сетевых картах
После некоторых исследований, вот то что я нашел в интернете.
Примечание: я искал новое и только сносного качества подержанное железо, но я буду упоминать цену на подержанное только если она отличается от нового более чем в 2 раза, потому что так, даже купив лишнюю карту в качестве запасной, будет выигрыш по деньгам и об этом стоит упомянуть.
Broadcom P425G — её относительно сложно найти подержанной на eBay, но иногда встречается, например такой лот за 195$ + 29.33$ доставка + растоможка (суммарно 241.60$). У карты 4 порта SFP28, она поддерживает как режим PCIe 4.0 x8, так и PCIe 3.0 x16 (заявлена поддержка для той же модели карты), у нее пассивное охлаждение и заявленное общее энергопотребление в 19 Вт, она умеет в разные модные штуки типа оффлоадинга RoCE и NVMe-oF. Подвох в том, что она разработана для энтерпрайза, поэтому часть настроек доступна только через BIOS самой карты (куда попасть можно только во время загрузки).
Intel XXV710 — 99.99$ + 32.46$ за доставку + растаможка (всего 132.45$). У карты 2 порта SFP28, PCIe 3.0 x8, пассивное охлаждение. Заявленное энергопотребление — 14.1 Вт, почти никаких модных оффлоадингов. Народ также жалуется, что прошивка на карту ведет себя странно и, возможно, для стабильной работы придется экспериментировать с разными версиями (например, из того что я слышал, карта может уйти в себя, если объединить её порты в мост с другими сетевыми картами).
Intel E810 — 384.04$ новая на Distrelec (предложения на eBay есть, но цена почти не отличается от новой). Она новее чем XXV710, у нее появились оффлоады (RoCE v2, NVMe-oF и прочие вещи), но энергопотребление выросло до 16-20 Вт и люди также жалуются на проблемы с прошивками как и у XXV710.
Mellanox ConnectX-4 LX. Самая дешевая, которую я смог найти на eBay стоила 49.48 GBP (62.70$). Она рекламируется как "абсолютно новая, сделана в Китае", правда я не уверен что это правда. У карты 2 SFP28, PCIe 3.0 x8 и пассивное охлаждение. Энергопотребление я точно определить не смог, так как разные источники говорят про 7.8 или 11.1 Вт. У нее есть некоторые базовые оффлоады, но ничего модного.
Mellanox ConnectX-5. Самая дешевая, что я нашел, стоила 158$. У этой версии также 2 SFP28, а самое важное (для дома) отличие — это поддержка модных оффлоадов, включая даже Open V-Switch (что уже перебор для дома).
Mellanox ConnectX-5 MCX516A-CCAT. У этой конкретной модели 2 порта QSFP28, что означает общую пропускную способность до 200 Гбит/с в теории. Её цена была 269.99$ + 30.05$ доставка + растаможка (333.63$ всего). Правда есть и подвох...
Во-первых, PCIe 3.0 x16 — его общая пропускная способность около 126 Гбит/с, то есть несколько меньше необходимых 200. Хотя, если верить форумам, есть способы перепрошить её в MCX516A-CDAT, отличие которой в поддержке PCIe 4.0. Это выглядит потенциально возможным, так как чип и плата идентичные. Правда, никто не гарантирует, что это безопасно и карта будет работать стабильно.
Во-вторых — QSFP28. Это значит, что придется использовать специальные кабели (breakout), если, конечно, не хочется получить 100 Гбит/с на порт (по сути, QSFP28 это агрегированный канал из 4-х SFP28). В свою очередь это значит, что придется либо довольствоваться DAC кабелем (direct-attached copper), либо специальной оптикой (у которой на конце будет либо SFP28 или просто несколько хвостов). Обычно такие кабели рассчитаны на то, что все 4 конечных устройства находятся поблизости друг от друга (в одной стойке), поэтому если нужно тянуть их в разные места — не вариант. Также, в случае с активным кабелем, на конце будет 4 одинаковых SFP28, что не подходит, если одно из устройств требует исключительно SFP+.Netronome Agilio CX 2x25 GbE. Эта карточка стоит около 118$ + 27.21$ доставка + растоможка (156.39$ всего). У нее 2xSFP28, поддержка кучи оффлоадов, и, что делает её интересной, наличие SDK с возможностью как использовать eBPF оффлоадинг, так и писать свои собственные обработчики на P4.
В итоге, я выбрал смесь из ConnectX-4 LX и Netronome'а, потому что мне интересна возможность поработать с P4. Я взял 6 меланоксов (2 в роутер, 1 в ПК, 1 в Thunderbolt->PCIe для ноутбука и две про запас) и 2 Netronome'а.
Немного о ConnectX
Я покупал свои у нескольких разных продавцов (включая того, что я упомянул выше, двое других были чуть-чуть дороже) и, в итоге, получил микс из "Сделано в Китае" и "Сделано в Израиле", и еще они шли с разными прошивками. Те, что "Сделаны в Китае", шли с древней, но, судя по всему, родной прошивкой (2018-ого года, что совпадает с датой изготовления на стикере), но одна из них была OEM Mellanox'ом для Huawei.
Одно из заметных отличий — для оригинальной можно просто скачать mlxup с сайта NVidia и, если есть интернет на устройстве, просто обновить прошивку через него (будьте осторожны: карта с прошивкой 2018 года заработала не во всех моих устройствах, например мой десктоп на X670E просто не увидел карту в том числе в ОС; мне кажется, что причина в том, что у них была не-UEFI совместимая версия прошивка (как минимум утилита в графе UEFI firmware показывала N/A). Но этот подход не сработает с OEM для Huawei, так как у нее другой Product ID. Есть методика по перепрошивке таких карт в оригинальную, она описана в нескольких постах на servethehome (работоспособность естественно не гарантируется, все подобные действия повторять исключительно на свой страх и риск).
TLDR: я буду предполагать, что у вас что-нибудь debian-образное и вы уже скачали новую прошивку с сайта nVidia. Важно использовать mstflint из дистрибутива или из GitHub, а не с сайта, потому что в версии на сайте nVidia не работает флаг allow_psid_change. Следующий скрипт представлен исключительно как пример и я не несу ответственность если что-то пойдет не так и вы сломаете свою карту или любое другое железо:
echo "You are about to flash your Mellanox card to a different firmware without any validation. That can cause irreversible damage to your network card or PC, please STOP IF YOU ARE NOT SURE YOU KNOW WHAT YOU ARE DOING AND YOU TAKE FULL RESPONSIBILITY FOR WHAT IS ABOUT TO HAPPEN"
sleep 60
sudo apt install mstflint
NEW_FIRMWARE_BIN="<set this to the path to your new firmware>"
# This will get the only ID of the first card, you should modify that if you need another one
PCI_ID=$(sudo lspci | gawk '($0 ~ /ConnectX/ && $1 ~ /\.0$/){print $1}' | head -n 1)
mkdir -p "mellanox_${PCI_ID}_backup"
sudo mstflint -d "${PCI_ID}" query full > "mellanox_${PCI_ID}_backup"/full_query.txt
sudo mstflint -d "${PCI_ID}" hw query > "mellanox_${PCI_ID}_backup"/hw_query.txt
sudo mstflint -d "${PCI_ID}" ri "mellanox_${PCI_ID}_backup"/orig_firmware.bin
sudo mstflint -d "${PCI_ID}" dc "mellanox_${PCI_ID}_backup"/orig_firmware.ini
sudo mstflint -d "${PCI_ID}" -i "${NEW_FIRMWARE_BIN}" -allow_psid_change burn
sudo reboot # alternatively you can try:
# mstfwreset -d "${PCI_ID}" reset
# Restore old GUID and MAC (can be found in query full)
# that should be the same as above
PCI_ID=$(sudo lspci | gawk '($0 ~ /ConnectX/ && $1 ~ /\.0$/){print $1}' | head -n 1)
GUID=$(gawk '($1 == "Base" && $2 == "GUID:"){print $3}' "mellanox_${PCI_ID}_backup"/full_query.txt)
MAC=$(gawk '($1 == "Base" && $2 == "MAC:"){print $3}' "mellanox_${PCI_ID}_backup"/full_query.txt)
sudo mstflint -d "${PCI_ID}" -guid ${GUID} -mac ${MAC} -ocr sgИ, если все пройдет успешно, ваша Mellanox'овская карточка будет идентифицировать себя как оригинальный Mellanox и даже mlxup будет работать.
Про SFP модули
Одна из вещей, которые я понял звучит так: постарайтесь использовать оптику везде где возможно.
Есть SFP+ RJ45 модули, но их совместимость... своеобразная. Я пробовал 3 разных модуля — fs.com'овский, ubiquity'евский и MikroTik'овский (его v2). Последний в принципе не захотел работать с мелланоксовской карточкой. Он попросту не включался и карта не писала даже дебаг-сообщений (и с дебаг-режимом включенным в драйверах).
Ubiquity'евский работал нормально, но определялся как 10G Ethernet, мультимодный 50 микрометровый, с лазером для коротких дистанций с длиной волны 850 нм, но к которому можно подключить до 100 метров меди. И не смотря на то что с Мелланоксом он работал нормально, я легко могу представить, что с такой информацией не все устройства будут с ним работать. Если вдруг интересно, вывод ehtool'а выглядит так:
# ethtool -m enp16s0f1np1
Identifier : 0x03 (SFP)
Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID)
Connector : 0x22 (RJ45)
Transceiver codes : 0x10 0x00 0x00 0x00 0x20 0x40 0x04 0x80 0x00
Transceiver type : 10G Ethernet: 10G Base-SR
Transceiver type : FC: intermediate distance (I)
Transceiver type : FC: Shortwave laser w/o OFC (SN)
Transceiver type : FC: Multimode, 50um (M5)
Transceiver type : FC: 1200 MBytes/sec
Encoding : 0x06 (64B/66B)
BR, Nominal : 10300MBd
Rate identifier : 0x00 (unspecified)
Length (SMF,km) : 0km
Length (SMF) : 0m
Length (50um) : 0m
Length (62.5um) : 0m
Length (Copper) : 100m
Length (OM3) : 0m
Laser wavelength : 850nm
Vendor name : Ubiquiti Inc.
Vendor OUI : 24:5a:4c
Vendor PN : UACC-CM-RJ45-MG
Vendor rev : U07
Option values : 0x00 0x00
BR margin, max : 0%
BR margin, min : 0%
Vendor SN : AK22117511563
Date code : 221119И вторая особенность — энергопотребление. По каким-то причинам, ethtool не считывает температуру с моих SFP+ RJ45. Впрочем, по паспорту, они рассеивают до 2-3 Вт, что многовато для такого небольшого модуля и без активного охлаждения карты, модуль может перегреваться в определенных условиях.
В остальном, я купил несколько SFP28 одномодовых модулей у fs.com, и они работали нормально, также как нормально работали SFP28 DACи. Впрочем, если вы хотите поддержать европейского производителя, я бы посоветовал рассмотреть покупку модулей у Flexoptix. Помните, что для двунаправленных надо посмотреть длины волн на прием и передачу. То что нужно на входе — посмотрите у вашего провайдера, а если вы подключаете два разных устройства друг к другу, то не забудьте поменять местами TX и RX на одном из них. Например, если у вас на одном конце TX 1331 nm и RX 1271 nm, то на другой стороне нужно купить модуль с RX 1331 nm, TX 1271 nm. Сайты специализированных магазинов обычно подсказывают и спрашивают точно ли вы не хотите взять ещё и другой модуль.
Одномодовые, мультимодовые, DAC кабели
Максимальная длина DAC кабеля порядка 10 метров, а так как мне нужно тянуть оптику по всей квартире, то их я могу использовать разве что между роутером и NASом (они будут близко друг к другу).
Я везде использую одномодовые кабели, чтобы унифицировать оборудование, потому что на вход идет одномодовый кабель. В таком случае я могу переиспользовать другие кабели и модули, если будет необходимо. Одномодовые кабели немного дешевле (~13$ за 100 метров против 26$ за 100 метров), а модули чуть-чуть дороже (90$ за одномодовый против 60$ за мультимод).
Типы кабелей
Для многомодовых кабелей есть несколько разных спецификаций (OM3, OM4, и т.п.). Скорость и расстояние зависит от класса кабеля. Например, OM3 позволяет использовать 10 Гбит на расстоянии до 300 метров, но может работать и для 25 и для 40 Гбит, но на меньших расстояниях (до 70-100 метров). Во многих местах пишут, что для SFP28 лучше брать OM4. Я лично не проверял как это работает, так как выбрал одномодовые кабели.
Для одномодовых кабелей, я также взял BiDi SFPшки (я вообще не уверен, удастся ли найти не BiDi SFP28) и simplex кабели. Важен тип коннектора, так как когда вы подключаете два устройства, вам нужно на обоих концах иметь LC UPC.
Помните, что резать оптику и переобжать позже — сложнее. Вам понадобятся кевларовые ножницы, специальная зачистка и обжималка, которая сможет выровнять кабель и коннектор, а также Field Assembly коннекторы. Вы можете и сварить кабель, но для этого требуются дорогие устройства ценой в несколько тысяч $ (позже мне указали, что на aliexpress есть плазменная сварка AI-9 за ~700–1000$ — ссылка дана как пример, я не искал самый дешевый вариант).
Я посоветую почитать пост Михаэля Стапелберга, написанным в 2020 году о его выборе оборудования, там есть простая инструкция о том, как поставить field connector.
Другое железо и итоговая конфигурация роутера
Также я решил заменить мою старую водянку на простой воздушный кулер. Я взял Be Quiet! Pure Rock Slim 2, потому что он, по заверениям производителя, должен рассеивать до 135 Вт, чего более чем достаточно в моем случае.
В качестве корпуса изначально думал про Corsair 4000D, просто скопировав решение Михаэля, но после некоторых экспериментов и прикидок я решил взять Fractal North (Mesh) по нескольким причинам:
У Fractal North больше вентиляторов в комплекте.
Корпус у Fractal's немного больше и его mesh вариант имеет специальную скобу для установки вентилятора напротив PCIe разъемов.
Эргономически, Fractal мне показался немного лучше — крепление для SSD более удобное и доступное, больше места для кабель-менеджмента и т.п.
Стоит помнить один момент про Fractal North — не смотря на то, что он достаточно большой и в него влезает большой процессорный кулер, если он слишком большой, то будет мешать установке скобы для вентиляторов, например что-нибудь типа Noctua D-15 точно будет мешать и обдув PCIe карт ухудшится.
В качестве блока питания, я выбрал Be Quiet! Pure Power 12m — так как на момент сборки это был самый дешевый блок питания не от неизвестного бренда, у которого были съемные провода, а значит лучший кабель менеджмент.
Итоговая конфигурация (версия 1):
CPU: Ryzen 3900X (потому что был)
MB: MSI X570 Ace (потому что была)
Cooler: Be Quiet! Pure Rock Slim 2 (причины выше), 36.08$
RAM: 2x16GB DDR4 3200 CL14 (потому что была)
Mellanox ConnectX-4 LX с eBay (x1), 62.7$
Netronome Agilio CX с eBay (x1, потому что хочется попробовать что-нибудь программируемое), 156.39$
Видеокарта: Radeon R5 230 — потому что небольшая и у X570 нет поддержки встроенной (да и у Ryzen 3900X нет встроенной), 52.32$
PiKVM v4 для удаленного менеджмента (потому что был)
Блок питания: Be Quiet! Pure Power 12M 550W, 98.02$
Диски: 2xSamsung 870 Evo 512GB в SW Raid 1 (без какой-то особой причины), 98.58$ (за оба)
Доп вентиляторы: 1x Noctua NF-A14, 44.14$
Корпус: Fractal North (Mesh вариант) — 133.33$
То есть пока на сборку ушло 679.30$.
Версия 1 намекает, что вариант не финальный :) Но об этом я расскажу позже (в следующих частях).
Что бы я поменял, собирая с нуля
Я бы взял плату на B550, так как даже выбирая Broadcom'овские сетевухи мне не нужен был бы больше чем 1 PCIe 4.0 слот, а платы на B550 в целом более экономичны. Например, я бы посмотрел в сторону AsRock B550 Taichi.
Я бы заменил процессор либо на Ryzen 5700X, либо на Ryzen Pro 5750G. Хотя тут можно поспорить что лучше, так как Ryzen 5xxxG (с интегрированной графикой) ограничен поддержкой PCIe 3.0. То есть если мне нужно больше портов и я захочу поставить P425, мне потребутеся либо PCIe 4.0 x8 либо PCIe 3.0 x16 и, так как Ryzen'у 5750G не хватит PCIe на x16 + x8, и я буду ограничен x16 + x4 (нет поддержки PCIe 4.0), и в таком случае 5700X будет лучше, так как на нем я смогу получить x8 + x8 PCIe 4.0.
Я бы еще взял 3200 MHz ECC DDR4 память, вместо обычной десктопной, и я бы брал 16 ГБ (так как это все равно больше чем нужно).
Taichi, CPU и RAM стоили бы дополнительные 525.07$: RAM стоила бы 48.72$ за 2x8, CPU еще 201.61 сверху за 5700X, и Asrock B550 Taichi стоит еще 274.74$, что увеличило бы траты до 1204.37$. Часть железа можно взять БУ, чтобы уменьшить стоимость роутера.
Также можно построить систему на Intel'е, сейчас бы я взял бы Core i3 12 поколения за базу (i3–12300T) и в целом руководствовался принципом, что хорошая производительность в 2-4 потока там не помешает.
Также можно рассмотреть сборку на базе EPYC или Xeon, чтобы получить больше PCIe слотов.
Результат
После сборки, пока я все еще жду подключения 25 Гбит/с, я погонял базовые тесты, подключив машину к нему напрямую (Netronome <-> Mellanox ConnectX 4 LX, Netronome на сервере).
В данном случае, у роутера был IP 172.16.0.1, а 172.16.0.2 — у клиента. В качестве простого бенчмарка я взял iperf3 в конфигурации по-умолчанию — то есть один TCP поток (это немного нереалистично, но должно отражать худший случай на практике):
# iperf3 -c 172.16.0.2 -t 120
Connecting to host 172.16.0.2, port 5201
[ 5] local 172.16.0.1 port 41114 connected to 172.16.0.2 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.67 MBytes
[ 5] 1.00-2.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.80 MBytes
[ 5] 2.00-3.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.80 MBytes
[ 5] 3.00-4.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.80 MBytes
[ 5] 4.00-5.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.80 MBytes
[ 5] 5.00-6.00 sec 2.74 GBytes 23.5 Gbits/sec 0 2.80 MBytesПока выглядит неплохо и многообещающе (стоит помнить, что bitrate считается по полезной нагрузке, в это же время на интерфейсе счетчики показывают порядка 25 Гбит/с). Так что я запустил iperf с роутера в сторону клиента:
# iperf3 -c 172.16.0.1
Connecting to host 172.16.0.1, port 5201
[ 5] local 172.16.0.2 port 38690 connected to 172.16.0.1 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 1.91 GBytes 16.4 Gbits/sec 0 3.15 MBytes
[ 5] 1.00-2.00 sec 1.95 GBytes 16.7 Gbits/sec 0 3.15 MBytes
[ 5] 2.00-3.00 sec 1.96 GBytes 16.8 Gbits/sec 0 3.15 MBytes
[ 5] 3.00-4.00 sec 1.95 GBytes 16.8 Gbits/sec 0 3.15 MBytes
[ 5] 4.00-5.00 sec 1.96 GBytes 16.8 Gbits/sec 0 3.15 MBytes
[ 5] 5.00-6.00 sec 1.97 GBytes 16.9 Gbits/sec 0 3.15 MBytes
[ 5] 6.00-7.00 sec 1.97 GBytes 16.9 Gbits/sec 0 3.15 MBytes
[ 5] 7.00-8.00 sec 1.96 GBytes 16.8 Gbits/sec 0 3.15 MBytes
[ 5] 8.00-9.00 sec 1.96 GBytes 16.9 Gbits/sec 0 3.15 MBytes
[ 5] 9.00-10.00 sec 1.97 GBytes 16.9 Gbits/sec 0 3.15 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 19.6 GBytes 16.8 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 19.6 GBytes 16.8 Gbits/sec receiverВ top видно, что узким местом является производительность на ядро — оно все время проводит в ksoftirqd. Немного покрутив различные ручки я не добился принципиального изменения ситуации. Естественно, замена Netronome на Mellanox полностью исправляла ситуацию. В этом случае все работало нормально (CPU даже не повышал частоты до базовой частоты, не говоря уж про максимальную, потребление процессора колебалось в районе 50% в то время как частота ядра была около 3 ГГц, в то же время Netronome вызывал буст до максимальной, что для моего 3900X — порядка 4.4 ГГц).
Так что я понял, что заставить систему работать нормально с установленным Netronome'ом будет не так просто.
Что дальше?
В момент написания статьи я все еще жду собственно самого подключения. Оно займет еще неделю или две (примечание автора: оценка на момент публикации оригинала), так что мой план пообщаться с техподдержкой Netronome в том числе и о других вещах. Так что в следующей части я расскажу чем закончились эксперименты с Netronome'ом и удалось ли мне получить нормальную производительность на нем.
В то же время, я уже поменял несколько вещей в моей системе (в попытках получить 25 Гбит/с на Netronome), так что и об этом я расскажу в следующий раз.
Небольшое дополнение
Так как перевод я доделывал спустя некоторое время после публикации, ожидание уже подошло к концу и я смело могу добавить скриншот с результатами.
Выяснилась и небольшая проблема - по непонятной мне причине, модуль от fs не увидел света со стороны провайдера, хотя он прекрасно работает в связке с другим модулем от fs. Впрочем, это вылечилось заменой его на flexoptix. Симптом был простой — ethtool показывал нулевую мощность входящего сигнала, притом что по длинам волн и технологиям ни я, ни техподдержка провайдера, ни другие люди кому я показывал модули, не смогли найти никакой существенной разницы. Буду премного благодарен, если кто-нибудь в комментариях сможет указать где я ошибся.
Комментарии (224)
Maxim_Q
20.09.2023 15:26+1Давайте протестируем можноли сделать DDoS имея только один канал в 25 Гбит/с? Я готов предоставить свой сайт как подопытного кролика, мой хостер сказал что есть базовая защита от DDoS.
Civil Автор
20.09.2023 15:26+1Я в личке ответил, что надо по ToS посмотреть что по мнению провайдера не будет его нарушением (а то предполагаю что если сделать какой-нибудь типичный флуд, это провайдеру не понравится). Чисто что-нибудь скачать-залить без проблем можно, но не думаю что это стриггерит защиту.
Maxim_Q
20.09.2023 15:26Чисто что-нибудь скачать-залить без проблем можно, но не думаю что это стриггерит защиту.
А если будем скачивать одновременно в 1 млн. потоков один и тот же файл или обращаться к одной странице? В теории это и есть DDoS и защита должна сработать, если не сработает проверим справится ли сервер лично своими силами, без теста точно узнать не получиться что будет. В любом случаи канал такой ширины грозная штука, а вот на сколько именно грозная без теста не узнать, если есть кто-то еще кто хочет протестировать свой хостинг присоединяйтесь.
balamutang
20.09.2023 15:26Круто как экспириенс, но всерьез дома не особо нужно, как и даже 1 гигабит. Все равно сайты отдают медленнее, да и тащить финансово все хозяйство сетевое дома тоже то еще приключение. У меня два компа дома, соотв надо не только роутер, но и свитч и сеть проложить и тд. И при этом 99.99% эта скорость никак себя не проявляет.
Civil Автор
20.09.2023 15:26+6Вот про гигабит можно поспорить:
Бэкапы куда-нибудь во вне, могут относительно легко больше на upload и на download получить.
Если пользователь не один - то широкий канал позволит всем домочадцам заниматься чем им угодно не испытывая затруднений.
Всякие игровые сервисы могут отдавать быстрее чем на гигабите.
Так что про 1/1 Гбит - я периодически использовал и вздыхал, что неплохо бы побольше. Больше 10 - да, ради опыта в первую очередь.
Про несколько компов - у меня в роутере поэтому несколько сетевых карт (25 Гбитные свитчи стоят неразумных для домашнего использования денег, как минимум в данный момент и то что я находил). Сеть проложить тоже не так сложно, оптика довольно тонкая и современные кабели могут поворачивать достаточно хорошо, чтобы дома в стене по кабель-каналу его пустить. Да и, если думать о заделе на будущее, мне кажется, сейчас уже имеет смысл изначально думать о оптике.
Кстати, если ограничиться пределами квартиры, то сетевой диск на 25 Гбитах использовать становится заметно приятнее ;)
balamutang
20.09.2023 15:26Ну я по себе конечно мерю, имхо как говорится. На основе опыта с этим же гигабитом дома.
Кроме осознания что у меня гигабит больше никаких причин его иметь дома не нахожу. Бэкапы не гоняю и видеофайлы и тд - я дома просто живу, а работу на работе работаю, в общем разделяю работу и отдых.
При этом и на производительный роутер и на гигабитные свитчи пришлось потратиться: домашний сервер, два компа, вайфай для мобилок и ноутов, два телека на кабеле, сетевой принтер, видеонаблюдение (регистратор и 7 камер), в общем сеть нормальная дома.
С другой стороны конечно даже подключая 200-300мбит/с все равно придется покупать гигабитное оборудование, а 100мбит/с уже вроде как-то маловато.
Civil Автор
20.09.2023 15:26Вот в плане отдыха - steam и gog могут больше гигабита отдавать и это позволяет меньше ждать очередного 20 ГБ патча на игрушку.
Еще моя мысль в том, что я в принципе хотел давно 10+ Гбит до NASа (я мечтаю, что смогу бесшовно скидывать фотографии на NAS и работать с ними прям с него не особо замечая что это не локальный сторадж) и тут отличный повод перестроить всю домашнюю сеть. И опять же, в таком контексте нет причин не выбрать 25 Гбит на вход, на мой взгляд :)
В остальном - да, даже если достаточно 200-300 мбит входящего/исходящего канала, придется все равно делать все на гигабите. Правда гигабит уже относительно стандартный и дешевый, в современных матерниках 1 или 2.5 Гбит сетевые карты, чисто 100 Мбитных свитчей я тоже давно не видел.
vikarti
20.09.2023 15:26И опять же, в таком контексте нет причин не выбрать 25 Гбит на вход, на мой взгляд :)
Если есть возможность. У меня вот нет :(. И чую не скоро будет, разве что подключится ко всем возможным провайдерам а не только двум (MultiWAN все равно настроен) но это только под торренты по сути.
С учетом того, что даже Youtube уже у меня идет через VPN, уже нет особого смысла такое городить. Как минимум пока не пропадет необходимость гнать кучу значительную часть трафика через VPN.
Tsimur_S
20.09.2023 15:26Еще моя мысль в том, что я в принципе хотел давно 10+ Гбит до NASа
А не смотрели в сторону infiniband для точечного соединения? Просто у меня сложилось впечатление что карточек старых поколений как дров за баней, по цене грязи.
Civil Автор
20.09.2023 15:26У меня зоопарк из разных устройств на разных ОС, и про то что ConnectX 4 LX работает с макосью нормально я уверен, то вот про то как поведут себя IBшные варианты мелланоксов я не уверен, решил попросту не рисковать (насколько я помню макось только с 4-ым и новее умеет из коробки работать), а делать зоопарк когда часть на IB часть на Ethernet - мне не хочется.
Собственно мелланоксов 4-ых тоже как дров за баней и по цене не сильно выше более старых карт.
ptr128
20.09.2023 15:26Странно поддерживать такой канал, ради того, чтобы раз в полгода поиграться, когда время на это случайно нашлось. У меня все семейство, кроме сына, вполне обходятся WiFi, которым гигабит не загрузить. А разницы при git push/pull, боюсь не замечу уже из-за производительности самого git.
Да и на фотографиях есть большие сомнения, что на глаз будет заметна какая-то разница, по сравнению с гигабиткой, так как она скроется на задержках открытия файла, чтения с носителя, SSL/TLS, рендерингом на экран и т.п.
Civil Автор
20.09.2023 15:26Помесячная плата что за 1, что за 10, что за 25 Гбит - одинаковая (у провайдера только планы по предоставлению упрощенного тарифа с cgnat'ом за чуть меньшие деньги). А так - если оно раз в полгода мне сэкономит час времени - уже хорошо.
Опять же - я дома не один живу, широкий канал позволит вообще не думать о том, что и кто еще делает.
vorphalack
20.09.2023 15:26NAS на 10/25Г дает возможность ковырять 50-мегапиксельные равки прям на нем, не гоняя туда-сюда их на комп. особенно если тебе надо их полистать кнопкой delete, как было в бородатой цитате.
ptr128
20.09.2023 15:26А сами пробовали? Я пробовал. Упирался в TLS еще на 300-400 мегабитах. Одно дело локальный NAS без шифрования. Но тогда непонятно при чем тут интернет канал. А совсем другое - удаленный, где без шифрования уже никак.
Civil Автор
20.09.2023 15:26Современный процессор может быстрее, даже если алгоритм не в железе... А если взять что-то в железе - там и канальную скорость легко получить.
ptr128
20.09.2023 15:26Нашел подробности такого же теста:
Protocol: TLS1 Cipher: Gost 28147-89 Cipher strength: 256 Hash: Gost R 34.11-94 Hash strength: 256 Key exchange: 0xaa25 Key exchange strength: 512 Header: 5, Trailer: 4, MaxMessage: 16379 Encryption speed: 281 MBit/sec Encryption speed: 285 MBit/sec Encryption speed: 288 MBit/sec Encryption speed: 289 MBit/sec Encryption speed: 287 MBit/sec#lscpu Architecture: x86_64 CPU op-mode(s): 64-bit CPU(s): 4 Thread(s) per core: 1 Core(s) per socket: 2 CPU socket(s): 2 NUMA node(s): 1 Vendor ID: GenuineIntel CPU family: 6 Model: 26 Stepping: 5 CPU MHz: 2833.770 L1d cache: 32K L1i cache: 32K L2 cache: 256K L3 cache: 8192KНе думаю, что современный процессор опередит это, более, чем в два-три раза. И это будет меньше гигабита.
blind_oracle
20.09.2023 15:26+1Gost 28147-89Мда
root@zrh-srv:~# wget -O /dev/null https://mirror.init7.net/ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso --2023-09-21 22:07:34-- https://mirror.init7.net/ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso Resolving mirror.init7.net (mirror.init7.net)... 2001:1620::1620, 109.202.202.202 Connecting to mirror.init7.net (mirror.init7.net)|2001:1620::1620|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 5037662208 (4.7G) [application/octet-stream] Saving to: ‘/dev/null’ /dev/null 100%[==========================>] 4.69G 481MB/s in 9.2s 2023-09-21 22:07:43 (521 MB/s) - ‘/dev/null’ saved [5037662208/5037662208]Вот скачивание дистриба убунты по HTTPS через 10Гбит аплинк, около 5Гбит/с вышло.
ptr128
20.09.2023 15:26Не видно, чем шифровалось. Может это был RC4 или AES-128, что по криптостойкости для NAS не применимо.
kmeaw
20.09.2023 15:26У меня не получилось заставить mirror.init7.net использовать RC4, но можно повторить экспереимент с вот такой командой:
openssl s_client -security_debug_verbose -ign_eof -connect mirror.init7.net:443 < <(echo -ne "GET /ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso HTTP/1.0\r\nHost: mirror.init7.net\r\n\r\n") | pv > /dev/nullТогда будет точно видно, какой набор шифров используется. У меня, к сожалению, достаточно быстрого канала под рукой нет.
blind_oracle
20.09.2023 15:26+1Ну какой RC4 в 23 году, TLS1.3 там:
SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384Ну и никаких сообщений о взломе AES-128 я не видел, так что я бы не стал так категорично его списывать.
blind_oracle
20.09.2023 15:26Не так давно бенчмаркал VeraCrypt на Core i5-13500KF - по-моему в AES там что-то ближе к 30ГБайт\с было.
У меня локальный NAS зашифрован, упираюсь в скорость ZFS и дисков (мегабайт 700 в секунду), а не шифрования. Проц там тухленький довольно, Xeon D-2123IT.
ptr128
20.09.2023 15:26Не путайте TLS с шифрованием диска.
VeraCrypt на Core i5-13500KF - по-моему в AES там что-то ближе к 30ГБайт\с было.
nidalee
20.09.2023 15:26Geekbench на 13500 AES-XTS рисует 22.9 GB/sec
Рандомный результат из выдачи.
UP: посмотрел еще, некисло он там скачет от 12 до 24GB. Причем даже на 7900Х меньше.
Civil Автор
20.09.2023 15:26Не путайте TLS с шифрованием диска.
Так после того, как вы установите соединение, у вас в современных TLS'ах будет AES или chacha20-poly1305 + хэш (sha256 или 384). Что принципиально, кроме размера блока, ничем от шифрования диска не отличается.
openssl на aes-256-gcm легко дает под 5 ГБ в секунду на 1 ядро на небольших блоках.
Civil Автор
20.09.2023 15:26В TLS 1.3 осталось 4 варианта AES (128-GCM, 256-GCM, 128-CCM, 128-CCM-8), так что aes-128 в этом списке есть, это правда. А что в нем неприемлимого для NAS? И, если можно, сразу со ссылками на конкретные уязвимости.
Но в любом случае, я выше сказал, что на конкретно моем Ryzen'е openssl на aes-256-gcm дает легко больше 5 Гбайт в секунду на небольших блоках на 1 ядре, поэтому не вижу никаких проблем с шифрованием с точки зрения скорости.
P.S. А на маке на М1 так вообще:
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes aes-256-gcm 345039.83k 1392765.78k 5575878.75k 22294175.10k 174927004.41kТо есть на 256 байтных блоках я легко получу 5 с лишним Гбайт в секунду, а на 1 КБ блоках все 20. Опять же это openssl :)
mikelavr
20.09.2023 15:26+1У меня в этом году образовался забавный кейс: в Москве канал 500 мегабит, на даче 300 мегабит. При этом по факту на даче мы живем с мая по сентябрь. Связал роутеры по WireGuard, теперь бэкапы с дачи идут в Москву, и это никому не заметно. Ну и файлопомойка, семейные фото/видео/документы, музыка/фильмы - всё доступно в виртуальной "локальной" сети.
Потом в эту схему воткнул квартиру дочери третьим клиентом, примерно с теми же целями.
DiZiri
20.09.2023 15:26Для дома, в котором любят играть в онлайн игры, 1 гиг/с самое то. Особенно когда играешь не часто и почти всегда при включении обнаруживаешь апдейт на пару десятков ГБ.
Ну и по работе довольно часто нужно скачать или загрузить что-то жирное (докер образ и т.п.). Ждать 20 минут или 2 минуты - это большая разница.
balamutang
20.09.2023 15:26Пожалуй это единственное с чем сталкивался, да. Правда Стим не всегда так уж быстро отдает чтоб гиг нагрузить.
nidalee
20.09.2023 15:26+1У вас, возможно, какой-то не тот сервер стоит.
Потому что Стим достаточно уверенно упирается в гиг, если только не на релизе какой-нибудь громкой игры.
Civil Автор
20.09.2023 15:26+1Стим и процессор любит покушать в процессе загрузки. Но популярные игры в момент релиза легко качаются даже быстрее.
usernameak
20.09.2023 15:26процессор любит покушать
а он, похоже, распаковывает файлы прямо в процессе :)
Civil Автор
20.09.2023 15:26Похоже на то, но если он уперся в процессор, то скорость скачивания у него тоже просаживается изрядно.
rezdm
20.09.2023 15:26+1Тоже сижу под Инит7, пока на 1гбпс, но пока останавливает даже 10ку то, что хоть сколь-нибудь домашний свич имеет совершенно конский ценник.
Civil Автор
20.09.2023 15:26+1На servethehome'е периодически бывают обзоры разного рода свитчей. Сейчас начали появляться довольно дешевые опции с 5-8 2.5 Гбит портами и 2-я 10-и Гбитными (unmanaged). Чисто 10 Гбитные тоже появляются постепенно; например, если достаточно только привычной витой пары, то какой-нибудь Hasivo S1100WP-8XGT-SE или F1100, оба стоят ~250$
Aquahawk
20.09.2023 15:26+1Hasivo S1100WP-8XGT-SE managed свитч ещё и с пое, сам себе такой планирую в новой квартире.
rezdm
20.09.2023 15:26Да я с самлепного через микротик пришёл на Убиквити. Но его 25гбпс пока нет. Хочется держать всё в одном, чтобы несколько точек соединять, т.п.
Civil Автор
20.09.2023 15:26Кстати, еще забыл сказать в прошлом ответе, но насколько я помню, init7 собирается постепенно отказаться от гигабитных тарифов в рамках Fiber7 и всех смигрировать либо за CGNAT + реальный IPv6 на Easy7 (у них была, кстати, хорошая презентация про Easy7 на SWINOG, они там и говорили про планы перевести всех текущих клиентов на Fiber7), либо уговорить переключиться на хотя бы 10-ку.
vikarti
20.09.2023 15:26+1А что-то вроде https://mikrotik.com/product/ccr2004_1g_2xs_pcie не рассматривали?
2x25 SFP28 + 1 "обычный" Ethernet, ~200 usd,
SmartNIC с RouterOSCivil Автор
20.09.2023 15:26+2Не рассматривал, потому что не увидел в продаже в магазинах где смотрел (ну и на ebay тоже нет такого). В принципе на выбор не сильно повлияло бы. Он интересен, если нравится RouterOS, по теоретическим возможностям Netronome должен быть значительно лучше (все таки FPGA уже позволяет считать карточку полноценным DPU, которая еще и начинает работать с момента подачи питания, а не после загрузки встроенной ОС). За ~200$ в принципе неплохо, но когда есть либо Mellanox'ы за 60, либо Нетроном за 150 - кажется что только если хочется новую карту с гарантией взять.
vikarti
20.09.2023 15:26А можно кстати обзор той же Netronome?
Хотя бы уровня https://habr.com/ru/companies/selectel/articles/564226/
Но лучше и включая программирование.Civil Автор
20.09.2023 15:26Я вот очень надеюсь что у меня он нормально заработает в будущем и тогда попробую сделать (собственно это пока что план на 2-ую часть и может быть 3-ю, как пойдет). Там куча своеобразных проблем возникла, например он в X570 запускается нормально если стоит в верхнем слоте, но на других системах (у меня еще есть B550 и X670E) он на старых прошивках не видится системой, а с новой уводит ядро в панику при попытке его проинициализировать, так что у меня пока с их техподдержкой вялое общение идет (уперлось в то что мне надо собрать стенд и показать им что происходит по видеосвязи, а у меня пока на это времени не было). Если он только в одной системе будет работать, я может быть с ним поиграюсь немного и что-нибудь расскажу, но вряд-ли будет много интересного. Так то конечно карточка с ARM ядром, FPGA и кажется 3 ГБ оперативки, то есть должна уметь прям много чего :)
blind_oracle
20.09.2023 15:26+1Я для Init7 брал домой `MikroTik CRS309-1G-8S+INL`, всего 250 баксов. Ну, плюс SFPшки если надо, но они нынче стоят копейки у OptCore.
Civil Автор
20.09.2023 15:26О, а я OptCore как-то пропустил. У fs модули почти в два раза дороже выходят, правда и доставка в течении недели.
blind_oracle
20.09.2023 15:26+1OptCore мне тоже очень быстро приходил, они обещают 6-11 Business Days за 7$ доставку вроде.
inkvizitor68sl
20.09.2023 15:26+1Intel XXV710
Шлак же полный, особенно если с MLX-ами за шоколадку сравнивать.
Может под виндой, конечно работает, но в linux-ядре драйвера так и не дописали (либо сама карта такая).
StanEgo
20.09.2023 15:26+4Тоже собирал скоростную сеть для дома, только 40/56Gbs на Mellanox ConnectX-3 CX354A и простеньком свитче Mellanox IS5022 (легко апгрейдятся вентиляторами Noctua в бесшумные). Свитч, пять двухпортовых QSFP+ карт и вязанка DAC- кабелей обошлась где-то в 500 евро. На старте тоже посматривал на микротик, там один только свитч больше стоил.
Civil Автор
20.09.2023 15:26+1Тоже хорошая комбинация, да. 25 гбитные свитчи пока что довольно дорогие. Из очень условно дешевых я видел только QSW-M5216-T (~1500$) и Mikrotik CRS518 (чуть-чуть дешевле, где-то 1300$).
И CX354A на ebay'е стоит вообще неприлично дешево (35-50$ за штуку), правда ConnectX 4 стоит уже раза в три дороже, чем 25-и Гбитный...
David_Osipov
20.09.2023 15:26+2Сижу в Грузии на 100 Мб/сек. Плачу, читая статью
ritorichesky_echpochmak
20.09.2023 15:26В РБ, в Минске массово протащили оптоволокно от БелТелеЕлеКома. Тарифов выше 200Мбит нет в принципе. Выданный под этот тариф роутер еле выдаёт 100Мбит одному ноуту стоящему рядом с роутером по 2.4ГГц (роутеров с 5ГГц в наличии нет). Заменить калечную поделку от Huawei нельзя - БТК всё завендорлочил. Возможности этого недороутера - нищенские даже в сравнении с бюджетными TP-Link. Максимум можно переключить их глючный роутер в бридж и использовать сугубо как конвертор среды, а инет по дому раздавать нормальным роутером - иначе даже 200Мбит не видать. Только хуавей от БТК всё равно умудряется раз в несколько месяцев повиснуть даже будь запитан от ИБП.
Aelliari
20.09.2023 15:26+4Дай угадаю, GPON? Провайдерскую коробку в режим моста, линк поднимать на своём роутере за ним. 100 Мбит/с по 2.4 - не так уж и плохо, но хочешь больше - будь добр, все же использовать другие частоты. Кроме режима моста - можно ещё выключить wifi на isp-шной коробке и подключить свою точку доступа (в случае роутера - имхо, все же имеет смысл режим моста на коробке от провайдера). Ну и возможны «игры» с sfp, там, как уже замечено, вендорлок и обычно оно того не стоит чтобы даже пытаться. Не знаю как сейчас обстоят дела с gpon и sfp, раньше все было плохо
Вообще, слышал такое мнение: «Первое правило беспроводных сетей гласит: все что можно подключить проводом, должно быть подключено проводом», правда в случае умных телевизоров может оказаться 100 мегабитный порт и шустрый wifi.
nidalee
20.09.2023 15:26+3Вообще, слышал такое мнение: «Первое правило беспроводных сетей гласит: все что можно подключить проводом, должно быть подключено проводом», правда в случае умных телевизоров может оказаться 100 мегабитный порт и шустрый wifi.
Истина. У меня в стандартной многоэтажке сетей wifi так много, что проще пользоваться мобильным интернетом. Он хотя бы стабильно работает. Все остальное по проводу.
ritorichesky_echpochmak
20.09.2023 15:26GPON, про мост написал, WiFi само собой отключен - это барахло всё равно виснет. Что-то другим уже давно не самым свежим роутерам, даже туполинку, продавить даже на 2.4ГГц куда больше не составляет проблем. В него воткнут нормальный Keenetic, но нужно ещё колхозить какой-то ватчдог который провайдерскую вендорлокнутую коробку сможет регулярно ребутать. Иначе можно уехать на несколько дней и вернувшись узнать что камера на входе, датчик открытия дверей, датчики протечки - всё это не сработало потому что рухлядь которую нельзя выкинуть стабильно висит. Не везде есть возможность выбрать другого провайдера, но зато у других провайдеров по витой паре (не по оптоволокну!) и скорости выше, и вендорлока нет. Ну а в глубинке где-нибудь до сих пор ADSL за конские цены, на котором скорости аля 8Мбит если с линией порядок.
xakep666
20.09.2023 15:26+4Попробовать заменить провайдерскую ONU можно модулями, которые упоминаются вот тут https://github.com/Anime4000/RTL960x.
Эти модули позволяют прописать все нужные идентификаторы в себя, чтобы от провайдерского терминала было никак не отличить.
Но понадобится либо роутер с sfp, либо "медиаконвертер" с sfp.
b0tan1k2004
20.09.2023 15:26жиза, у меня так было (минская область). провели только в 21 году оптику))
yoz
20.09.2023 15:26Сейчас есть китайские gpon spf, по факту являющиеся микро роутерами-бриджами. Если из провайдерской железки можете вытянуть информацию о коннекте к базе, то его можно заменить на такую штуку. Но все случаи с ними надо индивидуально разбирать. +-массово есть информация только по МГТС и Ростелекому.
Aelliari
20.09.2023 15:26sfp под gpon - они все роутеры, я не слышал о других, но их тоже можно переводить в бридж. Только они греются, стоят денег, нормальный роутер с sfp тоже не дешев, и есть проблемы с настройкой с учетом тотального вендорлока в gpon сетях, на момент когда я интересовался - успех был более чем не гарантирован (возможно ситуация изменилась к лучшему). Лицензии на совместимость с произвольным оборудованием провайдеры обычно не покупают. В итоге большинство тех кто хочет попробовать, либо не добиваются результата, либо приходят к выводу что оно того не стоит. Но есть и тех - кто всё же продрался через этот квест
sim2q
20.09.2023 15:26+2Только хуавей от БТК всё равно умудряется раз в несколько месяцев повиснуть даже будь запитан от ИБП.
какой прекрасный результат!
Был какой то болезный GPON роутер от МГТС, зависал гораздо чаще и в конце жизни - раз в сутки, но почему-то больше ночью. Приделал к нему пинговалку с сервера и дёргал 220V в случае падения....Потом оказалось, что это массово и их меняют без вопросов.
Daimos
20.09.2023 15:26Некоторые провайдеры тоже тащат GPON - A1 например, но там больше 100Мб/с вроде нет тарифов. Космос-ТВ по Ethernet есть тарифы 300Мб/с, сносные роутеры с 5ГГц даёт в аренду бесплатно, но можно любой свой конечно вместо него поставить
Master255
20.09.2023 15:26-3Измерьте процент использования вашего интернет канала в месяц и поймёте, что вы и 100 мегабит используете максимум на 2%. Куда вам Гигабиты передавать. Мы ещё не имеем такого большого контента. И более того, даже в перспективе не видно когда мы будем его иметь. Похоже что 100мбит хватит всем и навсегда.
Civil Автор
20.09.2023 15:26+7Смотря как считать. Если предполагать, что использование иначе как в полочку не использование, то да, конечно, все так. А вот если вспомнить, что каждый раз из тех процентов что получатся - это минус время на ожидание, то картина будет совсем другой. Я выше уже другим людям говорил - у меня бывали моменты на гигабите, когда "эх, скорости бы, надо себя на полчаса занять чем то другим"
Konstantinus
20.09.2023 15:26+4Так и 10 мегабит используется на 20%. Вопрос в том что надо передать файл на 4-8 гигабайт за 30 или 5 минут. Вот в єти пиковые нагрузки гигабит и нужен.
Сам недавно сьехал с 80 до 1000 мегабит именно потому что вечером надо что-то вытянуть, а не хочется ждать.
Kenya-West
20.09.2023 15:26+1Точно скажу, что свои 500 мбит/сек. мои железяки точно используют процентов на 40-50 в любое время суток.
Многочисленные локальные seedbox'ы, бекап данных каждый час между устройствами в разных частях света, активное взаимодействие с S3, три едва дышащих ноутбука в качестве VPS-серверов для сайтов со средней нагрузкой 100-2000 запросов в секунду.
Ну, и личный комп с 6 одновременно работающими игровыми лаунчерами (Xbox, steam, ea, ubisoft, blizzard, epic), Виндой как основной системой и Microsoft Store - и каждый из них в какой-то момент времени обязательно качает обнову от 20 МБ до 20 ГБ размером...
nidalee
20.09.2023 15:26+2Мы ещё не имеем такого большого контента.
У меня под раздачами народ воет, что им 20-и гиговые видео слишком большие…
Aquahawk
20.09.2023 15:26+2измерьте сколько времени вы проводите в самолётах, даже 2% в месяц не набрётся, куда вам со скоростью 900 км/ч летать, мы ещё не имеем такой большой планеты.
IvanProvinciaTver
20.09.2023 15:26С одной стороны: классно, интересно.
С другой стороны: нафига?Civil Автор
20.09.2023 15:26+3Потому что классно и интересно :)
mad_god
20.09.2023 15:26Можно спросить, какой скорости можно добиться внутри дома по SMB или подобным протоколам на таком железе? Просто чтобы скачать 90% интернета, а затем пользоваться кешем из дома.
Civil Автор
20.09.2023 15:26Для этого мне сначала надо закончить переделку NASа (но есть в планах). А то в данный момент у меня в качестве NASа служит старенький HP Microserver Gen8 с 4-я HDD :)
То есть это все есть в планах на относительно ближайшее будущее (до конца года насобирать материала и сделать еще статью)
blind_oracle
20.09.2023 15:26Я склоняюсь следующий NAS собирать таки на NVMe, цены уже позволяют вроде как. Сейчас добро храню на 8x6TB ZFS RAID10 - и скорость случайного доступа для тех же торрентов оставляет желать лучшего...
Что-то вот такое выглядит вкусно, разве что процессор не радует и макс 16Гб памяти: https://www.asustor.com/en/product?p_id=80
Civil Автор
20.09.2023 15:26Вот я пока еще думаю и считаю и сомневаюсь много Samsung 870 EVO набрать или пойти в сторону NVMe. Но из-за 25 Гбитной сети придется не готовое решение брать, а собирать самому...
blind_oracle
20.09.2023 15:26Ну, если собирать самому то в общем пофиг на размер. Но SATA - это на практике 550МБайт\с, чтобы 25Гбит "оправдать" их нужно минимум штук 6-7 запихать. С NVME можно попробовать обойтись 3-4 (raid5 или 10).
Civil Автор
20.09.2023 15:26Вопрос еще в размере. С SATA - 8 штук в RAIDZ2 должны справиться с 25 Гбитами на практике и это получится ~24 ТБ полезной емкости. С NVMe - да, справится 3-4, что в raid5, что в raid10, но полезная емкость получится 12 ТБ для 4-х дисков и raid5. Хочется немного большего, а это значит что опять стоит говорить о 8-12 дисках по 4ТБ и том же самом raidz2.
blind_oracle
20.09.2023 15:26+1Всё так, но нужно учесть, что у RAID-Z на запись в среднем производительность самого слабого диска в массиве. На чтение получше, но тоже совсем не "сумма компонентов". Поэтому я буквально на днях уехал на RAID10 с RAID-Z2 - стало гораздо веселее.
С SSD, наверное, будет получше, но на 25Гбит я бы не надеялся...
IsNoGood
20.09.2023 15:26Ну тут в вопросе цены nmve ssd и sata ssd, вторые проще подключить, мало где в бытовых платформах есть 128 линий и бифуркация, да и что бы утилизировать эти iops нужен мощный процессор.
blind_oracle
20.09.2023 15:26Ну, смотря что считать бытовыми платформами. Всегда можно купить серверную мать (какую-нить Supermicro) и напихать туда этих бифуркационных карт на 2 или 4 NVMe (в зависимости от х8 или х16 слота).
Дорого? Да, довольно. Но если хочется 25Гбит сеть - придётся платить :)
Civil Автор
20.09.2023 15:26Ну 128 линий прям не обязательно, если мы будем говорить про 8 дисков, то 40 линий должно хватить с запасом. А это уже HEDT или младшие серверные платформы - Epyc'и там, Threadripper'ы и прочие Xeon D (у новых 2700-х, кажется, 56 линий)
Hlad
20.09.2023 15:26Забавно, конечно, но возникает вопрос "что с этим делать". У меня сын уже сейчас, на 750МБитах, при скачивании чего-либо упирается в производительность HDD (в связи с чем очень хочет большой SSD-шник), а чем в плане накопителей поддержать 25 ГБит?
Civil Автор
20.09.2023 15:26+325 Гбит это 3125 МБайта в секунду - скорость не самого лучшего PCIe 4.0 NVMe SSD. Если NAS собирать, то либо возится со сборкой SSD-only NAS'а (навскидку, 8 SATA дисков дадут достаточную скорость), либо возится с кэшированием (и там уже свои проблемы будут, даже если хороший NVMe поставить перед). В общем я про это в какой-то момент попробую написать, вопрос лишь когда у меня руки дойдут доделать и повозится.
DGN
20.09.2023 15:26NVMe NAS? 4TB накопители доступны массово и недорого, 8TB пока процентов на 50 дороже в пересчёте на ТБ. В страйп их можно поставить несколько, вроде программные решения уже научились TRIM делать. Итого, NAS на 32TB из можно сказать бытовых комплектующих. Если же и этого мало, дисковые полки в помощь...
Civil Автор
20.09.2023 15:26Да, тоже можно попробовать. Цены на NVMe сейчас близки к SATAшным стали.
Для NASа я бы на Stripe не смотрел, скорее нужен ZFS и RAID-Z2 какой-нибудь, так как обычно на нем не только фильмы-музыка-игры :)
Из проблем - все то же малое количество линий PCIe в десктопных системах и высокая цена и энергопотребление серверных для дома. В принципе можно смириться что каждому диску достанется x2 и тогда будет менее грустно.
DGN
20.09.2023 15:26+1Встречал забавную платку, x16 с четырьмя м.2 слотами. Пишут, нужна поддержка или патч биоса MB, но сама идея интересная.
Согласен насчёт файловых систем, сейчас много появилось интересного, банальный страйп смысла нет использовать с более чем двумя накопителями.
x2 от PCIe 4 не так уж и мало, а от 5 и вовсе более чем достаточно.
blind_oracle
20.09.2023 15:26+1У меня такая с двумя NVMe в NAS работает. Да, в биосе нужна поддержка PCI-E Bifurcation, но оно очень много где есть сейчас. А если прям совсем её нет - можно купить такую же платку, но с PCI-E свичом, выйдет правда сильно дороже.
Civil Автор
20.09.2023 15:26Бывает что не на всех слотах поддержка bifurcation'а есть или что нормально работать будет только x8+x8...
Civil Автор
20.09.2023 15:26Да, x2 от 5 более чем для моих целей бы хватило, вот только диски с PCIe Gen 5 и материнки с ним же - стоят не очень привлекательно, так что тут мне придется долго думать и сравнивать
AlexSpirit
20.09.2023 15:26>>скорость не самого лучшего PCIe 4.0 NVMe SSD
Это скорость записи в его SLC кэш. После его быстрого заполнения скорость свалится в 3-5 раз.
Civil Автор
20.09.2023 15:26+1Так строго говоря, то что обычно качаешь влезает в SLC кэш и его заполнение будет незаметно. Да, если качать на все несколько ТБайт сразу - будет грустно.
DGN
20.09.2023 15:26+1Я вижу только один кейс такой - лить на NAS посекторный бакап рабочей станции. И то, при 4 и более накопителях, кеш возможно не будет успевать забиваться.
IsNoGood
20.09.2023 15:26Будет сильно зависеть от реализации рейда и trim. Ну и того насколько хорошо сам контроллер чистит кэш.
Dante4
20.09.2023 15:26"либо специальной оптикой (у которой на конце будет либо SFP28 или просто несколько хвостов)"
Сетевые карты не поддерживают гидры
Вы ведь проверили сколько PCIe линий досталось каждому из сетевых адаптеров?
Melias
20.09.2023 15:26+1У нас в Испании компания Digi стала продавать 1Гб за 20 евро в месяц. Подключил. Немножко успел порадоваться циферкам в спидтесте при прямом подключении к провайдерскому рутеру, но когда собрал весь свой непростой сетевой винегрет, то быстро приуныл, т.к. на входе-то у меня гиг, но дальше сразу стоит Ubiquiti USG с реальным лимитом в 300 Мбит, еще есть NAS с обычными жесткими дисками, который и рад бы отдать свой бэкап наружу быстренько, но диски такую скорость тянут, ну и еще куча мелкой сетевой ерунды типа старой витухи или свитча за телевизором, которые надо апгрейдить для получения полного счастья. В общем, хватило бы и 500 Гбит за 15 евро, честно говоря. (но так-то у них за 25 евро есть и 10 Гбит, если вдруг кому надо ))
n2dt4qd2wg9b
20.09.2023 15:26Идеально - RB5009. Но и RB750gr3 легко с гигабитом реальным дружит, главное за 100к pps не выходить.
Civil Автор
20.09.2023 15:26У меня давным-давно был Turris Omnia (на тот момент был одним из рекомендованных роутеров у провайдера, еще до того как они даже 10 Гбит стали предлагать), в принципе он по проводу гигабит более-менее тянул, но вот с WiFi'ем у него печаль-беда была. Из юбиков у меня прошлым роутером был DreamMachine SE и в принципе она даже работала, не считая приключений с тем что она упорно пыталась Auto Negotiate'ом на бедном SFP выставить 10 Гбит и не давала это поменять пока не появится сеть :) (вылечилось апдейтом прошивки где в первоначальной настройке добавили форсирование autoneg'а в 1 Гбит. Хотя какого черта она вообще показывала 10-ку доступной на SFP - мне непонятно). Хотя по цене-качеству я немного сомневаюсь что это был хороший выбор.
fcoder
20.09.2023 15:26USG - это уже всё-таки откровенное легаси. Может стоить обновиться хотя бы до UDM Pro которая нормально сможет обслужить входящий гиг?
Persik1
20.09.2023 15:26+6Я один прочитал пост и преисполнился мотивацией уехать в Швейцарию?
fcoder
20.09.2023 15:26Вопрос автору - а что по шуму и по энергопотреблению в пике и в idle? В домашних сетапах это весьма важные параметры. Не очень хочется сидеть в шумном помещении также как и платить слишком много экстра за электричество, чтобы питать всё это хозяйство.
Я так отказался от сервера с двумя зионами, оказалось что по расходу на э/э он золотым выходит
blind_oracle
20.09.2023 15:26+1Я так отказался от сервера с двумя зионами, оказалось что по расходу на э/э он золотым выходит
Та же фигня, только я собирал себе десктоп :) Мать Supermicro E-ATX для Xeon E5 старая была с 256Гб памяти, Xeon-ы топовые по 12 ядер на Али под неё 30 баксов стоят. Зверь машина.
Но потом вылезают косяки:
Спать в S3 она не умеет, а грузится вечность
Звука нет, нужно юзать внешнюю USB-карту (потому что была)
Иногда ведёт себя нестабильно, загружалась через раз. Тут уже не копал глубоко
Энергии, да, жрёт ведро (а у нас тут киловатт*час стоит на рубли где-то 30р нынче днём)
Нет NVME
Шум, как ни странно, особой проблемой не был т.к. было много низкооборотистых кулеров. В итоге разобрал и сделал обычный десктоп на 13gen Intel, сразу стало сильно легче (прости, АМД)
Civil Автор
20.09.2023 15:26+1По шуму - вентиляторы на 700-800 оборотов все выставлены и поэтому их не слышно.
Энергопотребление без оптимизаций я намерял порядка 60 Вт при использовании двух интерфейсов. Как дособеру все в приличное состояние - померяю подробнее и с учетом типичной загрузки. У меня под это дело как раз умная розетка валяется, которая умеет энергопотребление в машиночитаемом виде отдавать, надо только экспортер написать под формат :) (или хорошо поискать, может кто-то уже сделал)
vk6677
20.09.2023 15:26Интересно, в крупных городах есть провайдеры с 10 ГБит/сек. Если подключиться одновременно к 2 различным провайдерам и настроить сервер соответствующим образом, то получим приличный канал с потенциально большей надёжностью. Даже захотелось попробовать.
cahbeua
20.09.2023 15:26Два инета по 100 мегабит не равно инету в 200 мегабит в 95% случаев. Ни на вход ни на выход. Дело не в настройке сервера.
Aelliari
20.09.2023 15:26+2Близко к правде. Про «95%» - согласен, пусть цифра и с потолка, польза только для связи использующей множество независимых соединений, которые можно раскидать по интерфейсам (например битторент) и всякие мульти-линк впн через суммирующий сервер. Про «дело не в настройке» - тут можно вспомнить довольно экзотического зверя, как MPTCP (не для телефонов, ios точно умеет, но нужно чтобы умел и сервер), он позволяет установить несколько «соединений» в рамках одного потока, и эти соединения могут быть через различные сетевые интерфейсы
dartraiden
20.09.2023 15:26+1А не всё ли равно, какая там ОС на клинтском устройстве? На домашнем роутере поднимается MPTCP-клиент и соединяется двумя каналами с MPTCP-сервером.
Aelliari
20.09.2023 15:26Это другая схема, я писал про мульти-линк впн, при чем там не обязательно MPTCP.
Когда клиент умеет в MPTCP и какой-нибудь nginx способен это обработать - то суммирующий сервер не нужен
blind_oracle
20.09.2023 15:26+3Я для тех же целей (Init7, но 10Гбит), собрал себе роутер из старой mini-ITX материнки с самым первым Ryzen, Intel X540-DA2 и корпуса напечатанного на 3д-принтере. Потому что было (с)
Фото
Работает отлично, кушает около 30Вт, с PicoPSU работает от обычного БП на 12 вольт.
10Гбит железяки сейчас как раз достигли примерного паритета с гигабитом по цене, а 25Гбит всё ещё сильно дороже, да и смысла, как уже обсуждали, особого нет (как и в 10Гбит, в общем).
Можно купить ещё более компактные решения, вроде такого:
https://www.amazon.com/MOGINSOK-Firewall-Appliance-4xIntel-1xConsole/dp/B0C7KZT3RZ?th=1
Green111
20.09.2023 15:26+3Конечно, предмет статьи - это как, я извиняюсь, пенис длиной в половину метра. Очень круто, но не очень нужно. А по факту благодаря таким людям я могу смотреть мультики онлайн в 4К, а не на диапроекторе. Спасибо вам за очередной пинок прогрессу под зад!
select26
20.09.2023 15:26+1А какие были мультики на фильмоскопе!
Мои дети просто офигели после просмотре на стене с моей озвучкой! И это еще без простыни! ))Так что так себе дифирамбы прогрессу вышли )
Green111
20.09.2023 15:26+1Так я за себя... А дети на то и дети, чтобы всему удивляться. Их время ещё не пришло )
ciuafm
20.09.2023 15:26Очень крутое железо как для роутера. Я так понял что не все сетевухи ведут себя прилично, но если выбрать правильные... Вопрос автору, можно ли запустить роутер хотя бы 3х27 на чем то вроде Pentium Dual Core 2x3GHz. Пусть даже без файрвола
Civil Автор
20.09.2023 15:26Pentium Dual Core это LGA 775, насколько я помню, так? Если оно то Intel P45/X48 умел в PCIe 2.0 и мне кажется все банально упрется в шину (в том числе потому что у PCIe 2.0 x16 пропускная способность 64 Гбита в секунду, что маловато немного). Либо надо будет искать модные SmartNIC/DPU где можно будет написать свой NAT на условном P4 так, чтобы оно вообще не гоняло данные по шине (теоретически вроде бы так можно, на практике я не проверял).
С точки зрения именно вычислительных мощностей, я бы сказал что даже у Mellanox'а достаточно хорошо оффлоады работают, чтобы процессора вероятно хватило, пока речь не пойдет о куче мелких пакетиков и серьезном фаерволе, естественно.
В принципе, у меня была мысль попытаться воткнуть Мелланокс в Loongson какой-нибудь и посмотреть ради смеха, как он работать будет клиентом в этом всем. А потом повторить с Jetson AGX :) Они оба на ядро должны где-то быть похожи на пень времен Core 2.
HenryPootle
20.09.2023 15:26+2Немного позанудствую. Видно, что автор немного отвык от живого русского, иначе зацепился бы глазом вот за это, так не пишут:
Подвох в том, что она разработана для классических предприятий, поэтому часть настроек доступна только через BIOS самой карты
В исходном тексте (кстати, не увидел на него ссылку в статье) наверняка что-то близкое к "classic enterprise usage". По моему мнению для нас, гиков, можно было бы написать просто "энтерпрайз", а для нетехнической публики "для профессионального использования".
Автору выражаю моё уважение, сам люблю что-то такое собрать из
говна и палокподходящих деталейCivil Автор
20.09.2023 15:26Спасибо, поправил. Да, я долго думал стоит ли написать "для энтерпрайза" или попытаться перевести как-нибудь :) Выбор пал на перевод и получилось действительно что-то странное :)
MaximRV
20.09.2023 15:26Спасибо за статью. Весьма полезная. Буду показывать сисадминам мелких предприятий, как можно делать быстрые локальные сети, как связать пару тройку серверов быстрой связью.
Zara6502
20.09.2023 15:26Плюсик поставил, интересный опыт.
Но как следствие моего опыта скажу - что не так важна скорость последней мили, как скорость всей инфраструктуры, с которой вы планируете связываться. Как пример - стриминг видео, обычно хватает 20-70 мегабит, но вечером умирают каналы провайдера, выручает жизнь в миллионнике, многие сервисы имеют серверы в Новосибирске, но когда дело доходит до торрентов (в основном имею в виду просмотр фильмов онлайн), то всё упирается в скорость у сидов, а они по понятным причинам чаще всего в европейской части страны и в лучшем случае вы нормально посмотрите фильм в 720р с битрейтом в 5-9 мегабит. О просмотре 4К контента речи не идёт (4К Ютуб идёт без проблем, но мне оно и не надо).
В голове могу придумать только какой-то кейс с установкой дома сервера, к которому будут подключаться другие, но как правило провайдер такое запрещает, так как их мощности рассчитаны на непостоянную пиковую нагрузку у отдельного клиента. Реагируют они конечно не сразу, поэтому установка игры со Steam вполне себе идёт с моей скоростью в 500 мегабит без проблем.
Вторая проблема - 25 гигабит - это 3 гигабайта в секунду и доступны они только на NVME SSD, который такую скорость на постоянной основе держать не будет, да и кому нужно столько писать на такой скорости? Отсюда с большей вероятности речь о кейсах, где контент идёт в оперативку минуя диск (поток), а это всё ограничивает нас только видеосервисами, где всё упирается опять в скорость сервисов - какой контент требует 25 гигабит? Видео в 1024К?
Civil Автор
20.09.2023 15:26+1Это все тоже так, но этим отличаются хорошие провайдеры от средних - тем какой у них оверселлинг (и сколько технарей висит на конкретном POPе). Опять же, кроме торрентов есть более древние и дружелюбные к дискам штуки (еще и более легальные в некоторых странах).
Кроме однопоточной нагрузки есть еще кейс, когда несколько человек в доме что-то делают, да и высокая пиковая скорость экономит время, и даже средний SSD без особых деградаций скорости позволит скачать 30-50-100 Гбайт условной игрушки, или быстренько будет лить бэкапы с нескольких систем одновременно. Но да, 25 Гбит - это скорее ради опыта и развлечения у меня, чем необходимость.
AADogov
20.09.2023 15:26А что за операционная система установлена на роутере?
AADogov
20.09.2023 15:26И еще увидел на фото что в материнской плате встроена Wi-fi, будет ли этот роутер использоваться в качестве точки доступа?
Civil Автор
20.09.2023 15:26Вот это абсолютно не планирую, так как я в свое время намучался с качеством работы такого WiFi :) У меня для него Unifi'евские точки доступа по квартире расставлены (вот их, может, все до 6e обновлю, а то у меня микс).
stalker_316
20.09.2023 15:26+2Кот красивый. Очень
Civil Автор
20.09.2023 15:26+2Спасибо :) Я думаю в следующих частях использовать хотя бы по одному коту в статье :) У меня так их пять и они очень разные :)
MadMaxLab
20.09.2023 15:26+2Очень интересные ощущения, когда читаешь статью проживая в 150 летнем доме с подключенным VDSL где на вход 50-80 Mbps, а на выход 15 - 20 Mbps и других вариантов нет, т.к. все провайдеры по сути используют одну и ту же полугосударственную инфраструктуру и по-сути являются посредником.
Civil Автор
20.09.2023 15:26+1У меня вот давняя травма, когда я давным-давно переезжал и в доме долгое время был ADSL, так что я понимаю эти ощущения... И у меня, возможно, с тех пор и появилось желание сделать хорошую быструю сеть дома и иметь нормальный интернет (доходит до того, что я с тех пор наличие оптики включаю в требования к жилью)
blind_oracle
20.09.2023 15:26т.к. все провайдеры по сути используют одну и ту же полугосударственную инфраструктуру и по-сути являются посредником.
В какой-то мере тут так же - оптику (в городе по два волокна на квартиру\дом, как у автора в деревне не знаю) кладёт либо Swisscom, либо местная электрокомпания EWZ и уже сдаёт в аренду провайдерам.
Civil Автор
20.09.2023 15:26в городе по два волокна на квартиру\дом, как у автора в деревне не знаю
Так мы ж в одной стране живем :) У меня та же OTO Box и два волокна в квартиру :) Кажется клал его Swisscom в моем случае (EWZ - Цюрихский, я далековато живу).
И я вроде бы в Швейцарии других вариантов кроме как по два волокна в квартиру не встречал даже...
blind_oracle
20.09.2023 15:26Просто в пределах Цюриха кладёт EWZ, а вне - обычно Swisscom. Поэтому я не был уверен что они так же два волокна ведут. Мало-ли, экономят :)
А вообще два - очень удобно при переключении провайдеров или если розетка сбоит (у меня было как-то). Хорошее решение, хоть и выходит, наверное, несколько дороже при постройке.
event1
20.09.2023 15:26+1Есть SFP+ RJ45 модули, но их совместимость... своеобразная.
О да. Потому что некоторые из них умеют в SGMII (и через него в автонег), тогда как другие прибиты гвоздями к какой-то скорости (ведут себя как оптический приёмопередатчик). И самое замечательное, что разработчики стандарта SFP+ не озаботились возможностью для хоста хоть как-то узнать, а есть ли там SGMII, или нет.
kterik
20.09.2023 15:26Насчёт микротиков: они являются софтовыми роутерами, и измерять широкие каналы их встроенным bandwidth тестом некорректно, поскольку тест занимает значительный ресурс процессора. Корректно использовать iperf на подключенном к маршрутизатору хосте.
Но да, новые роутеры микротика все работают на сыроватой недопиленной прошивке, это правда.
BerdBerd
Сначала прочитал как "25 мбит/с" и подумал - ну и фигня - у меня уже через вайфай по 300 мбит/сек.
Потом прочитал правильно - и как дошло!
25 гбит/с - это действительно круто!
Канал как у небольшой страны где-то в африке целиком...
werpo
Что еще удивительнее, так это то, что происходит это все в регионе DACH, где ADSL - просто норма вещей до сих пор, наряду с бумажной почтой и факсами.
Civil Автор
Все таки DSL потом продолжил развитие, и современный какой-нибудь VDSL не так плох. К тому же все очень зависит от добросовестности провайдера, как обычно. Оптика конкретно в Швейцарии достаточно много где, если мы говорим про города с 1000+ человек. Вот в горах - да, есть шанс что какой-нибудь 5G будет работать лучше чем все остальные доступные варианты, или что в совсем маленькой деревне будет условный VDSL на 100/10 Мбит или что-нибудь такого уровня.
В Германии я жил какое-то время назад, там все по моим ощущениям было значительно хуже. Про Австрию не скажу.
Goron_Dekar
Не так уж и плох только симметричный полнодуплексовый канал. Всё остальное мерить стоит по аплоуду. И по этому параметру ADSL очень плох.
WaspCity
В Германии подключен по адсл, но он прокачан, выдает 250 мегабит.
MiraclePtr
Значит это уже не ADSL, а VDSL2
PsihXMak
Только вот, 250 обычно - это скорость приёма. Отдача при этом может не превышать 2-3 мегабита. Я так и не понял, то ли это прикол провайдера, то ли такие у них каналы.
Neusser
Это что за провайдер? Обычно плюс-минус пропорционально, т.е. на 500 даунлинк должно быть под 100 аплинк.
AlexSpirit
Вообще говоря ADSL/VDSL это ассиметричные протоколы. Модем на отдачу просто в разы медленнее. VDSL2 upstream в самых лучших условиях на профиле 35b это 50 Mbps грязными.
FelixTheMagnificent
В Нидерландах например все еще DOCSIS очень в ходу, хоть и 500 Мбит выдает :)
Civil Автор
Угу, хотя я когда жил в Нидерландах, получал тоже гигабит по оптике, от Tweak'а. Мне провайдер запомнился тем, что у них даже пришедший подключать все монтажник был с ноутом с Арчем.
xata6
Главный вопрос для чего 25гигов, в 2023 половинка гига от РТ, не чем особо ее забить
Civil Автор
Я вроде постарался дать ответ: потому что можно. На помесячную оплату это не влияет, только вложение в железо.
xata6
Вывод это статья ради статьи? Посмотрите у меня 25 Гб до провайдера, а дальше максимум 1 гб, и таймауты на трассе как у всех по 200-500.
Civil Автор
Если вам с провайдером не повезло - не значит что у всех все также плохо. Я для следующих частей подумаю до чего можно потестировать скорость, чтобы было видно что некоторый смысл в более чем гигабите дома есть (а так про 10 vs 25 - основной смысл это сделать ради опыта и потому что могу, а не потому что в этом есть сакральный смысл)
snp
Было бы интересно, к примеру, скачать ISO с самых быстрых европейских зеркал ubuntu.
Arkasha
Ещё было бы интересно скачать тяжёлую игру из Steam, гигабайт на 50+
fcoder
можно организоваться с приятелем на взаимное хранение бекапов домашнего наса, которые каждую ночь будут обновляться из домашней сети. И сильно сэкономить таким образом на облачном провайдере.
Мои 10ТБ по гигабитному соединению от гугл-файбер заливаются более суток. На 25 гигабитах было бы гораздо веселее
ketzal
А домашний NAS потянет такие скорости? ) Или он на nvme весь?
cahbeua
Перфоратор мне в пятку - в домашнем хранилище ежедневно 10тб новых файлов? Это у вас гостиница космос с 5 вебкамщицами на каждый номер 24\7 в 4к записываются? дифференциальные\ инкрементальные бекапы чем плохи?
fcoder
ты меня поймал, настоящий объем в 5 раз меньше. А инкрементальные бекапы я не настраивал по причине ненадобности. Но мечтать не вредно же?
На монтаже видео пара терабайт материала в день - более чем реальный сценарий
Dvorff
Буква «З» - Зависть????
DGN
Вы правда можете построить в гараже небольшой датацентр или ровная полочка траффика, провайдера таки напряжет?
Civil Автор
Ровная полочка разумных величин провайдера естественно напряжет и скорее всего он прилет с контрактом совсем на другую сумму в одной руке и ножницами в другой :)
n2dt4qd2wg9b
На каком уровне полочки LGTM а на каком PTAL?
Civil Автор
У провайдера прописано, что они могут начать задавать вопросы если я наберу 0.5 ПБ трафика. То есть можно на пару дней в полочку интерфейс использовать.
А, ну и частному лицу естественно никаких гарантий и все такое прочее. Естественно то что у меня 25 Гбит не значит, что у провайдера от их ближайшего POPа сильно больше :)
n2dt4qd2wg9b
Ну 0,5ПБ это отлично! У меня на гигабите 150ТБ выходит в месяц исходящего. Думал что будут спрашивать - не спрашивают. Видимо им аплоад не критичен, ведь покупают полосу обычно симметричную, и я со своим аплоадом иду против мейнстрима, который качает вниз.
Если они дают юзерам 25, то у них инкременты минимум по 100Гбит/с в сторону поп-ов, скорее всего завернутые в DWDM, и Террабит-другой в одном волокне. Кто-то в вашем провайдере любит современное оборудование. Как и я, как и гугл :)
Civil Автор
Ага, у них, когда они только анонсировали 25 гбитные домашние подключения, была статья (на немецком, естественно) с красивыми картинками оборудования и они явно говорили про то что минимум 100 Гбит на POP делают :) Естественно где больше клиентов, там и шире канал.
nidalee
Торренты популярные качаются в принципе без ограничений скорости. Игры, фильмы, вот это все.
Из Steam достаточно просто выжать гиг, как и из Epic. Насчет 25, конечно, не скажу.
Качать с сайтов и файлопомоек, особенно в десятки потоков — тоже можно без ограничений с какого-нибудь жирного CDN. Linux ISO's платные обычно не жалеют скорости. Гиг забивается мгновенно при желании.
Я бы тоже не отказался подключить 25, если бы дали, но в Москве больше 10 не видел.
wrc-pet
Я в 200 километрах от Москвы больше 100 Мб/с не видел, какой там 10 гигабайт
dragonnur
В тысяче км от Москвы гигабит в секунду.
IvanPetrof
Судя по единицам измерения в посте, товарищ может путать мегабиты и мегабайты. Так-то 100 мегабайт/с это и есть 1 гигабит..
Komandir_Bublik
125 если быть точным
saboteur_kiev
Это в Франкфурте? как раз вроде по расстоянию
13werwolf13
в Омске (сами посмотрите на карте километраж) гиговый аплинк для дома норма уже много лет, в ЕКБ я вот уже второй год с аплинком почти гиг. простите но расстояние от москвы по моим наблюдениям нужно смотреть иначе: дальше - лучше.
AuroraBorealis
"В Нью-Йорке настолько дорогие квартиры - потому что от Москвы далеко"
13werwolf13
это конечно важный и несомненно весомый
аргументбред в треде о доступных скоростях аплинков и тарифов провайдеров для физиков по россии..AuroraBorealis
Все комментарии важны - не будь их, нечего было бы качать на 25Гбит/с :)
vikarti
почти 3 тысячи км от Москвы (на восток) — билайн — 500 мбит/с, ДомРу — заявлено 850 мбит/с, реально сейчас где то 600 есть, раньше было 750 (причем их техники считает что проблема у меня, и смогли это продемонстрировать подключив свой ноут кабелем у меня, разбираться детально сейчас нет времени и желания)
shilovav
я в 750км от Москвы, тариф 300мбит, впрочем у нас куча и гигабитных предложений
lxnvr
диски бы успевали писать скачанное, т.к. это не линейная операция и скорость будет разительно отличаться от указанной на коробке
nidalee
Однозначно, даже гиг на один HDD пишется со скрипом, если одновременно 10 файлов качать.
Поэтому качаю на RAID0 из 870 EVO :)
Civil Автор
Смотря чем и что качать :) Технически большими кусками и с хорошим буфером в оперативной памяти должно быть нормально.
Forden
Я тоже с этим столкнулся, но немного поковырявшись нашел пару настроек, которые сильно улучшили ситуацию:
Использовать для скачивания выделенный SSD, можно самый дешевый, потому что по сути от него требуется просто нормальный рандомный доступ.
Резервировать место на диске заранее, чтобы файлы не были раскиданы.
Выделить достаточный буфер в оперативной памяти. У меня в компьютере 32 гб и я спокойно выделяю 2 гб памяти под буфер
По сути с таким набором скачивание будет идти на максимальной скорости, а на HDD файлы сбросятся только в самом конце, причем максимально быстро (последовательное чтение с SSD и последовательная запись на HDD)
isden
Для SSD это не нужно.
Aelliari
Линейное чтение/запись точно также сильно быстрее случайного доступа и для SSD. А по случайному доступу до уровня чистокровных optane SSD еще не дошли. Другой вопрос что SSD на порядок быстрее в линейном, и в десятки раз на случайном доступе по отношению к HDD. Но человек писал не про это, он писал про то что основной накопитель может быть HDD, а SSD используется как буфер для скачивания, после загрузки файл перемещается «линейно» на hdd
isden
Насколько я понимаю логику работы SSD, там нет понятия "линейная запись". Контроллер раскидывает блоки рандомно в любом случае (тут могут быть нюансы с выходом за пределы кэша (при его наличии)).
В случае же копирования готового файла с SSD на HDD смысла в резервировании тоже нет — файл пишется и так линейно.
Aelliari
И в тоже время производители порой его указывают, или указывают значение iops (к примеру, самсунг из свежих). Да, контроллеры SSD сейчас довольно умные и обычно сами выбирают куда физически поместить данные на флеше для выравнивания износа ячеек (алгоритмами, аппаратным шифрованием, в общем кто-что умеет), но флеш-память - это не память с прямым доступом, и даже не параллельным доступом в произвольную страницу, и вот эти вот переключения несут дополнительный оверхед, особенно больно мелкоблочной записи/чтению.
P.S. Вот сейчас написал, и понял что мелкоблочка - все же не актуальна в случае «скачивания большого файла», прошу прощения
Dagnir
Хотел было написать, что за торренты можно получить письма счастья, но погуглил уточнить про законы конкретно в Швейцарии — и, оказывается, там очень либеральный взгляд на торренты, как минимум скачивание (не закачка) и вовсе защищено законами о свободе доступа к информации. Идеальная страна получается.
Civil Автор
Легально качать кино-музыку-книги (но не раздавать), поэтому, в теории, можно так сказать ПользоватьсяСетью, если вы понимаете о чем я ;)
С играми и ПО - технически качать их нелегально.
Разадвать нелегально ни то, ни другое. Есть правда момент - слежка за людьми затруднительна и если правообладатели или юристы будут делать как в Германии (сами раздавать, записывать кто скачал и слать письма счастья в надежде на откуп), то им же самим суд даст по голове. Из того что говорят (но тут к каждому вопрос - хочется ли проверить на себе или нет), если не прям релизить или делать дома сид-бокс, то шанс что к тебе придут близок к нулю даже за раздачу.
iggr63
Да, скачивать для собственного пользования можно.
MaximRV
Пригород Красноярска, гигабит с 2014 года
Apokalepsis
А кто в Москве дает 10? Я только гиг видел, подключил и чувствовал себя королем интернета, особенно после путешествий по Европе, но после это статьи мой гиг просто жалок :)
nidalee
Поправка: дают 8.
blind_oracle
Сайт прям "вип-лухари"... :facepalm:
Vsevo10d
Можно намутить бизнес из целой многоэтажки вебкамщиц в 4К.
Dante4
Как бэк для системы хранения на 2-3 хоста виртуализации? Самое-то
iggr63
На бирже торговать, там скорость соединения очень даже важна.
DGN
Биржа это пинг, а пинг не функция от гигабитов...
iggr63
Согласен. Но и пинг на картинке тоже не плохой - 2 мс.
WST
Это ж не значит, что и до биржи будет столько же, это прежде всего от расстояния зависит. Если биржа на другой стороне Земли, вы туда 2мс никак и никогда не получите, не приблизившись к ней, к примеру, арендовав VPS в том же городе.
iggr63
По Европе нормально, Цюрих-Фракфурт-Лондон и другие соединены точка-точка по СВЧ каналу. Вот тут немного сказано SIX. И конечно скорость низкая, но задержка минимальна.
nidalee
В HFT трейдинге, например, оперируют микросекундами, а не миллисекундами...
Kirill-112
Биржа - это про пинг, а не про скорость.
Viked
Там скорее важно latency, чем ширина канала.
Didimus
Но чем его заполнить?
Seawind
HDTV какой-нибудь с низким уровнем сжатия, что бы артефактов было поменьше и с повышенной частотой кадров.
Didimus
Это можно просто удалённый монитор сделать. Купить общий комп с крутой видеокартой и по очереди играть через удалённый рабочий стол
vikarti
Для этого несколько сот мегабит — за глаза.
У Parsec (у которого именно что стриминг игр одно из основных назначений) максимальная настройка скорости — 50 Mbit/s. При этом работает и при меньших. Да — лучше бы аппаратное кодирование и на сервере и на клиенте.
У Oculus Air Link стриминг картинки для VR на quest 2 для PCVR) с компа — макс настройка 200 Mbit/s (это конечно НЕ значит что будет нормально работать если "законнектилось к WiFi на 200 Mbit/s", но если "законнектилось к WiFi на 600 Mbit/s" уже будет все хорошо.
При подключении Oculus Link(USB3 кабель для Quest 2, тоже что Air Link но без WiFi ) там в софте ограничение 500 чтоли мегабит, тест самого кабеля встроенными средствами Oculus у меня дает 1.9 Gbit/s и по мнению тест-софтинки это нормально.
Ну да — сжатое видео.
25 Gbit/s — HDMI несжатый совсем чтоли гнать в 4K?
Didimus
Можно целый игровой клуб подключить к ферме. И сдавать ее клубам в разных часовых поясах, чтобы не простаивала.
Или качать видео со ста камер на мероприятии в единый датацентр, чтобы не возить его с собой в фургонах «телевидение»
Civil Автор
Справедливости ради, у Parsec вроде не лучшее качество картинки. У Moonlight/Sunshine при 150 Мбит/с оно несколько получше (тоже сжатое видео, но в av1 в 4k@60 артефактов сжатия практически не видно, можно в целом думать и о 120 фпс)
saboteur_kiev
Канал как у многих провайдеров в крупных странах.
В среднестатистическом городке, не миллионнике, вообще вряд ли даже столько у провайдеров есть.
Civil Автор
В Швейцарии нет миллионников. В принципе. В Цюрихе ~405 тысяч. В городе где я живу - меньше 3 тысяч.