Иногда связь с интернетом критически важна, и даже несколько минут простоя могут дорого стоить, например, в банкоматах, сигнализациях, системах мониторинга и контроля доступа.
В таких системах обычно используется несколько подключений к интернету и автоматическое переключение между разными каналами в случае недоступности основного канала.
Мне надоело самостоятельно изобретать failover на USB модемах, и захотелось делегировать это отдельной умной железке. Я решил сравнить несколько промышленных роутеров, чтобы выяснить, оправдывают ли они свое название, и насколько они лучше моих костылей. В статье будут сравниваться роутеры производителей iRZ, Termit, Robustel.
Основные требования к роутерам:
- 2 SIM-карты и автоматическое переключение между операторами — роутер должен автоматически определять потерю связи на одном операторе и переключаться на резервного. Это особенно важно для подвижных систем, когда покрытие сотовой сети не идеально.
- Подключение по Ethernet — основная система должна видеть только шлюз по умолчанию, и не должна знать о модемной подсистеме на стороне роутера и переключениях каналов, поэтому никаких USB.
- Поддержка современных протоколов VPN: IKEv2 и OpenVPN — для удобства администрирования, и чтобы не зависеть от реальных IP-адресов, роутеры должны уметь VPN. При этом поддерживать не только устаревшие PPTP и L2TP, но и современные протоколы.
- (Опционально) поддержка GPS, наличие GPIO, serial интерфейсов RS-232/485 — эти функции не обязательны для наших задач, но мы рассмотрим их тоже, как бонус, который, возможно, будет кому-то полезен.
Проблема самодельных костылей
Wi-Fi-роутер c двумя USB-модемами (Фото: Дмитрий Бевза dgl.ru)Failover — аварийное переключение интернет-канала на резервный, в случаях недоступности основного.
Обычно, для резервирования интернет-каналов я использовал бытовой Wi-Fi-роутер с прошивкой OpenWRT, и пакет mwan3. Он позволяет настроить автоматическое резервирование и балансировку между несколькими интернет-каналами, в том числе, между проводным подключением и USB-модемом.
Главный недостаток такого подхода — в разнородном оборудовании и хлипкой конструкции внешних USB-модемов. Мне нравились модемы Huawei E3372h с прошивкой HiLink (эмуляция Ethernet). Эти модемы достаточно стабильные и дешевые, но, при подключении внешних антенн, вся конструкция становится очень хлипкой. Жесткие провода антенны создают рычаг, и модемы банально вылазят из USB-порта, да и сам антенный разъем CRC9 не так надежен, как SMA, потому что не имеет резьбового крепления.
Сборки на внешних USB-модемах очень хрупкие: антенные разъемы не фиксируются, модемы вываливаются из портов
Конструкцию из двух USB-модемов с внешними антеннами приходилось очень жестко фиксировать, но все равно физические повреждения и выпадение из портов были главной проблемой. Такое решение подходит для статического монтажа в труднодоступных местах, но совершенно не подходит для установки в автомобиль или в электрощит на DIN-рейку.
Иногда в роутерах зависала подсистема USB, и модемы становились недоступны. Пришлось писать watchdog-скрипт, который бы отдельно следил за доступностью модемов, помимо mwan3, следящим за доступностью интернета. В какой-то момент мне это надоело, и я стал искать решение в одной коробочке, где все проблемы уже решили за меня.
Сравнительная таблица моделей
Промышленные роутеры дороже бытовых, даже с учетом отдельной покупки модемов. Поэтому главным критерием выбора моделей для обзора была стоимость. Дополнительные функции вроде Wi-Fi, выводов GPIO и системы GPS в нашем случае не нужны, но мы все равно сравним их как опции, влияющие на стоимость.
| Модель | 2 SIM | Проводной WAN | Порты LAN | Wi-Fi | GPS | Цена |
|---|---|---|---|---|---|---|
Termit CR41P |
????? | ? | 4 | ? | ? | ?13 000 ? |
Robustel R2000 |
? | ? | 2 | X | X | ?12 000 ? |
iRZ RU22W |
? | ? | 4 | ? | ? | ?15 000 ? |
Методика тестирования
Главная задача сравниваемых роутеров — обеспечивать бесперебойный интернет в любых условиях, поэтому мы будем сравнивать, как хорошо роутер переключается на резервный канал в случае проблем на основном. Для этого будем симулировать потерю связи, и замерять на стороне сервера, как быстро роутер смог восстановить связь.
В качестве целевого хоста к каждому тестируемому роутеру будет подключен маленький роутер TP-Link MR3020, который будет выполнять роль компьютера с полезной нагрузкой. На нем будет запущен OpenVPN, подключенный к серверу. На сервере будет запущен мониторинг, следящий за доступностью адреса внутри VPN-тоннеля.
То есть, на стороне сервера будет мониториться один фиксированный IP-адрес, назначенный на mr3020 через VPN-тоннель. Независимо от того, через какой канал идет трафик на роутере, сервер мониторинга будет взаимодействовать с одним адресом. Соответственно, если адрес доступен, это значит, что роутер успешно переключил канал, и в сети за NAT-ом есть интернет.
Чтобы OpenVPN-тоннель восстанавливался максимально быстро, на стороне сервера установим опцию keep-alive на минимальные значения, и отключим шифрование:
cipher none
ping 1
ping-restart 4
Нужно учитывать, что на переподключение VPN уходит время, и в реальности интернет восстанавливается быстрее, чем видно на графиках. Однако такой тест позволяет более честно оценить факт переключения канала, так как показывает, что клиенты за роутером смогли восстановить TCP-подключения и вернуться к штатной работе.
К каждому роутеру подключен TP-Link MR3020, с запущенным VPN-тоннелем. Работающим интернетом считается доступность IP-адреса 10.0.0.1 на стороне сервера
PingPlotter — программа для мониторинга
Программа мониторинга и сервер OpenVPN находятся на одном физическом компьютере с VPN-сервером. Мониторить я буду утилитой MultiPing, с помощью обычных ICMP Echo-запросов. Интервал запросов — 1 секунда — это позволяет видеть на графике даже кратковременную недоступность хоста.
Программа PingPlotter рисует удобные графики пинга, показывая задержку и потери пакетов
Признаюсь, я долго пытался выбрать систему мониторинга. Пробовал zabbix, cacti, скрипты на bash + rrdtool, но все это показалось слишком переусложненным для моих задач. В итоге я нашел прекрасную программу PingPlotter и ее упрощенный вариант без трассировки маршрута — MultiPing. Программа позволяет в реальном времени мониторить группу хостов с разрешением вплоть до 1 секунды, и рисовать подробные графики.
Антенна
Широкополосная антенна Триада MA-2697, подходит для основных диапазонов сотовой связи
Чтобы исключить разное качество приема из-за разных антенн, ко всем роутерам будут подключены одинаковые антенны Триада MA-2697. По заверениям производителя, антенна широкополосная, и работает в диапазонах GSM-900\1800 МГц, 3G-2100 МГц, Wi-Fi-2400МГц и 4G WiMAX-2600МГц. Проверять качество антенны я не буду. Даже если она плохая, все роутеры будут работать в одинаковых условиях приёма.
Мобильные операторы
В каждый роутер будут установлены SIM-карты Мегафон и МТС, с обычным тарифом для физических лиц. Мегафон будет выбран основным, МТС резервным. В таком приоритете нет никакой логики, выбор случайный. В месте проведения тестов оба оператора имеют одинаково хорошее покрытие LTE.
Недостатки тестового стенда
Тестовый стенд, развернутый на столе
Так как тестовый стенд находится неподвижно в помещении, качество покрытия сотовой сети не изменяется. В таких условиях невозможно искусственно имитировать плохое покрытие, когда сигнал сотовой сети есть, но потери пакетов слишком большие. По-хорошему, нужно было поместить стенд на поезд или автомобиль, и возить по отдаленным от города местам. Тогда можно было бы сравнивать, насколько хорошо встроенные модемы работают с плохим сигналом.
В нашем случае, мы сможем только воссоздать полную потерю связи на основном канале, и наблюдать, как быстро роутер переключится на резервный.
Termit CR41P
Роутер предоставлен компанией Цифровой Ангел (digitalangel.ru)
SoC: Atheros AR9344 rev. 3
RAM: 128MB
Flash-память: 16MB
Wi-Fi: 802.11n (2.4GHz)
Модем: Quectel EC25-E (LTE Cat 4)
Прошивка: на базе OpenWRT 15.05.1
USB Host
MicroSD
Крепление на DIN-рейку
GPS/GLONASS: активная антенна 3V
Последовательные интерфейсы: RS-232/485
Выводы I/O: 2 цифровых входа (0-3V / 0-30V, гальванически развязанный), 1 аналоговый вход (0-24V), 1 цифровой выход (30V, 250 mA открытый коллектор), 1 выход реле (40V, 4A SPST)
Для установки SIM-карты необходимо раскрутить четыре винта и снять заднюю крышку.
Что ж, это повод рассмотреть внутренности подробнее.
кликабельноМодемная часть выполнена в виде шилда, который надевается на основную плату.
В углу видно реле для мощной нагрузки, выведенное на пины I/O.
Самый богатый по функциям роутер в обзоре. Имеет проводной WAN, а также позволяет использовать Wi-Fi в режиме станции (клиента), как отдельный WAN. То есть может иметь четыре резервных интернет канала.
Веб-интерфейс сразу выдает LuCI из OpenWRT. Это видно как по дизайну, который не пытались замаскировать, так и по путям в URL. На мой взгляд, это скорее плюс, так как позволяет легко допилить систему под себя. В прошивку добавлены промышленные функции: Modbus, VRRP, MQTT. Через Modbus и MQTT можно управлять базовыми функциями, получать состояние сети, координаты GPS, температуру, переключать профили, перезагружать роутер, управлять пинами I/O.
Мониторинг интернет-каналов сделан через пакет multiwan, который в wiki OpenWRT назван устаревшим. Вместо него рекомендуется mwan3.
Выводы I/O
Управление пинами I/O выполняется через веб-интерфейс, тут же можно посмотреть статус и переименовать каждый пин. Это не заменит полноценный микроконтроллер, но для простой автоматизации может подойти. Например, открыть дверь или поднять шлагбаум по SMS, MQTT или HTTP-запросу, выполнить действие при срабатывании датчика и послать уведомление об этом. Довольно интересная функциональность, которая позволяет обойтись одним устройством.
Интерфейс настройки триггера для аналогового входа. Можно указать диапазон напряжений, в котором сработает триггер, либо настроить на срабатывание при выходе из диапазона
Последовательные интерфейсы RS-232/485
Физически интерфейс RS-232 выполнен в виде разъема DB9 (COM-порта), а RS-485 — в виде съемной клеммной колодки. В веб-интерфейсе можно выбрать четыре режима работы порта:
- Системная консоль — доступ как по SSH
- Serial over IP — проброс последовательного порта через интернет
- Шлюз Modbus — конвертер modbus TCP<->RTU
- NTRIP client — передача данных от GPS
Выбор режима работы serial-портов
GPS
Модуль GPS встроен в чип модема и доступен как USB устройство. Позволяет отслеживать координаты устройства и синхронизировать системные часы по GPS, при этом роутер может быть NTP-сервером и предоставлять точное время для устройств в сети, даже без интернета. Есть функция Geofencing, позволяющая задать географическую зону в качестве триггера, который срабатывает при посещении зоны или ухода из неё. Может быть полезно для роуминга, при покидании домашнего региона. Зону можно определить только одну, и только в радиусе от точки, то есть зона всегда представляет собой круг.
Настройка географической зоны для срабатывания триггера
[ 0.000000] MyLoader: sysp=30fe861a, boardp=21046795, parts=5c8953fe
[ 0.000000] bootconsole [early0] enabled
[ 0.000000] CPU0 revision is: 0001974c (MIPS 74Kc)
[ 0.000000] SoC: Atheros AR9344 rev 3
[ 0.000000] Determined physical RAM map:
[ 0.000000] memory: 08000000 @ 00000000 (usable)
[ 0.000000] Initrd not found or empty — disabling initrd
[ 0.000000] Zone ranges:
[ 0.000000] Normal [mem 0x00000000-0x07ffffff]
[ 0.000000] Movable zone start for each node
[ 0.000000] Early memory node ranges
[ 0.000000] node 0: [mem 0x00000000-0x07ffffff]
[ 0.000000] Initmem setup node 0 [mem 0x00000000-0x07ffffff]
[ 0.000000] On node 0 totalpages: 32768
[ 0.000000] free_area_init_node: node 0, pgdat 803802b0, node_mem_map 81000000
[ 0.000000] Normal zone: 256 pages used for memmap
[ 0.000000] Normal zone: 0 pages reserved
[ 0.000000] Normal zone: 32768 pages, LIFO batch:7
[ 0.000000] Primary instruction cache 64kB, VIPT, 4-way, linesize 32 bytes.
[ 0.000000] Primary data cache 32kB, 4-way, VIPT, cache aliases, linesize 32 bytes
[ 0.000000] pcpu-alloc: s0 r0 d32768 u32768 alloc=1*32768
[ 0.000000] pcpu-alloc: [0] 0
[ 0.000000] Built 1 zonelists in Zone order, mobility grouping on. Total pages: 32512
[ 0.000000] Kernel command line: board=TLT-RUT900 console=ttyS0,115200 rootfstype=squashfs,jffs2 noinitrd lpj=1370112 quiet loglevel=3
[ 0.000000] PID hash table entries: 512 (order: -1, 2048 bytes)
[ 0.000000] Dentry cache hash table entries: 16384 (order: 4, 65536 bytes)
[ 0.000000] Inode-cache hash table entries: 8192 (order: 3, 32768 bytes)
[ 0.000000] Writing ErrCtl register=00000000
[ 0.000000] Readback ErrCtl register=00000000
[ 0.000000] Memory: 125728K/131072K available (2611K kernel code, 155K rwdata, 552K rodata, 256K init, 189K bss, 5344K reserved)
[ 0.000000] SLUB: HWalign=32, Order=0-3, MinObjects=0, CPUs=1, Nodes=1
[ 0.000000] NR_IRQS:83
[ 0.000000] Clocks: CPU:550.000MHz, DDR:400.000MHz, AHB:200.000MHz, Ref:40.000MHz
[ 0.000000] Calibrating delay loop (skipped) preset value… 274.02 BogoMIPS (lpj=1370112)
[ 0.000000] pid_max: default: 32768 minimum: 301
[ 0.000000] Mount-cache hash table entries: 1024 (order: 0, 4096 bytes)
[ 0.000000] Mountpoint-cache hash table entries: 1024 (order: 0, 4096 bytes)
[ 0.000000] NET: Registered protocol family 16
[ 0.000000] MIPS: machine is TELTONIKA TLT-RUT900
[ 0.450000] pca953x 0-0074: interrupt support not compiled in
[ 0.450000] i2c-gpio i2c-gpio.0: using pins 17 (SDA) and 16 (SCL)
[ 0.450000] Switched to clocksource MIPS
[ 0.450000] NET: Registered protocol family 2
[ 0.450000] TCP established hash table entries: 1024 (order: 0, 4096 bytes)
[ 0.450000] TCP bind hash table entries: 1024 (order: 0, 4096 bytes)
[ 0.450000] TCP: Hash tables configured (established 1024 bind 1024)
[ 0.450000] TCP: reno registered
[ 0.450000] UDP hash table entries: 256 (order: 0, 4096 bytes)
[ 0.450000] UDP-Lite hash table entries: 256 (order: 0, 4096 bytes)
[ 0.450000] NET: Registered protocol family 1
[ 0.450000] PCI: CLS 0 bytes, default 32
[ 0.460000] futex hash table entries: 256 (order: -1, 3072 bytes)
[ 0.460000] squashfs: version 4.0 (2009/01/31) Phillip Lougher
[ 0.460000] jffs2: version 2.2 (NAND) (SUMMARY) (LZMA) (RTIME) (CMODE_PRIORITY) © 2001-2006 Red Hat, Inc.
[ 0.460000] msgmni has been set to 245
[ 0.460000] io scheduler noop registered
[ 0.460000] io scheduler deadline registered (default)
[ 0.460000] Serial: 8250/16550 driver, 1 ports, IRQ sharing disabled
[ 0.460000] console [ttyS0] disabled
[ 0.480000] serial8250.0: ttyS0 at MMIO 0x18020000 (irq = 11, base_baud = 2500000) is a 16550A
[ 0.480000] console [ttyS0] enabled
[ 0.480000] bootconsole [early0] disabled
[ 0.480000] ar934x-hs-uart.0: ttyATH0 at MMIO 0x18500000 (irq = 14, base_baud = 2500000) is a AR934X UART
[ 0.500000] m25p80 spi0.0: found gd25q128, expected m25p80
[ 0.500000] m25p80 spi0.0: gd25q128 (16384 Kbytes)
[ 0.500000] 7 teltonika partitions found on MTD device spi0.0
[ 0.500000] Creating 7 MTD partitions on «spi0.0»:
[ 0.500000] 0x000000000000-0x000000020000: «u-boot»
[ 0.500000] 0x000000020000-0x000000030000: «config»
[ 0.500000] 0x000000030000-0x000000040000: «art»
[ 0.500000] 0x000000040000-0x0000001630ac: «kernel»
[ 0.500000] 0x0000001630ac-0x000000f70000: «rootfs»
[ 0.500000] mtd: device 4 (rootfs) set to be root filesystem
[ 0.510000] 1 squashfs-split partitions found on MTD device rootfs
[ 0.510000] 0x000000b30000-0x000000f70000: «rootfs_data»
[ 0.510000] 0x000000040000-0x000000f70000: «firmware»
[ 0.510000] 0x000000f70000-0x000001000000: «event-log»
[ 0.520000] libphy: ag71xx_mdio: probed
[ 1.110000] ag71xx-mdio.1: Found an AR934X built-in switch
[ 1.140000] eth0: Atheros AG71xx at 0xba000000, irq 5, mode:GMII
[ 1.730000] ag71xx ag71xx.0: connected to PHY at ag71xx-mdio.1:04 [uid=004dd042, driver=Generic PHY]
[ 1.730000] eth1: Atheros AG71xx at 0xb9000000, irq 4, mode:MII
[ 1.740000] TCP: cubic registered
[ 1.740000] NET: Registered protocol family 17
[ 1.740000] bridge: automatic filtering via arp/ip/ip6tables has been deprecated. Update your scripts to load br_netfilter if you need this.
[ 1.740000] Bridge firewalling registered
[ 1.740000] 8021q: 802.1Q VLAN Support v1.8
[ 1.750000] VFS: Mounted root (squashfs filesystem) readonly on device 31:4.
[ 1.750000] Freeing unused kernel memory: 256K (803a0000 — 803e0000)
[ 5.030000] usbcore: registered new interface driver usbfs
[ 5.030000] usbcore: registered new interface driver hub
[ 5.030000] usbcore: registered new device driver usb
[ 5.050000] SCSI subsystem initialized
[ 5.050000] ehci_hcd: USB 2.0 'Enhanced' Host Controller (EHCI) Driver
[ 5.050000] ehci-platform: EHCI generic platform driver
[ 5.050000] ehci-platform ehci-platform: EHCI Host Controller
[ 5.050000] ehci-platform ehci-platform: new USB bus registered, assigned bus number 1
[ 5.060000] ehci-platform ehci-platform: TX-TX IDP fix enabled
[ 5.060000] ehci-platform ehci-platform: irq 3, io mem 0x1b000000
[ 5.080000] ehci-platform ehci-platform: USB 2.0 started, EHCI 1.00
[ 5.080000] hub 1-0:1.0: USB hub found
[ 5.080000] hub 1-0:1.0: 1 port detected
[ 5.080000] uhci_hcd: USB Universal Host Controller Interface driver
[ 5.090000] usbcore: registered new interface driver usb-storage
[ 5.400000] usb 1-1: new high-speed USB device number 2 using ehci-platform
[ 5.550000] hub 1-1:1.0: USB hub found
[ 5.550000] hub 1-1:1.0: 3 ports detected
[ 5.830000] usb 1-1.1: new full-speed USB device number 3 using ehci-platform
[ 6.620000] mount_root: loading kmods from internal overlay
[ 7.080000] jffs2: notice: (339) jffs2_build_xattr_subsystem: complete building xattr subsystem, 0 of xdatum (0 unchecked, 0 orphan) and 0 of xref (0 dead, 0 orphan) found.
[ 7.080000] block: attempting to load /tmp/jffs_cfg/upper/etc/config/fstab
[ 7.130000] block: extroot: not configured
[ 7.240000] jffs2: notice: (336) jffs2_build_xattr_subsystem: complete building xattr subsystem, 0 of xdatum (0 unchecked, 0 orphan) and 0 of xref (0 dead, 0 orphan) found.
[ 7.430000] block: attempting to load /tmp/jffs_cfg/upper/etc/config/fstab
[ 7.480000] block: extroot: not configured
[ 7.480000] mount_root: switching to jffs2 overlay
[ 9.980000] random: ubusd urandom read with 18 bits of entropy available
[ 11.260000] NET: Registered protocol family 10
[ 11.410000] ntfs: driver 2.1.31 [Flags: R/O MODULE].
[ 11.430000] Initializing XFRM netlink socket
[ 11.430000] NET: Registered protocol family 15
[ 11.440000] tun: Universal TUN/TAP device driver, 1.6
[ 11.440000] tun: © 1999-2004 Max Krasnyansky <maxk@qualcomm.com>
[ 11.500000] l2tp_core: L2TP core driver, V2.0
[ 11.500000] l2tp_netlink: L2TP netlink interface
[ 11.510000] gre: GRE over IPv4 demultiplexor driver
[ 11.510000] ip_gre: GRE over IPv4 tunneling driver
[ 11.540000] ip6_tables: © 2000-2006 Netfilter Core Team
[ 11.580000] nf_conntrack version 0.5.0 (1968 buckets, 7872 max)
[ 12.110000] lp: driver loaded but no devices found
[ 12.130000] ppdev: user-space parallel port driver
[ 12.290000] u32 classifier
[ 12.290000] input device check on
[ 12.290000] Actions configured
[ 12.330000] Mirror/redirect action on
[ 12.460000] cdc_acm 1-1.1:1.0: This device cannot do calls on its own. It is not a modem.
[ 12.460000] cdc_acm 1-1.1:1.0: ttyACM0: USB ACM device
[ 12.460000] usbcore: registered new interface driver cdc_acm
[ 12.460000] cdc_acm: USB Abstract Control Model driver for USB modems and ISDN adapters
[ 12.470000] usbcore: registered new interface driver cdc_wdm
[ 12.500000] Loading modules backported from Linux version v4.4-rc5-1913-gc8fdf68
[ 12.500000] Backport generated by backports.git backports-20151218-0-g2f58d9d
[ 12.690000] Ebtables v2.0 registered
[ 12.730000] ip_tables: © 2000-2006 Netfilter Core Team
[ 12.820000] Netfilter messages via NETLINK v0.30.
[ 12.850000] usbcore: registered new interface driver usblp
[ 12.890000] usbcore: registered new interface driver usbserial
[ 12.890000] usbcore: registered new interface driver usbserial_generic
[ 12.890000] usbserial: USB Serial support registered for generic
[ 12.960000] xt_coova: ready
[ 13.050000] xt_time: kernel timezone is -0000
[ 13.050000] usbcore: registered new interface driver ark3116
[ 13.050000] usbserial: USB Serial support registered for ark3116
[ 13.060000] usbcore: registered new interface driver belkin_sa
[ 13.060000] usbserial: USB Serial support registered for Belkin / Peracom / GoHubs USB Serial Adapter
[ 13.090000] usbcore: registered new interface driver cdc_ether
[ 13.170000] usbcore: registered new interface driver cdc_ncm
[ 13.860000] usbcore: registered new interface driver ch341
[ 13.860000] usbserial: USB Serial support registered for ch341-uart
[ 13.860000] usbcore: registered new interface driver cp210x
[ 13.860000] usbserial: USB Serial support registered for cp210x
[ 13.860000] usbcore: registered new interface driver cypress_m8
[ 13.860000] usbserial: USB Serial support registered for DeLorme Earthmate USB
[ 13.860000] usbserial: USB Serial support registered for HID->COM RS232 Adapter
[ 13.860000] usbserial: USB Serial support registered for Nokia CA-42 V2 Adapter
[ 13.880000] usbcore: registered new interface driver ftdi_sio
[ 13.880000] usbserial: USB Serial support registered for FTDI USB Serial Device
[ 13.880000] usbcore: registered new interface driver huawei_cdc_ncm
[ 13.900000] usbcore: registered new interface driver keyspan
[ 13.900000] usbserial: USB Serial support registered for Keyspan — (without firmware)
[ 13.900000] usbserial: USB Serial support registered for Keyspan 1 port adapter
[ 13.900000] usbserial: USB Serial support registered for Keyspan 2 port adapter
[ 13.900000] usbserial: USB Serial support registered for Keyspan 4 port adapter
[ 13.990000] ctnetlink v0.93: registering with nfnetlink.
[ 14.020000] usbcore: registered new interface driver pl2303
[ 14.020000] usbserial: USB Serial support registered for pl2303
[ 14.030000] PPP generic driver version 2.4.2
[ 14.040000] PPP MPPE Compression module registered
[ 14.040000] NET: Registered protocol family 24
[ 14.040000] PPTP driver version 0.8.5
[ 14.050000] usbcore: registered new interface driver qmi_wwan
[ 14.140000] l2tp_ppp: PPPoL2TP kernel driver, V2.0
[ 14.140000] usbcore: registered new interface driver option
[ 14.140000] usbserial: USB Serial support registered for GSM modem (1-port)
[ 14.160000] usbcore: registered new interface driver qcserial
[ 14.160000] usbserial: USB Serial support registered for Qualcomm USB modem
[ 14.200000] ath: EEPROM regdomain: 0x0
[ 14.200000] ath: EEPROM indicates default country code should be used
[ 14.200000] ath: doing EEPROM country->regdmn map search
[ 14.200000] ath: country maps to regdmn code: 0x3a
[ 14.200000] ath: Country alpha2 being used: US
[ 14.200000] ath: Regpair used: 0x3a
[ 14.210000] ieee80211 phy0: Selected rate control algorithm 'minstrel_ht'
[ 14.210000] ieee80211 phy0: Atheros AR9340 Rev:3 mem=0xb8100000, irq=47
[ 14.280000] mmc_spi spi0.1: ASSUMING 3.2-3.4 V slot power
[ 17.330000] mmc_spi spi0.1: SD/MMC host mmc0, no DMA, no WP, no poweroff
[ 17.330000] mmc_spi spi0.1: no support for card's volts
[ 17.330000] mmc0: error -22 whilst initialising SDIO card
[ 17.330000] mmc_spi spi0.1: no support for card's volts
[ 17.330000] mmc0: error -22 whilst initialising SD card
[ 17.340000] mmc_spi spi0.1: no support for card's volts
[ 17.340000] mmc0: error -22 whilst initialising MMC card
[ 20.700000] usb 1-1.3: new high-speed USB device number 4 using ehci-platform
[ 20.920000] option 1-1.3:1.0: GSM modem (1-port) converter detected
[ 20.920000] usb 1-1.3: GSM modem (1-port) converter now attached to ttyUSB0
[ 20.930000] option 1-1.3:1.1: GSM modem (1-port) converter detected
[ 20.940000] usb 1-1.3: GSM modem (1-port) converter now attached to ttyUSB1
[ 20.950000] option 1-1.3:1.2: GSM modem (1-port) converter detected
[ 20.950000] usb 1-1.3: GSM modem (1-port) converter now attached to ttyUSB2
[ 20.960000] option 1-1.3:1.3: GSM modem (1-port) converter detected
[ 20.970000] usb 1-1.3: GSM modem (1-port) converter now attached to ttyUSB3
[ 21.000000] qmi_wwan 1-1.3:1.4: cdc-wdm0: USB WDM device
[ 21.000000] qmi_wwan 1-1.3:1.4: Quectel EC21&EC25&EC20 R2.0 work on RawIP mode
[ 21.010000] qmi_wwan 1-1.3:1.4 wwan0: register 'qmi_wwan' at usb-ehci-platform-1.3, WWAN/QMI device, 3a:a9:1d:1a:9e:d9
[ 25.600000] jffs2: notice: (1621) jffs2_build_xattr_subsystem: complete building xattr subsystem, 0 of xdatum (0 unchecked, 0 orphan) and 0 of xref (0 dead, 0 orphan) found.
[ 28.880000] device eth0 entered promiscuous mode
[ 28.890000] br-lan: port 1(eth0) entered forwarding state
[ 28.890000] br-lan: port 1(eth0) entered forwarding state
[ 30.010000] br-lan: port 1(eth0) entered disabled state
[ 34.410000] device wlan0 entered promiscuous mode
[ 34.420000] br-lan: port 2(wlan0) entered forwarding state
[ 34.420000] br-lan: port 2(wlan0) entered forwarding state
[ 34.460000] br-lan: port 2(wlan0) entered disabled state
[ 41.530000] br-lan: port 2(wlan0) entered forwarding state
[ 41.530000] br-lan: port 2(wlan0) entered forwarding state
[ 43.530000] br-lan: port 2(wlan0) entered forwarding state
[ 51.350000] Ports leds ON
[ 54.390000] random: nonblocking pool is initialized
Настройка WAN
Интерфейс настройки приоритетов интернет-каналов. Можно выбрать один основной и два резервных. В нашем случае, модем выбран основным, а проводной WAN резервным.
Настройка приоритетов интернет-каналов. Можно выбрать основной и резервные
Нужно иметь в виду, что модем (радиомодуль) в роутере один, и только одна SIM-карта может быть одномоментно в сети. Система мониторинга проверяет доступность интернета в каждом канале с помощью ping-запросов на заданный хост. При этом нельзя проверить, на какой из двух SIM-карт есть интернет, можно только переключить на другой канал: проводной или Wi-Fi. Условия переключения SIM-карт настраиваются отдельно, и не зависят от общего мониторинга.
Настройка мониторинга доступности интернет-канала. Можно указать хост, который будет проверяться, интервалы проверок и число попыток
Так как мониторинг доступности (пакет multiwan из openwrt) воспринимает модем как один интерфейс, он не может инициировать переключение SIM-карты в случае недоступности интернета на модеме. Пакет multiwan может только переключать основной сетевой интерфейс. Условия переключения SIM-карты настраиваются отдельно, и среди условий можно выбрать только следующее: слабый сигнал, лимит трафика, роуминг, нет сети, отсутствует подключение PPP. То есть, в некоторых случаях, модем может не переключить SIM-карту, даже если на ней нет интернета. Например, если у оператора сбой в сети, при этом на модеме есть IP-адрес, или если оператор заблокировал доступ в сеть за неуплату, и редиректит запрос на заглушку с интерфейсом оплаты. В таком случае, ни одно условие переключения SIM-карты не будет выполнено, так как формально связь с оператором есть.
Настройка условий переключения между SIM-картами не работает в связке с мониторингом доступности интернета
Симуляция аварии
Нам не удалось придумать способ программно симулировать условия для переключения SIM-карты на резервную в этом роутере, поэтому мы будем проверять переключение на резервный проводной канал. Для этого отключим антенны от роутера и посмотрим на график. Время переключения составляет в среднем 12-15 секунд, с учетом восстановления VPN-подключения. Можно сократить это время, уменьшив интервал проверок и число потерянных пакетов для срабатывания переключения, но слишком агрессивные настройки мониторинга будут часто вызывать ложные срабатывания, когда связь пропала всего на пару секунд.
Время переключения на резервный канал составляет около 15 секунд
Вывод
Роутер с большим количеством дополнительных функций. Интересно выполнена работа с модулем I/O: есть аналоговые и цифровые выводы, силовое реле. Можно управлять выводами удаленно и настроить триггеры. Это позволяет на одном лишь роутере построить простую автоматизацию с внешней периферией. Например, управлять теплицей или обогревом помещения.
Плюсы
- Много дополнительных функций
- Открытая платформа OpenWRT
- Поддержка LTE Cat 4
- Три типа WAN: модем, Ethernet, WiFi
Минусы
- Нельзя указать разные адреса мониторинга для каждой SIM-карты
- Условия переключения на резервную SIM-карту вынесены отдельно от мониторинга доступности интернета
Robustel R2000
Роутер предоставлен компанией Евромобайл (euromobile.ru)
SoC: Atheros 533MHz
RAM: 64MB
Flash память: 16MB
Модем: Huawei ME909s-120 (LTE Cat 4)
Прошивка: закрытая, на основе Linux
Роутер с двумя Ethernet-портами и минимумом функций. Только один из LAN-портов может выполнять роль WAN. Прошивка закрытая, root доступа по SSH нет. Консоль ограничена своим интерпретатором с несколькими командами (подобно устройствам Ubiquiti).
VPN
Прошивка поддерживает протоколы OpenVPN и IPsec IKEv2.
Интерфейс настройки IPsec-тоннеля
Интерфейс настройки OpenVPN-тоннеля
Логирование
Есть поддержка удаленного логирования через syslog
Можно установить триггеры на системные события и посылать уведомления по email и SMS
User LED
Индикацию на передней панели можно настроить на разные события. Например, показывать подключен VPN или нет.
Настройка WAN
Есть несколько режимов резервирования и балансировки. Второй вариант может быть полезен для быстрого переключения между каналами.
- Cold backup: активен только основной канал, резервные каналы отключаются
- Warm backup: резервные каналы активны, используется только основной (невозможно активировать две SIM одновременно)
- Load balancing: Используются оба канала одновременно
В настройках по-умолчанию почему-то отключено возвращение на основной канал после переключения на резервный. Это задается в Revert Interval, при установке в ноль, канал никогда не переключится назад после перехода на резервный.
Настройка приоритетов и режимов WAN
Каждая SIM-карта настраивается как отдельный интерфейс: WWAN1 и WWAN2. Для каждого интерфейса можно отдельно настроить адрес для проверки доступности интернета, и свои интервалы. Это единственный роутер в обзоре, где можно указать сразу два хоста для проверки. Это полезно для защиты от ложных срабатываний, когда проверочный хост упал, но интернет при этом есть.
Каждой SIM-карте можно установить свои настройки для проверки доступности интернета
Прошивка роутера не предполагает root-доступа к системе, поэтому без вскрытия корпуса мне не удалось выяснить, на каком чипсете сделано устройство. Соответственно никакие самодельные скрипты и пакеты на роутер установить не получится, вся функциональность строго ограничена возможностями родной прошивки. Есть возможность установить несколько дополнительных пакетов из родного репозитория robustel.com/products/app-center/, но это не сравнится с набором пакетов из репозитория OpenWRT.
С другой стороны, такая закрытость системы может быть полезна для защиты от неконтролируемых изменений прошивки, которые потом нельзя увидеть в веб-интерфейсе.
Симуляция аварии
Так как мы можем указать разные хосты для проверки доступности каждой SIM-карте, для симуляции аварии мы укажем первой SIM-карте наш подконтрольный сервер, и в какой-то момент отключим его. Для чистоты эксперимента установим интервалы проверки такими же, как у первого роутера в обзоре.
Переключение на вторую SIM-карту занимает 15-30 секунд
В среднем роутер переключается на вторую SIM-карту за 15-30 секунд. Полагаю, что больше всего времени занимает регистрация в сети второго оператора. Так как во всех наших роутерах используется один модем, одномоментно в сети может находиться только одна SIM-карта. Существуют промышленные роутеры с двумя независимыми модемами, которые одновременно подключены к двум мобильным операторам. В таком случае переключение канала происходит быстрее.
Вывод
Компактный и простой роутер с минимумом функций, простой в настройке. Закрытая платформа и отсутсвие root-доступа может кому-то помешать. Можно рекомендовать для случаев, когда простота настройки важнее.
Плюсы
- Отдельные настройки failover для каждой SIM-карты
- Поддержка LTE Cat 4
- Режим «Warm backup», в котором резервный канал не отключается
- Простота настройки
Минусы
- Закрытая платформа, нет root-доступа
- Урезанная SSH-консоль
- Только один Ethernet-порт может работать как WAN
iRZ RU22W
Роутер предоставлен компанией Цифровой Ангел (digitalangel.ru)
SoC: MediaTek MT7620A ver:2 eco:6
RAM: 64
Flash память: 16
Wi-Fi: 802.11n (2.4GHz)
Модем: Huawei MU709s-2
Поддержка карт MicroSD
GPS
Прошивка: на базе OpenWRT 15.05
Роутер без поддержки LTE, поддерживаются только 3G-стандарты HSPA+/UMTS (900/2100 MHz) и 2G GSM/GPRS (850/900/1800/1900 MHz), при этом самый дорогой. Есть поддержка GPS, Wi-Fi и последовательных интерфейсов. По-умолчанию все Ethernet-порты объединены в один коммутатор, при желании каждый порт можно выделить в отдельный VLAN и использовать его как WAN. Wi-Fi может работать в режиме станции (клиента), и также быть WAN. Суммарно, с двумя SIM-картами это позволяет получить 7 WAN-интерфейсов. Неплохо.
Веб-интерфейс
Главная страница, доступная без авторизации, показывает состояние интерфейсов, таблицу маршрутизации, IMEI, и много другой информации.
Wi-Fi-интерфейс может работать в режиме точки доступа (AP) или клиента (Station). Сканирования сетей нет, нужно явно указывать SSID вручную.
VPN
OpenVPN поддерживается полностью, а вот IPSec — нет. Есть только Cisco IPSec, при этом нет IKEv2.
Интерфейс настройки Cisco IPSec не поддерживает протокол IKEv2Есть поддержка Ethernet over IP
RS-232/485
Последовательные интерфейсы можно настроить только в режиме serial over ip и конвертера modbus TCP<->RTU. Режим AT-модема через последовательный порт недоступен.
GPIO
Работа c GPIO сделана странно. Можно только переключать состояния из веб-интерфейса, при этом нельзя создать триггеры, вызываемые по изменению состояния. Возможно, есть какое-то API, реализованное через фирменный софт, не знаю. Нельзя даже переименовать нужные пины. Пользы от такого управления не вижу.
Настройка WAN
Приоритеты интерфейсов выбираются в меню Routes. Можно выбрать один из двух режимов: failover и балансировка. Первый переключит канал на резервный интерфейс в случае недоступности основного, а второй распределит трафик поровну между интерфейсами, на уровне NAT.
Мониторинг доступности и аварийное переключение интерфейсов сделано с помощью самодельных bash-скриптов компании iRZ. Например, сервис /usr/bin/pinger посылает пинги, переключает интерфейсы и управляет светодиодами. Довольно суровый башизм :)
Настройка SIM-карт
Для каждой SIM-карты можно установить свой хост проверки связи. Это удобно для случаев, когда мы хотим выбрать разные сервера, в зависимости от оператора связи. Например, в роуминге мы используем один сервер, а в домашнем регионе другой.
Можно установить разные хосты, до которых будет проверяться связь, для каждой SIM-карты
GPS
Я не нашел возможности как-либо задействовать GPS-модуль, кроме как через gpsctl из консоли. В веб-интерфейсе вообще нет его упоминания. Полагаю, что он задействуется через родные облачные сервисы для централизованного управления роутерами. Невозможность использовать API GPS самостоятельно считаю недостатком.
Симуляция аварии
Мы указали для каждой SIM-карты разные хосты проверки доступности интернета, поэтому можем легко симулировать аварию. Для этого мы заблокируем на фаерволле хост от первой SIM-карты и посмотрим, как роутер отреагирует на это. Для чистоты эксперимента мы установим такие же интервалы проверки и число попыток, как и у первого роутера.
Из нескольких попыток среднее время переключения составляет 30 секунд, иногда вторая SIM-карта долго регистрируется, и переключение растягивается на минуту. Не уверен, связано ли это с модемом или с особенностями мобильного оператора.
Вывод
Понравилась возможность получить целых 4 проводных WAN и отдельные настройки failover для каждой SIM-карты. Осталось непонятным назначение GPS-модуля, воспользоваться им без стороннего софта не получилось.
Плюсы
- Открытая платформа на базе OpenWRT
- Отдельные настройки failover для каждой SIM-карты
- Все LAN-порты могут работать как WAN
Минусы
- Нет поддержки IPsec IKEv2
- Непонятно, как пользоваться GPS и выводами GPIO без стороннего софта
Заключение
На мой взгляд, специализированные промышленные решения намного удобнее самодельных конструкций на базе SOHO-роутера. Хотя в большинстве случаев используется та же прошивка OpenWRT, все нюансы уже учтены, настройка сводится к установке нескольких параметров в веб-интерфейсе, и не нужно самому писать костыли типа watchdog-скриптов, все уже есть из коробки.
Дополнительные функции вроде GPIO и модуля GPS позволяют, во многих случаях, обойтись одним устройством вместо двух, для простых задач автоматизации и сбора данных.
У всех трех производителей есть свой софт для централизованного управления роутерами. В рамках этой статьи мы его не рассматривали. Он полезен для большого числа установок, и позволяет управлять всеми роутерами из одной контрольной панели. Возможно, стоит изучить этот софт тоже.
Комментарии (87)
rushter
15.03.2019 15:27У кого-нибудь есть на примете хороший домашний WiFi роутер, в котором из коробки 2 WAN, а еще лучше объединение каналов в один?
MeGaPk
15.03.2019 16:02+5mikrotik
zhovner Автор
15.03.2019 16:53… и напишите самостоятельно netwatch скрипты, выберите один из десяти вариантов балансировки.
AcidVenom
15.03.2019 19:09Не используйте Netwatch. Первый же пропущенный пинг положит интерфейс в даун.
zhovner Автор
15.03.2019 20:20+1Я это к тому, что в микротике все равно придется писать свой failover. При том что есть десяток различных вариантов. Это совсем не то же самое что мышкой выбрать основной WAN и резервный.
PythonKaa
15.03.2019 17:15Такое вроде Zyxel умел — в последних версиях добавляли возможность разделить порты хоть по одному на разные интерфейсы и, как следствие можно сделать несколько WAN. Объединение каналов вроде не умеет.
Вся линейка DSR, на мой вкус — попытка склеить теплое с мягким с неудачным результатом. Мне кажется, что в ситуациях, когда возникает необходимость заморочки с несколькими WAN, есть смысл брать железки «узкого» профиля — роутер отдельно, точки доступа отдельно. Но это уже на вкус и цвет…
mikelavr
16.03.2019 14:02В мои требования входит load balancing (объединение), а не failover. Если WiFi сделать отдельно (у меня стоит Ubiquiti Aircube AC), то есть недорогие роутеры:
TP-Link TL-R470T+
Экстремально дешево. Достаточно надежно — прожил у меня лет пять, суммируя от двух до трех каналов (может до 4WAN). Load balancing включается «одной галочкой». Недостаток для домашнего интернета — все порты по 100 мегабит, поэтому дома он начал ограничивать возможности расширения. Провайдеры сейчас легко дают 100 мегабит.
Ubiquiti EdgeRouter X
В общем то тоже дешево. Все порты гигабитные. С настройкой придется повозиться, потому что это операторское оборудование, не домашнего сегмента. Зато после настройки работает без малейших проблем. Load balancing включается визардом. Есть PoE 24v, через который получает питание точка доступа. При желании есть модель X SFP с одним оптическим портом, который можно использовать в любых целях. В модели X до 4WAN, в модели X SFP до 5WAN. Использую около полугода, очень доволен.
Microtik во всем ассортименте. Минус в том, что load balancing «из коробки» отсутствует. Load balancing включается шаманскими манипуляциями. Зато есть модели со встроенным WiFi. Лично не использовал.
В домашнем сегменте еще есть Asus (например RT-AC88U, моделей много), который имеет технологию Dual WAN как с failover, так и с load balance. Но только 2WAN. Я предпочитаю иметь резерв, чтобы можно было переключаться с одного провайдера на другого без лишних проблем.
То, что WiFi надо делать отдельно, даже небольшой плюс. В этом случае точка доступа помещается в наилучшее место с точки распространения сигнала (центр квартиры), а роутер — в наилучшее место с точки зрения доступности кабелей (над входной дверью).
dmitryrf
15.03.2019 15:43Непонятно, как пользоваться GPS и выводами GPIO без стороннего софта
Управление GPIO есть в разделе Tools.zhovner Автор
15.03.2019 16:03Управление GPIO есть в разделе Tools.
Это я нашел, но какая практическая польза от такого GPIO в реальной жизни? Как я понимаю, его нельзя дернуть через какой-то API, нельзя повесить триггер, вызвать событие. То есть нельзя интегрировать в с другим софтом. Остается только заходить в веб-интерфейс и руками включать-выключать. Даже открытие шлагбаума не получится сделать.dmitryrf
15.03.2019 16:13Для входа можно настроить реакцию на события — отправка смс или выполнение команды. Выходом можно управлять из интерфейса (а значит и через curl) и c помощью консольной утилиты gpio. А её, в свою очередь, можно выполнить по приходу смс (Services -> Command over SMS).
zhovner Автор
15.03.2019 16:59а значит и через curl
Одним запросом все равно не сделать, придется еще логиниться, получать токен или куки. Или можно через http auth передать логин-пароль? Так-то можно сказать что везде где есть веб-интерфейс есть и API.
lolipop
15.03.2019 15:56а все ли роутеры из сравнения не идут в комплекте с 3g/4g-антеннами? если это не так, то почему это не указано? учитывая стоимость антенн, это может иметь решающее значение.
zhovner Автор
15.03.2019 17:02Комплектов поставок много разных, я не стал в этом разбираться. У termit действительно были антенны в комплекте, но полагаю что есть вариант поставки и без антенн. Простые 4G антенны можно найти по 700 рублей.
Darka
15.03.2019 17:09+2Если нужно совсем отказоустойчивое решение с нулевым даунтаймом, то можно использовать www.openmptcprouter.com
В принципе, я думаю, что не проблема собрать нужные пакеты под роутеры с OpenWRT из этого поста.
ValdikSS
15.03.2019 23:08Для (MP)TCP всё же нужен маршрут по умолчанию, и в MPTCP есть понятие главного маршрута, так что, может, старые соединения будут работать при потере связи на одном из каналов, но новые какое-то время не будут устанавливаться.
И для него нужен свой прокси-сервер на обеих сторонах (прозрачный прокси-сервер на стороне клиентского маршрутизатора, и удаленный сервер, принимающий MPTCP-соединения).ValdikSS
16.03.2019 22:27На всякий случай, накидаю ссылки на другие подобные проекты:
www.multipath-tcp.org
zehome.github.io/MLVPN
github.com/greensea/mptunnel
github.com/angt/glorytun
github.com/VrayoSystems/vtrunkd
Провайдер OVH предоставлял маршрутизатор OVH OverTheBox, объединяющий интернет-каналы, на основе OpenWRT. Модифицированные файлы прошивки доступны здесь: github.com/ovh/overthebox
OverTheBox основан на glorytun (для UDP) и MPTCP + ShadowSocks (для TCP).
enemy_spb
15.03.2019 17:58+3Сам недавно искал вариант со встроенным LTE и хорошими антеннами и вот что приглянулось:
www.gl-inet.com/products/gl-x750
OpenWRT
650MHz/128MB
MicroSD
LTE Cat 6 + 2 detachable external antennas
Dual-band Wi-Fi
USB 2.0 port
Zigbee и Bluetooth обещают добавить позже
Небольшие и аккуратные, очень интересные устройства, цена около 9 тыс. руб.zhovner Автор
16.03.2019 02:15+1Странно, что с LTE Cat 6 и 802.11ac у них ethernet 100 Mbit/s. Но выглядит интересно. Расскажите как вам если купите.
Vovanys
15.03.2019 18:21Я себе собрал на SIMCom SIM7100e + микротик, до этого был ZTE модем с внешней антенной.
Из плюсов: сигнал выше, можно мониторить температуру модема и вольтаж. Можно цепануть GPS если надо. И разные плюшки через AT команды.g0dzilla
15.03.2019 18:59У вас вариант с одной сим( И без lte интерфейса как я понимаю не будет скоростей 40+ на микротике..?
Vovanys
15.03.2019 19:53pptp интерфейс вообще пишет что он подключен на 2мб/сек но по факту скорость 30+ мб/сек.
Просто speedtest где-то 25-30 и выдает, а на ётовском 40.
Нормальный LTE интерфейс в следующей прошивке обещают…
Bsplesk
15.03.2019 18:42-3Без объединения каналов задачу на транспорте не решить. Для остальных задач (если ехать, а не рюшечки) 4g mini router с питанием от usb, двумя sim, встроенным аккумулятором, wi-fi и android в качестве os. Можно даже телефон.
Штуки покруче, что то типа fitlet2 на x86, к нему существует кучка карт расширений на любой вкус и цвет ключая 3/pci-e (один для ssd, 2 других для устройств) — допустим 2 модема. Правда ко второму нужен будет ещё переходник с sim. Но в сумме это уже порядка от 350/400$. На arm есть классный omnia — но ценник опять же будет далеко за 200$ за комплект.
borisovEvg
15.03.2019 22:42Kroks AP-205M1-4Gx2H не рассматривали?
zhovner Автор
15.03.2019 22:56Выглядит интересно, особенно залитые компаундом коаксиальные разъемы на модемах.
Модемы у него такие же как у модели robustel из обзора: Huawei ME909s-120.
Два независимых модема это хорошо, но немного выбивается из нашего бюджета.
А вы им пользовались? Как впечатление?
borisovEvg
16.03.2019 00:10Нет, я им не пользовался. Я у них для себя рассматриваю Роутер Kroks AP-P221M2H, но под другие задачи. В глухой деревне хочется нормального интернета
nevzorofff
16.03.2019 00:30Так есть мобильный интернет-то? Может LHG LTE kit хватило бы?:)
borisovEvg
16.03.2019 00:50на телефоне его нет. Как снег сойдет, раздобуду параболическую антенну и полезу на крышу искать этот самый интернет ). вышка километрах в 8 — 10 от дома.
zhovner Автор
16.03.2019 02:16Для личный нужд вполне сойдет USB модем с внешними антеннами. Получится намного дешевле.
r1alex
16.03.2019 00:04+3Ребята, поставьте пожалуйста лайк этому комментарию если готовы купить за 20 тыс. рублей домашний\офисный WiFi-роутер с суммированием пропускной способности от трех сотовых операторов?
www.youtube.com/watch?v=aWxhU8r6X7czhovner Автор
16.03.2019 02:25Вы проводите маркетинговые исследования? Если будет полезно, я давно ищу домашний wifi роутер своей мечты:
* WiFi двухдиапазонный 2.4/5Ghz 802.11ac
* 5-10 гигабитных ethernet портов, хотя бы пару штук с PoE, чтобы подключить камеры
* Возможность подключения диска (m.sata, esata, 2.5 sata) или хотя бы USB
Очень надоело городить гирлянды из свичей, PoE инжекторов. Хочу ОДНО устройство для всего, и чтобы бекапиться на него как на таймкапсулу.
Самое близко что есть: omnia.turris.cz/en
Но у него нет PoE.
Вот это, возможно может быть то что нужно, но как-то настораживают все эти модули www.indiegogo.com/projects/turris-mox-modular-open-source-router#konchok
16.03.2019 14:14Непонятно что вы ищете, у микротика полно таких устройств на любой ценник. Разве что SATA нет, но USB — пожалуйста.
zhovner Автор
16.03.2019 14:16Покажите конкретную модель, пожалуйста.
AkaZLOY
16.03.2019 14:43mikrotik.com/product/rb4011igs_5hacq2hnd_in подороже
mikrotik.com/product/hex_s подешевлеzhovner Автор
16.03.2019 15:09У первого нет USB, то есть диски не подключить.
У второго нет wifi, наверное вы имели в виду hAP ac lite.
Под поддержкой PoE я имею в виду поддержку стандарта 802.3af а не костыли от микротика, с которыми не будут работать большинство PoE устройств.
Я присматриваюсь к этому mikrotik.com/product/crs328_24p_4s_rm как вариант роутер+свич+poe, у него есть нормальный PoE out 802.3af/at, но опять же нет возможности подключать диски и нет wifi. Так что в любом случае придется городить отдельные точки доступа и NAS для хранилища.AkaZLOY
16.03.2019 15:12да, пардон, имел ввиду hap ac^2
насчёт PoE соглашусь, было печально когда от SXT LTE kit не завелась купольная управляемая камера на ноге, пришлось колхозить с PoE-адаптером.
enkill88
16.03.2019 18:04решение все в одном это мир компромиссов с посредственным качеством каждой функции и отдельной попоболью при каких то технических проблемах — падает одно устройство, Вы лишаетесь всего и сразу.
Хороший NAS для домашнего использования это synology (по моей шкале NAS конечно же), при том с ним относительно легко решать технические проблемы, а количество функций, их качество и реализация в разы выше, чем у решений все в одном. NAS это в первую очередь сетевое устройство хранения данных, которое должно обеспечивать высокую скорость чтения\записи по сети, отказоустойчивость дисковой подсистемы по средствам RAID и возможность масштабирования доступной емкости, путем добавления новых дисков. Дополнительные плюшки в виде торрент клиента, медиаплееров уже опциональны, тем не менее работать будут гораздо лучше чем на решениях все в одном.
Точка доступа так же должна быть отдельной, для того чтобы можно было оптимально расположить ее для покрытия всей площади, или добавить еще несколько точек если большая квартира. Соответственно и апгрейд в таком случае проще проводить и ремонт\замену только того что нужно. По моему опыту здесь по цене\качество\функционал лучшие микротики.
Роутер опять же отдельный лучше потому что его можно отдельно апгрейдить и менять настраивать под конкретные нужды, в нем должно быть ровно столько портов, сколько необходимо под провайдеров и транковый порт(ы) на коммутатор(ы). Роутер должен заниматься маршрутизацией и фильтрацией пакетов, шифрованием тоннелей, QoS, вот его основные функции. Тут тоже смело можно выбирать микротики, по функционалу и качеству будут лучше только циски но они будут на порядки дороже.
Управляемый коммутатор с нужным количеством и типом портов, чтобы не терять скорость при коммутации пакетов между устройствами в сети и не грузить роутер этой работой.
Из коммутаторов лучше HP, микротики уж слишком глючные в этом плане и всякие костыли вылезают при работе с агрегированием каналов в lacp и работой с vlan.
Тогда ваша система будет работать максимально эффективно без узких мест, с высокой надежностью. От себя могу сказать что для небольших сетей можно использовать 10 дюймовые шкафчики, для которых и розеточные блоки есть и патчпанели на 12 портов и оборудование там можно удачно разместить на полках.
ValdikSS
16.03.2019 11:12+5Он завязан на ваши сервисы, или можно поставить прокси-часть у себя? Вы используете какие-то готовые технологии, или написали свой туннель? Если свой, используете ли вы готовые ARQ-протоколы, или написали свой? Туннелируете по UDP или по TCP?
r1alex
16.03.2019 15:51Сейчас нет никакого B2C продукта. Все что делается сейчас — сугубо промышленное решение для нишевых рынков. В этом камменте просто узнал интересно ли это рынку.
Если это интересно — мы вместе сформируем требования к продукту и выпустим его таким каким хочет рынок, а не таким каким его можем придумать мы сидя на диване.
Поэтому очень бы хотелось увидеть конкретные хотелки.
ohm
16.03.2019 16:50Мне кажется для домашнего использования такое не особенно нужно, ведь придется еще платить за суммирующий сервер, как я понимаю. А вот портативная коробочка вроде этой уже выглядит интереснее. Например для автомобиля или редких задач, когда нужен быстрый интернет в полевых условиях. Сейчас очень много проводят прямых трансляций с телефонов, всякие популярные instagram-блогеры. Для них, думаю, была бы интересна услуга суммирующего сервера «on demand», то есть по требованию на один день, на время проведения трансляции.
r1alex
16.03.2019 16:55Для любой технологии суммирования есть суммирующий сервер. В том числе и для указанной Вами коробочки. А значит есть услуга терминирования трафика.
Возможно, для домашнего пользователя, действительно не нужны такие девайсы. Однако, если вы находитесь на даче и емкости любого одного оператора вам не хватает, или вам нужно поставить камеру на тепличное хозяйство или на строящийся дом — вам не обойтись без подобного рода устройств.
Зарубежные телеком операторы этот посыл поняли сходу. Русские, к сожалению, пока получают сверхдоходы, не имеют никакого интереса к технологиям.Bsplesk
16.03.2019 21:46Сейчас у меня в качестве «центра» умной дачи выступает вот такая коробочка (188$+RAM+SSD+WifIAC (usb interface): nuc (в целом она уступает fitlet2, но простой заказ с ali и осутствие на тот момент на amazon плат расширения склонили выбор в его пользу). + к ней в дальнейшем была подкючена по SATA корзинка на 2 диска.
Она, конечно, далеко не идеальна под мои задачи (отсутствует слот SIM/micro SD, только 2 mini pci-e один из которых только USB).
Но тем не менее к ней сейчас подключено 2 модема (по факту роутера) [один это телефон и подключается, когда нужно скачать torrent побыстей] и настроено объединение сетевых интерфейсов (в Linux поддержка в ядре), но опять же это не совсем, то что нужно.
Собственно — если кто-то создал «сетевую карту роутер» с USB интерфейсом (который бы в системе определялся в качестве одной сетевой карты) — но внутри содержал X модемов (M.2 или miniPCI-e — тоесть устройство быть доступна версия без модемов) с возможностью подключения дополнительного по USB с объединением сетевых интерфейсов (аля Linux) И с поддержкой «суммирования каналов» по требованию (за отдельную плату). Вот такое бы устройство — купил, но не за 20 000 р. (308$) естественно. Максимум ~100$ за «пустую» (без модемов) плату/корпус.zhovner Автор
17.03.2019 16:11и настроено объединение сетевых интерфейсов (в Linux поддержка в ядре)
Можно подробнее, что за объединение?Bsplesk
17.03.2019 16:50Как-то так: Пример. Теги: teaming, bonding, link aggregation, port trunking.
zhovner Автор
17.03.2019 20:22То что описано по вашей ссылке будет работать для объединения проводных подключений, когда обе точки находятся в одном ARP сегменте, но совершенно не подходит для объединения модемов, когда доступен только L3 уровень. Этой теме как раз посвящено несколько веток комментариев под этим постом. Если бы все было так просто, никто не разрабатывал бы эти программы.
Bsplesk
17.03.2019 23:00Вы спросили — Вам ответили.
Изначальный ответ был на вопрос про «B2C продукт» — спрос на готовое устройство.
Далее описано, как работает у меня сейчас (конретную задачу — boost закачки/failover) — оно решает, но не решает задачу «суммирования» канала.
Далее описано устройство за которое готов отдать д/c — и вот оно уже должно решать задачи — для которых «эти программы» созданы. Да у меня есть свой VPN и я могу попробовать всё это запустить, но вопрос был не об этом, а о готовом/законченном устройстве за которое не жалко отдать денег и наборе требований к нему.
zhovner Автор
17.03.2019 23:03Далее описано, как работает у меня сейчас (конретную задачу — boost закачки/failover) — оно решает, но не решает задачу «суммирования» канала.
Можете показать на примере конфигов как у вас работает?
zhovner Автор
16.03.2019 17:32+1Лично мне было бы интересно устройство в формате портативного роутера с двумя-тремя модемами и двумя ethernet. Чтобы услугу суммирования каналов можно было оплатить на день, а в остальное время пользоваться как обычным роутером. Ну и желательно, чтобы сервер суммирования можно было захостить самому
r1alex
16.03.2019 17:35Да. интересный кейс. Очень хороший будет карманный девайс. Батарейку туда еще поставить, чтобы можно было раздать интернет в поле через провод или wifi.
Если есть покупатели — за 3 месяца выпустим такую балалайку на рынок. Примерная цена будет около 20тр на 3 модема.
Bsplesk
16.03.2019 20:32Возможно в «городе» скоро будет проще купить один E5788 (LTE Cat.16) или Nighthawk M1 (1 ethernet/2 usb — при желании можно попробовать сделать +1 ethernet/2xTS-9). С другой стороны 2-3 «LTE Cat.16» ещё лучше. Но нужно понимать задачи.
zhovner Автор
16.03.2019 20:35Пользовался Netgear AS810, он Cat.11. Очень понравился, правда больше 110 мегабит в Москве не получается выжать. Но все эти устройства делаются без учета задач агрегации нескольких каналов, так что для той же трансляции видео не подходят.
ValdikSS
16.03.2019 22:13У LTE слишком асимметричный канал DL/UL, а часто нужен именно хороший аплоад.
ValdikSS
16.03.2019 22:12Востребованы портативные потребительские устройства, объединяющие несколько LTE-каналов для вещания видео с улицы.
На текущий момент, есть два типа устройств: дешевые портативные роутеры, реализующие балансировку нагрузки на уровне соединений, не требующие прокси-сервер. Они подходят для сёрфинга сайтов и скачивания файлов, но не подходят для вещания видео, где одно соединение нужно передавать через несколько каналов, и дорогие ($5000+) профессиональные системы, заточенные конкретно под видео. Их обычно берут в аренду, т.к. они очень дороги.
Нужно что-то среднее: удобное портативное устройство с батареей, с 3-4 портами USB для подключения дешевых LTE-модемов, с балансировкой на уровне пакетов, и чтобы оно не ограничивалось только видео, но поддерживало его. Обязательно нужна поддержка UDP и TCP, и возможность установки собственного прокси-сервера (без завязки на проприетарную инфраструктуру).
nevzorofff
16.03.2019 00:39Не понятно чем автору не подошёл Mikrotik LtAP mini LTE kit, работает от минус сорока, внешние антенны можно подключить, GPS есть, две симкарты есть, правда на один модем, но в требования заказчика это укладывается. В машине ездить может.
zhovner Автор
16.03.2019 02:22Я люблю микротик и часто использую его. Наверное, при установке сотен одинаковых устройств можно написать все нужные скрипты и автоматически их разворачивать. Но признайтесь честно, сколько бы у вас времени заняла настройка вашего микротика от момента включения до получения роутера аналогичного по функционалу роутерам из статьи? То есть failover между двумя SIM-картами и проводным WAN, перезагрузка модема в случае недоступности и т.д.
r1alex
16.03.2019 08:32+3Микротик, и все существующие продукты на рынке, на дают суммирование каналов. Это когда Канал1(10Мбит)+Канал2(40Мбит)+ Канал3(1Мбит)?39.4 Мбит. Большинство специалистов вообще не знают что такое возможно.
Автору нужно комплексное решение: балансировка, файловер, суммирование. И очень желательно, чтобы переключение каналов была вообще без лага в передачи данных.
Скажу про свою историю
Вот процесс суммирования 4х каналов передачи данных
www.youtube.com/watch?v=aWxhU8r6X7c
Вот файловер и балансировка 4х операторов в L3 туннеле
www.youtube.com/watch?v=QCzOBNaP4So
А это работа системы при физическом отключении\подключении модемов
www.youtube.com/watch?v=fa0t359W6EE
Как показывают все тесты, до тех пор пока жив любой один канал, лагов в передачи данных нет и мы всегда получаем стабильную сумму пропускной способности живых каналов.
Ролики достаточно старые и то что используется в коммерческих системах сильно отличаются в лучшую сторону, но в целом достаточно наглядно показывают как могут работать подобные системы.
Сейчас, в коммерческих системах, мы умеем собирать исходящий гигабит на 4х операторах и 16ти модемах
ibb.co/hyNJ6TM
Размышляю о создании бытового устройства для дома и офиса. Стало понятно как сделать комфортное по цене устройство для B2C рынка. Пока видим поддержку в этом только со стороны зарубежный операторов связи.
Ищем интерес к подобного рода устройствам у хабрасообщества.ohm
16.03.2019 16:43Есть вот такие решения teradek.com для видеотрансляций. В коробочку вставляется пачка USB модемов и все каналы агрегируются в один. Суммирующий сервер продается как услуга по подписке. В роутере сразу есть плата видеозахвата, можно воткнуть камеру по HDMI и стримить видео на сервер. Стоит, кстати, не так дорого.
r1alex
16.03.2019 16:47Все верно. Это оборудование для трансляции видео. По моей информации стоит в России от 1.6 млн. руб. L3 туннеля нет.
В нашей стране примерно три такие устройства.ohm
16.03.2019 17:12По моей информации стоит в России от 1.6
Цены они не скрывают teradek.com/collections/link-pro, актуальную версию можно купить на сайте. Комплект из роутера и модуля на 4 модема стоит 5000$.
И устройства не так редки, видел сам у съемочной группы работавшей на митинге в Москве. Ну и если погуглить, то находятся предложения по аренде.
r1alex
16.03.2019 17:16Тут есть один нюанс. Эти коробочки не дадут вам посмотреть ютуб или покачать торренты или просто быстро посмотреть интернеты.
Суммируется пропускная способность только их проприетарного протокола для передачи видео-потока.
Я близко знаком с этими железками, поскольку телеканал Россия24 убедительно рассказывали что им недостаточно таких устройствohm
16.03.2019 17:28Суммируется пропускная способность только их проприетарного протокола для передачи видео-потока.
Об этом не знал. Тогда действительно не так интересно.
nickdoikov
18.03.2019 11:06Пользуясь платной подпиской можно и ютуб смотреть и файлы качать и серфить.
Это я вам как человек разрабатывавший этот сервис говорю.
В LinkPro бонд протокол такой же как в семействе Bond, но он расширен для пропускания generic трафика.r1alex
18.03.2019 11:39Смотреть можно, безусловно. Есть ли суммирование?
Почему то на телеканале сказали иначе. Хорошо если так. Какой коэффициент утилизации каналов у вас?
10+5+1=?
enkill88
16.03.2019 18:13Видимо Вы не умеете настраивать микротик) Суммирование каналов показанное на примере спидтеста будет работать только с торрентами и многопоточными скачивальщиками, если скачивание идет по tcp протоколу в 1 поток никакого суммирования не будет. Микротик все это умеет, я лично настраиваю и обслуживаю на нем такие системы, только вот суммирование каналов дает огромную проблему: защита от спуфинга куки на сайтах, запрещает логин с разных адресов, потому будет выкидывать из сессии или будут прерываться действия на сайте (разлогин, сброс корзины и т.д.)
Потому в большинстве случаев отказываются от такого типа в сторону динамической или статической балансировки пользователей по разным провайдерам.
Для полного суммирования каналов потребуются сокс-прокси в аредованном ДЦ со своим сервером и каналом 10Гбит, тогда да все будет работать как надо с одним белым аресом ДЦ.zhovner Автор
16.03.2019 18:17+1Вы заблуждаетесь, суммирование каналов возможно, Посмотрите видео. r1alex прав насчет того что многие инженеры не подозревают, что такое возможно. Представьте себе VPN, который сразу подключен по всем WAN каналам. Выходная точка одна, при этом ширина канала суммируется.
Сложность в том, что нормальных открытых протоколов для таких решений нет. Вот пример того что есть habr.com/ru/post/443196/#comment_19890620
r1alex
16.03.2019 18:26Как это? Делать роутеры-сумматоры умеем а настраивать микротик не умеем? )
Микротик, инкарнет, крокс, пеплинк, фотел имеют одну и ту же проблему — суммирование по сессии а не по пакетам. Эта история совсем не сложная и делается толковым админом за неделю на любой железке.
Плюс этих решений заключается только в отсутсвие серверов терминирования трафика:
+нет дополнительной платной услуги по термнирированию трафика
Минусы таких решений далеко не всем очевидны
— нельзя построить L3 тунель и управлять прозрачной древовидной IP адресацией сети
— нельзя получить суммирование скорости на одном потоке. Т.е торрены работать будут хорошо, а стриминг с камеры или тот же L3 тунель уже будет без суммирования, а это значит что никакого решения операторского уровня нет.
— они не применимы на транспорте, поскольку не имеют аппаратных контроллеров управления модемами.
Не стоит сравнивать совершенно разные типы устройств. Балансировщик и сумматор — принципиально по разному работают и дают принципиально разные сервисы для принципиально разных задач.
Автор этого поста согласился со мной.
Напишите в личку и я вам покажу материалы наглядно демонстрирующие разницу
quakerdjj
16.03.2019 13:16На поездах ставили Incarnet или Icomera
Есть решения от 2 до 16 модемов.
Работают в режиме агрегатора-файловера из нескольких каналов GSM-LTE
минус что нужно установить несколько симкарт и каждую проплачиватьr1alex
16.03.2019 15:53Инкарнет — не суммирует скорость каналов. Это просто — балансировщик за 3К$
Икомера работает хорошо — только само устройство стоит уже порядка 10K$
Bsplesk
16.03.2019 13:53+1Incarnet Vi4 LTE Роутер-сумматор для авто (4 SIM карты) LTE/3G/Wi-Fi Маршрутизатор — 150000 руб. Как по мне устройство вне рынка (чисто под откаты).
Bsplesk
16.03.2019 13:59Тот же упомянутый Kroks AP-205M1-4Gx2H — вполне в рынке (еще бы они не экономили на спичках процессоре/памяти и модеме wi-fi — сейчас AC/WAVE2 — ~5-8$), а в устройстве N.
r1alex
16.03.2019 15:54Kroks — также просто балансировщик. Суммирования нет.
Для толкового инженера написать хороший балансировщик — неделя
teleghost
16.03.2019 15:21автор, хороший обзор, но imho основной use case таких устройств — "промышленный роутер" для дома/дачи или небольших объектов; да, они привлекательно-брутальны и открыты на уровне прошивки, и я даже захотел такой, но...
представьте сотню-другую площадок, которыми нужно управлять централизованно-единообразно, прописывать правила на firewall? а если нашлась уязвимость в прошивке сотни устройств? а так, чтобы кластер из N таких девайсов обновил прошивку сам, каждый узел по очереди, причем без разрыва связности клиентов и падения VPN? я сейчас не про теоретическую возможность что-то там допилить, потратив кучу человеко-лет и миллион денег, а про реально работающий, готовый и отлаженный продукт для бизнеса
zhovner Автор
16.03.2019 15:26У всех устройств есть системы централизованного управления:
iRZ: bridge.irz.net
Termit/Teltonika: rms.teltonika.lt
Robustel: www.robustel.com/products/machine-cloud/robustlink-central-manager.html
Там можно централизованно обновить прошивку одним кликом на всех устройствах или добавить правила фаервола. Я не разбирал эти системы в обзоре, просто сравнивал железки для единичных установок. Если будет интерес, возможно, попробую и эти системы.
AntiHelper
16.03.2019 23:0414 секунд на переключение?
На микротике без единой строчки кода можно сделать переключение туннелей за 3 пинга и просто интернета за 1-10 сек(в зависимости от типа сетевой проблемы)zhovner Автор
17.03.2019 16:15Нужно учитывать, что интервал между проверочными пингами на роутерах был 5 секунд. Я специально 1 секунду, потому что в реальных условиях это сильно увеличивает трафик. Модем в каждом роутере один, поэтому когда происходит переключение на другую SIM-карту, она заново регистрируется в сети, а это время. Ну последнее это время на восстановление VPN тоннеля, тоже добавляет пару секунд.
AntiHelper
16.03.2019 23:13Чтобы не разводить полемику со специалистами:
1) провайдеров каждого в свой vrf
2) внутри туннелей ospf с bfd
3) переключение nat с помощью рекурсивных маршрутов.
Эти три пункта работают на любом профессиональном оборудовании и сама схема придумана в 90е-2000е, до появления микротиков.
maledog
18.03.2019 12:12+1Столкнулся с такой проблемой на МТС (Москва), может и у других операторов есть. Если недостаточно средств на счете, то tcp-соединения устанавливаются и даже icmp работает, но вот передать ничего через tcp нельзя — соединение рвется, http перенаправляется в личный кабинет. Обычно проверка доступности сервера в роутере не включает в себя анализ ответов, так что «ентот ваш файловер» разобьется о суровую реальность. Для роутера этот канал активный, а по факту нет.
lolipop
объединения каналов нет? жаль, за такие деньги можно было ожидать чего-то большего, чем вотчдог и переключение каналов.
zhovner Автор
Есть балансировка на уровне NAT, то есть половина коннектов натится через одного провайдера, половина через другого. Разумеется никакой LACP или что-то подобное сделать не получится. Ну и как ты видишь объединение LTE и проводного интернета на уровне роутера? Кроме как MultiPath TCP я не знаю вариантов.
lolipop
с отдельной платной подпиской можно иметь выходную ноду, которая будет терминировать несколько каналов в одной выходной точке.
опять же, обрыв всех соединений при переключении с симки на симку для железки, подразумевающей установку на транспорт — очень прохладная история.
sergeysakirkin
можно покостылить с ospf multi-path но умеет-ли это абонентский роутер?
zhovner Автор
Вроде в репозиториях openWRT есть quagga, но я такое не умею.