В 2020 году американский регулятор FCC предложил расширить действие связи 70/80 ГГц на самолеты и суда, признав за этим диапазоном большой потенциал использования в транспортной отрасли. Здесь ремарка про суда и самолеты: выглядит нелогичным, что в числе транспортных средств (ТС) в документе FCC не упомянуты поезда, автобусы и трамваи, в которых тоже передвигается множество пассажиров со смартфонами, планшетами и ноутбуками.

Видимо в FCC вспомнили проект Aquilla (2016) от Facebook, в котором гигантские дроны на солнечных батареях с высоты 18 - 27 км должны были раздавать доступ к Интернету с использованием диапазона 70/80 ГГц для клиентов на земле и в воздухе. Проект Aquilla, как известно, не «взлетел», и Facebook закрыла его в 2018 году. Но идея осталась и идея интересная, здесь новаторства у Facebook не отнять.

Петербургская компания ДОК внимательно следила за достижениями Facebook Connectivity Lab в проекте Aquilla в части радиомостов. Например, за тестированием 20- гигабитного моста 70-80 ГГц на 8 миль (Facebook Connectivity Lab Demonstrates 20 Gbps Wireless Broadband Over An 8 Mile Area), сравнивая с возможностями радиомостов собственной разработки 70-80 ГГц, среди которых есть внедрения у российских заказчиков на 15, 16 и даже 19.5 км, а наиболее высокопроизводительный радиомост показывает пропускную способность 60 Гбит/c на 11 км.

— А давайте сами попробуем, насколько хорошо радиосвязь 70/80 ГГц будет работать на подвижных объектах. Так команда ДОК решила поставить свой эксперимент с подвижной связью на специально доработанной для подвижных объектов системе связи PPC-10G 10 Гбит/с 70-80 ГГц.

Учитывая сложность подготовки и проведения экспериментов с участием кораблей, воздушных судов и высотных дронов, систему связи PPC-10G 10 Гбит/с 70-80 ГГц было решено попробовать на автомобилях. Этот тип связи называется V2X (Vehicle to Everything), «автомобиль ко всему» и позиционируется как особенно перспективный на транспорте, в том числе для беспилотных автомобилей и рельсового транспорта.

По отзывам инженеров, идея подвижной связи 70/80 ГГц (71-76/81-86 ГГц) выглядела сложной ввиду традиционной практики использования антенн, формирующих довольно узкий радиолуч таких РРС — даже при установке на неподвижных опорах (вышках, крышах) антенны надо точно юстировать. Но было решено пробовать, используя антенны рупорного типа на ТС.

В 2021 году насчитывается уже 18 лет с момента, когда FCC в США впервые выделила диапазон частот 71-76/81-86 ГГц (70-80 ГГц) для фиксированной беспроводной связи. Почти сразу этому примеру последовали регуляторы в других странах, включая Россию. Радиомосты (радиорелейные станции, РРС) емкостью 1-10 Гбит/c быстро стали популярным видом фиксированной беспроводной связи.

Проверка работы подвижной связи 70-80 ГГц с помощью автомобиля

Идею использования радиомостов 71-76/81-86 ГГц для 10-гигабитной подвижной связи на транспорте было решено реализовать с помощью антенн с разной диаграммой направленности. Точнее — для неподвижных базовых станций использовать РРС (радиорелейные станции) с узконаправленными параболическими антеннами, а на транспортном средстве установить РРС с миниатюрными рупорными антеннами с более широкой диаграммой направленности.

По типам оборудования — были задействованы система радиорелейной связи РРС-10G, доработанная для подвижной связи V2X, легковой автомобиль и ровный участок дороги. Автомобиль может имитировать пассажирский транспорт (автобус, скоростной трамвай и т.п.), и такой эксперимент позволяет проверить на практике качество связи при выбранном варианте антенн и влияние типа модуляции сигнала на устойчивость связи.

Основной эксперимент по подвижной связи 70-80 ГГц V2X на базе легкового автомобиля проводился на взлетно-посадочной полосе (ВПП) аэродрома «Горелово» на южной окраине Санкт-Петербурга. Для эксперимента с подвижной связью администрацией аэродрома было разрешено использовать половину от общей длины ВПП (1/2 от 2.3 км).

ВПП "Горелово",
ВПП "Горелово",
А/м со стационарной станцией радиомоста PPC-10G 70-80 ГГц
А/м со стационарной станцией радиомоста PPC-10G 70-80 ГГц
А/м с подвижными станциями радиомоста PPC-10G 70-80 ГГц (вперед и назад)
А/м с подвижными станциями радиомоста PPC-10G 70-80 ГГц (вперед и назад)

На ВПП на расстоянии 1.14 км друг от друга были размещены две базовые станции BS1 и BS2 модели РРС-10G-E-30 с параболическими антеннами диаметром 30 см. Автомобиль двигался между этими базовыми станциями по центру полосы. На рейлингах крыши автомобиля были установлены приемопередатчики РРС-10G диапазона 71-76/81-86 ГГц с миниатюрными рупорными антеннами, направленными вперед и назад по ходу автомобиля. Таким образом моделировалась ситуация, когда такие приемопередатчики установлены в голове и хвосте условного транспортного средства (ТС) для беспроводной связи с базовыми станциями в прямом и обратном направлении.

К каждой базовой станции были подведены кабели питания от переносного генератора, а также кабели Ethernet и SNMP-мониторинга. Связь между базовыми станциями BS1 и BS2 осуществлялась по дополнительному стационарному радиомосту 10 Гбит/c. Предварительно был проведен расчет всех параметров радио в зависимости от расположения автомобиля между базовыми точками с помощью программы на базе калькулятора энергетического запаса линии компании ДОК. С помощью данного ПО можно просчитать уровень принимаемого сигнала (RSL, Receiver Signal Level) и соответствующую пропускную способность радиоканала.

Ниже короткое видео на 12 сек про рабочий момент с испытаний:

Были выполнены три эксперимента, каждый со своей серией заездов:

В первом эксперименте были задействованы два независимых радиоканала, один с использованием антенны, направленной вперед по ходу движения автомобиля, другой — с антенной в обратном направлении. В этом эксперименте скорость передачи данных, количество потерянных пакетов и ошибок измерялись с помощью анализаторов трафика Bercut-ETX.

Блок-схема первого эксперимента
Блок-схема первого эксперимента

Подключение тестеров выполнялось по типовой схеме из руководства по эксплуатации приборов. В этом случае один из тестеров работал в режиме генератора-анализатора. Генератор создал тестовый трафик с MAC и IP-адресом второго тестера.

Тестовый поток отправлялся в тестируемую сеть. Трафик через беспроводной канал и схему маршрутизации получал второй тестер, который работал в режиме шлейфа. Тестовый поток «разворачивался» и тестовый трафик с MAC- и IP-адресами первого тестера снова отправлялся в сеть. Трафик опять передавался через беспроводной канал и схему маршрутизации. Первый тестер получал данные, в которых проверял наличие ошибок и потерянных пакетов. Результаты потерь для разного размера пакетов приведены в таблице по параметрам «Frame-размер пакета Rate-нагрузка канала Loss-потери пакетов».

Результаты по трафику download/upload представлены на графиках ниже. Скорость передачи данных через передний модуль (Dwlnk1/Uplnk1) – голубая линия, через задний (Dwlnk2/Uplnk2) – жёлтая, серый график (Dwlnk/Uplnk Total) — результат математической суммы одного и второго канала. В данном эксперименте трафик от двух радиоканалов не складывался, независимо измерялась скорость передачи трафика в обоих радиоканалах в режиме полного дуплекса.

Frame loss

Frame

Rate,%

Loss,%

Loss,Mb/s L1

64

100

0

0.0001

128

100

0

0.0001

256

100

0

0.0004

512

100

0

0

1024

100

0

0

1518

100

0.296

29.6039

10000

100

1.1756

117.5594

14000

100

1.2206

122.0633

Трафик download по двум беспроводным каналам связи 70/80 ГГц. Значения по осям: Мбит/с и секунды
Трафик download по двум беспроводным каналам связи 70/80 ГГц. Значения по осям: Мбит/с и секунды

Результаты по трафику download/upload представлены на графиках. Скорость передачи данных через передний модуль (Dwlnk1/Uplnk1) – голубая линия, через задний (Dwlnk2/Uplnk2) – жёлтая, серый график (Dwlnk/Uplnk Total) результат математической суммы одного и второго канала. В данном эксперименте трафик от двух радиоканалов не складывался, независимо измерялась скорость передачи трафика в обоих радиоканалах в режиме полного дуплекса.

Трафик upload по двум беспроводным каналам связи 70/80 ГГц. Значения по осям: Мбит/с и секунды
Трафик upload по двум беспроводным каналам связи 70/80 ГГц. Значения по осям: Мбит/с и секунды

Во втором эксперименте измерялась пропускная способность при передаче файлов большого объема между серверами по радиоканалу на движущийся автомобиль (концепция V2X). К примеру, такая связь важна для беспилотных автомобилей, позволяя в реальном времени вносить изменения в программу движения из-за изменившейся дорожной обстановки.

В качестве серверов использовались встраиваемые промышленные компьютеры Cincoze DS-1202. Для обеспечения суммарной нагрузки в 20 Гбит/сек "на систему связи" — потребовалось развернуть две пары серверов — одна пара серверов использовалась для радиосвязи вперед по ходу автомобиля и вторая пара серверов для трафика в обратную сторону (назад). Два пары серверов оказались необходимы для полной нагрузки в 10 Гбит/сек каждого из двух маршрутов беспроводной передачи данных.

Сложной задачей оказалось отдавать файлы с сервера в беспроводной канал с такой скоростью, чтобы выбрать всю пропускную способность 10 Гбит/c каждого из радиоканалов. С этой целью циклически выгружали файл большого объема из RAM-диска, чтобы обеспечить нужную скорость передачи.

На стороне BS1 в неподвижном автомобиле разместили два сервера передачи данных, оборудование маршрутизации фирмы Juniper, а также Mikrotik для обеспечения связи с базой BS2. В движущемся автомобиле было установлено также 2 сервера, каждый со скоростью передачи 10 Гбит/сек. Распределение и маршрутизация трафика серверов Cincoze выполнялась роутерами Juniper. Передача трафика происходила по двум физическим маршрутам (подчеркнутым выделен участок беспроводного соединения с автомобилем):

  1. Первый маршрут по ходу движения: Server 1&3 -> Juniper1 -> E-band Radio1 ->
    E-band Radio2
    ->Mikrotik1 ->Juniper2 -> Server 2&4.

  2. Второй маршрут против хода автомобиля: Server 1&3 -> Juniper1 ->
    E-band Radio3 -> E-band Radio4 ->Mikrotik2 ->E-band Radiofix2 ->E-band Radiofix1->Juniper2 -> Server 2&4.

Для второго эксперимента вместо тестер-анализаторов Беркут-ETX использовались серверы Cincoze (серверы 1 и 2). Эти места помечены жёлтым пунктиром на блок-схемах.

Блок схема второго эксперимента
Блок схема второго эксперимента

При движении автомобиля проводились измерения общей пропускной способности построенной системы с учетом маршрутизации и суммирования траффика между серверами в автомобиле и неподвижными серверами. Использовалось специальное firmware и собственная утилита компании ДОК для записи состояния радиоканала во время движения автомобиля с опросом радиомодулей 10 раз секунду.

На следующем рисунке графики одного из заездов второго эксперимента, полученные с помощью собственной утилиты компании ДОК, уровень сигнала на входе приемника и трафик в направлении движения автомобиля показаны синим цветом, в обратном направлении – красным.

Уровень сигнала и скорости передачи данных в канале download
Уровень сигнала и скорости передачи данных в канале download

Пояснение к графикам: на верхней части графика (RSL) фиксировался уровень сигнала на входе приемника, что позволяет судить о качестве соединения. Стабильность соединения в обратном направлении (RSL2) была лучше, в прямом направлении (RSL1) —хуже, с провалом (38 секунда) и большей амплитудой изменения сигнала.

Объяснение графика: данный график покрывает первые 100 м пути от одной БС к другой. Автомобиль движется от базовой станции, которая позади ТС на расстоянии менее 100 м, к той, которая впереди на расстоянии около 1 км. Поэтому сигнал в направлении «назад» к ближайшей БС лучше по параметрам.

На нижнем графике (DownStream) показан трафик данных. Ситуация аналогичная, только ступени более крупные, поскольку при недостаточном уровне входного сигнала (RSL) происходит автоматическое переключение профиля модуляции с QAM-128 на более простые типы модуляции (QAM-64, QAM-32 и т.д.) для сохранения соединения.

Дополнительная иллюстрация качества соединения подвижной связи приведена на скриншоте с портов Mikrotik.

Скриншот с портов Mikrotik.
Скриншот с портов Mikrotik.

Пояснение к скорости передачи на Mikrotik: в левой части Mikrotik1 маршрутизирует физический маршрут вперед, фиксируется мгновенное значение скорости передачи 5,4 Гбит/с. В правой части Mikrotik2 маршрутизирует радиоканал назад, фиксируется мгновенное значение скорости передачи 9,8 Гбит/с.

Также приведен график с диспетчера задач Windows по загрузке канала при передаче файлов. Для наглядности показан график, полученный при циклической передаче файла размером 10 Гбайт, размещенного в оперативной памяти (RAM-disk). Провалы в передаче трафика, возможно, объясняются особенностями работы операционной системы при операциях окончания записи, начала чтения файла.

Трафик в направлении движения автомобиля вперед на четвертом сервере
Трафик в направлении движения автомобиля вперед на четвертом сервере
Трафик в направлении движения автомобиля "назад" на втором сервере
Трафик в направлении движения автомобиля "назад" на втором сервере

Ниже, исключительно для цели сравнения — результат аналогичного контрольного эксперимента, когда те же самые серверы были соединены коротким оптическим патч-кордом на столе. При этом ни системы маршрутизации, ни радиоканалы на автомобиле не использовались.

Сравнительный трафик между серверами, соединенными оптическим патч-кордом «на столе»
Сравнительный трафик между серверами, соединенными оптическим патч-кордом «на столе»

Пояснение к графикам перекачки файлов: во время эксперимента не было возможности обеспечить трафик обоих 10-гигабитных каналов с помощью одной пары серверов для получения суммарного потока в 20 Гбит/с. Поскольку на каждом сервере генерируется поток данных с одним IP адресом и одним номером логического порта, алгоритм балансировки ECMP (Equal cost MultiPath) трафика воспринимает такие данные как один поток и передаёт его только через один маршрут, а значит через один физический канал. Поэтому максимальная скорость передачи данных для одного сервера не превышала 10 Гбит/c.

При передаче данных с двух серверов, с разными IP адресами, трафик распределяется по двум каналам, в данном эксперименте — вперед и назад по ходу автомобиля. При этом обеспечивается максимальная пропускная способность системы связи в 20 Гбит/с. В случае обрыва одного из каналов, весь трафик переключается на другой канал.

В третьем эксперименте, аналогично второму, между серверами измерялся трафик при загрузке канала передачи данных с помощью низкоуровневой утилиты Iperf во время движения.

Скрин Iperf при передаче больших файлов на автомобиль (V2X)
Скрин Iperf при передаче больших файлов на автомобиль (V2X)

В зависимости от типа оборудования для формирования трафика, получены следующие результаты:

  • При использовании анализаторов Bercut-ETX, (Frame losses, BER-test) независимо от размера пакетов данных скорость передачи 10 Гбит/с, потери пакетов не выше 0,3% для стандартных пакетов и не выше 1,3 % для больших пакетов данных.

  • При использовании утилиты IPerf скорость передачи тестового потока данных зафиксирована на уровне 9,35 Гбит/сек.

  • При использовании передачи файлов данных с одного RAM-disk на другой RAM-disk сервера (Ethernet statistics) скорость соединения в среднем была у отметки 7 Гбит/с на одной паре серверов и 9,6 Гбит/с на второй паре серверов. Значение трафика 7 Гбит/с объясняется тем, что БС в этом случае была расположена на значительном расстоянии от автомобиля (радиоканал в направлении «вперед»), а БС со скоростью обмена 9,6 Гбит/с — близко к автомобилю (радиоканал в направлении «назад»).

    В эксперименте №3 для перекачки файлов использовался TCP/IP протокол. При этом, в экспериментах №1 и №2 был задействован UDP-протокол, Протокол UDP не снижает скорость даже при единичных потерях пакетов, а протокол TCP/IP чувствителен к неравномерностям пропускной способности канала.

Как работала система V2X 10 Гбит/с на реальной автодороге

Кроме экспериментов на ВВП аэродрома Горелово, заезды проводились и на ровном участке автодороги в пригороде Санкт-Петербурга. Тестировались максимальная дистанция передачи и пропускная способность канала связи при высокой скорости движения автомобиля. Результаты оказались очень оптимистичны, связь 10 Гбит/c была зафиксирована в 500 м от базовой станции, а общая дальность связи при условии прямой видимости — не менее 2 км.

Об этом эксперименте был снят ролик, доступный на YouTube.

Немного о преимуществах диапазона 70-80 ГГц (E-band) для фиксированной и подвижной связи


Есть три причины популярности частот 70-80 ГГц в телекоме — большой участок спектра с разнесением частот (что важно для высокой пропускной способности), локальный минимум по ослаблению радиоволн в атмосфере и так называемое упрощенное лицензирование (в англоязычных странах используется термин light licensing).

  • Большая пропускная способность. Для разнесения частот передатчика и приемника в E-band используются разные части выделенного спектра 71-76/81-86 ГГц. К примеру, если один передатчик занимает 2 ГГц в полосе 71-76 ГГц, то приемнику отводят аналогичную полосу 2 ГГц в частотном спектре 81-86 ГГц (у второго приемопередатчика — наоборот). Благодаря такому разнесению частот можно на одних и тех же точках устанавливать параллельно до 4-х 10-гигабитных радиомостов с полосами по 2 ГГц каждый, одновременно применяя вертикальную и горизонтальную поляризацию сигнала. Примером магистрального канала фиксированной связи является радиомост емкостью 4х10 Гбит/с через Енисей (дальность 11 км) для Норильского промышленного района. О нем была подробная публикация на Хабре.

Архивное фото: установка через Енисей радиомоста PPC-10G-E/2+0 (2х 10 Гбит/с)
Архивное фото: установка через Енисей радиомоста PPC-10G-E/2+0 (2х 10 Гбит/с)
  • Локальный минимум ослабления в атмосфере. Благодаря локальному минимуму в ослаблении радиосигнала в частотном спектре миллиметровых волн, радиомосты диапазона 71-76/81-86 ГГц обладают дальностью, значительно превышающей дальность связи на частоте 60 ГГц.

    В отличие от диапазона 60 ГГц (V-band) со значительным ослаблением сигнала от молекул атмосферного кислорода, радиосигнал в диапазоне 70-80 ГГц подвержен ослаблению только от дождевых осадков. Поэтому реальная дальность работы радиомоста 70-80 ГГц зависит от климатической зоны, где это оборудование установлено. В пустыне или на Крайнем Севере, где дождей почти не бывает, дальность радиомостов 70-80 ГГц достигает 15-20 км. Дальность в условиях умеренного европейского климата и российской средней полосы — до 4-7 км, в южных странах с сильными ливнями — до 2-4 км. Снег, дым, песчаные бури и туман радиопрозрачны для радиомостов диапазона 70-80 ГГц.

Частотный спектр миллиметровых волн
Частотный спектр миллиметровых волн
  • Уведомительное лицензирование. FCC изначально заложила для диапазона 71-76/81-86 ГГц революционную идею об упрощенном лицензировании (light licensing) по географическому принципу: «кто первый установил РРС на конкретных точках, тому и дадим лицензию». Роскомнадзор в России установил такую же простую процедуру лицензирования радиорелейных линий 71-76/81-86 ГГц. Более того, она проводится в электронном виде и абсолютно бесплатно (см. статью Как зарегистрировать радиомост 70-80 ГГц в Роскомнадзоре).

Выводы

Эксперимент с организацией подвижной связи V2X («автомобиль на все») позволил доказать работоспособность идеи:

  • Для частот 71-76/81-86 ГГц показана практическая возможность передачи потока данных на движущееся транспортное средство с пропускной способностью до
    10 Гбит/c.

  • Дистанция устойчивой связи в эксперименте на автодороге — до 2.5 км при скорости передачи 2 Гбит/с, причем в тестах на загородной дороге связь 10 Гбит/с была достигнута уже на дистанции около 500 м между ТС и базовой РРС.

Таким образом, идея использования беспроводного оборудования 71-76/81-86 ГГц для подвижной связи признана работоспособной и созданы предпосылки для тестирования на реальных трассах и подвижном составе непосредственно в транспортной отрасли.

Фото трамвая Чижик с установленной системой связи 10 Гбит/c диапазона 70-80 ГГц
Фото трамвая Чижик с установленной системой связи 10 Гбит/c диапазона 70-80 ГГц

На момент написания статьи начато тестирование подвижной связи 10 Гбит/с 70/80 ГГц на линии скоростного трамвая «Чижик» в Санкт-Петербурге. Автор надеется, что с оператором трамвайной линии удастся согласовать публикацию на Хабре и будет отдельная статья по результатам эксперимента.

Спасибо всем, кто дочитал до конца этот сложный материал. Будут вопросы по технике или желание взять радиолинки на тестирование в транспортную организацию — пишите в комментариях.

Комментарии (6)


  1. Galperin_Mark
    21.09.2021 15:56

    Просьба пояснить, зачем нужна высокая пропускная способность величиной 10 и даже 20 Гбит/с для управления транспортом? Такие потоки требуются для передачи видео, но для мониторинга или служебной информации вероятно нужны другие, куда меньшие скорости. Если же речь идет о том, что клиенту, например, пассажиру хочется во время движения смотреть фильмы, то вопрос снимается.


    1. sergbe Автор
      21.09.2021 17:02
      +3

      Примерный и вероятный сценарий - современный трамвай, в котором едет сотня пассажиров. Почти у всех смартфоны. Плюс у трамвая есть цифровые сервисы - запись в онлайн видео с камер "Путевая обстановка вперед и назад", "Рабочее место водителя", "Салон". Потом предполагается, что 10 Гбит это емкость на все подобные транспортные средства в радиусе базовой станции с пропускной способностью 10 Гбит.
      Ожидается, что будет статистика по трамваю Чижик в Санкт-Петербурге на реальной городской трассе с пассажирами и будет понятно, сколько же трафика потребляется.
      Ну и вообще говоря, речь о перспективной технологии. Завтра у пассажиров будут еще какие-нибудт гаджеты с еще более емким трафиком.


      1. Galperin_Mark
        21.09.2021 17:05
        +1

        Благодарю за ответ. Для орды юзеров, которые возможно едут с матча Зенит - Спартак возможно и 20 Гбит не хватит.


    1. bak
      22.09.2021 12:59

      Как вариант - для дистанционного управления (оператором по видео-картинке с камеры).


  1. Leka_engineer
    18.10.2021 12:13
    +1

    в вашей статье от 2 июля говорилось о диапазоне 60 ГГц, почему решили вдруг перейти на десять ГГц выше? ведь наверняка много много усилий потрачено на разработку прошлой системы


    1. sergbe Автор
      18.10.2021 14:00

      Это две разных разработки для разных случаев. На 60 ГГц передать 10 Гбит/с можно только на совсем короткие расстояния, порядка 15 м в том компактном исполнении, что было реализовано с антенной фазированной решетки. Т.е. это для вариантов когда транспорт подъехал почти вплотную к базовой странции - обмен данными на остановке общ транспорта, на заправке (зарядке) и т.п.
      70-80 ГГц - это достаточно дальнобойная система, до 500 м дает трафик 10 Гбит/с, и до 2 км вполне работает с трафиком порядка 5 Гбит/с на транспортное средство. А стоимость проекта при реализации сильно зависит от плотности установки базовых станций, чем реже они, тем дешевле.