Привет! Меня зовут Василий Рамаданов, я ведущий инженер в отделе разработки восходящих каналов связи в YADRO. Прямо сейчас я опубликовал эту статью со смартфона — подобные действия стали настолько обыденными, что мы редко обращаем на них внимание, хотя всего 15 лет назад у нас был только жутко медленный интернет через GPRS (и да, сейчас он кажется невероятно далеким и архаичным). Сегодня мы в любой момент можем прямо с телефона быстро найти ответ на свой вопрос, отправить письмо коллеге, созвониться с близкими, проложить путь в навигаторе и посмотреть видео с котиками, если стало скучно. Всего этого не было бы без устойчивого покрытия мобильных операторов, а для него нужны базовые станции очень много базовых станций. В крупных городах одна БС устанавливается примерно на каждые 200 метров, так что за короткую 15-минутную прогулку можно встретить 5–7 станций — конечно, если знать, куда смотреть и как они выглядят.
Получается, базовая станция — вполне себе массовый продукт, при этом ей нужно реализовывать множество вычислительно затратных алгоритмов в режиме реального времени (ниже разберемся почему). Напрашивается противоречие в лучших традициях ТРИЗ: нужен простой и доступный, но сложный и качественный продукт. «Отдуваться» приходится инженерам, которые эти самые станции создают.
Мы в YADRO развиваем телеком-направление с 2022 года. Сейчас наши базовые станции уже работают в коммерческих сетях в Московской, Ленинградской, Новосибирской, Нижегородской областях и Краснодарском крае, а до конца 2026 года мы планируем подключить еще несколько тысяч станций в более чем 30 регионах страны. О решениях, которые позволяют совмещать простоту конструкции и высокую вычислительную мощность нашего оборудования, я и мои коллеги расскажем в цикле статей. Эта статья — вводная: в ней поговорим о специфике разработки БС в целом. Дальше разберем антенну, радиомодуль (Radio Unit, RU) и системный модуль обработки (Baseband Unit, BBU). Добавляйте статью в закладки, чтобы не потерять продолжение.
Нужно больше базовых станций
Как я уже сказал выше, базовая станция — это массовый продукт. С одной стороны, она должна быть максимально приспособлена под массовое промышленное производство. С другой стороны, ей нужно обеспечивать максимальный трафик, а значит, соответствовать стандартам связи, отвечать огромному количеству требований и поддерживать высокую скорость передачи данных — на переднем крае науки и наших с вами представлений о быстрой связи.
По данным Роскомнадзора, в конце 2023 года в России работало 1,07 млн базовых станций стандарта 4G и 648 тыс. базовых станций 2G и 3G. Чтобы только лишь поддерживать текущую инфраструктуру, нужно производить десятки тысяч базовых станций в год, ведь со временем оборудование устаревает и выходит из строя. А если мы хотим не только поддерживать, но и улучшать покрытие сетей, а также вводить новые стандарты, нужно нарастить производство базовых станций в год еще в 2–3 раза. Все это еще раз подтверждает тезис, что базовая станция — продукт массовый.
Чтобы телефоны понимали базовые станции и наоборот, все форматы сигналов и протоколы обмена закрепляются стандартами, выпускаемыми организацией 3rd Generation Partnership Project (3GPP). В 2000-х у нас были стандарты второго поколения, потом — третьего (3G), во второй половине 2010-х — четвертого (4G или LTE), в обозримом будущем ждем появления в использовании оборудования пятого стандарта (5G, NR) и окончательное формирование спецификаций шестого. Цифра все время повышается, а вместе с ней растет и скорость передачи данных.
Почему вообще появляются новые стандарты? Основные причины можно свести к (сюрприз!) изменению потребностей рынка и попыткам под него подстроиться. Прежде всего рынок требует увеличения скорости передачи данных и хорошей экономики использования оборудования. Но это только часть правды: помимо экономико-социальной причины, есть еще две научно-технические:
Меняются наши представления о том, каким способом мы можем передать как можно больше данных. Разрабатываются новые все более помехоустойчивые коды, появляются новые виды множественного доступа и прочие математические ухищрения.
Растут вычислители мощности. А значит, мы можем обрабатывать большие полосы частот и применять более изощренные и вычислительно сложные способы, как «запихнуть» в одну и ту же полосу при одном и том же соотношении сигнала и шума максимальное количество данных.
Две технические причины не стоит рассматривать по отдельности — скорее, они работают в симбиозе. Например, введенные в 5G стандарте LDPC-коды известны человечеству буквально с начала 60-х годов, но вычислительная мощность «доросла» до них только с десяток лет назад. Это привело их к фактическому «переоткрытию», всплеску интереса и конечному попаданию в стандарт. Не менее интересная судьба и у неортогональных методов (NOMA) множественного доступа. Это хороший размен пропускной способности на вычислительную сложность, при этом понятно, что вычислительных ресурсов современных платформ уже достаточно для того, чтобы их использовать. Ведущие университеты и вендоры оборудования тратят значительные силы на исследования в этой области, но в стандарте 5G этих методов нет, а их включение в 6G под вопросом. Причины такой нерешительности лежат в экономике: неочевидно, будет ли овчинка выгоды от NOMA стоить ее выделки на более производительном и дорогом оборудовании.
Следующее поколение стандарта выходит, если переписать его с нуля становится проще, чем адаптировать под требования рынка. Обычно это происходит, когда прогресс позволяет внедрить новые технологии, несовместимые со старыми. Долгое время стандарты эволюционировали с одной целью и в одной парадигме: обеспечить большую скорость передачи данных в соте. Но стандарт 5G, идущий на замену 4G, выделяется. Он появился из-за новых требований рынка с принципиально новыми сценариями использования:
заранее заданная, или гарантированная, надежность и время доставки (разумеется, с уменьшением пропускной способности соты): нужно для автономных автомобилей, умных производств и например удаленной хирургии;
экономия батарей потребителя при легком доступе к сети: нужно для IoT для экономии батареи.
Это нашло отражение в названии стандартов: LTE (Long Term Evolution) подчеркивает единообразие идеологии с предыдущими поколениями, тогда как NR (New Radio) подчеркивает изменение парадигмы.
Успехи в полупроводниковой промышленности, такие как появление новых материалов, улучшение техпроцессов изготовления и усложнение процессорных архитектур в угоду производительности, тоже позволяют переходить на более высокочастотные диапазоны. Если диапазон увеличивается, то и частот доступно больше. Значит, для мобильной связи могут быть выделены более широкие спектральные полосы, ширина нашего канала увеличится и туда начнет помещаться еще больше данных.
Хотите развивать телеком-направление с нашей командой? Сейчас в дивизионе Телеком YADRO открыты такие вакансии:
ведущий инженер-разработчик СВЧ устройств и антенной техники;
инженер-исследователь по системному анализу мобильных сетей радиосвязи;
инженер по интеграции на FPGA;
инженер алгоритмов/MAC scheduling algorithms Engineer (LTE, 5G);
инженер по разработке встраиваемого ПО (Embedded Linux BSP), и другие.
Посмотреть вакансии можно на карьерном сайте. Присоединяйтесь!
Из чего состоит базовая станция
У базовой станции три основных компонента: антенна, радиомодуль, BBU.
Антенна передает и принимает радиосигналы между абонентами и БС: преобразует радиоволну в электрический сигнал на радиочастоте и обратно. Современные антенны — довольно сложные конструкции, которые обладают собственными встраиваемыми усилителями на передачу и прием. Они состоят из множества антенных элементов, каждый из которых передает или принимает сигналы независимо от других. Это позволяет реализовать пространственное разделение каналов (Multiple Input Multiple Output, MIMO), фактически используя один и тот же частотно-временной ресурс радиоканала несколько раз.
Радиомодуль (Radio Unit, RU) преобразует электрический сигнал в поток цифровых данных, и наоборот. Он состоит из двух частей: аналоговой и цифровой — об этом расскажу ниже. Радиомодуль — это своеобразный адаптер между полностью аналоговым миром радиосигналов и цифровым миром компьютерных сетей.
Системный модуль обработки (Baseband Unit, BBU) управляет базовой станцией и несет на себе основную вычислительную нагрузку. Фактически это «мозг» всей БС, именно он решает задачи высокой сложности. С одной стороны (обращенной к ядру сети), BBU принимает и передает абонентские пакеты данных, а с другой (обращенной к радиомодулю), передает и принимает пакеты с цифровым представлением радиосигнала, осуществляет их обработку и перевод в пакеты с пользовательскими данными.
Отдельно отмечу, что все задачи в BBU решаются в реальном времени, то есть имеют жесткие временные рамки, в которые должны уложиться алгоритмы. Это объясняется довольно просто: самое дорогое, что есть в системе связи, — ресурсы радиоканала. Радиоканал не может простаивать, пока BBU выполняет расчеты.
Дальше верхнеуровнево остановлюсь на каждом компоненте, а в следующих статьях цикла рассмотрим их более подробно.
Особенности разработки антенны
К антенне предъявляется много требований. В первую очередь — формирование особой диаграммы направленности: как в горизонтальной (излучение в одном секторе), так и в вертикальной плоскостях. Дальше идут требования с КПД и по согласованию с оконечными каскадами передатчика: сигнал не должен теряться при переходе из антенны в кабель. Представьте себе, что вы смотрите ночью в окно. Вы видите и улицу, и себя, ведь свет не только проходит сквозь, но и отражается от границы раздела сред распространения. Питающий кабель и антенна образуют между собой границу с похожими свойствами, и при переходе возникают те же самые волновые процессы. Из-за этого часть мощности отражается обратно в тракт и оконечные каскады усилителя. Разумеется, при этом возникают потери, падает КПД и передаваемая мощность, ухудшаются тепловые режимы работы. А значит, срок службы и надежность тоже страдают. Так вот, антенну нужно строить так, чтобы такие эффекты были сведены к минимуму.
Разработка антенного устройства подразумевает объемное и сложное электродинамическое моделирование. Давайте посмотрим, какие инженерные решения здесь используются:
Современная антенна состоит из множества антенных элементов. Как уже говорил выше, на современных базовых станциях устанавливаются антенны, состоящие из двух, четырех, а иногда восьми антенных элементов. Для чего это нужно? Управляя фазовыми соотношениями сигналов на них, можно формировать и наклонять узкий луч в вертикальной плоскости и широкий в горизонтальной, чтобы обеспечить покрытие в широком секторе углов. Изменение угла наклона увеличивает соотношение сигнал/шум в канале и позволяет передать больше данных. С помощью большего количества элементов можно создавать один или несколько независимых остронаправленные лучей для отдельных пользователей, что еще больше усиливает этот эффект. Такую технологию называют Massive MIMO.
Антенны проектируются в специальной среде электродинамического моделирования. Так можно конструировать антенну нужного размера и конфигурации и оценивать ее характеристики. Например, из нескольких стандартизованных излучающих элементов можно собрать такую конфигурацию антенны, которая максимально подходит к конкретному месту. Очевидно, что в маленьком поселке, около скоростного шоссе и в городе требования будут сильно отличаться. Для каждой ситуации будет разработан свой тип антенны, которую нужно рассчитать, создать и после этого оценить ее характеристики в безэховой камере. Здесь важна оптимизация материалов и конструкции. Инженеры ищут баланс между идеальными, но дорогими материалами и более доступными, но вполне пригодными по характеристикам.
Антенна активна. В непосредственной близости от излучателей и приемников ставятся усилители. При приеме сигнала такой усилитель уменьшает требования по шумам для следующих ступеней обработки, фильтрует сигнал и обеспечивает согласование с кабелем. При передаче также ставится оконечный усилитель для согласования с кабелем и увеличения КПД. Положительную роль играют и множественные антенные элементы: при одинаковых требованиях по нелинейности, КПД и прочему восемь оконечных усилителей по 2 Вт сделать проще, чем один на 16 Вт. Сложение мощностей в пространстве (после излучения) происходит без потерь, в отличие от сложения в специализированных устройствах.
Аналоговая и цифровая части радиомодуля
RU — сложный и наукоемкий компонент базовой станции. В его задачу входит обслуживание каждого антенного элемента, сбор сигнала с принимающих элементов и подача мощного сигнала на передающие. Перед тем как отправить сигнал на антенну, его нужно сформировать на высокой радиочастоте (вплоть до десятков ГГц в диапазонах FR2) с требуемым уровнем мощности, нелинейных искажений и внеполосных излучений.
Как я уже говорил выше, радиомодуль можно разделить на две части: аналоговую и цифровую. В аналоговой — множество различных фильтров и усилителей. Фильтры ставятся буквально на все случаи жизни: формирующие на прием и передачу, соседние, зеркальные (в современном оборудовании такого класса применяется не одна промежуточная частота), полосковые и объемные. Усилители тоже стоят разные — как малошумящие на прием, так и усилители мощности на передачу.
К слову сказать, на настройку каналов одного радиомодуля уходит от четырех до восьми часов: нужно крутить порядка 800 винтов, многие из которых влияют на работу других, и часто вращать их приходится совместно. Чтобы ускорить этот процесс и облегчить всем жизнь, в YADRO создали агрегат, который автоматизирует эту настройку. Немного офтопа, или рубрика «интересный факт»: большие успехи в настройке фильтров радиомодуля демонстрируют люди с профессиональным музыкальным образованием — вот до чего хороший слух (или выработанная годами усидчивость?) доводит!
Вторая часть RU — цифровая — представляет собой преобразователи из аналогового в цифровой (АЦП) и цифровой в аналоговый (ЦАП) сигналы и вычислитель. При приеме на вычислитель ложится нагрузка по формированию пакетов с сырыми данными из эфира, а именно их жесткая привязка ко времени и к антенному элементу. Если она собьется, дальнейшие действия в BBU фактически станут бесполезными. На передачу на вычислитель ставится задача буферизации: пакеты с сырыми данными приходят чуть раньше, чем должны быть переданы, и их нужно хранить до момента самой передачи.
Следующая задача — это DPD (Digital Pre-Distortion). В угоду высокому КПД оконечные усилители мощности аналоговой части передатчика работают в сильно нелинейных режимах, а сигнал базовой станции нужно воспроизводить с высокой линейностью, иначе разрушается его внутренняя структура. Чтобы компенсировать искажения, которые вносит нелинейный усилитель, в сигнал намеренно вводятся нелинейные «контрискажения». С точки зрения вычислений это сложная задача, требующая обратной связи через АЦП.
Отдельно хочется сказать про синхронизацию — не в работе различных компонентов одной станции, а в работе всех сетей в целом. Соседние базовые станции не должны друг другу мешать (неважно, принадлежат они одной сети и даже одному оператору), а для этого им нужно идеально попадать в тайминги и выдерживать несущие частоты. Это возможно с помощью подсистемы синхронизации, которая заставляет все базовые станции во всех сетях работать по согласованному расписанию с точностью до десятков наносекунд. Также она распространяет эталонные частоты, чтобы обеспечить стабильность частоты, которую излучает базовая станция. Все это сводит к минимуму взаимное влияние соседних базовых станций друг на друга. Синхронизация БС основана на сигналах со спутников или взаимодействии напрямую через сетевые кабели с помощью PTP или SyncE.
BBU отвечает за L1, L2 и L3
BBU закрывает собой три нижних уровня семиуровневой модели OSI: физический (L1), канальный (L2) и сетевой (L3):
На физическом уровне (L1) BBU производит цифровую обработку (Digital Signal Processing, DSP) радиосигналов. Глобально решаются две задачи: формирование цифровых отчетов сигнала на передачу и обработка отчетов сигнала из эфира на приеме. В определенные моменты передатчик от вышестоящего уровня L2 получает пользовательские биты и информацию, на каких частотах их передавать. Чтобы перейти от полученных битов к цифровым отчетам, нужно пройти такие круги ада:
расчет хеш-суммы (не криптографической — например, CRC32) для проверки на целостность на приемной стороне;
кодирование помехоустойчивыми кодами, чтобы можно было восстановить данные на приемной стороне, испорченные шумами радиоканала;
скремблирование для выравнивания вероятностей символов;
добавление различных расширяющих последовательностей;
модуляцию QAM-созвездиями.
Проделав эти операции для всех абонентов из текущего слота и взяв данные о том, какие символы на каких частотах располагать, можно сформировать отчеты OFDMA-сигнала и передать их в эфир через радиомодуль и антенну. Приемник же в определенные моменты получает запросы о том, кто из пользователей, на каких частотах, в какие моменты времени и сколько бит передает. После того, как запрос и сырые данные из эфира получены, приемник находит в последних сигнал, оценивает временной и частотный сдвиг и прочие искажения, которые претерпел сигнал в канале связи. Потом выполняются преобразования, обратные тем, что были на передающей стороне, и принимается решение о том, какие биты передавались. Такие действия повторяются для каждого пользователя в конкретном временном интервале, дополнительно к этому измеряются уровни шумов и помех. Полученные результаты обработки передаются на уровень L2.
На канальном уровне (L2) решается задача планирования использования ресурсов радиоканала. Ресурсы радиоканала можно представить как двумерную плоскость: на одной ее оси расположены выделенные частоты, а на другой — время. Или как трехмерное пространство при использовании MIMO, где третьим измерением выступают пространственные каналы. Этот двух- или трехмерный «пирог» нужно нарезать таким образом, чтобы никто из абонентов не ушел обиженным. Или, выражаясь более формально, чтобы для каждого абонента был соблюден свой QoS (Quality of Service). Если мы говорим о сетях вроде LTE, NR или Wi-Fi, задача планирования становится очень интересной, но и очень затратной с вычислительной точки зрения. Нужно не просто раздавать абонентам какие-то частоты и временные слоты, а делать это так, чтобы каждому абоненту в конкретный момент доставались именно те частоты, где у его канала связи максимальный коэффициент передачи.
Если удастся достичь удачного расположения абонентов по времени и частотам, суммарный коэффициент передачи канала будет выше. Значит, можно передать больше данных, чем если бы мы раскладывали абонентов случайным образом. Для этого используются измерения, сделанные на приемной стороне уровня L1.
На сетевом уровне (L3) принимаются основные решения и происходит общение с внешним миром. Тут уже нет особой математики: вместо нее — просто набор конечных автоматов, отвечающих за протоколы, которые контролируют работу нижестоящих уровней L1 и L2. Именно здесь решается, установлено ли соединение или прервано — например, если абонент перестал отвечать. На этом уровне не так важно, покинул ли абонент зону действия сети, выключил ли устройство или это сигнал оказался забит помехой. Также уровень L3 реализует взаимодействие с ядром сети и другими базовыми станциями. Яркий пример такого взаимодействия называется хендовером — это процесс, при котором абонент бесшовно переключается от одной базовой станции к другой, потому что радиоканал к ней стал лучше. Чаще всего это происходит, когда абонент движется, но возможны и другие сценарии. При этом важно скоординировать работу базовых станций так, чтобы затратить минимальное количество ресурсов радиоканала. Для этого нужно заранее буферизовать трафик и выделить частотно-временные ресурсы на принимающей стороне.
Нельзя оставить в стороне отдельный огромный пласт задач по организации работы аппаратно-программного комплекса (BBU). Он связан с классическим системным программированием на стыке программного и аппаратного обеспечения. Настраивается операционная система, взаимодействие между узлами BBU через внутреннюю сеть, проводится прямая работа с железом для повышения производительности и так далее. К тому же необходимо обеспечить загрузку, обновление прошивок (в том числе удаленное, так как некоторые базовые станции ставят туда, куда Макар телят не гонял), сохранение пользовательских данных между обновлениями, различную самодиагностику и восстановление после сбоев, откаты, если что-то пошло не так. И, конечно, никто не отменял вопросы информационной безопасности (хакеры не дремлют).
Что отличает хорошую БС от плохой
Сложность базовой станции в первую очередь определяют первые два уровня — L1 и L2. В отличие от L3, который целиком и полностью описан в стандартах, они являются наукоемкими и содержат в себе ноу–хау вендора оборудования. Поэтому именно их исполнение отличает хорошее оборудование: плохая БС будет достигать меньших показателей в тех же радиоусловиях или достигать тех же показателей, но затрачивая большие вычислительные мощности. При прочих равных это сделает ее дороже и ухудшит экономику использования.
Что в итоге? Мы скованы жесткими ценовыми (а значит, и аппаратными) ограничениями, но нам нужно сделать доступный продукт и качественно решать задачу. Чтобы совместить несовместимое, а именно дешевизну конструкции и высокую вычислительную мощность, мы проводим совместную оптимизацию алгоритмов и железа. С одной стороны, находим алгоритм, который хорошо ложится на железо. С другой — подбираем железо (скорее всего, специализированное), которое может прокрутить этот алгоритм в реальном времени. Чем более специализированный аппаратный ускоритель стоит в BBU, тем дороже он в разработке, но при достаточно массовом производстве расходы на разработку окупаются, а значит, игра стоит свеч. Под расходами на разработку подразумевается все — от зарплаты разработчика-алгоритмиста вплоть до вопросов логистики. Здесь и необходим инженерный гений: найти соотношение между сложностью и эффективностью алгоритмов и стоимостью и производительностью железа, которое позволит получить конкурентоспособный продукт.
Тот факт, что базовая станция — массовый продукт, играет нам на руку. Можно применять специализированное железо, которое будет отлично проворачивать на себе алгоритм, и позволить себе повышенные расходы на разработку железа и кода, ведь они «размазываются» по массовости продукта. Так, мы применяем FPGA и DSP-сопроцессоры, которые отлично решают математические задачи в реальном времени. При этом стоимость единицы вычислительной мощности у них дешевле, чем у процессоров общего назначения.
Простая конструкция и высокая вычислительная мощность оборудования — не взаимоисключающие понятия. Инженерные решения позволяют «подружить» эти две стороны и создать собственный конкурентоспособный продукт. Основные мировые вендоры базовых станций шли к этой точке десятилетиями — буквально с 90-х: по крупицам собирали бесценный опыт синергии аппаратного обеспечения и программной части, разрабатывали БС разных поколений от лабораторных прототипов до конечного продукта, которым пользуемся мы с вами. У нас оказалось гораздо меньше времени на то, чтобы создать с нуля готовый продукт, пригодный к коммерческой эксплуатации: весь этот путь мы прошли за три с половиной года. До 2030 года в стране планируют установить не менее 100 тысяч новых станций 5G — и это не учитывая обновление базовых станций прошлого поколения, которые выходят из строя. Так что вызовов впереди у нас еще много.