Привет, Хабр! Меня зовут Анна Курина, я старший инженер по тестированию в отделе бокс-тестирования базовой станции LTE в YADRO. Сегодня расскажу, как мы проходили сертификацию базовой станции: проверяли соответствие российскому законодательству и спецификациям 3GPP. А еще мы разберемся с малознакомым для широкой аудитории QA-инженеров видом тестирования — на соответствие (conformance testing). Оно позволяет тестировщику окунуться в реальную эксплуатацию оборудования, а не просто провести тесты и забыть о «железе».

Тестирование по методике «черного ящика» означает, что мы не анализируем код и вообще не смотрим внутрь тестируемой системы. Пользуемся только кнопками, настройками и интерфейсами, доступными конечному пользователю, — воспринимаем продукт, в нашем случае базовую станцию, как закрытую коробку.

Box-тестированием базовой станции в YADRO занимаются много команд, разбитых по функциональным областям. 

Зеленый овал — радиомодуль (Radio Unit, RU), им занимаются коллеги из нашего центра разработки радиочастотных систем. Как и остальные команды на схеме, центр входит в состав дивизиона Телеком в YADRO. Я работаю в овале PHY, то есть занимаюсь тестированием БС на физическом уровне. 

Как выглядят базовые станции и что такое RU/BBU

Сотовые операторы размещают базовые станции на разных конструкциях. В городе часто их можно увидеть на крышах домов, в сельской местности — на отдельно стоящих вышках. В Сочи некоторые БС могут, например, замаскировать под пальму. 

Рассмотреть базовую станцию в реальной жизни сложно из-за высоты размещения, поэтому покажу фото БС YADRO с конференции ЦИПР:

На этом фото не видно цифрового блока (Baseband Unit, BBU) — он находится в специальном термошкафе и выглядит так:

Цифровой блок — компонент базовой станции, на котором выполняется цифровая обработка сигнала и исполняется стек протоколов радиодоступа. Фактически это мозг БС: он модулирует и демодулирует сигнал, шифрует данные, планирует радиоресурсы и ведет процедуры подключения и хендовера. Он соединяется с радиомодулем и с ядром сети. 

Моя коллега из команды тестирования базовой станции LTE написала подробную статью о нюансах и сложностях при тестировании процедуры хендовера. 

Важный аспект работы мобильной сети — взаимодействие между технологиями радиодоступа (3G, 2G, LTE). Пример — процедура CSFB (Circuit Switched Fallback), которая перенаправляет телефон, подключенный к 4G-сети, в 2G- или 3G-сеть для звонка. 

На фото с ЦИПР хорошо видны радиомодули (RU) с мощными радиаторами:

Обычно у подобных устройств других производителей радиаторы прямые, но у нас — с изгибами и напоминают Y, первую букву названия нашей компании. Испытания показали, что такие изгибы охлаждают модуль лучше всего. 

Радиомодуль размещается рядом с антеннами и занимается преобразованием пакетов, которые передаются по сети Ethernet, в радиосигналы, а также принимает радиосигналы и преобразует их в Ethernet-пакеты. А еще в радиомодуле реализованы алгоритмы помехоустойчивого кодирования и цифрового предыскажения сигнала. 

Приходите на двухпоточную конференцию System Level Meetup 22 ноября в Москве. Там можно будет увидеть телеком-оборудование YADRO, а заодно узнать нюансы и ноу-хау системного программирования из первых рук. 

Как проходит сертификация и зачем она нужна

Чтобы сотовый оператор мог ввести базовую станцию в эксплуатацию и подключить к сетям связи общего пользования, оборудование должно быть сертифицированным. Реестр сертификатов соответствия средств связи (ССС) в России ведет Минцифры, а выдают такие сертификаты специально аккредитованные организации. Без сертификации мы не сможем поставлять наши базовые станции сотовым операторам. 

Если сертифицированное оборудование работает некорректно — например, его излучение мешает работе сети другого оператора, то последний может обратиться в Главный радиочастотный центр (ГРЧЦ). Они займутся поиском источника паразитного излучения. Также ГРЧЦ проводит плановые проверки спектра.

Поэтому сертификация — критичный этап для вывода оборудования на рынок. Ее проводят инженеры из аккредитованной организации в специальной лаборатории, но в нашем случае измерения проводились в лаборатории YADRO. 

Измерительное оборудование — генераторы сигналов и спектроанализаторы — должны иметь действующую поверку в аккредитованных метрологических институтах, а копии свидетельств о поверке прикладываются к пакету документов. 

Посмотрите на этикетку радиомодуля YADRO:

Температурный диапазон эксплуатации: −40…+55 °C. Дело в том, что радиомодуль крепится на мачте рядом с антенной и работает под открытым небом в широком температурном диапазоне и при разных погодных условиях.

Климатические измерения проводили коллеги из нашего центра разработки радиочастотных систем: в специальной термокамере прогоняли температурные циклы. Этот этап также входил в сертификацию.

В компании есть отдельный юридический отдел сертификации. Коллеги собрали и оформили весь пакет документов, организовали взаимодействие с проверяющими и координировали процесс. В итоге сертификацию мы проходили объединенными усилиями многих команд.

Нормативная база

Минцифры публикует нормативно-правовые акты (НПА), на которые опираются сертифицирующие органы. Для LTE используется Приказ от 29.10.2018 № 572, для GSM — Приказ от 12.04.2007 № 45. Это объемные документы на десятки страниц: в них прописано, какие измерения проводить и какими приборами, какие протоколы фиксировать и какие значения считать проходными.

Если взять Приказ от 29.10.2018 № 572 и сравнить с 3GPP TS36.104, то можно увидеть, что последний лежит в основе российского документа: 

То есть Минцифры использует переведенную и адаптированную для российского рынка спецификацию 3GPP. 

Еще один пример, подтверждающий, что за основу взята международная спецификация:

Консорциум 3GPP описывает, как должна работать технология LTE: процедуры, параметры и допуски. Российские НПА согласованы со спецификацией 3GPP. Цифры и пороги те же, а термины и документ в целом — на русском:

Что такое тестирование на соответствие

В QA есть много видов тестирования. Об эволюции подходов к тестированию за 70 лет и работе тестировщиков в телекоме можно прочитать в статье Алексея Нелюбова, старшего консультанта по гибким методам разработки в YADRO.

Конформанс-тестирование (тестирование на соответствие) — это проверка по стандарту и регуляторным требованиям: берем нормативный документ и проходим его пункты один за другим. Цель — подтвердить, что изделие соблюдает предписанные процедуры, пороги и допуски.

Вот лишь несколько стандартов: 

• 3GPP;

• ETSI;

• IEEE; 

• W3C;

• POSIX.

На самом деле стандартов намного больше, и все перечислять я не буду. 

Перед тем, как пригласить проверяющих инженеров из аккредитованной организации, мы протестировали оборудование на соответствие стандартам самостоятельно, в лаборатории YADRO. 

Мы разрабатываем опорную сеть пятого поколения (5GC) и уже приступили к созданию новых моделей цифровых блоков и радиомодулей. Тестов будет много, присоединяйтесь к команде:

→ QA Automation Engineer Python (LTE).
→ QA Engineer.
→ SDET в 5G Core (Python).
→ Test Engineer (Performance Test).

Черные аппараты в нижней части стойки — это цифровые блоки (BBU), а выше расположены радиомодули (RU), их можно узнать по мощным радиаторам. От стойки тянутся провода к радиоизмерительному оборудованию, которое в кадр не попало. 

Все измерения проводятся в экранированной комнате: при закрытой двери в нее и из нее не проникает радиоизлучение. Все современное измерительное оборудование может управляться удаленно, поэтому инженеры, собрав правильную схему, могут проводить измерения, не находясь в лаборатории.

Какие измерения мы проводим

Основные модули для тестирования — это передатчик и приемник базовой станции. Упрощенная схема сетапа для измерения приемника/передатчика:

На передающей стороне базовой станции мы настраивали тестовые сигналы особой формы по спецификации 3GPP и измеряли их на спектроанализаторе. На приемной стороне вместо сотового телефона подключали генератор сигналов, также формировали тестовые сигналы по спецификации и проверяли, что базовая станция корректно их принимает и декодирует. 

Это упрощенная схема: на практике многие измерения требуют в одном сетапе одновременного использования генератора, спектроанализатора и различных фильтров.

Передатчик

Ниже на скриншоте — пример измерений передатчика LTE.

Четыре точки на скриншоте — это измерение модуляции QPSK в виде диаграммы созвездия: 

Размытость точек указывает на ошибки модуляции (EVM). Точки должны быть четкими и не превышать лимита в 18,5%. В нашем случае это всего 4%, то есть наше оборудование с большим запасом проходит тест. 

Если показатель ошибок модуляции растет и точки размываются, приемнику, то есть сотовому телефону, будет труднее разобрать сигнал передатчика и связь заметно ухудшится. 

Также мы проводим измерения мощности референс-сигналов и выходной мощности передатчика базовой станции, они выделены красным:

Мы проверяем, что заданная на базовой станции мощность совпадает с измеренной: допуск составляет ±2 dBm. 

На скриншоте выше мы тоже измеряем EVM, но уже для 64QAM. По сравнению с QPSK эта модуляция обеспечивает более высокую скорость передачи (например, для потокового 4K-видео), но требует хорошего качества канала. QPSK более устойчива к помехам, поэтому используется для служебных SOS-сигналов и работает лучше на больших расстояниях. При плохих условиях сеть понижает порядок модуляции, при хороших — повышает.

Теперь перейдем к спектральной маске.

Желтая кривая — сигнал нашей базовой станции. Красная линия сверху — границы спектральной маски, которую спектроанализатор строит по выбранным настройкам и требованиям спецификации. Наш сигнал не должен выходить за красную линию, иначе мы выйдем за пределы рабочего диапазона и помешаем соседним. У нас рабочий диапазон LTE Band 3 (1805–1880 МГц) с центральной частотой 1842,5 МГц.

Сотовые операторы платят за выделенные частоты и работают в соседних диапазонах. Чтобы не мешать коллегам, мы держим сигнал строго в своей полосе, соблюдаем спектральную маску и корректно размещаем несущие.

Перейдем к следующему измерению: 

Здесь мы оцениваем внеполосные излучения по всему диапазону: от 0 до 12 ГГц. Проверяем, что вне рабочей полосы мы не создаем всплесков выше порогов, то есть не выходим за красную линию. Нужно держаться ниже, чтобы не создавать помехи другим сотовым операторам и провайдерам других беспроводных технологий, а не только LTE, по всему спектру.

Приемник

Измерения приемного устройства не такие зрелищные, так как для них не используется спектроанализатор. 

Со стороны генератора мы подаем тестовый сигнал, который имитирует большие объемы трафика. Базовая станция принимает и декодирует этот поток. По оси Y отложена пропускная способность (throughput) от нуля до единицы, то есть ее максимального значения. 

Мы постепенно снижаем мощность генератора, будто отдаляемся от базовой станции. В какой-то момент появляются потери, кривая пропускной способности начинает падать. Эту точку фиксируем как границу чувствительности приемника по методике испытаний.

Вертикальная линия на графике — порог из спецификации, который составляет −101,5 dBm. Наша чувствительность чуть лучше. Это важное измерение: от него зависит зона покрытия. То есть насколько далеко вы сможете удалиться от базовой станции до пропадания сигнала, особенно в сложных условиях — например, в горах или пещерах. 

Как видно на графике, мы проводили много измерений. Нам помогли коллеги, которые сделали автоматизацию — кривые строились автоматически. Вручную процесс был бы намного дольше.

С какими сложностями мы столкнулись

Оборудование. Конфигурация стендов сложная, а поставки нового оборудования занимают время. Кроме того, наш спектроанализатор не поддерживал часть нужных режимов. Выручали коллеги — мы обменивались спектроанализаторами, а команда радиочастотных систем предоставила свои фильтры и ответвители для сертификации, чтобы собрать общий тестовый стенд. 

Длительность измерений. Некоторые занимают несколько суток, и если что-то пошло не так, то приходится запускать нужный сегмент тестов повторно и затем сопоставлять результаты с остальными сегментами, а это занимает время.

Загадочная неполадка с перезагрузкой платы цифровой обработки сигналов (baseband board) в цифровом блоке (BBU) сперва поставила нас в тупик. Во время измерений передатчика все шло штатно, но в какой-то момент плата просто перезагрузилась. Мы собрали целый консилиум, чтобы выяснить причину. Выдвигались разные гипотезы: от случайной отсылки сигнала на перезагрузку до перегрева платы. Причину нашли через несколько дней — оказалось, что перезагрузка происходит, когда коллега включает соседний стенд, подключенный к тому же источнику питания, что и наш BBU. При конформанс-тестировании мы используем максимальные мощности, и источник питания просто не справлялся с нагрузкой, поэтому наша плата перезагружалась. 

Сроки. Чтобы в них уложиться, мы обращались к коллегам из центра разработки радиочастотных систем, которые помогли провести часть измерений. Вообще у нас в YADRO собралась классная команда инженеров, которые помогают друг другу в случае форс-мажора, даже если работают в разных подразделениях. 

Заключение 

Наша первая сертификация базовой станции прошла успешно: цифровой блок и радиомодуль получили зеленый свет на работу в сетях российских сотовых операторов. Впрочем, пока сертификат есть только у одной конкретной модели BBU и RU (для диапазона Band 3), а наши инженеры уже работают над новыми моделями. Так что сертификаций у нас впереди еще много, ведь ее должна пройти каждая версия оборудования.