Чемпионат мира по футболу уже начался, и в связи с этим на нескольких аренах первенства мы развернули свою новую инфраструктуру. Одна из арен — «Санкт-Петербург», домашний стадион ФК «Зенит». В этом посте мы расскажем о том, как устроена связь на одной из главных площадок турнира, где мы прячем антенны, и зачем наши инженеры проходят четыре тысячи ступенек перед каждым матчем (если не чаще).



Стадион «Санкт-Петербург» к 2017 году был возведен на месте стадиона имени С.М. Кирова. Новая арена рассчитана на 68 тысяч человек. Здесь проходили матчи прошлогоднего Кубка конфедерации, здесь запланировано семь встреч ЧМ-2018 — в том числе за бронзовые медали.



Чаша стадиона возвышается над сложным комплексом из парковок, проходных, пандусов и всяких служебных помещений. Углубившись в этот лабиринт, выходим к окруженной решеткой площадке с сотовыми приемопередатчиками. Они принимают эфирный сигнал и превращают его в оптический.



Радиомодульная часть инфраструктуры вынесена на улицу, отдельно от остального оборудования, чтобы снизить затраты на ее охлаждение. Если бы все разместили в помещении, пришлось бы дополнительно устанавливать еще несколько десятков кондиционеров — это и дополнительные затраты на электричество, и повышение рисков перегрева площадки. А так природа делает все за нас.





У каждого оператора в этой зоне есть свои приемопередатчики. На этапе строительства все между собой договорились, определили очередность и места размещения блоков. Так что каждый оператор точно знает, в какой зоне размещены его блоки. Это позволяет сократить время поиска во время обслуживания и рационально организовать пространство. Здесь трафик собирается раздельно, преобразуется и сливается в единый поток для дальнейшей обработки. Чтобы проследить этот путь, заходим в помещение рядом.


В двух стойках размещено более двадцати базовых станций 2G/3G/4G, которые соединяются с приемопередатчиками. К ним подведено множество проводов, и каждый обязательно подписан. Возможно, здесь будет размещена и тестовая зона 5G, но ее точное местоположение пока уточняется.





Неподалеку находятся стойки резервного питания и запасы аккумуляторов, с помощью которых инфраструктура может автономно проработать несколько часов. Рядом установлен дизельный генератор. Вообще прекращение питания на стадионе очень маловероятно, поскольку он подключен по первой категории электроснабжения — как институты здравоохранения, опасные производства, противопожарные системы и другие очень важные объекты.


В других шкафах — аппаратные комплексы для управления активной распределенной антенной системой (ADAS), развернутой на стадионе. В отличие от более простых и дешевых пассивных DAS, активные системы используют оптоволоконную передачу сигнала, что позволяет снизить влияние расстояния до передатчика на устойчивость сигнала антенны. Это дает возможность масштабировать сеть на целые километры. Кстати, распределенные антенные системы также используются в Калининграде и Сочи на стадионах «Калининград» и «Фишт».


Общая схема ADAS. Источник: rf-link.ru.

Техническое обслуживание инфраструктуры ведут две команды: одна — на объекте, другая — удаленно. Первая работает в основном во время мероприятий, и состоит из инженеров, знающих все об объекте и способных, в случае необходимости, без проблем подменить друг-друга. В остальное время за системой следят из-за пределов стадиона. Такая возможность — еще одно преимущество активной DAS по сравнению с пассивной. Круглосуточно удаленным мониторингом занимается, как минимум, один инженер. Если где-нибудь возникнут проблемы, он сможет в режиме онлайн определить причину и совместно с командой объекта оперативно ее устранить. Пользователи даже не успеют ничего заметить.


Консоль управления ADAS


Каждый оператор дополнительно подстраховывает системы для бесперебойного электропитания. Таким оборудованием занята значительная часть помещения

Сетевая инфраструктура на стадионе «Санкт-Петербург» рассчитана таким образом, чтобы обеспечить возможность вести разговор на стадионе всем желающим. На матчах ЧМ-2018 здесь фактически смогут находиться до 68 тысяч зрителей. Запас приличный, но не стоит забывать, что работникам стадиона тоже нужна связь. Да и нагрузка на оборудование неравномерна — трафик сильно подскакивает во время перерывов, когда болельщики спешат поделиться тем, что они сняли за тайм, или просто позвонить кому-нибудь и поделиться впечатлениями.

За такими щитками спрятаны узконаправленные антенны. Их мощность варьируется в зависимости от того, какой сектор нужно охватить, чтобы не оставить белых пятен и избежать при этом взаимного перекрытия секторов.

Все антенны, охватывающие стадион и территорию рядом, делятся на 8 зон. В каждой зоне — 6-8 антенн. Чтобы минимизировать соприкосновение с соседними сотами, антенны перенаправляют и регулируют по мощности. Мощность излучения каждой антенны рассчитана так, чтобы обеспечить максимально возможное проникновение, не превысив при этом санитарных норм. Во всем нужно соблюдать баланс.


В помещениях стадиона установлены аккуратные каплевидные антенны


На массивных поперечных балках крыши стадиона установлены антенны для нижних ярусов


Выше и дальше от поля — антенны для верхних ярусов

Чтобы обеспечивать высокое качество связи внутри стадиона, инженеры обходят его с измерительным оборудованием. Если во время радиоизмерений на месте инженеры находят проблему, то отмечают ее на схеме стадиона, выгружают все системные события, которые могли быть связаны с проблемой, находят ее причину и устраняют.


Для подробной оценки нужно покорить в сумме четыре тысячи ступенек — подняться на 325-этажный дом. Инженер при обходе каждые 5–10 метров ставит точки на схеме стадиона в соответствии со своей позицией и к ней прикрепляются все измеренные параметры сети. Так проходит мониторинг мобильной связи в пределах стадиона.

Кстати, комплекс оборудования, который используется МегаФоном для измерения качества связи, мы подробно описывали в материале о том, как мониторим мобильную сеть в Москве

Комментарии (32)


  1. geran_utran
    18.06.2018 17:50

    Такая вкусная тема, а сделали коротенький фоторепортаж без деталей и вау-эффектов :)


  1. RamusAkaRami
    18.06.2018 18:11

    А чё за цифры в кружочках 1,2,3 на последней картинке? Такое ощущение, что должно быть какое-то описание, но его нет.


    1. MegaFon Автор
      19.06.2018 18:22

      1-2-3 – номера измерительных телефонов, которые подключены к комплексу Nemo Walker Air для проведения радиоизмерений. На фотографии измерительного планшета для работы с комплексом первый телефон измеряет параметры покрытия 2G сети (RxLev), второй – 3G (RSCP), а третий — 4G (RSRP). В зависимости от решаемых задач в измерительный комплекс может включаться до 7 телефонов.


      1. webdiez
        21.06.2018 09:35

        тут нужны квадрокоптеры с оборудованием на борту…


  1. pashkov
    18.06.2018 18:41
    +3

    Можно ли было поставить 1 набор оборудования и использовать всем вместе?


    1. Ziu
      19.06.2018 09:03

      Нет, у всех свои частоты и не только.


    1. geran_utran
      19.06.2018 13:51

      Технически можно было бы поставить оборудование, ресурсы которого делились бы между операторами. Но далеко не факт, что количество оборудования от этого значительно уменьшится, а вот организационного геморроя точно будет в разы больше.
      Так что наверное правильное решение, у каждого свои железки.


  1. Buggy777
    18.06.2018 18:45
    +3

    Одновременный разговор на 68 тысяч человек это конечно хорошо, но что с инетом? Какую скорость вы рассчитываете дать каждому из 68 тысяч человек? И как насчёт ipv6? И не только на стадионах, а то google все чаще показывает капчу.


    1. AbstractGaze
      18.06.2018 22:47
      -2

      А зачем им на стадионе интернет в таком количестве? они туда зачем приходят, ютуб смотреть?


      1. Areso
        19.06.2018 07:55

        В Твиттер и Инстаграм выложить самые лучшие моменты, конечно же.
        +селфи
        Еще некоторые догадаются вести прямую трансляцию, ага.


        1. FORZEF
          19.06.2018 13:49

          Был на матче ЧМ недавно и там был wi-fi по всему стадиону, и так там много приезжих в основном думаю все пользуются им.


    1. JediPhilosopher
      19.06.2018 01:24
      +1

      Был на стадионе во время одного из матчей кубка конфедераций, не 68 тысяч наверное, но заполненность была вполне приличная. 4G работал стабильно, можно было постить фоточки в соцсети и пользоваться мессенджерами.


    1. MegaFon Автор
      19.06.2018 18:27

      При проектировании такой сложной системы, как ADAS, закладываются минимально допустимые значения показателей прежде всего по качеству и покрытию сигналов сетями 3-х поколений, а также минимально допустимые скорости в зависимости от зон (трибуна, VIP ложи, подтрибунные помещения и т.п.) – для СПб-Арена минимум был 4-8 Мбит/с в LTE при загрузке, близкой к 100%. На практике же число одновременных пользователей никогда не бывает столь же огромным, как число зрителей, потому на матче 15.06 средние скорости по измерениям даже в самые пиковые моменты загрузки сети не снижались ниже 20 Мбит/с при скачивании и 10 Мбит/с при выгрузке, что с комфортом позволяет пользоваться любыми доступными абоненту сервисами.

      Сеть МегаФон готова к использованию IP v.6, однако реальной необходимости отказа от IP v.4 мы пока не видим, никаких трудностей для абонента использование текущей системы не вызывает.


  1. nikolau
    18.06.2018 20:23
    +1

    Интересует такой вопрос, бывал на разных фестивалях, которые проходят за несколько сот км. от Москвы, где-нибудь в поле, вокруг леса, в стороне от городов. Там видел мобильные станции операторов. Вот радио сигнал от мобильников приходит в эти станции, а от них как информация передается? В городе, как понимаю, через оптоволокно.


    1. ganzmavag
      18.06.2018 21:50
      +1

      Тоже по радио — по радиорелейной линии. Более того, так и отдаленные стационарные базовые станции подключены, к которым нет смысла (или невозможно) провести оптоволокно. У нас в области, например, на раскатах Каспийского моря такие стоят (да и на самом море, вроде). Я не в курсе, как сейчас, но раньше в городе и пригородах тоже много базовых станций висело на радиорелейной.


      1. Ziu
        19.06.2018 09:51

        Сейчас отказываются от старых пролетов РРС типа NEC Pasolink или iPasolink. В сторону увеличения пропускной способности с решениями от Huawei. Вендоры от региона к региона отличаются, но опять же Huawei у зеленого оператора преобладает. В городских условиях БС запускаются или расширяются с помощью, например, вот такой «железки» — HW RTN380. У неё есть свои тонкости, но она дешевле чем стройка ВОЛС на 1-2 км.
        На больших расстояниях для узловых и транзитных БС транспортную часть начали модернизировать с использованием на РРС xPic — запуск пролёта с двумя типами поляризации одновременно в одну сторону.


    1. anthtml
      19.06.2018 09:04

      Передвижные БСки служат для того чтобы не перегружать узкий маломощный сектор стационарной антенны, также выполняют часть локальной маршрутизации для звонков «Ты где стоишь?», остальное ужимают и либо отправляют по радиорелейке на стационарную БС, заранее созданную точку подключения (используя более плотный, скоростной, узконаправленный канал), либо на больших городских площадях на такие случаи (специально для телефонистов/телевизионщиков) обычно есть шкафы с оптоволокном


      1. Ziu
        19.06.2018 10:02

        На самом деле и да, и нет. :) МБС (мобильная базовая станция) операторами используется крайне не часто и только в случаях с проблемами в покрытии или емкостью на уже обслуживаемой территории, на каких-либо массовых мероприятиях городского или даже загородного типа. Частенько подряжают её в случае приездов важных гостей, но не более. В остальных случаях она стоит и скучает.


  1. acodered
    19.06.2018 09:04

    Почему SNR всегда отрицательный? -60-70 dB?

    Я понимаю это как сигнал в 10^6 раз слабее шума. Сравнимо с шепотом во время концерта.


    1. Mogwaika
      19.06.2018 09:20

      А где он у вас такой? я думал обычно с положительным работают. Либо это узкополосный сигнал в очень широкой полосе шума…


    1. Ziu
      19.06.2018 10:23

      SNR не может быть отрицательным, вы наверное ошибаетесь. На фото планшета у измерителя параметр RSCP — он показывает мощность на стороне приема у абонента в 3g. RSRP же аналогичный параметр отражающий качество, но уже в 4g.


      1. Mogwaika
        19.06.2018 12:00

        Там размерность другая, там дБм. А кто мешает SNR быть отрицательным?


      1. Aituar
        19.06.2018 14:06

        В LTE RSRQ — Качество принимаемого сигнала, RSRP — уровень.


  1. nefigasi
    19.06.2018 10:23

    Когда Мегафон установит БС и подключит их к ADAS стадиона ФК Краснодар?


  1. Scratch
    19.06.2018 11:25

    Когда включите wifi calls? Сколько можно уже с этим роумингом жить


    1. khim
      19.06.2018 16:55

      Роуминг до сих пор — солидный кусок масла на хлебушек операторам. Так что биться за него они будут долго.


      1. Mogwaika
        19.06.2018 17:02

        Мегафон у меня как-то хитро отменил роуминг, теперь в других регионах нет роуминга, но зато звонки в родной регион как межгород (естественно везде, кроме спорных территорий).


  1. miha2
    19.06.2018 13:36

    Получается всё же излучение от антенн вредно и существуют санитарные нормы :).
    Вот в США заметил на людей плюют — ставят антенны на крыши обычных деревянных домов (такие я бы сказал очень серьезные конструкции). Не хотел бы я жить в таком доме.


    1. mayorovp
      19.06.2018 13:41

      Если точнее, то за пределами санитарных норм оно может быть вредно.


    1. geran_utran
      19.06.2018 13:57

      эту тему мы когда пытались очень подробно пережевать :) Ситуация с тех пор не изменилась.
      habr.com/company/beeline/blog/132169


    1. khim
      19.06.2018 17:00

      Уже был отдельный материал (а может и не один). Как раз строго под себя антенна мало чего излучает.

      А то, что вы наблюдаете в США — это как раз типичный результат эгоизма, не более того: куча народу охвачены паранойей и не дают на своих домах ставить ничего вообще. Потому чтобы покрытие таки хоть какое-нибудь, да было — там где позволяют приходится ставить монстров.

      Конечный результат — связь, работающая хуже, чем в России и притом ещё и более потенциально вредная (потенциально — потому что на самом деле между тем уровнем, который считается недопустимым и тем уровнем, когда вред точно имеется разница по мощности — много порядков).


  1. Benedictus
    19.06.2018 17:58

    Товарищи из МФ смогут подсказать каким типом ТС подан канал до БС ВОЛС или РРЛ и какая емкость канала?

    И какой маршрутизатор используется на уровне доступа для БС и как организован резерв для ТС?

    А вообще надо отдельное спасибо надо сказать сотрудникам отдела развития и строительства сети, пласт работ проделан очень большой.