Нельзя просто взять и пригласить иностранные футбольные команды сыграть на стадионе в рамках Чемпионата мира. Стадион построен недавно и соответствует международным стандартам? Этого мало. Нужно пройти сертификацию FIFA. Международная федерация футбола, помимо прочего, контролирует свободный доступ болельщиков в Интернет. Итак, нам предстояло развернуть сети на трибунах домашнего стадиона футбольного клуба «Спартак» «Открытие Арена». Чтобы успеть к матчам Кубка Конфедераций, которые фактически стали репетицией ЧМ, у нас было чуть больше месяца. А непосредственно на установку точек доступа и отладку системы осталось 10 дней.

Скажу наперед, что в России тогда еще не было столь масштабных проектов оснащения стадионов Wi-Fi.

Почему пришлось дооснащать стадион к Чемпионату мира

Стадион строился на частные деньги и в первую очередь должен был соответствовать требованиям футбольного клуба «Спартак»: на нем планировалось проводить матчи Чемпионата России и Кубка России, УЕФА и Лиги Чемпионов, а также концертно-развлекательные мероприятия. Напомню, что на Хабре мы уже подробно писали, как выстраивали инфраструктуру этого стадиона.

Для Кубка Конфедераций, а в дальнейшем и ЧМ-2018, стадион «Спартака» нужно было привести в соответствие всем требованиям FIFA. В частности, организовать отдельные помещения для сотрудников FIFA, зону для работы СМИ (в том числе изменить конфигурацию медиатрибуны – она же «ложа прессы» – под требуемое число кресел), построить временные здания и сооружения для техперсонала/телевещателей и удовлетворить многие другие требования.

Что касается ИТ-инфраструктуры, одно из требований FIFA – предоставление доступа в Интернет для болельщиков на всех трибунах по Wi-Fi.

Источник

В 2013 году при строительстве ИТ-инфраструктуры стадиона доступ к Wi-Fi был представлен в зонах: VIP (Sky-боксы), пресса и рестораны. Этого Wi-Fi-покрытия было достаточно для существующих на тот момент задач.

В мае 2017 года владелец стадиона обратился к нам для организации Wi-Fi на всех трибунах. Первый матч на стадионе «Открытие Арена» был назначен уже на 18 июня, и такие малые сроки для выполнения проекта могли показаться нереальными. Однако у нас был серьезный теоретический бэкграунд, так как ранее «ЛАНИТ-Интеграция» подробно прорабатывала проект для другого стадиона.

Проектирование

По требованиям FIFA, Wi-Fi-сеть на трибунах должна обеспечивать доступ не менее чем для 15% от общего числа всех зрителей в обоих диапазонах (2,4 и 5 ГГц) и на скорости доступа в Интернет не менее 2 Мб/с. Забегая вперед скажу, что мы ориентировались на более высокие требования. Помимо требований FIFA нам необходимо было соблюсти требования и нашего законодательства: идентификацию абонентов при подключении к общественной сети Wi-Fi.

Из существующих на данный момент способов идентификации абонента, соответствующих требованиям законодательства РФ, мы выбрали самый популярный и удобный – по номеру сотового телефона. Работает он следующим образом: абонент после подключения к сети Wi-Fi открывает любую http-страницу, его перенаправляет на Web-портал, в котором он проходит процедуру идентификации и авторизации: пользователь вводит свой номер телефона и подтверждает его при помощи кода, который отправляется на мобильный телефон в SMS-сообщении.

Web-портал с SMS-авторизацией

При возведении стадиона ИТ-инфраструктуру выстраивали на оборудовании компании Huawei.
Этого вендора выбрали и для строительства HD Wi-Fi накануне ЧМ-2018. Таким образом, мы смогли использовать точки Интернет-доступа, установленные в 2013 году, и сохранили инвестиции заказчика.

Для Huawei наш проект стал первым кейсом в России. В принципе, создание сети высокоплотного Wi-Fi можно считать самой сложной задачей для производителей оборудования.

Нам предстояло выбрать модель точки доступа, места их установки, тип антенн и способы крепления всего этого добра. Выбор пал на AP8030DN, так как данная модель, во-первых, является высокопроизводительной, поддерживает стандарт IEEE 802.11ac Wave1 и работу в обоих диапазонах частот (2,4 и 5 ГГц). Во-вторых, имеет встроенную направленную секторную антенну, что немаловажно при покрытии зон с высокой плотностью абонентов. В-третьих, модель может работать в расширенном температурном диапазоне и поддерживает высокий класс защиты IP67, что обязательно при монтаже на чаше стадиона.



Для увеличения количества обслуживаемых Wi-Fi-абонентов, повышения производительности и пропускной способности и с целью поддержки дальнейшей масштабируемости Wi-Fi сети мы решили заменить используемый на стадионе Wi-Fi-контроллер на отказоустойчивое решение из двух контроллеров ACU2. Данная модель предназначена как раз для развертывания Wi-Fi высокой плотности и поддерживает обслуживание до 2048 точек доступа и 32000 Wi-Fi- пользователей.

Данные контроллеры представляют собой линейную плату, которая устанавливается напрямую в существующие коммутаторы ядра стадиона. На кластер из двух новых контроллеров мы планировали переключить все существующие точки доступа заказчика, установленные в VIP-ложе, подтрибунных помещениях, включая фуд-корты и холлы.

Кстати, стоит отметить оперативность партнера – компании Huawei: они учли наши обстоятельства, произвели и доставили всё оборудование не за стандартные 6-8 недель, а за 3 недели.

Пока оборудование изготавливалось на заводе и летело в Москву, нам нужно было максимально быстро подготовить рабочую документацию и выдать задание подрядчику для начала работ по прокладке СКС до мест установки точек доступа Wi-Fi, подготовки и монтажа креплений для них.

На предпроектном обследовании мы определились с основным концептом – как будем все строить: согласовали с заказчиком места установки точек доступа Wi-Fi, где, как и откуда будем «засвечивать» трибуны, провели радиомоделирование и тестовое радиообследование, по результатам которых получили требуемое количество точек доступа.

Основная концепция предполагала четыре уровня (контура) крепления точек доступа. Расстояние между соседними точками доступа одного уровня – порядка 8 метров.

Четвертый уровень (верхние трибуны): монтаж на несущие колонны с углом наклона в сторону болельщиков, покрываем верхнюю часть верхних трибун.

Третий уровень (верхние трибуны): монтаж на технологические мостки с них, покрываем нижнюю часть верхних трибун.

Второй уровень (нижние трибуны): монтаж под козырьком от верхних трибун с углом наклона в сторону болельщиков, покрываем верхнюю часть нижних трибун.

Первый уровень (нижние трибуны): монтаж на рекламные баннеры, расположенные вдоль футбольного поля, покрываем нижнюю часть нижних трибун.

Некоторые места установки могут показаться необычными. Я, например, не знаю таких стадионов, где точки доступа крепились бы на рекламные баннеры. Но это, кстати, достойное решение, учитывая, как сложно найти оптимальное место на стадионе, который давно построен и эксплуатируется.

Первые проблемы

Как только мы разместили заказ у вендора и приступили к подготовке рабочей документации, на этапе ее согласования с заказчиком выяснилось, что часть нашего концепта необходимо менять.

Сперва выяснилось, что рекламные банеры на время проведения Кубка Конфедераций будут сняты и заменены на другие, которые нам точно не подходят. Затем нам не удалось согласовать размещение уличных всепогодных шкафов на технологических мостках, коммутаторы в которых были нужны точкам третьего контура как «воздух», так как длины СКС кабелей до ближайших возможных кроссовых намного превышали 100 м. Так мы «потеряли» предполагаемые первый и третий контур.

Пришлось искать новые места монтажа для точек доступа, которые бы обеспечили такое же оптимальное покрытие и антивандальную защиту, что немаловажно на стадионе, где после дерби точку доступа могут унести в качестве «трофея».

С учетом всех замечаний концепт был доработан: точки первого и третьего контуров переместились на фасады трибун, т.е. точки доступа первого и второго, третьего и четвертого контуров должны «светить» друг на друга. По расчетам, одна точка доступа должна была покрывать ячейку/соту примерно на 170 мест и, если учитывать тот факт, что к точке доступа должно подключаться около 15% болельщиков, то около 30 абонентов для точки доступа такого класса не было пределом.

Четыре контура монтажа точек доступа (наглядная презентация Huawei)

Всего получилось порядка 250 точек доступа Wi-Fi. С учетом уже существующих точек доступа общее количество равнялось 350.

К точкам доступа нужно было провести питание и подключить их к коммутаторам. С тремя нижними контурами сложностей не возникло — мы использовали кроссовые помещения стадиона. Для верхнего контура надо было придумать какое-то другое решение. И оно нашлось. Решили установить шесть всепогодных уличных шкафов, в которых поддерживается температура, необходимая для работы оборудования, и уровень влажности.

Наконец, после всех наших согласований подрядчик смог приступить к прокладке СКС и подготовке мест монтажа к доставке точек доступа. Четыре бригады работали круглосуточно в три смены. До приезда-прилета оборудования оставалось совсем не много времени, и нам необходимо было подготовиться к его встрече: сделать радиочастотный план, шаблоны настроек, развернуть и протестировать систему SMS-авторизации с существующим у заказчика контроллером.

Дополнительный кронштейн для точек доступа на фасадах

Ready Steady Go

После того, как оборудование прилетело в Москву и прошло все необходимые регистрационные процедуры, решили его сразу везти на стадион, чтобы не тратить драгоценное время, ведь у нас оставалось всего 10 дней на монтаж точек доступа, на запуск системы и на ее тестирование.

Когда стадион готовили к Кубку Конфедераций, на нем ежедневно присутствовало огромное количество подрядчиков по различным системам, словно стадион строился заново.

Доступ на стадион осуществлялся под строгим контролем, как будто это «чистая зона» аэропорта. Всем подрядчикам выдали свою территорию для размещения/складирования своего рабочего инвентаря и оборудования за пределами стадиона. Нам «повезло»: наша площадка оказалась прямо возле стадиона, но добраться до входных групп можно было, только обойдя все заграждения по полю. А это три километра!

Один только входной контроль и подготовка привезенного оборудования к монтажу забрали у нас два дня, включая перетранспортировку из вагончиков на саму чашу. С проносом оборудования на стадион постоянно были проблемы: то каждую вещь проверят через интроскоп, то вообще запретят внос на стадион.

Подготовка точек доступа к монтажу

Наконец, оборудование попало на арену, и мы приступили к его установке и настройке: часть инженеров занялись запуском коммутаторов, а другая – «тонкой» настройкой точек доступа. На каждый уровень (контур) монтажа точек доступа была выделена бригада монтажников, и, как только точка доступа монтировалась и подключалась в сеть, инженер подбирал оптимальный угол наклона.

Точки доступа готовы к монтажу

Одна из неприятных особенностей развертывания Wi-Fi-сети высокой плотности – много работы с каждой точкой доступа: нужно донастраивать радиоэфир – вручную настраивать каналы и мощности на каждой точке доступа, устанавливать необходимый угол наклона и постоянно проводить радиообследование.


Проблема в том, что увидеть реальную картину распространения сигнала можно только на заполненном стадионе, т. к. радиоэфир пустого и наполненного стадиона разительно отличаются. Каждый смартфон вне зависимости от установленной операционной системы опрашивает сохраненные в нем сети Wi-Fi примерно раз в 30 секунд.

Теперь представьте: 45000 человек в одном месте, и телефон каждого из зрителей раз в 30 секунд что-то вещает в эфир. Это создает невероятный уровень шума в радиосреде, что влечет за собой совершенно другие требования к уровню сигнала в таких сетях. Вы пробовали во время футбольного матча заговорить с соседом, сидящим через 2 места от вас? Чтобы он хоть что-то услышал, придется кричать. Думаю, аналогия с Wi-Fi-сигналом понятна.

Еще одна проблема – сигнал затухает при проходе через зрителей. Поэтому в идеале антенна должна быть расположена впереди над зрителем, чтобы между конечным пользователем и антенной не было препятствий. К сожалению, это не всегда возможно из-за конструктивных особенностей стадиона, и приходится ставить точки туда, где можно их закрепить и куда можно дотянуть необходимую СКС. Такое расположение часто не очень эффективно. Например, точки внизу трибун, “смотрящие” на зрителей снизу вверх, во время аншлага пробивают только 8-10 рядов зрителей. А дальше сигнал становится слишком слабым.

Отдельно встала проблема частотного диапазона: поскольку в диапазоне 2,4 ГГц сигнал распространяется дальше, чем в 5 ГГц и диапазон насчитывает всего 3 непересекающихся канала, чтобы избежать интерференции, нам пришлось на точках доступа через одну отключить диапазон 2,4 ГГц. Конечно, с мощностью пришлось долго повозиться, но через несколько матчей мы подобрали оптимальный EIRP для каждого сектора.

Смонтированные точки доступа

Поскольку это был Кубок Конфедераций под эгидой FIFA, нам пришлось согласовывать и делить радиочастотные каналы с различными новыми сегментами Wi-Fi. А часть точек доступа вообще пришлось отключить из-за временного сегмента Wi-Fi от самой FIFA, развернутого по всей западной трибуне, где они предоставляли доступ в сеть не только своим сотрудниками, но и всей ложе прессы.

Строительство HD Wi-Fi идет полным ходом: точки доступа второго контура монтажа

Систему идентификации и авторизации абонента настраивал наш партнер Netams, развернувший коробочное решение собственной разработки – WNAM. До приезда нового оборудования на стадион их команда успела развернуть свою систему, успешно протестировать её с существующим на тот момент у заказчика контроллером Wi-Fi и точками доступа.

Коллегам, как и нам, пришлось столкнутся с интересной задачкой: за два дня до первого матча Оргкомитет дал новую вводную: сделать страницу Web-портала, где пользователь проходит SMS-авторизацию в стилистике Кубка Конфедераций, причем не просто поменять пару картинок и текст, а переделать его полностью (HTML-верстка), включая логику работы. Нужно было реализовать мультиязыковую поддержку, новый дизайн кнопок и рамок, автоподстройку под размер мобильного устройства, работу со всеми сотовыми операторами мира. Но и с этой задачей партнер успешно справился.

Стадион в ожидании первого матча

Работает?

Первый матч на стадионе прошел между сборными Чили и Камеруна. Трибуны были забиты на 70%. Рекламу о работе Wi-Fi на стадионе Оргкомитет не давал, что позволило нам протестировать новенький HD Wi-Fi без большой нагрузки.

На первом матче было около 1500 уникальных пользователей. На последующих матчах Wi-Fi уже рекламировали, а мы занимались только подбором оптимальной мощности точек доступа. Самый большой наплыв пользователей был на последнем матче за третье место: практически при полном стадионе около 4000 уникальных пользователей.

В заключение хочется добавить, что это был первый в России уже построенный и работающий стадион такого масштаба, на котором запустили HD Wi-Fi за 10 дней. Сейчас тысячи болельщиков выходят в Интернет и делятся фото или видео в социальных сетях прямо во время матча.


P.S. Эту статью мы писали вместе с моим коллегой ISkrypnik, который в этом проекте помогал мне в разработке концепции и в техническом пресейле, так что и на ваши комментарии мы будем отвечать вместе.