Свой блог на Habrahabr мы начали с нашего первого и главного проекта — рассказали о том, как четыре года назад построили первую в мире бесплатную сеть Wi-Fi в подвижном составе московского метро. Получив первый опыт строительства транспортной сети Wi-Fi, наша команда реализовала проект еще раз, но уже для жителей Северной столицы.
SAME-SAME BUT DIFFERENT
Архитектуру сети в петербургском метро мы сделали почти такой же, как и в Москве. Точно также подвижной состав в тоннелях едет в зоне сплошного радиопокрытия, создана внутрипоездная сеть и развернута стационарная инфраструктура.
Однако при планировании и проектировании сети Петербурга мы:
- точно рассчитали радиопокрытие тоннелей;
- изменили состав и функции активного оборудования;
- применили оборудование новых поколений (естественно, четыре года прошло);
- виртуализировали больше сервисов, чем в Москве;
применили антенны отечественной разработки и производства.
Но обо всем по порядку.
СЕМЬ РАЗ ОТМЕРЬ
Когда мы занимались планированием сети в Москве, в мире не существовало применимой в наших условиях апробированной математической модели расчета распространения радиоволн в тоннелях. Радиопланирование делалось полуэмпирическим методом. Мы разработали собственный инструмент, который умеет рассчитывать оптимальную расстановку базовых станций в тоннелях и с его помощью провели радиопланирование сети в Санкт-Петербурге.
Совместно с нашим партнером ЗАО «РадиоГигабит» мы разработали математическую модель распространения радиосигнала в тоннелях в частотном диапазоне 3-6 ГГц (кстати, и в других диапазонах тоже). На базе модели написали расчетную программу, которая:
- на входе принимает полный массив данных, описывающих тоннели метро: геометрию тоннелей и станций (форма и размеры в сечении, искривление в горизонтальной и вертикальной плоскостях), материалы стен и потолка тоннеля на каждом участке, наличие или отсутствие разделения путей, ответвления и стоянки/тупики, объекты в тоннеле, влияющие на распространение сигнала (например, гидрозатворы, светофоры, другое оборудование) и т.д.;
- позволяет задать целевую точность расчета (прикидочный расчет можно выполнить быстро, в то время как точный расчет для проекта делается сутками на достаточно мощном суперкластере) и другие параметры;
- позволяет задать характеристики используемого радиооборудования и антенн, а также целевые показатели сети, которых требуется достичь;
- позволяет задать графики и скорости движения составов, а также их размеры/геометрию;
- на базе всего вышеуказанного проводить симуляцию (математическое моделирование) работы сети в тоннеле (причем не только канального уровня, но и с учетом системных эффектов, таких, как движение составов, экранирующих антенны и друг друга при определенных условиях);
- выдавать на выходе целевую расстановку БС, при которой достигаются заявленные целевые параметры сети.
Что именно мы сделали?
- Разработали теоретическую модель распространения сигнала в тоннелях и модели системного уровня.
- Создали несколько измерительных комплексов для проведения натурных измерений и калибровки/корректировки модели.
- Провели несколько итераций измерений и уточнений модели, пока она не начала давать данные, полностью согласующиеся с результатами измерений.
В результате мы получили инструмент практического радиопланирования беспроводных сетей связи в метрополитенах, аналогов которому в мире не существует.
В свое время при планировании сети в Москве у нас были только приблизительные правила расстановки БС (максимальные и минимальные расстояния и т.д.), которыми мы пользовались. Мы проводили тесты в тоннелях для проверки сделанных предположений и на базе результатов вносили в эти правила некоторые корректировки. Теперь мы знаем (проведя исследование нашей сети в Москве с помощью нашего нового инструмента планирования), что многие принятые в начале проекта решения о расстановке, были не оптимальными. Сейчас мы бы поставили многие БС по-другому и в целом увеличили бы их количество примерно на 15%. Мы планируем поэтапно модернизировать сеть в Москве, оптимизируя радиопокрытие.
В Санкт-Петербурге мы получили целевую оптимальную расстановку БС, позволившую нам фактически получить заданные целевые показатели скорости и качества сигнала в каналах связи сразу после запуска сети.
МЕНЬШЕ — ЛУЧШЕ
Планируя сеть в Петербурге, мы старались уменьшить количество активного оборудования, а также использовать только то оборудование, которое поддерживает удаленный мониторинг. Это помогло нам снизить эксплуатационные издержки.
Мы отказались от использования в тоннелях и на узлах коммутации медиаконвертеров, которые преобразуют оптический сигнал в электрический и обратно. Вместо них перешли на полностью оптическое соединение, для чего потребовались базовые станции нового типа и более современные коммутаторы. Благодаря более тщательному проектированию, мы снизили количество активного оборудования за счет того, что теперь приходится по одному коммутатору на 2,5-3 станции. В Москве же стоит по паре коммутаторов на каждые две станции. Все эти изменения помогали нам экономить бюджет проекта, что также было одной из важных задач.
Кроме того, была увеличена пропускная способность каналов между станционными коммутаторами и ядром. И если в Москве это два георезервированных канала по 1 Гбит/с, то в Петербурге пропускная способность каждого из них увеличена до 10 Гбит/с.
Улучшить качество сети помогли антенны, специально разработанные для нас зеленоградской компанией Delta Satellite. Благодаря им мы не только смогли существенно снизить расходы на антенные системы, но также добились улучшения характеристик радиотракта по сравнению с достигнутыми в Москве.
Также мы изменили внутрипоездную сеть: теперь все вагоны соединены между собой двумя зарезервированными каналами по 1 Гбит/с (в Москве, напомню, резервный канал имеет пропускную способность 100 Мбит/сек). В вагонах установлены более современные точки доступа Cisco AIR-CAP2702i с поддержкой стандарта 802.11ac и MIMO 3x4, способные обеспечить улучшенное качество сервиса для современных пользовательских устройств.
СМЕНА ПОКОЛЕНИЙ
Еще одно важнейшее изменение — использование нового радиооборудования связи «поезд-тоннель». За время, прошедшее с момента запуска сети в Москве, сменились поколения транспортного оборудования. Сейчас доступны устройства с гораздо лучшими характеристиками, чем четыре года назад. В проекте Петербургского метрополитена мы использовали оборудование компании Fluidmesh, разработанное в Италии. Как и в проекте в Москве, оборудование построено на базе Wi-Fi-чипов. Но если в Москве использованы чипсеты стандарта 802.11n, то в Петербурге — чипсеты нового стандарта 802.11ac, который поддерживает более широкие частотные полосы (а значит и скорости передачи данных). Кроме того, модифицированные антенные системы в Петербурге обеспечивают поддержку режима MIMO 2x2 лучше, чем антенные системы московской сети. За счет этого, а также за счет оптимального радиопланирования, максимальная пропускная способность канала “поезд-тоннель” выросла с 120 Мбит/с в Москве до 500 Мбит/с в Петербурге.
Если немного углубиться в технику, то нужно отметить, что связное оборудование, которое мы используем в Москве, значительно модифицирует стандартный уровень контроля доступа к среде (MAC-уровень), преобразуя TDD полудуплексный протокол Wi-Fi в синхронный TDM-протокол. Это ведет, среди прочего, к статическому разделению емкости между восходящим и нисходящим каналами связи на участке «состав-тоннель», и к необходимости организации временной синхронизации всех базовых станций сети с помощью отдельных аппаратных источников синхросигнала. Оборудование Fluidmesh также модифицирует протокол Wi-Fi для улучшения его характеристик при нашей модели использования. Не забываем, что стандартный Wi-Fi — это, в первую очередь, протокол для доступа множества абонентов к разделяемой сети, а не протокол для организации связи между небольшим количеством абонентов в движении (мобильный PmP транспорт). Но в технологии Fluidmesh сохраняется принцип динамического распределения емкости между нисходящим и восходящим каналами и не требуется временная синхронизация, что упрощает структуру сети и повышает эффективность использования емкости канала.
Еще одно важнейшее преимущество выбранного оборудования — это сетевая архитектура. Fluidmesh позволяет строить пакетную сеть по принципу mesh, организуя транспортный протокол с помощью MPLS-подобной маркировки пакетов. Такой подход упрощает настройку и управление, позволяет полностью избежать ряда специфичных для стандартного Ethernet проблем, которые проявляются в сетях с движущимися клиентами с роумингом (хендоверами), например, проблемы обновления таблиц MAC-адресов (MAC learning). За счет, в том числе, новой архитектуры, в Петербурге латентность (задержка) в сети в несколько раз меньше, чем в Москве, а уровень потерь пакетов при переходе состава между базовыми станциями очень низок (практически равен нулю).
ВИРТУАЛИЗИРУЙ ЭТО
Новым для петербургской сети стала виртуализация части сетевых сервисов (ИТ-уровень полностью виртуализирован и в Москве с самого начала). Вместо выделенного контроллера точек доступа в головном вагоне мы использовали промышленные компьютеры и виртуальный контроллер. С точки зрения управления сетью Wi-Fi в подвижном составе ничего не изменилось, но появились другие возможности:
- пользовательский и рекламный контент в Петербурге можно хранить (кэшировать) в самом поезде на серверах в головных вагонах, это позволило ускорить доступ к часто требуемым единицам контента для абонентов и разгрузить канал связи «состав- тоннель»;
- теперь в каждом составе, в каждом головном вагоне установлено тестовое устройство (тот же пром-ПК :). С помощью него мы сможем автоматически измерять параметры канала, передавать в центр управления сетью гораздо больше объективной и точной информации о работе сети состава. Это позволяет значительно улучшить процедуры эксплуатации и повысить реальный пользовательский опыт;
- и, наконец, при аварийной ситуации на сети мы можем активировать более детальные, нагрузочные и прочие тесты, чтобы оперативнее локализовать и ликвидировать аварию.
Промышленный компьютер был взят с большим запасом вычислительной мощности и с возможностью апгрейда, что позволяет нам в дальнейшем наращивать количество сервисов и повышать качество услуг.
БЫСТРЕЕ, ГЛУБЖЕ, МОЩНЕЕ (сеть, конечно же, сеть)
Мы взрослеем и учимся на своих ошибках, а также совершенствуем и расширяем свои компетенции. Наши решения становятся продуманнее и технологичнее, и мы уже можем с уверенностью сказать, что в рамках построения беспроводных сетей в сложных условиях для нас не найдется неосуществимых задач. Но связь, как таковая, уже давно не является сервисом самим по себе, а лишь выступает в роли транспорта для все более сложных как клиентских, так и технологических сервисов и разных других больших и не очень данных. Мы активно работаем в этом направлении. У нас уже есть ряд интересных решений, которые мы создали и которыми активно пользуемся, и в следующих постах мы о них расскажем.
Комментарии (52)
Boris2603
07.02.2018 13:23Проделали большую работу и сделали действительно хорошее техническое решение, но вот ценность для потребителя увы не большая.
По опыту использования сеть предназначена только для трансляции рекламы. Заходим на станции Ладожская и едем до Академической (14 станций с 1 переходом) 4 станции смотрим рекламу, потом переходим к полезному контенту. Дальше у нас пересадка и снова 4 станции смотрим рекламу, и тут вам уже выходить.
QDeathNick
07.02.2018 13:55… и тут вам уже выходить на улицу, где вы опять попадаете в MT_FREE, но уже другую, и у вас ничего не работает, пока не выключите WiFi.
Или в Питере нас не ждёт такая засада с двумя разными сетями с одним названием?Dmitry_10
08.02.2018 14:15Научите, как отучить андройд подбирать любые говносети, пока я явно не укажу к ней подключиться?
QDeathNick
08.02.2018 15:07На сколько я понял ваш вопрос, вы думаете, что мой андроид сам подключается к разным сетям без явного моего указания?
Вы видимо не очень поняли ситуацию, расскажу подробнее:
Я явно указываю, что хочу подключаться к MT_FREE в метро, и даже оплатил год, чтобы всё работало быстро и без рекламы и всё работает супер.
Когда я выхожу на улицу, то там та же сеть в каждом автобусе, а я не хочу к ней подключаться, вообще сомневаюсь, что кому-то она регулярно и автоматически нужна эта сеть, так как у всех кому надо на улице есть интернет и без WiFi.
Но не могу не подключаться, так как устройство то не видит, что это «разные сегменты», для него это одна сеть. Приходится на улице выключать WiFi.
Может поможет приложение, попробую вечером, но судя по отзывам это не работает.
Andrusha
07.02.2018 15:51У меня больше вопросов возникает к монополии зелёного оператора под землёй, который единственный более-менее приемлемо работает в туннелях — в отличие от остальных трёх. Но я подозреваю, что в этом треде их нет, как и представителей ГУП «Петербургский Метрополитен».
Fedcomp
07.02.2018 17:49Тут вроде был пост от maxima telecom что они наносоты от мтс поверх своих сетей в метро пускают. Возможно с зеленым также.
iGrabovskiy
07.02.2018 18:04Фемтосоты для МТС мы сделали в Московском метрополитене. Думаю, об этом мы расскажем подробнее в отдельном посте. В Питере пока такой проект для операторов не запускали :)
TrogWarZ
07.02.2018 18:31Не пользовался «зелёным», но пользуюсь в Питере «жёлтым» и работает нормально. В рамках центра – даже между станциями, на окраинах – только на станциях, но этого хватает.
В Мск вот ни «красный», ни «жёлтый» не ловят или ловят и телефон даже показывает 3G, но фактически связи нет никакой, даже на станциях – приходится использовать wifi.
Очень надеюсь, что наличие wifi в питерском метро не ухудшит ситуацию с сотой.
WBoar
07.02.2018 16:08В Москве связь постоянно рвется в пределах одной ветки, естественно, при переходе на другую станцию… И каждый раз просмотр рекламы. Если работает мобильный интернет (а он уже много где работает), отдаю предпочтение ему, стабильнее.
ShevtsivAndriy
07.02.2018 13:23Давайте будем объективными.
В среднем станции петербургского метро располагаются на глубине 57 метров, самая глубокая «Адмиралтейская» – 86 метров.
Киевский метрополитен. Станция «Арсенальная» Святошинско-Броварской линии является самой глубокой в мире и располагается на глубине 105,5 метров (расстояние от поверхности земли до платформы).ivanius
07.02.2018 20:55Тоже прочитал заголовок и зашел сюда об этом написать т.к. под Невой не самое глубокое метро в мире. А по теме статьи — полезный опыт, переняли бы в самом глубоком метро в мире :)
Loxmatiymamont
07.02.2018 14:17А вот вы пишите про модель, что на вход даёт карту тоннелей, размеры станций и т.д. Раньше это ж была жутко секретная информация, а теперь метрополитен без драки эти данные даёт?
И второй вопрос: как-то боретесь с приложениями позволяющими автоматически логиниться в сеть?iGrabovskiy
07.02.2018 15:47Для моделирования используются данные, не представляющие секретности. Это формы и материал тоннелей, а также радиусы поворотов, перепады высоты и т.д. Они нужны исключительно для того, чтобы определить как будет распространяться радиосигнал на конкретном участке и, соответственно, спланировать установку базовых станций.
Что касается борьбы с автовходерами: используем разные технологии и методики, но не раскрываем их по понятным причинам :)
slonopotamus
08.02.2018 09:46Непонятно, по каким таким «понятным причинам»? Вы сами не знаете ответ? «Разные технологии и методики» делают что-то незаконное? Вам стыдно рассказать, потому что засмеют? Или ответ «не боремся никак», а это вы сказали чтобы добавить таинственности? NDA не позволяет?
ZverArt
08.02.2018 11:26«по понятным причинам» значит, что если раскроют как борются, то у разработчиков автовходеров будет больше информации и появятся новые способы обойти блокировку автовходеров. Поэтому логично, что компания не раскрывает такую информацию. Они же на рекламе деньги имеют, за эти деньги вам вай-фай бесплатно предоставляется.
slonopotamus
08.02.2018 11:30Почему вы считаете это более «понятной причиной» чем «он не знает»? Я не вижу ничего «понятного» в том чтобы следовать security through obscurity.
ZverArt
08.02.2018 12:46Во-первых, потому что я знаю Илью, он весьма грамотный представитель компании по связям с общественностью.
Во-вторых, мы говорим не о безопасности (security). Если в безопасности принцип security through obscurity, на мой взгляд, не является верным и может привести к большим и ужасным последствиям, то в случае с автовходерами это, скорее, секретная информация, потенциально влияющая на доход компании. Прямо или косвенно. И это, разумеется, покрывается NDA.
mminkovskiy
08.02.2018 13:06Вы правы, именно по этой причине. Вообще говоря, это очень интересный опыт, своего рода кибер-война (хотя, скорее, игра). В ней все те же правила — нельзя выдавать принципы противодействия, иначе авторы программ поймут, как их обходить. У нас было много "наступлений" и "отступлений", когда мы выпускали измененные алгоритмы блокировки, а программы автовхода через какое-то время учились их обходить. Сейчас у нас работает алгоритм, который пока не обошли, ждем новых вызовов)
Кстати, не могу не выразить уважение к некоторым из авторов программ автовхода (не буду называть имен, чтобы делать им рекламу). Мы реально высоко оцениваем их профессиональные компетенции и способности к исследованию поведения сети и обратному инжинирингу наших алгоритмов. Если авторы вдруг будут искать работу, наш телефон на сайте )
ZverArt
08.02.2018 13:31Так свяжитесь с ними самостоятельно ;)
mminkovskiy
08.02.2018 14:33Уже был такой опыт (положительный). Но сначала нужно войти в состояние перемирия )
n_demitsuri
08.02.2018 16:34Положительный — это когда вы то ли купили приложение, то ли еще что, и теперь этого приложения нет?)
worldxaker
07.02.2018 16:39куда проще юзать 4г. вчера едя о красной вез проблем смотрел запуск фалкона
Bahuser
07.02.2018 17:34WiFi, действительно, неплохой.
Но почему было не сделать точки доступа и на станциях?iGrabovskiy
07.02.2018 17:50В Питере точки доступа установлены и на станциях :)
Bahuser
07.02.2018 17:54Шкафы видел, но сеть как-то ни разу не ловил.
iGrabovskiy
07.02.2018 18:06Попробуйте, сеть такая же – MT_FREE, а между сетями на станциях и в поездах действует принцип бесшовности. Но работает только на платформе: на эскалаторах и в вестибюлях не делали.
Bahuser
07.02.2018 18:16Раз такая же, то рано или поздно поймается.
Это, действительно, большой плюс перед Московской сетью.
Barabek
07.02.2018 21:06Жутко расстраивает, когда юзаешь приложение (VK, Google Play, почтовый клиент и пр.) и если что-то сразу не загрузилось, то никогда не понимаешь — это тебя уже разлогинило или просто кратковременные потери. Каждый раз идешь в браузер, чтобы потыкаться в http-сайт и понянть, не пора ли смотреть рекламу презервативов…
TheSima
07.02.2018 21:08Ещё один сценарий который периодически случается со мной.
Спустился на станцию, подъехал поезд(не в мою сторону).
Телефон подцепился к его Wi-Fi.(я об этом не знаю, телефон в кармане)
Тут же подъехал другой поезд(в мою сторону).
Захожу в свой поезду, достаю телефон начинаю логиниться — смотреть рекламу.
Поезд(не в мою сторону) уезжает. (иногда не успеваю начать смотреть, поезд уходит раньше)
Жду пока телефон одуплится что сеть с тем же именем уже не доступна и нужно опять переподключаться. (бывает успеваю половину тунеля проехать)
Дальше как обычно, подключается к wifi. Логинимся, смотрим, а потом интернет.
Из не объективности мною сказанного может у меня телефон туповат в плане переключения.
Но факт остается таковым. Если бы была полная бесшовность, что меня очень тяжело представить, то было бы меньше проблем в пользовании этой услугой. Или хотя бы ограничивали бы кол-во рекламы на юзера, логин же есть. Это же не так сложно?
impwx
08.02.2018 10:26Самая большая глупость — сделать одинаковый SSID для сетей в метро и наземном транспорте, которые оплачиваются отдельно. Пользуюсь платным wifi в метро, выхожу на улицу — телефон цепляется к каждому проезжающему мимо автобусу и по факту лишает меня связи. Приходится постоянно включать и выключать wifi. Решение же элементарное, зачем заставлять пользователей страдать?
iGrabovskiy
08.02.2018 10:44Можете скачать наше бесплатное приложение MT Cabinet. Оно, во-первых, поможет управлять своей подпиской. Во-вторых, там (без дополнительных платежей) можно настроить автоматическое подключение к разным сегментам сети. Если не надо, чтобы автоматически подключалось в автобусах – не будет. При этом, достаточно один раз настроить и все, никакой работы в фоновом режиме приложение не требует.
impwx
08.02.2018 11:10Спасибо, попробую. А почему именно приложение, в личном кабинете на сайте этих настроек нет?
QDeathNick
08.02.2018 12:26А расскажите пожалуйста как вы это реализовали?
По идее же прежде чем можно будет понять, что это другой сегмент она всё равно будет подключаться к ssid, и потом после того как определили сегмент кто-то должен отключить устройство от сети. Значит это делает приложение?
iVolynkin
10.02.2018 16:08После установки Мобильного приложения, вы идентифицируетесь в нем, что позволяет установить связь с МАК-адресом устройства. Далее, когда вы отключаете использование какого-то конкретного сегмента сети — приложение сообщает о вашем желании серверу, который сохраняет этот параметр в базе данных устройств и когда устройство с соответствующим МАК-адресом пытается пройти ассоциацию с Wi-Fi сетью соответствующего сегмента, RADIUS-сервер отклоняет запрос на ассоциацию. Соответственно, подключение не происходит и связь не прерывается.
QDeathNick
10.02.2018 19:52Ну сегодня это не срабатывало, я всё равно подключался к сети, приложение яндекс-такси начинало ругаться, что трафик перехватывается злоумышленниками. Пришлось всё же выключить Wi-Fi
wizard_s
08.02.2018 10:43Реклама в том вайфае просто достала. Понятно, что либо смотри рекламу, либо плати. Но зачем над людьми издеваться? При подключении сначала несколько роликов, потом картинки, потом реклама от какого-нибудь Яндекса. В итоге добираешься-таки до интернета, но первый же http-шный сайт опять перекидывает на рекламу. Это же насколько надо пользователей не любить, чтоб такое придумать. Про редирект после просмотра рекламы на тот сайт, с которого перекинуло, вместо wi-fi.ru, я уж вообще молчу.
n_demitsuri
08.02.2018 12:08Лучи негодования отправляются за принудительную переадресацию http-сайтов на рекламу без возможности потом снова вернуться на исходную страницу. Вы хотя бы внутри адреса, куда переадресовываете, делайте ссылку на исходную запрашиваемую страницу. Хорошо, что все больше https-сайтов, с которыми такие трюки не срабатывают.
Beshere
08.02.2018 14:18Постоянные дисконнекты идут в вашем вайфае. Или модель подкачала или антенны отечественного производства. Чините, а пока отписка.
satie
08.02.2018 14:19Пользуюсь вашим вай-фаем, все устраивает после некоторого времени, потраченного на привыкание (к отсутствию редиректа, необходимости выходить из приложений в браузер для просмотра рекламы/логина и т.д.), но я бы рекомендовал либо сменить копирайтер, либо вовсе убрать отбивки между рекламой или заменить на что-то более нейтральное.
А то фразы вида «Сегодня ты найдёшь свою любовь, а теперь дальше смотри рекламу» у лично меня ничего, кроме недоумения и кринджа (подскажите, как это сказать по-русски), не вызывают.
Eugene_H
Вайфай замечательный, жаль разлогинивает за две станции до выхода.