Сегодня банки всё активнее «оцифровывают» клиентские сервисы и каналы коммуникации со своими клиентами: персонализируют обслуживание на основе данных клиента, внедряют дистанционные сервисы самообслуживания, чат-боты, виртуальные ассистенты, в том числе системы с элементами искусственного интеллекта (AI) и технологиями распознавания речи. Стремясь расширить спектр клиентских услуг, банки осваивают и новые для себя сферы деятельности. Один из примеров – технология мобильных виртуальных операторов связи (MVNO, mobile virtual network operator). Сейчас мы совместно с «Теле2» участвуем в проекте «Банка Тинькофф» по созданию виртуального оператора «Тинькофф Мобайл».
Что такое «виртуальный мобильный оператор»?
На Хабре уже есть хорошие статьи, объясняющие суть «виртуального мобильного оператора». Здесь лишь скажем, что виртуальный мобильный оператор — это виртуальная (программная) сеть, управляемая одной компанией, использующая физическую сеть связи, принадлежащую другой компании.
«Тинькофф Мобайл» строится по схеме Full MVNO. Это означает, что, когда все компоненты будут введены в строй, с точки зрения создания клиентских услуг новый виртуальный оператор мало чем будет отличаться от оператора «настоящего». «Тинькофф Мобайл» будет арендовать ресурсы сети базовых станций у оператора-партнёра, в качестве которого выступает «Теле2», при этом инфраструктура ядра сети и бизнес-приложения у MVNO будут собственные. Весь клиентский трафик пойдет через виртуального оператора, который фактически является для абонентов точкой входа в интернет.
Архитектура виртуального оператора
Нашу компанию выбрали для построения элементов ядра мобильной сети. Для нас это был первый подобный проект — сегодня MVNO в мире мало, особенно в России. С момента старта проекта до совершения первого клиентского звонка прошло всего 4 месяца, это очень быстро по меркам телеком-индустрии. Система спроектирована так, чтобы можно было модернизировать её без остановки работы, просто добавляя вычислительные узлы.
Из каких «кубиков» состоит архитектура виртуального оператора? На текущий момент она выглядит следующим образом:
Инфраструктура состоит из двух одинаковых, полностью автономных площадок с функцией гео-резерва: при выходе из строя одной площадки абоненты автоматически продолжат обслуживание на второй. При этом в норме обе площадки работают в активном режиме, поровну разделяя между собой трафик абонентов. Все системы имеют многократное резервирование, как это принято в отрасли. Кроме того, для повышения отказоустойчивости широко используются кластеры высокой доступности.
Все представленные на схеме компоненты являются программными, исполняемыми на обычных серийных серверах. В основном это решения не традиционных крупных телеком-вендоров, а новые продукты компаний, которые активно выходят на рынок телеком-решений и теснят старых игроков. В частности, использованы узлы PGW/GGSN производства компании Affirmed Networks, узлы PCEF (DPI) производства Procera Networks и узлы PCRF Oracle. Конечно, традиционные вендоры тоже начали двигаться в сторону виртуализированных программных решений, но у них пока не получается полностью «отвязаться» от своих старых технологий, в то время как новые компании не имеют такого наследия, и их решения могут исполняться на любых платформах, на любых серверах любых производителей.
В телеком-отрасли всё шире используется Network Functions Virtualization (NFV), технология виртуализации сетевых элементов телекоммуникационной сети, фактически — виртуализация компонентов, обеспечивающих сервис для абонентов оператора связи. Сегодня одна из главных тенденций — отказ от специализированного и очень дорогого оборудования традиционных вендоров в пользу серийных серверов (commercial off-the-shelf, COTS) архитектуры x86 с установленным на них специализированным ПО. Причём оно работает под управлением виртуальной инфраструктуры, то есть запускается внутри виртуальных машин.
В рамках NFV применяются различные технологии виртуализации. Кроме базовой аппаратной виртуализации, позволяющей исполнять программные модули на виртуальной машине, эмулирующей взаимодействие с реальным «железом» сервера, можно строить программно-определяемую сеть SDN на базе виртуальных элементов сетевых функций.
При высоких сетевых нагрузках очень важно обеспечить надёжное взаимодействие с сетевой подсистемой из программных модулей, запущенных внутри виртуальной машины. То есть вопрос скорости работы с сетевыми интерфейсами стоит особенно остро. Один из способов — использовать режим PCI Passthrough, при котором PCI-устройство целиком передается в управление гостевой операционной системе. Это позволяет ей работать с устройством напрямую, не задействуя слой эмуляции на стороне гипервизора. Однако это затратный с точки зрения ресурсов способ, он не масштабируется и привязывает гостевую ОС, а значит и сетевую функцию, к конкретному экземпляру PCI-устройства.
Другой недостаток режима PCI Passthrough заключается в невысокой плотности размещения ресурсов из-за невозможности совместного использования одного устройства несколькими гостевыми ОС, потому что каждая гостевая ОС в таком режиме использует устройство монопольно. Поэтому мы предложили альтернативный подход — технологию Single Root I/O Virtualization (SR-IOV).
SR-IOV позволяет использовать устройство напрямую, как и в режиме PCI Passthrough, минуя гипервизор. Но при этом устройство доступно одновременно для нескольких виртуальных машин, независимая обработка прерываний и DMA для каждой машины выполняется с помощью технологии Virtualization Technology for directed I/O (VT-d).
При включении режима SR-IOV сетевое устройство «расщепляется» на одну физическую функцию (Physical Function или PF) и несколько виртуальных функций (Virtual Function или VF). Физическая функция (PF) остается на уровне гипервизора и под его управлением. Виртуальные функции (VF) передаются в гостевые ОС и становятся сетевыми интерфейсами виртуальных сетевых функций (NFV) для взаимодействия с внешним миром. Вопрос производительности VF внутри VNF решается за счет применения фреймворка Data Plane Development Kit (DPDK). Изначально он был разработан в Intel, а затем передан открытому сообществу. Фреймворк позволяет значительно повысить производительность NFV при обработке сетевого трафика. Использование комбинации DPDK и SR-IOV для виртуализации сетевых функций — обязательное требование при построении высокопроизводительного NFV-решения, поскольку от него зависит скорость работы «интернета» на смартфонах абонентов.
Итоги
Как уже говорилось, проект реализовали очень быстро. Состав оборудования необходимо было определить на самом первом этапе проекта, чтобы к моменту окончания работы над дизайном системы оборудование уже было доставлено на площадки и готово к монтажу. Задачу также усложняло использование решений разных вендоров, это потребовало скоординированной работы всех команд, работавших над проектом.
После запуска системы, первого звонка и первого выхода в сеть на смартфоне с SIM-картой нового виртуального мобильного оператора, ещё два месяца настраивались бизнес-правила, проводились приемо-сдаточные испытания. В итоге система вышла в коммерческий режим эксплуатации 14 декабря 2017 года.
Комментарии (23)
wrewolf
15.05.2018 13:26+1Итого Tele2 с вытекающим никаким покрытием. А ваши спамеры говорят, что MVNO базируется на базе всей большой тройки ОпСоС
interprise
15.05.2018 14:36тоже считаю, что выбор теле2 странный, но мы не знаем под коверной игры, возможно вариантов и не было.
Denis18
16.05.2018 17:12весь секрет в том, что никому из большой 3ки виртуальные операторы не нужны. И не просто не нужны, а рассматриваются как прямые конкуренты. Соответственно, добиться от 3ки вменяемых условий на подключение, если компания не аффилирована с мобильным оператором, — просто невозможно. Даже Сбербанк не смог выбрать себе ничего получше Теле2 ;)
Chamie
16.05.2018 17:59никому из большой 3ки виртуальные операторы не нужны
Ну, Йота частично виртуальная — 2G и 3G покрытие у неё мегафоновские.Denis18
16.05.2018 18:15Да, но только Йота — полностью Мегафоновская. Большая тройка развивает своих виртуальных операторов, «чужие» новые виртуальные операторы им не нужны. Поэтому все новые и идут в Теле2.
Viacheslav01
15.05.2018 14:40Я так понимаю, вариант тот же, что и у «бесплатного» роуминга Теле2, если в регионе присутствия нет Теле2, то разрешено работать из другой сети. Если Теле2 есть, вне зависимости от качества и покрытия, для меня критично в том же краснодарском крае, где покрытие желает лучшего.
Denis18
16.05.2018 16:24Это правда, и в отраслевой прессе освещались примеры когда абоненты Тинькофф работают в регионах где нет покрытия Теле2 %) Просто абоненту разрешено регистрироваться в сетях других операторов большой 3ки (где нет Теле2) и дополнительных денег ему это не стоит.
Nizametdinov
16.05.2018 00:15У нас в стране сейчас есть единственный тру мвно оператор, при чем работающий на сетях трех операторов — это Эра Глонасс, остальное псевдо-мвно с какими по вариациями частичного покрытия сетевых элементов.
Denis18
16.05.2018 16:30в приказном порядке строить true full mvno наверняка проще, чем коммерческого оператора ;)
Bessnov
16.05.2018 11:00Можно предположить что на этапе запуска не так важно какого оператора выбрали.
Банк только приходит на этот рынок. Сначала запустят технологию, оттестируют. Скорее-всего, для начала, на больших городах. Потом пойдут дальше. Точно так же, как операторы большой тройки запускали 3Г/4Г. Ведь не сразу на всей сети, правда?
И не думайте, что они прям становятся отдельным сотовым оператором, который хочет «уделать» других. Это расширение спектра банковских услуг. В зависимости от того как тратишь/хранишь деньги в банке, будешь получать определенное количество минут связи либо мобильного интернета.
То что уже делают и сами сотовые операторы. То что собирался делать Сбербанк. То что уже предлагает Ростелеком. В общем, Тинькофф молодцы! Идут в ногу с прогрессом.
JDay
15.05.2018 15:17Может кто подскажет, есть ограничения на раздачу инета? Предположим 3g — router — wifi.
TheIseAse
15.05.2018 17:22Нет, но тарифы на интернет довольно дорогие. Есть безлимит, но он стоит 999 рублей в месяц. Зато есть безлимитные пакеты на ютуб, мессенджеры, музыку и соцсети. Правда, при включенном VPN от них толку мало.
JDay
16.05.2018 17:34Всё познается в сравнении. У нас в офисе в Москве более-менее скоростной проводной инет стоит начиная от 7000/мес, йота 1400 анлим, но скорость желает оставлять лучшего.
Nizametdinov
16.05.2018 00:08На схеме только data трафик, голос эта схема не сможет обрабатывать(нет scp) — звонки абонам тинькова не положены?
Как решен вопрос с сорм(вы же полноценное мвно)?JetHabr Автор
16.05.2018 15:03Да, действительно, на схеме показано только ядро пакетной сети. Ядро голосовой сети пока остаётся на стороне MNO (Теле2) и голосовые вызовы у абонентов Тинькофф Мобайл, конечно же, работают. В то же время есть тренд на снижение интереса к голосовым сервисам со стороны абонентов. Многие новые виртуальные операторы, строящиеся сегодня по схеме Full MVNO, в качестве первого приоритета делают упор на собственное ядро пакетной сети, т.к. это напрямую связано с возможностями гибкого тарифного ценообразования, и уже во вторую очередь рассматривают построение ядра голосовой сети на своей инфраструктуре. Перенос GMSC на сторону MVNO добавляет гибкости виртуальному оператору в части реализации дополнительных сервисов и услуг, поэтому, скорее всего, он будет реализован на стороне MVNO, но в какие сроки и какие плюсы от этого получат абоненты, пока говорить рано.
Вопрос СОРМа вне зоны нашей ответственности, обычно операторы договариваются с производителями СОРМ напрямую. К нашему решению никаких специальных требований в части СОРМ не предъявляется.Nizametdinov
16.05.2018 15:46Вопрос СОРМа вне зоны нашей ответственности
Потому что вы не full MVNO, голос через вас не проходит.
К нашему решению никаких специальных требований в части СОРМ не предъявляется.
Ваши же слова в статье "«Тинькофф Мобайл» строится по схеме Full MVNO." Так что если строите Full — то предъявляются, как только голос затащите к себе, придут и требования СОРМ, но даже по текущей схеме — Яровая по вам уже плачет.
Еще вопрос UDR реализует функции HLR\HSS\AuC или это тоже пока у Теле2?JetHabr Автор
16.05.2018 16:05Мы как системный интегратор пишем о своей работе, а не оператора связи Тинькофф Мобайл. Мы поставляем решение, интегрируем, но не внедряем СОРМ на сети и не сдаём узел связи в РКН.
HLR,AUC, HSS — на этапе запуска на стороне MNO, сейчас оператором ведётся работа по внедрению этих элементов на своей сети.
vikarti
16.05.2018 14:15> Весь клиентский трафик пойдет через виртуального оператора, который фактически является для абонентов точкой входа в интернет.
Я правильно понимаю что в данном случае допустим клиент из Владивостока, который обращается к серверу в Владивостоке, пойдет через Москву (либо оператор должен специально данную ситуацию предусмотреть и ставить нужное железо по регионам)? (у Б3 по опыту все же не так плохо)
JetHabr Автор
16.05.2018 15:53Хороший пример. На первом этапе виртуальный оператор запускался для обслуживания абонентов Москвы и Санкт-Петербурга. Этим обусловлена централизация сервисных компонентов в Москве. По мере развития абонентской базы и экспансии в регионы на следующих этапах будут появляться региональные узлы, сначала на уровне макрорегионов, а затем, возможно, и на уровне областей страны. Работа в этом направлении уже ведётся, но размещение компонентов по всем регионам нашей страны требует определённых затрат и это становится оправдано, когда проект развивается успешно и региональная абонентская база растёт. В этом плюс для виртуального оператора на старте: сравнительно с небольшими инвестициями на старте можно быстро запустить сеть на всю страну и в дальнейшем развивать её, планомерно увеличивая пропускную способность и улучшая качество сервиса по мере набора абонентской базы.
kabal375
Какая основная мысль статьи?
Итоги как-то не соответствуют исходной структуре. Да и «структура» в данном случае — это громко.
Nizametdinov
На счет структуры это точно, напоминает рефераты в универе, когда в ночь перед зачетом берешь три первых попавшихся реферата из гугла, смешиваешь но не сбалтываешь, а утром несешь преподу.