Это корпоративный блог МТС. Здесь наши специалисты, отвечающие за связь и технологии, будут писать обо всем самом интересном. Начнем с директора Департамента эксплуатации конвергентных сетей и сервисов МТС Андрея Серегина. Итак, слово Андрею Вячеславовичу.
Доброго времени суток! Наконец-то у меня дошли руки до текста для Хабра.
Хочу поделиться своим опытом с профессиональной и интересующейся публикой. 4 года назад мы в МТС первыми в стране открыли Единый Центр оперативного управления мобильной сетью, который расположился в Краснодаре. В ноябре прошлого года мы официально открыли Единый Центр управления фиксированной сетью в Нижнем Новгороде. Таким образом, мы завершили централизацию мониторинга и управления всеми сетями – мобильной и фиксированной. И это первый в России опыт централизации такого масштаба среди телеком-операторов.
Пару слов о себе. Я закончил факультет «Микроприборов и технической кибернетики» Московского института электронной техники. Моя специальность – радиотехнические устройства, и я с удовольствием работаю в этой сфере уже 27 лет, в том числе 21 год – в МТС, где побывал сотрудником аварийно-ремонтной бригады, оператором центра управления и со временем стал руководителем по эксплуатации. На работе приходилось «лазить» с паяльником в приемо-передатчики и компьютеры, программировать на разных языках, подниматься на 70-ти метровые башни связи и управлять большим коллективом, закончив парочку МВА-программ. Но я всегда гордился и горжусь тем, что я инженер-связист, и в любой момент с удовольствием погружаюсь в любые технические детали работы нашей сети.
В первом ознакомительном посте расскажу вам, как мы с помощью наших уникальных центров контролируем работу сетей и оперативно устраняем аварийные ситуации.
Как мы следим за работой сети
Как вы уже поняли, задача единого центра управления сетью – мониторинг работы сети, управление устранением аварийных ситуаций на сети и плановыми работами. Имея два центра, наш департамент теперь полностью отвечает, как за мобильную, так и фиксированную сеть. Хотя понятия «фиксированной» и «мобильной» сети стали условными (мы называем нашу единую сеть конвергентной и предоставляем абонентам конвергентные сервисы). К примеру, нам нужно подключить крупного корпоративного клиента к ШПД. А у него в офисе «светит» базовая станция 4G. В таком случае, мы зачастую доступ к сети прокидываем через базовую станцию. То есть в офисе стоит обычный модем, который берет сигнал с 4G-станции. Дальше идет внутренняя ШПД-сеть. Поэтому, с одной стороны, мы предоставляем фиксированный доступ, с другой – через мобильную сеть. И наоборот, бывает, новую базовую станцию на объекте, к которому когда-то мы построили оптическую линию для предоставления услуг фиксированного доступа, мы включаем через эту оптическую линию.
Именно поэтому сейчас мы воспринимаем два наших центра как один, используя географическое разнесение для повышения живучести. Для нас важно, чтобы управление мобильной и фиксированной сетью находилось в одних руках, а не в разных структурах и на разных уровнях, как это было раньше.
Как мы решаем проблемы с сетью
В Центре оперативного управления у нас установлена зонтичная система мониторинга. На монитор оперативного дежурного со всей страны приходят сообщения о сбоях в работе оборудования сети или об изменениях условий его работы. Оперативный дежурный, прочитав сообщение, в течение 15 минут должен устранить неисправность самостоятельно, используя удаленный доступ к оборудованию, или назначить инцидент на решение инженерам на месте. Ход решения назначенного инцидента строго контролируется.
По статистике, самая частая причина проблем на базовых станциях – отключение внешнего электроснабжения. Когда отключается внешнее электроснабжение, станция автоматически переходит на работу от аккумуляторов, которые рассчитаны на несколько часов работы. При этом, как правило, внешнее электроснабжение восстанавливается достаточно быстро. То есть аварийная ситуация разрешается сама собой и не требует реагирования на нее. Поэтому не всегда оправданно торопиться реагировать на такие сообщения. Стоит подождать и оценить возможности базовой станции «противостоять» отсутствию внешнего электропитания и не вытаскивать из теплой постели дежурного инженера, и направлять его с генератором на базовую станцию. Более того, наш опыт показал, что можно эту работу поручить роботу, и он безошибочно решит, нужно ли подключать человека.
Часто дежурному приходится оперативно анализировать сразу несколько аварийных сообщений и группировать их в одно. К примеру, в конкретном месте у нас построены три базовые станции. Между собой они соединены радиорелейными линиями (две тарелки, как спутниковые, смотрят друг на друга и связывают базовые станции). Если одна «релейка» выходит из строя, то вся цепочка базовых станций за ней, если нет никакого резерва, не работает, и дежурному оператору приходят сообщения о сбое в работе нескольких базовых станций. Глупо заводить инциденты по всем станциям, когда чинить нужно отдельный «пролет». Такие аварийные сообщения могут автоматически «схлопываться» в одно сообщение, но там, где это невозможно программно настроить – это приходится делать дежурному. Все это называется корреляция аварийных сообщений.
90% аварий устраняются удаленно, из центра управления, так как почти вся инфраструктура у нас построена на компьютерах. Но если надо что-то исправить руками, поменять физически плату, починить антенну, то направляется полевая бригада. За организацию их работы тоже отвечаю я. В каждом регионе обязательно есть свои две-три бригады, чтобы у нас была возможность за короткий срок добраться до объекта. Радиус действия бригады доходит до 400 км.
Много ли аварийных сообщений в день?
В день на монитор оперативного дежурного поступают тысячи аварийных сообщений. Инцидентов регистрируется порядка 800-900 за 12-часовую смену. 4 года назад сообщения поступали к оператору каждые пять секунд, регистрировалось 1200 инцидентов в смену. Сейчас мы автоматизировали многие вещи, усовершенствовали анализ сообщений и частично автоматизировали процесс создания «инцидентов». Это позволяет нам контролировать гораздо больший объем оборудования.
Влияют ли аварийные ситуации на клиентов?
Нарушение клиентского сервиса при возникновении «инцидента» напрямую оценить сложно. И вот почему. Представьте, в Москве базовые станции стоят практически каждые 200 метров. И если включить телефон в режиме мониторинга, то можно увидеть, что в одном конкретном месте он ловит сигнал сразу нескольких базовых станций. Если одна базовая станция выключится, то ты все равно спокойно сможешь звонить, отправлять SMS, пользоваться интернетом. Но для нас это все равно инцидент. И мы его оперативно решаем. Ведь чисто теоретически один из клиентов может находиться в офисе с какими-нибудь экранированными окнами, где до него «добивает» только одна конкретная ближайшая станция (так как сигнал при проникновении в эту «железную коробку» может ослабнуть в тысячу раз).
Но если в целом смотреть на общий трафик фрагмента сети при выключении одной базовой станции, то он не изменится. Он перераспределится между другими станциями. Говорить о нарушении клиентского сервиса в такой ситуации, как минимум, неправильно. Я не знаю в мире ни одной компании, которая умела бы строго рассчитать, насколько пострадал и пострадал ли вообще сервис в такой ситуации.
Вот так в общих словах выглядит то, чем я занимаюсь профессионально. О чем бы вы хотели, чтобы я рассказал в следующих своих постах?
Комментарии (59)
AcidVenom
18.08.2016 15:51+3А по каким вопросам к вам Роскомнадзор обращается в основном?
calvin_rus
18.08.2016 20:27+2Может от радиочастотного центра в основном? По опыту работы в ОРТПЦ, помню их любовь бдительно сообщать об уходящих несущих, неправильных мощностях и.т.д.
Или как вариант — проблемы доступности ресурсов «черного» списка\недоступности ресурсов, на которых ограничений не наложено.
iceMercy
19.08.2016 00:20Это в каком регионе РЧЦ следит за мощностью? Ее ведь невозможно измерить дистанционно, потому всем пофиг.
Санитарно-Эпидемиологическая служба может заняться замером ЭМП в конкретных точках пространства.
yakov_cyb
19.08.2016 16:12>Это в каком регионе РЧЦ следит за мощностью? Ее ведь невозможно измерить дистанционно
давно?
Loxmatiymamont
18.08.2016 16:12+412 мониторов на одного. Что делает этот человек?
zar0ku1
19.08.2016 11:08+1Там преимущественно графики нагрузки, судя по интерфейсу это кактус или подобное
VitMain
19.08.2016 16:11Как это ни странно, но он работает, на большей части мониторов вывод от cacti, весьма удобно периферическим зрением отсматривать аномалии по трафику.
Bessonnica
19.08.2016 16:13Мониторинг передачи данных и услуг, и мониторов 13ть есть еще плазма на 32 на стене.
mr_tron
18.08.2016 16:13Картинка про соединение БС:
Емкость ограничена — десятки и сотни Мбит/с
Большая емкость — десятки и сотни Мбит/с
Christoph
18.08.2016 16:25+10Как работает служба безопасности МТС?
Считаете ли вы, что при обработке запросов от правоохранительных органов или неких третьих лиц возможно отключение на приём СМС-сообщений вашим клиентам?
mihmig
18.08.2016 17:20+6Пользуясь случаем прошу ТС, как технического специалиста прокомментировать такое «нововведение» компании:
У знакомой женщины и её дочки (но не у меня, следовательно вероятно был проанализирован «профиль» абонента) на телефоне начали всплывать сообщения (не SMS и не Flash/Push). При заблокированном экране. И на сенсорном телефоне с Android И на кнопочном «двухсимочнике» Explay — что исключает возможность вирусов.
При случайном ответе ДА (вероятность 50% на кнопочном телефоне при нахождении его например в дамской сумке) — хоп! — подписочка/платная услуга оформлена.
Позвонил в КЦ (спасибо кстати за услугу обратный звонок — теперь не надо ждать по пока освободится оператор) с вопросом WTF?
Мне ответили примерно следующее:
в вашем регионе стала доступна услуга «МТС — новости»
Насколько я понял — данная услуга обеспечивается ПО на сим-карте(!) — снимаю шляпу перед менеджерами МТС!
оставил заявку на отключение «услуги», затребовал сообщить номер сервисного запроса.Ev4n7
18.08.2016 20:27в Украине, переименовали МТС, теперь это Vodafone, а подобная услуга называется «клiк», так она отключается отправкой слова OFF на определенный номер. Не будет «выскакивать» пока не вытащишь симку. Так что уточнить у оператора по альтернативе, или же если вы из Украины, по отмене данной услуги.
webmasterx
19.08.2016 02:03отключайте на телефоне приложение sim toolkit. Сейчас наверное все операторы этим пользуются. На мегафоне такое ловил и не мог долго понять почему теелфон сам по себе вибрирует иногда. Вот только на нексус5 всплывающие сообщения исчезают при заблокированном экране
crypby
18.08.2016 17:29Расскажите про самые необычные кейсы по организации связи. Дальние регионы/сложная застройка. Например, процесс включения новой БС с технической точки зрения, РЧП.
QDeathNick
18.08.2016 17:30+1Очень интересно было бы услышать про мониторинг сети на появление фейковых БС и вообще подозрительной активности в сети.
Какие есть новые разработки в этой сфере у вас?
Gorodnya
18.08.2016 17:44Инцидентов регистрируется порядка 800-900 за 12-часовую смену
Скажите, пожалуйста, сколько из них действительно аварийные ситуации или, возможно, часть отпадает как ошибочное сообщение?
PavelMSTU
18.08.2016 17:56Но для нас это все равно инцидент. И мы его оперативно решаем. Ведь чисто теоретически один из клиентов может находиться в офисе с какими-нибудь экранированными окнами, где до него «добивает» только одна конкретная ближайшая станция (так как сигнал при проникновении в эту «железную коробку» может ослабнуть в тысячу раз)
Можно вопрос по поводу района Беляево (Москва). Часто пропадает сеть. Местные придумали уже миф, что якобы глушит Московский Университет МВД во время внеплановых учений ;))…
И все же — в чем причина?
karlkarlovi4
18.08.2016 19:41+1Тоже интересует обнаружение подозрительной активности на сети, как реагирует ЕЦУС и что предпринимает при обнаружении.
Статья вышла очень поверхностной.calvin_rus
18.08.2016 20:37+1Поддерживаю, хотел бы услышать, какими средствами ведется мониторинг. Вижу заббикс, но, наверное, он там чутка допилен под свои нужды. Почему был выбран именно он, а не nagios\cacti? Я понимаю, что это холивар, но мнение людей, организовавших такую систему мониторинга интересно.
SmartVolk
25.08.2016 12:27Вообще-то, для мониторинга применяются самые разные средства, в том числе фирменные. Например, есть такая система управления U2000, достаточно универсальная, она мониторит оборудование Huawei, например, маршрутизаторы backhaule. Есть системы управления БС от эрикссон. А вообще, очень много оборудования мониторится, используя IP-протокол. И не только в МТС. Иначе говоря, с помощью обычного браузера путём ввода соответствующего IP-адреса (не публичного, разумеется, что-то вроде 10.х.х.х) попадаешь в программную оболочку (зависит от фирмы) конкретного устройства, которое имеет ещё сетевое «имя», присваиваемое при создании этой специфической сети управления. Можно управлять устройством, находящимся в любой точке Земли. Обычными IP-пакетами, просто их наполнение более специфическое, чем при вэб-сёрфинге.
calvin_rus
25.08.2016 20:39Спасибо за ответ, но не его я хотел услышать. Понятное дело, что все или почти все мониторится по SNMP, остальное либо глупое и не важное, либо самое умеет письма на почту слать, и один фиг SNMP заставить работать можно. А серверной стороне, как правило Zabbix, Nagios и.т.п. Управляется тоже, понятное дело, по telnet, веб-морде или реже по ssh, и можно даже по все тому-же snmp.
Сам отвечаю за несколько РГС кабельного ТВ и занимаюсь доработкой существующих внутренних систем мониторинга под ШПД. Суть моего вопроса был именно в том, что бы узнать, как и зачем был доработан стандартный мониторинг, если, конечно, это информация не закрытая.
Например, как рисовались карты сети. Вручную? Все объекты на одном слое? Хотелось бы просто посмотреть, что использую коллеги.
Про U2000 погуглим.SmartVolk
26.08.2016 08:54Наверное, нет такого понятия «стандартный мониторинг». Мониторится индивидуально оборудование, и есть различия по типу оборудования (технология, которую оно использует), и подход конкретного производителя. Например, программная оболочка уже устаревших (как и сама технология) мультиплексоров SDH фирмы Lucent в одном из представлений показывает карту сетевых элементов со связями между ними. Можно добавлять новые сетевые элементы, можно создавать новые пути (кроссконнект), система сама построит на «карте» нужные связи. Помню, для устаревших уже релеек эрикссон тоже была фирменная программа, позволяющая посмотреть уровни на приёме/передаче, сделать заворот (программный шлейф). Или ещё например, оборудование DWDM израильской фирмы ECI — у них своя система управления, где на «карте» нарисованы сетевые элементы и образованы связи между ними. И так же можно посмотреть аварии, температуру и прочее. Напротив, у нас DWDM Alcatel-Lucent, не имеют такой системы управления, есть вэб-интерфейс. Всё индивидуально. А что касается схем — так да, что в МТС, что в Ростелеком, они рисуются руками в офисном пакете Visio, лично я этим в Ростелекоме занимаюсь всё время что работаю — сеть всё время меняется, нужно обновлять схемы, вносить исправления. Кстати, эта работа мне очень нравится. Но эти схемы — не мониторинг, они только помогают осознать картину сети, найти место аварии. Ну и конечно, Cacti — в ЕЦУС он широко используется. Во первых, бесплатный потому что. Во вторых, очень удобно. Есть у нас, например, маршрутизатор Cisco. Но как оценить трафик, протекающий по его портам? А тут наглядно. И если он просел на каком-то порту, можно предположить аварию, а далее по схеме, куда этот порт смотрит, искать эту аварию. Например, идёт этот трафик по арендованному каналу или волокну. Сразу ищем провайдера и в его службу поддержки запрос. Также посмотрев колебания трафика за определённый период, можно по резким изменениям предположить, что что-то случилось, и искать причину. Всё это — тоже мониторинг. Кстати, в Ростелекоме вместо Cacti используется MRTG — суть та же, другой разработчик. Для мониторщика главное — не проспать аварию. Всё остальное — дело привычки.
m1ld
18.08.2016 19:41+3Помещение явно не для такого количества источников тепла и людей, что там работают. И куча листов на лопастях кондеев говорят, что работать-то то не очень комфортно.
AcidVenom
18.08.2016 19:44+1А еще у главного оперативного дежурного открыто 2 Аутлука — за двоих работают.
AstorS1
18.08.2016 23:10Достаточно типичная и удобная организация работы персонала дежурных служб инженерной поддержки, например, открыт личный и групповой почтовый ящик.
AcidVenom
18.08.2016 23:33Если честно, я не встречал двух одновременно работающих почтовых клиентов. Неужели так много времени тратится на переключение в другую учетку в окне Аутлука?
SmartVolk
25.08.2016 12:29Это точно. И когда кушаешь в столовой (помещении для приёма пищи), неприятно, что тебе в рот смотрит видеокамера.
vitalvas
18.08.2016 23:46+1Как происходит сбор данных? Используете пассивные, активные или комбинированные методы проверки?
Данные сливаются в один ЦОД или в несколько? Если в один, то не боитесь стать «слепыми», если ЦОД с мониторингом уйдет в оффлайн?
Какой используете мониторинг?(кроме какти — его сложно не заметить) Вендорный, самописный или что-то из открытого?
Используете машинное обучения для прогнозирования выходу из строя оборудования или для автоматизации процессов?yakov_cyb
22.08.2016 09:46>Используете машинное обучения для прогнозирования выходу из строя оборудования или для автоматизации процессов?
до этого — как до луны пешком.
calvin_rus
25.08.2016 21:02>Используете машинное обучения для прогнозирования выходу из строя оборудования или для автоматизации процессов?
ИМХО слишком много факторов, которые так просто не учесть. Возьму близкое мне ШПД. Например, погода. В +40 на юге начинают умирать коммутаторы на чердах, во время уроганов рвутся оптики, а грозы убивают кучу портов и коммутаторов, там где сети построены без должной грозозащиты.
Воровство оборудования, срезы оптики, электрики, щелкнувшие в домовом ВРУ «не тот автомат» — это вообще отдельная песня, которую сложно поддается анализу.
И это 95% аварий.
Да, можно создать великую нейросеть, которая будет писать в стиле «милорд, на деревню Гадюкино надвигается гроза, возможно сгорание от 2 до 10 коммутаторов». Для расчета ЗИПа это мало применимо, ибо есть четкие нормативы. А проблемны сети и так должна знать эксплуатация на месте.
Автоматизируют процессы, я думаю, все. Но отдавать функцию составления подобных скриптов машине на данном этапе я бы не стал, все-таки электросвязь сфера консервативная, ибо это деньги и системы от которых зависит огромное количество людей.
the_Grey_Maybe
19.08.2016 13:38Возможно ли посмотреть статистику на текущий момент о количестве перенесенных номеров между операторами?
в виде таблички например (от оператора к оператору)
pavelklymenko
19.08.2016 16:23Подскажите, пожалуйста, какую зонтичную систему мониторинга используете и что входит в ее функционал (корреляция аварийных событий, эскалация и т.д.)
AleXP3
19.08.2016 16:28+1О чем бы вы хотели, чтобы я рассказал в следующих своих постах?
Андрей Вячеславович. Учитывая Ваш опыт и стаж работы инженером-связистом очень хотелось бы услышать рассказ о современных молодых инженерах, работающих под Вашим началом как в ЦОУ так и «на земле». Об их знаниях, полученных в процессе обучения в современных ВУЗах. О работоспособности и целеустремленности в работе. В общем хочется понять насколько нынешнее поколение инженеров отличается от предыдущих. Пусть это будет лично Ваше субъективное мнение, но оно весьма интересно.
Скорее всего подобный обзор наверное на гиктаймзе.ру правильнее разместить, но можно наверное и в блоге компании тут.
musanki
21.08.2016 23:06Расскажите про ваши тесты, какие есть и чем тестируете, про IREG. Было бы интересно почитать :)
SmartVolk
22.08.2016 13:59+1Хотел бы немного добавить в эту интересную статью материала «с места событий». Я работал в данном заведении с момента его основания (точнее, даже ещё когда МТС мониторила только МР «Юг») до лета 2013. Из просто «транспортника» я стал мониторить сеть IP/MPLS в качестве ведущего инженера (сменного). Вот по поводу релеек, кстати. Не все знают, что в определённые моменты микроволновый канал прерывается; например, строится очередная высотка, кран ездит по рельсам и периодически нарушает работу РРЛ. Что приводит к падению БС, естественно. А если сайт узловой, то по цепочке падают и другие БС. Это может привести к нарушениям работы связи вплоть до разрыва разговора. Абоненты, которые не знают этих нюансов, бранят оператора связи, хотя в данном случае он совершенно не виноват. Или те же РРС могут падать в определённые атмосферные явления — туман, например. Со всеми вытекающими. Они работают на очень высоких частотах, порядка 12 ГГц, это примерно тот же диапазон спутниковой связи. Радиоволны в этом диапазоне очень чувствительны к парам воды, которые поглощают энергию сигнала. МТС понастроила много станций 3G за последние несколько лет, и постепенно перевела их на Ethernet-протокол. Как следствие, мы видим увеличение скорости мобильного интернета и связанных сервисов. Но для передачи таких потоков требуются или оптика, или высокопроизводительные РРС, а это напрямую связано с увеличением рабочей частоты. Так что всё по учебнику физики. Ну, что касается ЕЦУС, то в одной небольшой статье нельзя даже в самом общем виде окинуть специфику его работы. Нюансов настолько много, что можно говорить часами. Единственное, о чём нужно сказать, что этот центр необычайно важен для работы сети. Он держит руку на пульсе всей машинерии компании от Калининграда до Дальнего Востока и Крайнего Севера. И работа там порой очень трудна. Есть, правда, трутни и там. Благодаря одному такому я теперь там не работаю (впрочем, всё равно занимаюсь транспортной сетью, только в Ростелеком). Вот я слышал, что поддержка абонентов очень тяжёлая работа, стрессы и так далее. Не знаю, возможно. Но работа в смене мониторинга ЕЦУС — это огромная ответственность и тяжёлый труд, а также очень большая компетентность. К сожалению, руководство это вряд ли понимает. Это интересная и тяжёлая работа, и от неё зависит работоспособность сети МТС полностью. Технологический аспект работы сети этим центром обеспечивается целиком. Вот только люди… они, как всегда, остаются незащищёнными и уязвимыми.
mtivkov
25.08.2016 16:16Процессы "повышения эффективности" в МТС такие же идут?
https://habrahabr.ru/post/297678/SmartVolk
25.08.2016 16:28+1К сожалению, я уже не работаю в МТС и ЕЦУС конкретно. Прошло три года, в МТС много чего поменялось. В ЕЦУС тоже, как я наслышан от бывших коллег. Но процессы «повышения эффективности», они универсальны для всех. В Ростелекоме, где я сейчас работаю, это очень заметно. Урезают всё, что можно и нельзя. Для простых смертных, конечно. Так, например, я уже третий год ВРИО руководителя группы на время отпуска и отсутствия (3 инженера в подчинении). С этого года отменили доплату за совмещение. Отменили повышение оклада в связи с инфляцией. Трёхэтажное административное здание, где находится узел доступа (практически, находился — две большие комнаты с магистральным транспортным оборудованием DWDM и т.п.) — выставлено на продажу. Большое здание, где был учебный центр для всего края и госуниверситета — продаётся. Пришли эффективные менеджеры. В билайне мой однокурсник стал начальником отдела, теперь перестал — отдел разогнали и сократили, благо он остался. Всё сводится к сокращениям и аутсорсингу. Это и в МТС — в подмосковье, насколько я знаю, эксплуатацию всей инфраструктуры отдали на аутсорсинг Nokia-Siemens. Так что мы все идём этой светлой дорогой. Это очень печалит меня как инженера электросвязи. А связью я занимаюсь уже лет 20.
cpcat
23.08.2016 10:57+2Вы недавно анонсировали передовую услугу по угону чужих аккаунтов Telegram. Напишите подробней, как это работает, сколько стоит, к кому обращаться? Большой ли популярностью пользуется услуга? Будет ли платный антиугон? А анти-антиугон тоже?
vsarakoff
А сколько инженеров у вас в одной смене?