Надёжность онлайн-сервисов сегодня востребована не только в бизнесе, для непрерывности бизнес-процессов, но и в быту. Ведь интернет давно стал частью повседневной жизни, столь же необходимой, как вода, тепло и электричество. Для того чтобы предоставить своим абонентам качественный сервис, провайдеру нужна современная сетевая инфраструктура.



Сети доступа позволяют пользоваться телекоммуникационными услугами миллионам семей, желающим подключить высокоскоростной домашний интернет или выбрать пакет услуг, включающий кабельное телевидение и интернет. За счет чего обеспечивается их надежность, позволяющая нам в любое время пользоваться Интернетом, общаться с друзьями, смотреть ТВ? Что лежит в основе современных телекоммуникационных услуг, благодаря которым абоненты получают доступ в интернет, телевидение, телефонную связь?


В настоящее время «ОнЛайм» предлагает полноценные услуги Triple Play – широкополосный доступ в интернет, телевидение (цифровое и интерактивное) и телефонию. На сети функционируют и другие услуги, например, видеонаблюдение, снятие показаний с домовых счетчиков потребления воды и тепла (для передачи таких данных выделяется отдельная VPN).

Посмотрим, как устроена сеть «ОнЛайм», телеком-провайдера «Ростелеком» в Москве.

Кольцо к кольцу


Магистральная городская сеть построена с использованием кольцевой архитектуры, что позволяет применять механизмы защиты на уровне DWDM (Dense Wavelength-Division Multiplexing — плотное частотное разделение каналов) со временем восстановления менее 50 мс. Кольцевое резервирование сети DWDM позволяет «Онлайму» увеличить надежность, пропускную способность и эффективность её использования, кроме того, это задел на будущее:– основа технической готовности к пропуску растущих объемов трафика.

Она повторяет административное деление Москвы, охватывая все столичные округа.

Каждый магистральный окружной узел включает в себя телевизионную головную станцию и маршрутизатор IP/MPLS. Все 10 окружных узлов связи объединены в физическое кольцо с использованием DWDM, а логически образуют двойную звезду, опирающуюся на два мощных узла ядра сети IP/MPLS. От окружных узлов связи внутри каждого округа расходятся окружные кольца, проходящие через все районы, в свою очередь в каждом из которых располагаются районные узлы связи. Каждое окружное кольцо опирается на два разных окружных магистральных узла. В состав районных узлов входит оборудование агрегирования и районная головная телевизионная станция.  В каждом районе есть также несколько районных колец. Они проходят через весь район. На них опираются так называемые кластеры – небольшие кольца доступа, охватывающие группы из 10 домов. Таким образом, вся эта сетевая структура напоминает ромашку с лепестками в виде окружных, районных колец и колец доступа.

Кольцевая архитектура сети ШПД выбрана не случайно. В сетях кабельного ТВ отказоустойчивость традиционно обеспечивается с помощью кольцевых топологий: телевизионный сигнал в них передается в двух направлениях и контролируется оптическими коммутаторами. Если пропадает сигнал в одном направлении, подхватывается резервное.

В 2007 году совместно с правительством Москвы было принято решение о модернизации телевещания – с крыш домов исчезли антенны, и все телевещание ушло в оптические сети. Сегодня те же сети используются и для передачи данных – широкополосного доступа в интернет. На уровне агрегирования и ядра сети основные протоколы – IP/MPLS, а на уровне сети доступа – протокол Spanning Tree.

В ядре сети ШПД «ОнЛайм» – высокопроизводительное оборудование Alcatel-Lucent  7950 XRS-20 с высокой плотностью портов, те самые два узла, о которых шла речь выше. Именно в эти две точки стекается весь трафик абонентов. Они связаны с «внешним миром» через магистральную сеть «Ростелекома» и основные точки обмена интернет-трафиком: M9, M10, MSK-IX, SPB-IX и др.


Alcatel-Lucent XRS 7950 – мощная платформа для магистральной маршрутизации. Она решает широкий спектр задач, встающих перед операторами. Поддерживая до 160 портов 100GE на одном шасси, маршрутизатор 7950 XRS предоставляет полный спектр возможностей для IP-маршрутизации, MPLS коммутации и создания новых услуг. Система включает 20 слотов с совокупной производительностью каждого 400 Гбит/с и поддерживает интерфейсы 10GE, 40GE, 100GE.


В сети «ОнЛайм» используются стандартные граничные коммутаторы доступа хорошо зарекомендовавших себя вендоров – Edge-CorE, Qtech и др. В масштабах города – это 44 тыс. коммутаторов. Непосредственно к ним «витой парой» подключаются абоненты.

Альтернативные географически разнесенные маршруты помогают достичь высокой отказоустойчивости сети. Единичная авария на уровне округа или района не влияет на её работоспособность. В сети «Ростелекома» все линии закольцованы: порвется в одном месте – сигнал пойдет через кольцо с другой стороны. Лишь при двукратной аварии в кольце часть абонентов на какое-то время могут остаться без связи. Как правило, такие аварии являются маловероятными.

Принцип резервирования заложен и в основу сетей кабельного ТВ. Сейчас в сетях кабельного ТВ «ОнЛайм» 10 окружных и 110 районных станций. На головных станциях для резервирования телесигнала используется эфирная антенна. Центральная головная станция формирует весь телепакет – 50 каналов «обычного» кабельного и более 200 каналов цифрового ТВ. По сети IP/MPLS они передаются на окружную головную станцию, которая по оптической сети раздает их по округу – по каждому району. При выходе окружной стации из строя телесигнал автоматически подхватывается соседней головной стацией и отдается в округ.

Оптические ТВ-коммутаторы на каждой районной телевизионной станции выбирают лучший сигнал из нескольких источников и передают его дальше. Таким образом осуществляется резервирование на каждом участке сети кабельного ТВ. В каждый дом с двух направлений по оптике приходит телесигнал, и двухвходовый оптический приемник отдает сигнал в телевизионную коаксиальную сеть жилого дома. Подробнее о том, как работает интерактивное и цифровое ТВ «ОнЛайм», рассказывается здесь.

Под землёй и в небе


Альтернативные операторы строят в столице свои сети доступа районного уровня с помощью так называемых воздушно-кабельных переходов (ВКП). Эти кабели, протянутые между зданиями, знакомы каждому жителю. Решение не очень эстетичное, зато недорогое — ведь доступ в канализацию обходится недешево. По этой причине канализация используется лишь для обеспечения связности уровня города. В случае сети «ОнЛайм» в ней лежит двойная звезда DWDM (магистральный уровень) и окружные оптические кольца (уровень агрегирования). Возникает закономерный вопрос, насколько надежна вся эта паутина оптических кабелей? На самом деле, обрывы – достаточно редкое явление.


Даже во время ледяного дождя 2010 года ВКП «ОнЛайм» успешно выдержали «испытание на разрыв»: лишь несколько домов на какое-то время остались без связи. Это одна из самых надежных сетей доступа в Москве.

«Тормоза» и сбои в работе


Итак, вся волоконно-оптическая сеть «ОнЛайм», вплоть до домового коммутатора, резервируется. При любой одиночной аварии в кольце связность не теряется. Однако линия от домового коммутатора до абонента не резервируется. Оптоволокно идет только до оборудования компании, установленного в доме. Внутри дома от коммутатора по слаботочному стояку до помещения абонента проложена «витая пара» Категории 5е. Теоретически, это слабое звено. Возможна порча кабеля, обрывы.

Гораздо чаще возникает другая ситуация. Нередко пользователи жалуются на несоответствие реальной скорости передачи данных заявленной провайдером скорости. Между тем в тарифном плане указывается только скоростная характеристика выделенного канала. Не все понимают, что заявленная скорость – это скорость, на которой пользователя «пускают в сеть». То есть скорость внутри сети провайдера. Возможны также незначительные погрешности измерения скорости. К тому же на скорость скачивания влияют самые разные факторы, например, загрузка канала до сервера, загрузка самого сервера, аппаратное и программное обеспечение компьютера. И не факт, что компьютерное оборудование пользователя или его домашняя сеть Wi-Fi такую скорость обеспечивают. Да и не все сайты в интернете достаточно «шустры» для этого. Кстати, после 30 Мбит/с повышение скорости не сделает работу в сети более комфортной – разница будет заметна лишь во времени закачки больших файлов.

Чтобы проводить разъяснительную работу среди пользователей, «ОнЛайм» запустил специальный проект – «Лаборатория скорости». В рамках проекта бригада профессионалов ОнЛайм приезжает домой к абонентам и замеряет скорость интернета. Цель – убедиться, что скорость соответствует заявленной в тарифе.

Перспективы


Развертываемые в настоящее время оптоволоконные сети доступа базируются на различных архитектурах и технологиях. Тщательно продуманные стандарты для этих технологий и доступность необходимого оборудования обусловливают динамичное развитие этой отрасли, стимулируют крупных операторов связи инвестировать средства в оптоволоконные сети доступа.

Сеть «Онлайм» все время растет и развивается, сетевое оборудование обновляется продуктами из новых линеек. Специалисты осуществляют постоянный мониторинг загрузки сети – количество подключенных абонентов в разных домах может значительно различаться. Рост абонентской базы (увеличивает нагрузку на сеть доступа. Когда пропускная способность отдельных ее сегментов используется более чем на 80%, пора думать о модернизации – переход на более скоростные интерфейсы 10/100GbE или организации новых каналов передачи данных. Однако архитектура сети ШПД и основные принципы резервирования, обеспечивающие надежность сетевых сервисов, остаются неизменными.

Комментарии (38)


  1. RZK333
    09.10.2015 15:45

    переход на более скоростные интрефейсы

    когда будет конкуренция с 2kom? (1G подключение + отсутствие VPN/PPPoE и пр.)

    просто оставлю это здесь:
    слева ночной гигабит, справа дневной шейпер
    image
    ночной гигабит #2
    image

    Скрытый текст
    ps: где-то дома лежат скрины с морды mikrotik на продолжительном интервале.


    1. BigD
      09.10.2015 15:50
      +4

      У Онлайм нет VPN/PPoE.


      1. RZK333
        09.10.2015 16:21
        -2

        серьезно? видимо что-то напутал, всегда думал что у ростелека pppoe.


        1. PingWin
          09.10.2015 16:32
          +3

          Да, голый IPoE с белым динамическим IP. Правда он больше похож на статический, на пару суток роутер выключал — ip не поменялся.
          Заодно и IPv6 адрес тем же образом выдают (правда неофициально, но работает).

          https://habrastorage.org/files/434/f89/9a8/434f899a8a714c588c3895aca469e0d7

          PS: Дожил, кармы не хватает даже картинку в комментарий вставить :(


          1. la0
            09.10.2015 16:39

            Белых IP у меня нет уже как год. Проверил, у меня выдаётся из 10.0.0.0/8.


            1. wrewolf
              09.10.2015 17:15

              белого не дают на дешевых тарифах.


              1. la0
                09.10.2015 17:23

                Соседи платят 1к в месяц. Всё равно серый.


                1. PingWin
                  09.10.2015 18:20
                  +2

                  Где-то на форуме видел инфу, что негласно при скоростях до 50мбит сажают за NAT, а при скоростях выше, соответственно, белый.

                  PS: За что купил — за то и продаю :)


                  1. la0
                    09.10.2015 18:49
                    -1

                    Спасибо за информацию.
                    Я это всё просто к тому, что белый IP это не для всех и особо на него надежды нет…


                    1. wrewolf
                      11.10.2015 23:04

                      Раньше было для всех.


                  1. wrewolf
                    11.10.2015 23:03

                    Тоже самое видел, сам сижу на 70/70 тарифе за ~500р.


              1. bougakov
                09.10.2015 17:28
                +3

                у меня какой-то дешёвый тариф рублей за триста — накинул 150 за static ip, т.е. интернет в итоге обходится в 450 рублей.

                в нечастые моменты, когда надо все 100 мегабит, оплачиваю временное ускорение бонусами, благо они копятся легко.


            1. IlyaLis
              16.10.2015 11:40

              В связи с тем, что во всем мире в рамках протокола IP v.4 закончились публичные адреса, компанией принято решение о введении приватных IP адресов.
              Получить динамический внешний IP адрес можно при переходе на тарифный план с входящей скоростью 60 Мбит/с и более. Также, внешний IP адрес предоставляется при подключении дополнительной услуги «Статический IP». В остальном качество и наполнение наших услуг не меняется.


          1. wrewolf
            09.10.2015 17:15

            а как получить ipv6?
            а то для себя я решил это через туннельного брокера, но не сильно эстетично…

            время аренды большое, но бываем можно потерять просто на ребуте роутера, а иногда сохраняется если на выходные обесточить квартиру


            1. PingWin
              09.10.2015 17:22

              Выдают по DHCPv6-PD блоки /56, кажется.

              В общем-то, кроме как включить DHCPv6 делать ничего не надо — само всё прилетает. Единственное, говорят не во всех районах работает. Но я раньше жил в кунцево, теперь в вешняках — и там и там есть…


              1. wrewolf
                11.10.2015 23:02

                Ну мой роутер не принимает от прова его по dhcp, видимо не повезло


            1. IlyaLis
              16.10.2015 11:40

              Протокол IP v.6 на текущий момент функционирует в тестовом режиме.


              1. wrewolf
                16.10.2015 12:12

                В тестовом значит где то есть, а где то нет?


        1. sayber
          10.10.2015 00:47
          +1

          Onlime был до ростелекома, потом они просто купили onlime.

          У меня дома 2 провайдера, первый и основной smile-net, 1gb канал, второй для сети wifi по дому, onlime.


        1. ipswitch
          11.10.2015 16:19
          -2

          В Московской области (бывший Центртелеком) у «ростелека» действительно PPPoE. Но там ADSL. И нет бренда Онлайм.


  1. p4s8x
    09.10.2015 17:15
    +3

    От Вас отключиться все такой же геморрой? Раньше нужно было ехать хрен знает куда, терять пол дня и только в рабочее время.
    А отключаться от Вас пришлось из-за того, что договор у вас к адресу привязан, а не к человеку.
    Хрен с ними с потерянными за 3 года накопленными баллами, статусами, но вот из-за процесса отключения… (и его необходимости вообще при смене адреса) — не хочется больше с вами связываться вообще.


    1. ryvasy
      10.10.2015 17:04

      Года полтора назад переезжал, для отключения и возврата остатка денег со счета было достаточно отправить отсканированное заявление, бланк на сайте где-то есть.
      Бонусы вот потерялись, это таки да


    1. IlyaLis
      16.10.2015 11:40

      Расторжение договора в зависимости от состава услуг может быть произведено как при личном визите в офис компании, так и при обращении на электронную почту onlime@rt.ru.
      Также хотелось бы отметить, что на текущий момент у нас появилась возможность переноса договора с одного адреса на другой в случае переезда (подробнее об услуге «Переезд»: www.onlime.ru/abonents/move).


  1. rukipalki
    09.10.2015 17:31

    пришли ко мне монтажники, кинули провод в квартиру, сказали что у них там что то не работает и ушли, так провод и валяется две недели, инета нет, тех поддержка молчит, и какой это сервис?


    1. ProstoTyoma
      09.10.2015 18:17
      +3

      Это Ростелеком. Знакомьтесь.
      Зато если подключат, то будет без брака =)


      1. lokus107
        11.10.2015 15:19

        Помнится на одном РИФе была такая связь от Ростелекома, то теперь его если и вспоминаешь то как нечистую силу.


  1. symbix
    09.10.2015 18:25
    +1

    Бла-бла-бла. Bullshit.

    Третий день без интернета вот вашего сижу — сдох коммутатор в подъезде. Сначала сроки были 48 часов, теперь стали неделю. Монтажник даже еще не выезжал.

    Уже заказал подключение в конкурирующей компании. Идите в задницу, пожалуйста.


    1. BupycNet
      16.10.2015 12:58

      Я кстати тоже взял у билайна, после 4 дней ожидания. Подключили на следующий день за 1 час все. Причем, онлайм только через неделю сделал интернет.
      Теперь в случае, если онлайм упадет — я просто оплачу месяц билайна и вставлю кабель. Все!


  1. ketrin7
    09.10.2015 19:07
    -5

    IlyaLis Картинка с кисей в проводах должна обеспечить успех поста;)


  1. stalkerg
    09.10.2015 22:01
    -1

    Разрослись…
    Я знал только КорветТелеком и его DLinkовский XStack (а так же все Хуавеии и Длинки что весели на домах).
    После того как OnLime с 100 мегабит КорветТелекома сделал всем 10 мегабит свалил к starnet который сдох после ледяного дождя и я ушёл в Билайн. >_<


  1. ohm
    09.10.2015 23:31
    +1

    Когда будет везде работать ipv6? В некоторых районах только ipv4 выдается.

    Еще непонятная акция проходит сейчас — девочка звонит и предлагает подключить оптику вместо меди + телевизионная приставка и все это за 750 рублей в месяц в течение года. Я соглашаюсь но мастер так и не перезванивает. Так происходит уже третий раз. Странные продажники у вас там.


    1. questor
      10.10.2015 12:06
      +1

      Я бы сам с удовольствием почитал бы о планах онлайм по ipv6 — чтобы была карта районов, ну или можно было бы в личном кабинете посмотреть инфу по своему дому.

      Но сомневаюсь, что такое увидим. На форуме онлайма писали очень здравую вещь:

      IPv6 не является услугой, это побочный процесс модернизации оборудования, когда текущее перестает справляться.
      Ждать IPv6 не имеет смысла.


      И ещё вспомнилась история про родной Волгоград (ipv6 не нужен): провайдеры не заинтересованы вводить ipv6, для них это лишние расходы.


  1. questor
    10.10.2015 11:40

    Спасибо за описание структуры, почитал с интересом. Не могу сказать, что интернет у вас в итоге получается стабильный. Вроде бы по разным тестам скорости как правило соответствует заявленной — но постоянно рвётся соединение по ssh (c работы такого нет), а часто падает именно скорость (всю прочую технику выключал ради эксперимента). И что, ваша «лаборатория скорости» она будет сидеть безвылазно у меня дома, ожидая когда соседи начнут качать торренты?

    Я бы лично с большим интересом посмотрел бы статистику параметров именно моего канала за неделю/месяц — такое вообще возможно?


  1. ipswitch
    11.10.2015 16:21

    Что за авария капитальный была этим летом на двое суток по всему городу?


  1. Nastradamus
    11.10.2015 20:24
    +1

    Недавно у меня в квартире пропал линк на кабеле от Онлайм. Пришлось присутствовать дома через 3 дня в назначенное время чтобы линк починили. 21-й век, а мне нужно отпрашиваться с работы и ждать зачем-то монтажников, чтобы они починили утраченый в подъезде кабель к моей квартире.


    1. IlyaLis
      16.10.2015 11:41

      Наши мастера стараются оперативно проводить работы по устранению неполадок, однако в условиях большой загруженности может быть ограничена возможность назначения даты выезда на какой-либо конкретный день.
      Для полноценной диагностики соединения требуется присутствие абонента.


  1. vovtil
    12.10.2015 12:06

    Надоела ваша реклама по телефону, много раз уже объяснял что не буду к вам подключаться.


    1. IlyaLis
      16.10.2015 11:42

      Для исключения Вашего номера из баз данных для обзвона рекомендуем обратиться на электронную почту onlime@rt.ru.