Пользователь VDS-хостинга задал нам вопрос о том, откуда берётся Интернет. И тут мы поняли, что это тот самый детский вопрос, на который не так-то просто нормально ответить.

Думаю, что 99 % людей ответят: берёт и приходит, а потом задумаются. Это настолько естественно и очевидно, что обычно просто не обсуждается. Ну там, знаете, оптика, она приходит в домик, в домике стоит коробка, а из коробки идёт медь. Вот примерно так оно и работает.

В теории всё так и есть, но на практике это выглядит немного иначе. И есть нюансы. Давайте покажу, откуда к нам приходит Интернет и в чём. А заодно поговорим про то, где фильтруется трафик и как это устроено в хостинге.

Для нас всё начинается вот с этой ракеты в Королёве:


Источник

Это памятник «Восток-2М» (8А292М), стоящий в Королёве примерно на том месте, где вообще был разработан «Восток». Перед ним находится люк, где одна трасса оптики разделяется на три к M9, или MSK-IX — московской международной телефонной станции № 9, где когда-то появился самый крупный узел обмена трафика. Сейчас это главное место, откуда Интернет поставляется в Москву. Из-за некоторых особенностей нашей территории бомбоубежища именно в этом люке под ракетой находится уязвимое место оптики, где все три канала идут вместе, и их легко перерубить экскаватором на протяжении примерно 120 метров. В других местах до и после ракеты такого нет.

Соответственно один луч идёт через наш ЦОД в Ивантеевку, поворачивает в Щёлково и заканчивается на M9-IX. Второй подземный ввод идёт через Ярославское шоссе, третий ввод — дополнительный, он скачет по столбам от коллектора до ЦОДа в одну сторону и до местного провайдера в другую, а провайдер уже врезается в кольцо оптики по городу и тоже попадает в девятку.

Мы сейчас говорим про наш первый ЦОД в Москве в бомбоубежище завода. Вот тут есть больше деталей про него. Трассы попадают в наш ЦОД тремя разными путями по территории завода и заходят в здание, под которым находится уже само убежище, с разных сторон. Вот первый ввод:

image

Он, кстати, продолжается дальше в советской старой грузовой лифтовой шахте (сейчас она не используется) и примерно вот так попадает уже на территорию дата-центра:

image

Вот ещё ввод — как раз от местного провайдера:

image

Это прямая тёмная оптика, никаких оптических уплотнителей (DWDM) у нас нет. Если нам понадобится больше ёмкости, то провайдеры просто выделят нам больше волокон, и мощности кольца хватит на это: там ещё много свободных пучков.

image

Далее все эти оптические линки приходят в коммутационное ядро, состоящее из коммутаторов Джунипер. Выводы из ядра уже соединяются с коммутаторами стоек, где стоят серверы, на которых хостятся ваши виртуальные машины.

image
Фальшпол, видно крадущийся кабель

То есть до коммутационного ядра приходит оптический кабель на 32 жилы тёмной оптики, большую часть из которых составляет резерв на расширение (потому что всё равно этот кабель кидать один раз, и стоимость кабеля даже близко не имеет значения на фоне стоимости прокладки и контракта на связь). В коммутационном ядре происходит магия, которая дальше разливает Интернет уже по локальной оптике до коммутаторов стоек. Каждый сервер имеет два аплинка: от своего коммутатора и от одного из соседних на случай выхода из строя своего. Коммутаторы стоек добавляют немного магии коммутации и ещё превращают оптический кабель в медный, уже втыкающийся в LAN-порты серверов.

image

image

image

Ещё один порт связывает наш служебный хаб для инженерного интерфейса с сервером. То есть итого в сервер заходят два «жирных» соединения для большого Интернета и один поменьше для инженерного доступа, чтобы не катать тележку с консолью. Среди прочего — чтобы не катать её из Москвы в Новосибирск, но это уже речь идёт про другие ЦОДы.

image

Коммутаторы ядра у нас все одинаковые. Меняются они обычно пачкой по мере схода с поддержки, устаревают медленнее серверных линеек железа. Лотки и соединения внутри ЦОДа выглядят так:

image

image

Некоторые коммутаторы стоек принимают оптику, некоторые — нет: к ним ещё нужен отдельный переходник.

image

Всё это работает просто для того, чтобы пакеты из Интернета приходили на ваш сервер, попадали куда нужно и, соответственно, отправлялись обратно в Интернет как надо. Фильтрация трафика и прочие хитрые защиты происходят в коммутационном ядре. То есть в него приходит сырой трафик. Создаётся software-defined-петля, которая гонит трафик не на коммутатор стойки, а на другую часть ядра, которая занимается фильтрацией по правилам (файрволл) или вычисляет сигнатуры DDoS-атаки (анти-DDoS). Дальше создаётся очищенный поток, который уже дальше пускается в маршрутизаторы стойки и по потребителям. Для более хитрых защит, требующих статистического анализа трафика, может создаваться дополнительная петля через специальные устройства, подключённые к ядру. Для некоторых ответственных госзаказчиков ещё нужны отечественные файрволлы, эти устройства устанавливаются на стойке на выходе из сервера. Однажды спецслужбы ловили у нас владельца биржи наркотиков, они принесли кучу бумажек, решений суда и свою железку типа файрволла, которую поставили в разрыв между сервером и коммутатором стойки. Также можно подключать центры очистки трафика для туннелирования потока через них, чтобы очистка происходила не на нашей точке, а к нам уже приезжал очищенный трафик: это имеет смысл при направленных атаках, начинающихся с DDoS-уровня в несколько сотен гигабит в секунду. У нас пока такой потребности не было.

Вот примерно так приходит Интернет в ЦОД. Если у вас есть вопросы любой сложности, то задавайте их. Как выяснилось, детские вопросы могут на некоторое время поставить в тупик.

Комментарии (16)


  1. YDR
    28.09.2021 14:21

    спрятайте эту информацию, а то эта ракета станет целью №1 РВСН США.


    1. Saiv46
      28.09.2021 15:24
      +1

      Так-то все советские заводы по-умолчанию являются целями для ракетных ударов. Но в приоритете конечно будут ядерные сооружения.


  1. Lirix_vladimir
    28.09.2021 14:33
    +14

    Как то все не аккуратно очень. Даже наверное очень не аккуратно проложены кабеля я бы сказал.


  1. kolu4iy
    28.09.2021 14:33
    +8

    Визуально суров ваш хайтек. Кран горячей воды (кстати обычно эти краны закисают, если их не крутить 1-2 раза в год) рядом с оборудованием на мой вкус тоже... Добавляет перчинки.


    1. Saiv46
      28.09.2021 16:29
      +1

      Лично мне понравились роутеры, то ли висящие на витой паре, то ли приклеенные на двойной скотч. Каюсь, сам так делал, но это было для супер-бюджетной WiFi-сети 2мбит в деревне.


  1. Admz
    28.09.2021 14:34
    +5

    Всё очень по российски.


    1. JuriM
      28.09.2021 17:59
      +9

      Российский киберпанк, особенно где магистраль уходит в черную дыру, вырезанную в ржавой двери бомбоубежища, на фоне советской плитки времен перестройки.


      1. ntsaplin Автор
        29.09.2021 15:07
        +2

        Ооо! Это не просто ржавая дверь бомбоубежища, это дверь с историей. На самом деле там всё чуть технологичнее, чем кажется — в тот момент, где кончается территория завода и начинается наша территория. Вот тут пост про этот ЦОД, там больше русского киберпанка.


  1. Gansterito
    28.09.2021 19:38
    +3

    На сколько я помню, этот ЦОД принадлежит MTW, а сервис измерения RTT на вашем сайте обращается к WS-ресурсу rus-ping-test.ruvds.com, который располагается на IP-адресах MTW. Выходит, Вы живете в чужой инфраструктуре?

    Дальше вообще "божественно":

    к M9, или MSK-IX — московской международной телефонной станции № 9

    М9 - это узел, находящийся по адресу Бутлерова 7. MSK-IX - коммерческая организация, к сети которой можно подключиться на М9. Не понимаю как Вы их приравняли.

    Сейчас это главное место, откуда Интернет поставляется в Москву.

    Какой такой интернет поставляется в Москву через М9? Если Вы про МН-связность, то она поставляется через Ленинградский вокзал, куда у Раскома (а именно его DWDM-каналы обеспечивают более 50% всей российской МН-связности) приходит ВОЛС из Санкт-Петербурга.

    Если Вы про российский сегмент Сети, то основной трафик идет с ЦОДов Mail.Ru Group и Yandex, которые не находятся на М9, и крупные провайдеры забирают трафик именно оттуда.


    1. ntsaplin Автор
      28.09.2021 23:40
      +4

      Выходит, Вы живете в чужой инфраструктуре?

      Нет, дата-центр у нас там свой- Rucloud. Был непродолжительный период времени, когда мы размещали серверы у мтв, но вскоре построили свой ДЦ в том же бомбоубежище. Сосуществование оказалось выгодно всем, потому сетевую инфраструктуру менять не стали.


  1. Dewey
    28.09.2021 23:32
    +8

    Суровый российский ЦОД... Явно не хватает панорамных фото машзала.

    Уже по первым трём-четырём фото (ракета, "первый ввод"...) можно снимать продолжение сериала в духе "Чернобыля". Закрытые оббитые ржавым железом двери, перекошенные створки которых удерживаются в пространстве и вертикальном положении лишь миниатюрным навесным замочком, впускают во тьму здания постройки исчезнувшей эпохи магистральный Интернет! Ржавые распредкоробки на стенах с высолами от постоянной влажности в неосвещаемых коридорах, в которых не встретишь ни одной живой души... Название, понятно, просто "ЦОД"...


    1. Gansterito
      29.09.2021 12:06
      +4

      Согласен, место очень атмосферное. Был в этом "ЦОД" несколько лет назад. Путь шел через работающие цеха. Прямо посередине цеха стоял сплошной металлический ЗАБОР (!), по эту сторону - арендаторы и гости, по ту - кипит работа, рабочие стучат, варят, курят и матерятся. Но самое главное - это запах! Непередаваемая смесь запахов масла, сварки и чего-то такого, что рождает глубоко внутри тоскливое чувство ностальгии...


  1. victor_1212
    29.09.2021 03:24
    +1

    >Коммутаторы стоек добавляют немного магии

    просто интересно, глядя на фотографии, это случайно не Juniper 51хх с четырьмя SPF которые? знакомое что-то, не могу вспомнить


  1. sirota
    29.09.2021 08:20
    +3

    Это датацентр? 5 и 11 фотки шикарны. Тут тебе и слаботочка и сила и я так понимаю отопление и... На 5 фотке кабеля уже в трассу не помещаются, горкой лежат. А уж вводные группы просто поражают...


  1. cze
    29.09.2021 13:21
    +2

    Да у вас на территории хоть экранизацию Сталкера снимай.


  1. kr12
    29.09.2021 19:10
    +1

    Какие задержки привносят фильтры и средства сбора информации?