Вводные

Доброго времени суток сообществу и как говорится «с почином»:)

В силу разного рода причин решил, так сказать, обобщить накопленное за годы ну и поделиться с этим самым сообществом

Формат: High Level Network/Security Design (исключительно для профессионалов)

Рассчитываю на критику ну и мало ли кому пригодится.

Штош, выдохнув, приступаем!

Layer 1 ядро

Топология

Комментарии

  • Ядро строится на базе двух пар MLAG коммутаторов с поддержкой L3 маршрутизации

  • Периметр сети (ровно как и зонирование) осуществляется при помощи двух кластеров NGFW

  • Опорная сеть представляет собой физическое кольцо с двумя IP каналами от двух независимых операторов связи

  • Внешняя связность обеспечивается при помощи 4х IP каналов от двух независимых операторов связи (по два на каждый ЦОД)

Layer 1 инфраструктура

Топология

Комментарии

  • Инфраструктурные каналы строятся на базе двух независимых облачных операторов

Layer 2 ядро

Топология

Комментарии

  • Избыточность ядра сети достигается средствами агрегации на базе LACP

  • Все интерфейсы работают в режиме 802.1Q транков

  • L2 QoS обеспечивает гарантированую доставку Control Plane протоколов

  • Неиспользуемые порты логически выключены и переведены в изолированный VLAN

Layer 2 инфраструктура

Топология

Комментарии

  • Отказоустойчивость достигается средствами агрегации на базе LACP

STP ядро

Топология

Комментарии

  • В целях обеспечения стабильности сети, топология представлена двумя изолироваными STP доменами

  • BDPU фильтры включены на всех внешних портах

  • Используются фильтры предотвращения штормов  

STP инфраструктура

Топология

Комментарии

  • Топология идентична топологии ядра

MLAG ядро

Топология

Комментарии

  • В целях обеспечения L2/L3 отказоустойчивости, коммутаторы ядра представлены парой логических MLAG коммутаторов

  • L3 интерфейсы строятся на базе VRRP + BFD

  • L3 пирлинки - на базе SVI

Backhaul Underlay

Топология

Комментарии

  • Backhaul underlay строится на базе единого OSPF Area 0. MP-BGP в данном случае не используется в силу отсутствия необходимости динамической коммутации кадров

  • Контроль потоков достигается при помощи OSPF приоритетов

  • Сходимость обеспечивается при помощи BFD

  • Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам

Backhaul VXLAN

Топология

Комментарии

  • Данная топология представленна парой логических VTEP позволяющих расширить широковещательный домен на два ЦОД. Достигается средствами инкапсуляции в IP

Private VRF BGP

Топология

Комментарии

  • Внутренний VRF представлен тремя BGP ASN обьединенными в логическое кольцо

  • Одной, расширенной средствами VXLAN и iBGP, между двумя NGFW кластерами и двумя изолированными iBGP ASN на базе L3 коммутаторов (по одной на каждый ЦОД). Архитектурное решение базируется на минимизации пирлинков в ядре при отсутствии BGP RR

  • Контроль потоков достигается средствами MED метрики

  • Сходимость - при помощи BFD

  • Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам

Public VRF BGP

Топология

Комментарии

  • Внешний VRF, так же, представлен тремя BGP ASN обьединенными в логическое кольцо

  • Внешняя связность обеспечивается средствами 4х каналов от двух независимых операторов связи 

  • Контроль периметра сети достигается средствами NGFW. В силу отсутствия транзитного трафика, внешнее адресное пространство изучается средствами 0.0.0.0/0 префикса. Остальные префиксы (за исключением локального диапазона) отфильтровываются в целях повышения стабильности NGFW

  • Контроль потоков достигается средствами MED метрики

  • Сходимость - при помощи BFD

  • Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам

Private VRF сегментация

Топология

Комментарии

  • Внутренняя сеть представленна 5ю изолированными сегментами (минимально необходимое колличество) Каждый сегмент подвергается инспекции, идентификации, фильтрации IP потоков и идентификации пользователей.

  • Private EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF

  • Private DMZ:  WAF, а так же размещает сетевые и front end сервисы такие как Proxy, DNS, SIEM, Web, RADIUS/ISE

  • Back End:  (G)SLB, а так же размещает базы данных такие как LDAP, SQL и прочее

  • Util: размещает сервисы поддержки такие как Netflow, Monitoring probes, Syslog и прочее

  • RDS: размещает сервисы администрирования такие как RDS

Public VRF сегментация

Топология

Комментарии

  • Внешняя сеть представленна 2мя изолированными сегментами (минимально необходимое колличество). Каждый сегмент подвергается инспекции, идентификации, фильтрации IP потоков и идентификации пользователей.

  • Public EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF и VPN терминация

  • Public DMZ: WAF, а так же размещает сетевые и front end сервисы такие как Proxy, DNS, Web

Zero Trust

  • Zero Trust архитектура позволяет управлять доступом на уровне отдельно взятых серверов и портов коммутатора, тем самым позволяя предотвратить несанкционированный доступ и потенциальные утечки внутри широковещательного домена.

В заключении

Спасибо всем дочитавшим. Жду в комментах :)

Ну и захаживайте иногда сюда (пыньк). Впрочем многого я не обещаю.

Комментарии (11)


  1. not-allowed-here
    16.12.2024 07:12

    а не подскажете как в этих красивых решениях корректно интегрировать криптографическую защиту? Возможна ли интеграция потокового мониторинга трафика?

    и еще вопрос что делать если нужен гарантироваyный RTT? и потоки 100+G? 400+G? - основная задача синхронная репликация СХД + Виртуалки через HA-кластер?


    1. Bucho_Marales Автор
      16.12.2024 07:12

      Пожалуй, стоило оговориться что все эти "красивые решения" ничто иное как PROD/DR SMB/SAAS

      Далее по пунктам:

      1 - О криптографии - Внешние крипто-туннели поднимаются средствами того-же NGFW. Если вам нужно шифровать внутри MAN/WAN в принципе зашифруете и на этом. C LAN будет сложнее, придется перестраивать. Опять же, ТЗ ! Говорите точно :) Критография ФСТЕК в ТЗ не входила

      2 - Потоковый мониторинг ? - Что именно вы хотите увидеть ? Сигнатуры приложений вам доступны и так. TLS IB тоже. OB ? Так у вас прокси

      3 - Синхронизация репликации СХД (обьемы здесь лишь вопрос производительности железа и надежности L1 транспорта) Предположу, что для гарантированной доставки можно воспользоваться DSCP метками

      4 - Виртуалки через HA ? Здесь опять же, вы уж меня простите, теплое с мягким :) - MP BGP и динамический VXLAN вам в помощь. У меня же сакцентировано на размещении вычеслительных мощностей на сторонней инфраструктуре. Опять же PROD/DR

      Ну и от меня:

      Скажите мне лучше как разруливать входящие внешние потоки на NGFW при условии исходяших отправленных лишь в один канал по дифолту ? :)


      1. not-allowed-here
        16.12.2024 07:12

        Скажите мне лучше как разруливать входящие внешние потоки на NGFW при условии исходяших отправленных лишь в один канал по дифолту ? :)

        Никак если изначально нет какого-то виртуального объединяющего канала, то само оно не разрулится... так что или пинаться на уровне Софта - или строить поверх всего это какой-то виртуальный канал для каждого приложения в который уже укладывать трафик - по сути "виртуализация сети"(скорее окончательное разделение транспортного и информационного уровня) с ZeroTrust - но вот как это реально реализовать кроме как в аналогии с "VLAN per User" у меня в голову не приходит..... тут еще Ограничения лезут технические с кучей VLAN на серверных адаптерах - они узким местом будут - ну или надо сетевки умеющие и TCP и Крипто оффлоад, но это уже с ТЗ безопасности та еще дыра.... в общем еще бы про ZeroTrust почитать где подробнее - а то вроде как понимание концепции то есть, а вот как это предметно реализовывать - непонятно....

        1 - О криптографии - Внешние крипто-туннели поднимаются средствами того-же NGFW. Если вам нужно шифровать внутри MAN/WAN в принципе зашифруете и на этом. C LAN будет сложнее, придется перестраивать. Опять же, ТЗ ! Говорите точно :) Критография ФСТЕК в ТЗ не входила

        да-да - он наш любимый... Но хотелось бы вобще L1 - но это уже не бюджетно от слова совсем...

        2 - Потоковый мониторинг ? - Что именно вы хотите увидеть ? Сигнатуры приложений вам доступны и так. TLS IB тоже. OB ? Так у вас прокси

        NTA (PT NAD) для мониторинга левого и аномального трафика на физический не отключаемом Уровне - мое решение - Оптические Сплиттеры + отдельный автономный кластер серверов "Сенсоров" куда подключаются эти самые Сплиттеры..... но туту еще конфликт с криптографией и её тоже придется разделать на зоны и уровни.....

        3 - Синхронизация репликации СХД (обьемы здесь лишь вопрос производительности железа и надежности L1 транспорта) Предположу, что для гарантированной доставки можно воспользоваться DSCP метками

        Вендор рекомендует посложнее и регламентирует Жесткий RTT (Netapp Metrocluster) - но тут вопрос что MetroCluster это скорее упрощение обслуживания и можно сильно дешевле, но нужны будут очень квалифицированные админы... так что в конечном итоге то нато выходит.... ФОТ - Зло....

        4 - Виртуалки через HA ? Здесь опять же, вы уж меня простите, теплое с мягким :) - MP BGP и динамический VXLAN вам в помощь. У меня же сакцентировано на размещении вычеслительных мощностей на сторонней инфраструктуре. Опять же PROD/DR

        ну я то же лучше не придумал.... но вдруг есть что-то по оптимальнее с ТЗ последующего поддержания и настройки - ато счас квалифицированными кадрами ТБМ полная....


        1. Bucho_Marales Автор
          16.12.2024 07:12

          Никак если изначально нет какого-то виртуального объединяющего канала, то само оно не разрулится...

          Разрулится элементарно. IPSpoofing

          Но хотелось бы вобще L1

          Этого, увы, я незнаю от слова совсем

          NTA (PT NAD) для мониторинга левого и аномального трафика на физический не отключаемом Уровне - мое решение - Оптические Сплиттеры + отдельный автономный кластер серверов "Сенсоров" куда подключаются эти самые Сплиттеры..... но туту еще конфликт с криптографией и её тоже придется разделать на зоны и уровни.....

          Сплиттеры ? Мы чейчас о чем говорим ? :) Это совсем иной уровень

          Netapp Metrocluster

          Было бы интересно поработать

          счас квалифицированными кадрами ТБМ полная

          Увы


          1. not-allowed-here
            16.12.2024 07:12

            Разрулится элементарно. IPSpoofing

            Если бы... особенно на больших потоках 2000мс и даже 200мс - это часто ТБМ для бизнеса... а что-то реально быстрое там такие извращений в настройках будут - что обслуживать это смогут пара гуру на весь рунет....

            так что если не получится впихнуть в софт то реально каким-то образом "виртуализировать" на уровне тех же NGFW каналы и пытаться рулить так чтобы не возникало ситуации когда на второй ноде нет трафика....

            туту временами до карт с физическими Байпасами доходить приходится и тех же Сплиттеров на оптику, а вы говорите IPSpofing и VRRP... многие NGFW умеют нормально работать с HardwareBypass так что тоже метод правда такой себе олдовый и хардовый и требовательный к архитектуре...

            Сплиттеры ? Мы чейчас о чем говорим ? :) Это совсем иной уровень

            c'est la vie - ИБ иногда требует мыслить радикально и нестандартно... +))

            Этого, увы, я незнаю от слова совсем

            https://www.packetlight.com/applications/layer-1-encryption-over-dwdm

            инетерсное, но бюджет.... но иногда безальтернативно...

            Было бы интересно поработать

            https://www.netapp.com/support-and-training/netapp-learning-services/learning-paths/ontap-associate/

            можно получить специальную "демо" версию для тренировке и даже на столе собрать Даже очень сложные варианты со всякими наворотами...


            1. Bucho_Marales Автор
              16.12.2024 07:12

              Спасибо !


        1. Bucho_Marales Автор
          16.12.2024 07:12

          еще бы про ZeroTrust почитать где подробнее - а то вроде как понимание концепции то есть, а вот как это предметно реализовывать - непонятно....

          Пыньк


          1. not-allowed-here
            16.12.2024 07:12

            Благодарствую, почитаем.


  1. Samurai26
    16.12.2024 07:12

    Статья понравилась узнал много интересного, но это явно не простые распределенные сети и остаётся вопрос почему везде облачные сервисы? Какая б не была распределенная сеть, облачные сервисы не любят в хороших компаниях, трафик гуляющий туда сюда неплохо перехватывается.

    • Public EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF и VPN терминация

    Если мы говорим про Public Service Edges(или всё таки SSE) то можно было упоминать SWG. CASB. FWAAS.


    1. Bucho_Marales Автор
      16.12.2024 07:12

      Ну почему же везде, опорная лично ваша на ваших мощностях + возможность отдать вычислительные мощности на аутсорс и забыть об операционных расходах. GSLB и WAF, ну да, можно виртуализировать, можно вмонтировать в стойку. Выбор ваш.

      SSE - совсем не понимаю о чем вы. Поясните ?

      SWG (NGPROXY если так можно) - ну да, отличный вариант !

      CASB - никогда не работал. Расскажите ?


    1. Bucho_Marales Автор
      16.12.2024 07:12

      Public EDGE

      Это ьлишь название зоны. Назовите как вам угодно. Важна лишь фунцкия

      Конкретно в этом случае - терминация TLS+WAF с поледующим прогном через NGFW перед доставкой