Вводные
Доброго времени суток сообществу и как говорится «с почином»:)
В силу разного рода причин решил, так сказать, обобщить накопленное за годы ну и поделиться с этим самым сообществом
Формат: High Level Network/Security Design (исключительно для профессионалов)
Рассчитываю на критику ну и мало ли кому пригодится.
Штош, выдохнув, приступаем!
Layer 1 ядро
Топология
Комментарии
Ядро строится на базе двух пар MLAG коммутаторов с поддержкой L3 маршрутизации
Периметр сети (ровно как и зонирование) осуществляется при помощи двух кластеров NGFW
Опорная сеть представляет собой физическое кольцо с двумя IP каналами от двух независимых операторов связи
Внешняя связность обеспечивается при помощи 4х IP каналов от двух независимых операторов связи (по два на каждый ЦОД)
Layer 1 инфраструктура
Топология
Комментарии
Инфраструктурные каналы строятся на базе двух независимых облачных операторов
Layer 2 ядро
Топология
Комментарии
Избыточность ядра сети достигается средствами агрегации на базе LACP
Все интерфейсы работают в режиме 802.1Q транков
L2 QoS обеспечивает гарантированую доставку Control Plane протоколов
Неиспользуемые порты логически выключены и переведены в изолированный VLAN
Layer 2 инфраструктура
Топология
Комментарии
Отказоустойчивость достигается средствами агрегации на базе LACP
STP ядро
Топология
Комментарии
В целях обеспечения стабильности сети, топология представлена двумя изолироваными STP доменами
BDPU фильтры включены на всех внешних портах
Используются фильтры предотвращения штормов
STP инфраструктура
Топология
Комментарии
Топология идентична топологии ядра
MLAG ядро
Топология
Комментарии
В целях обеспечения L2/L3 отказоустойчивости, коммутаторы ядра представлены парой логических MLAG коммутаторов
L3 интерфейсы строятся на базе VRRP + BFD
L3 пирлинки - на базе SVI
Backhaul Underlay
Топология
Комментарии
Backhaul underlay строится на базе единого OSPF Area 0. MP-BGP в данном случае не используется в силу отсутствия необходимости динамической коммутации кадров
Контроль потоков достигается при помощи OSPF приоритетов
Сходимость обеспечивается при помощи BFD
Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам
Backhaul VXLAN
Топология
Комментарии
Данная топология представленна парой логических VTEP позволяющих расширить широковещательный домен на два ЦОД. Достигается средствами инкапсуляции в IP
Private VRF BGP
Топология
Комментарии
Внутренний VRF представлен тремя BGP ASN обьединенными в логическое кольцо
Одной, расширенной средствами VXLAN и iBGP, между двумя NGFW кластерами и двумя изолированными iBGP ASN на базе L3 коммутаторов (по одной на каждый ЦОД). Архитектурное решение базируется на минимизации пирлинков в ядре при отсутствии BGP RR
Контроль потоков достигается средствами MED метрики
Сходимость - при помощи BFD
Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам
Public VRF BGP
Топология
Комментарии
Внешний VRF, так же, представлен тремя BGP ASN обьединенными в логическое кольцо
Внешняя связность обеспечивается средствами 4х каналов от двух независимых операторов связи
Контроль периметра сети достигается средствами NGFW. В силу отсутствия транзитного трафика, внешнее адресное пространство изучается средствами 0.0.0.0/0 префикса. Остальные префиксы (за исключением локального диапазона) отфильтровываются в целях повышения стабильности NGFW
Контроль потоков достигается средствами MED метрики
Сходимость - при помощи BFD
Безопасность - при помощи аутентификации и списков контроля доступа к IP интерфейсам
Private VRF сегментация
Топология
Комментарии
Внутренняя сеть представленна 5ю изолированными сегментами (минимально необходимое колличество) Каждый сегмент подвергается инспекции, идентификации, фильтрации IP потоков и идентификации пользователей.
Private EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF
Private DMZ: WAF, а так же размещает сетевые и front end сервисы такие как Proxy, DNS, SIEM, Web, RADIUS/ISE
Back End: (G)SLB, а так же размещает базы данных такие как LDAP, SQL и прочее
Util: размещает сервисы поддержки такие как Netflow, Monitoring probes, Syslog и прочее
RDS: размещает сервисы администрирования такие как RDS
Public VRF сегментация
Топология
Комментарии
Внешняя сеть представленна 2мя изолированными сегментами (минимально необходимое колличество). Каждый сегмент подвергается инспекции, идентификации, фильтрации IP потоков и идентификации пользователей.
Public EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF и VPN терминация
Public DMZ: WAF, а так же размещает сетевые и front end сервисы такие как Proxy, DNS, Web
Zero Trust
Zero Trust архитектура позволяет управлять доступом на уровне отдельно взятых серверов и портов коммутатора, тем самым позволяя предотвратить несанкционированный доступ и потенциальные утечки внутри широковещательного домена.
В заключении
Спасибо всем дочитавшим. Жду в комментах :)
Ну и захаживайте иногда сюда (пыньк). Впрочем многого я не обещаю.
Комментарии (11)
Samurai26
16.12.2024 07:12Статья понравилась узнал много интересного, но это явно не простые распределенные сети и остаётся вопрос почему везде облачные сервисы? Какая б не была распределенная сеть, облачные сервисы не любят в хороших компаниях, трафик гуляющий туда сюда неплохо перехватывается.
Public EDGE дополнительно выполняет следующие функции: (G)SLB и TLS терминация; WAF и VPN терминация
Если мы говорим про Public Service Edges(или всё таки SSE) то можно было упоминать SWG. CASB. FWAAS.
Bucho_Marales Автор
16.12.2024 07:12Ну почему же везде, опорная лично ваша на ваших мощностях + возможность отдать вычислительные мощности на аутсорс и забыть об операционных расходах. GSLB и WAF, ну да, можно виртуализировать, можно вмонтировать в стойку. Выбор ваш.
SSE - совсем не понимаю о чем вы. Поясните ?
SWG (NGPROXY если так можно) - ну да, отличный вариант !
CASB - никогда не работал. Расскажите ?
Bucho_Marales Автор
16.12.2024 07:12Public EDGE
Это ьлишь название зоны. Назовите как вам угодно. Важна лишь фунцкия
Конкретно в этом случае - терминация TLS+WAF с поледующим прогном через NGFW перед доставкой
not-allowed-here
а не подскажете как в этих красивых решениях корректно интегрировать криптографическую защиту? Возможна ли интеграция потокового мониторинга трафика?
и еще вопрос что делать если нужен гарантироваyный RTT? и потоки 100+G? 400+G? - основная задача синхронная репликация СХД + Виртуалки через HA-кластер?
Bucho_Marales Автор
Пожалуй, стоило оговориться что все эти "красивые решения" ничто иное как PROD/DR SMB/SAAS
Далее по пунктам:
1 - О криптографии - Внешние крипто-туннели поднимаются средствами того-же NGFW. Если вам нужно шифровать внутри MAN/WAN в принципе зашифруете и на этом. C LAN будет сложнее, придется перестраивать. Опять же, ТЗ ! Говорите точно :) Критография ФСТЕК в ТЗ не входила
2 - Потоковый мониторинг ? - Что именно вы хотите увидеть ? Сигнатуры приложений вам доступны и так. TLS IB тоже. OB ? Так у вас прокси
3 - Синхронизация репликации СХД (обьемы здесь лишь вопрос производительности железа и надежности L1 транспорта) Предположу, что для гарантированной доставки можно воспользоваться DSCP метками
4 - Виртуалки через HA ? Здесь опять же, вы уж меня простите, теплое с мягким :) - MP BGP и динамический VXLAN вам в помощь. У меня же сакцентировано на размещении вычеслительных мощностей на сторонней инфраструктуре. Опять же PROD/DR
Ну и от меня:
Скажите мне лучше как разруливать входящие внешние потоки на NGFW при условии исходяших отправленных лишь в один канал по дифолту ? :)
not-allowed-here
Никак если изначально нет какого-то виртуального объединяющего канала, то само оно не разрулится... так что или пинаться на уровне Софта - или строить поверх всего это какой-то виртуальный канал для каждого приложения в который уже укладывать трафик - по сути "виртуализация сети"(скорее окончательное разделение транспортного и информационного уровня) с ZeroTrust - но вот как это реально реализовать кроме как в аналогии с "VLAN per User" у меня в голову не приходит..... тут еще Ограничения лезут технические с кучей VLAN на серверных адаптерах - они узким местом будут - ну или надо сетевки умеющие и TCP и Крипто оффлоад, но это уже с ТЗ безопасности та еще дыра.... в общем еще бы про ZeroTrust почитать где подробнее - а то вроде как понимание концепции то есть, а вот как это предметно реализовывать - непонятно....
да-да - он наш любимый... Но хотелось бы вобще L1 - но это уже не бюджетно от слова совсем...
NTA (PT NAD) для мониторинга левого и аномального трафика на физический не отключаемом Уровне - мое решение - Оптические Сплиттеры + отдельный автономный кластер серверов "Сенсоров" куда подключаются эти самые Сплиттеры..... но туту еще конфликт с криптографией и её тоже придется разделать на зоны и уровни.....
Вендор рекомендует посложнее и регламентирует Жесткий RTT (Netapp Metrocluster) - но тут вопрос что MetroCluster это скорее упрощение обслуживания и можно сильно дешевле, но нужны будут очень квалифицированные админы... так что в конечном итоге то нато выходит.... ФОТ - Зло....
ну я то же лучше не придумал.... но вдруг есть что-то по оптимальнее с ТЗ последующего поддержания и настройки - ато счас квалифицированными кадрами ТБМ полная....
Bucho_Marales Автор
Разрулится элементарно. IPSpoofing
Этого, увы, я незнаю от слова совсем
Сплиттеры ? Мы чейчас о чем говорим ? :) Это совсем иной уровень
Было бы интересно поработать
Увы
not-allowed-here
Если бы... особенно на больших потоках 2000мс и даже 200мс - это часто ТБМ для бизнеса... а что-то реально быстрое там такие извращений в настройках будут - что обслуживать это смогут пара гуру на весь рунет....
так что если не получится впихнуть в софт то реально каким-то образом "виртуализировать" на уровне тех же NGFW каналы и пытаться рулить так чтобы не возникало ситуации когда на второй ноде нет трафика....
туту временами до карт с физическими Байпасами доходить приходится и тех же Сплиттеров на оптику, а вы говорите IPSpofing и VRRP... многие NGFW умеют нормально работать с HardwareBypass так что тоже метод правда такой себе олдовый и хардовый и требовательный к архитектуре...
c'est la vie - ИБ иногда требует мыслить радикально и нестандартно... +))
https://www.packetlight.com/applications/layer-1-encryption-over-dwdm
инетерсное, но бюджет.... но иногда безальтернативно...
https://www.netapp.com/support-and-training/netapp-learning-services/learning-paths/ontap-associate/
можно получить специальную "демо" версию для тренировке и даже на столе собрать Даже очень сложные варианты со всякими наворотами...
Bucho_Marales Автор
Спасибо !
Bucho_Marales Автор
Пыньк
not-allowed-here
Благодарствую, почитаем.