Чуть больше месяца назад закончились Олимпийские игры в Бразилии, на которых Cisco уже традиционно отвечала за сетевую и серверную инфраструктуру, включая и их безопасность. И сегодня уже можно поделиться нашим опытом обеспечения сетевой безопасности летних Олимпийских игр в Рио, тем более, что мы уже можем сравнивать происходящее с играми в Лондоне в 2012-м году, где Cisco также обеспечивала сетевую безопасность всех спортивных сооружений и мероприятий.

Cisco в Рио
Впервые о серьезной информатизации Олимпийских игр заговорили перед зимними Играми в канадском Ванкувере в 2010-м году. Да, как это ни странно, но до этого момента серьезной ИТ-инфраструктурой крупнейшие спортивные соревнования планеты похвастаться не могли, хотя различные стадионы и менее крупные мероприятия достаточно активно внедряли современные информационные технологии в свою деятельность. Кибербезопасностью же серьезно стали заниматься только во время подготовки к лондонских играм в 2012-м году. По опубликованной статистике в Лондоне было зафиксировано 166 миллионов событий кибербезопасности (в Пекине около 12 миллионов событий фиксировалось ежедневно), из которых 783 потребовали детального расследования. Серьезных же атак было 6 и одна даже могла нарушить церемонию открытия — тогда хакеры пытались атаковать систему энергоснабжения Олимпийского стадиона. В Рио эксперты ожидали четырехкратный рост числа кибератак; в реальности же их было около 510 миллионов, то есть около 400 атак в секунду. Во время Параолимпийских игр в Рио активность хакеров снизилась до 120 атак в секунду, что и понятно — интерес к ним гораздо ниже, чем к основным играм.

Очевидно, что олимпийские две недели — это рай для мошенников и преступников всех мастей, особенно в Бразилии, которая никогда не числилась в списке благополучных с точки зрения преступности стран. С точки зрения киберпреступности Бразилия считается одной из самых неблагополучных — рост серьезных кибератак в ней вырос с 2010-го по 2015-й год на 400%, с заметным всплеском на 200% в 2014, когда страна принимала чемпионат мира по футболу. И хотя по словам Джейн Вейнрайт, возглавлявшей безопасность оргкомитета Олимпийских игр в Лондоне, никаких специфичных атак на олимпийскую инфраструктуру не было, это не значит, что бороться там было не с чем. Достаточно вспомнить сколько человек посещает спортивные события очно и онлайн, чтобы понять, что масштаб проблемы достаточно серьезен.

В Лондоне пятью ключевыми угрозами ИБ считались:

  • Мобильные устройства и блокирование отправки данных о результатах соревнований на смартфоны в реальном времени
  • Загрузки “drive-by” (загрузки без понимания последствий со стороны пользователя — апплеты, компоненты Active-X, исполняемые файлы и т.п.).
  • Фишинг
  • Подмена и фальсификация поисковых результатов
  • Мошеннические сайты по продаже билетов.

В Рио ситуация отличалась не сильно; проблемы были ровно те же — спам с рекламой фальшивых сайтов по продаже билетов, сообщения о якобы выигранных бесплатных билетах на спортивные соревнования или иные околоспортивные события, рассылки с вредоносными вложениями, скрывающимися под календари и карты мест проведения олимпийских событий, фишинговые сайты с олимпийскими новостями (нами было зафиксировано и блокировано несколько сотен таких вредоносных доменов) и т.п.

Задача стояла перед нами достаточно непростая — обеспечить в сжатые сроки безопасное подключение к сетевой и серверной инфраструктуре:

  • 10900 олимпийских и 4300 параолимпийских атлетов
  • 5400 технических специалистов, обслуживающих инфраструктуру Игр
  • 70000 волонтеров
  • 25100 аккредитованных медиа
  • 37 площадок, включая спортивные сооружения, Олимпийскую деревню, пресс-центр и т.п.
  • 9 миллионов посетителей.

Инфраструктура Олимпийских игр

В обеспечение безопасности 113472 LAN-портов и 5159 Wi-Fi точек беспроводного доступа легли следующие принципы:

  • безопасность — это свойство сетевой инфраструктуры, а не опция
  • сегментация и разделение трафика
  • сеть как сенсор системы обнаружения атак
  • управление идентификацией
  • защищенная доставка результатов мероприятий в реальном времени
  • возможность работы с личных мобильных устройств.

На самом деле они мало чем отличались от аналогичной инфраструктуры в Лондоне, где мы также обеспечивали сетевую безопасность:



Учитывая традиционность угроз и защитные технологии применялись нами традиционные. Из 60 тонн и 8115 единиц поставленного оборудования за сетевую безопасность отвечали:

  • межсетевые экраны Cisco ASA 5585-X
  • межсетевые экраны следующего поколения Cisco ASA 5515-X с FirePower Services
  • системы предотвращения вторжений Cisco Firepower
  • средства удаленного VPN-доступа на базе Cisco ASA 5585-Х
  • контроль сетевого доступа, включая гостевой, с помощью Cisco ISE и ACS
  • мониторинг и нейтрализация сетевых аномалий с помощью Cisco Stealthwatch
  • мониторинг и блокирование DNS-угроз с помощью Cisco OpenDNS Umbrella
  • высокомасштабируемый NAT с помощью CGN/VSM-модулей на маршрутизаторах ASR9000
  • DHCP и DNS-кеш с помощью Cisco Prime Network Registrar
  • Управление и мониторинг ИБ с помощью Cisco Security Manager и Firesight Management Center.

Основным инструментом для сегментация стали межсетевые экраны Cisco ASA 5585-X и ASA 5515-X, которые и обеспечение разделение трафика между различными зонами Олимпийской инфраструктуры. Помогали им в этом маршрутизаторы Cisco ASR9000 и Cisco ASR1000. На уровне виртуализации за сегментацию отвечали коммутаторы Nexus 7000, Nexus 2000, MDS 9000, а также вычислительная система UCS 5000 и Fabric Interconnect 6000.

Дизайн основного ЦОДа

Так как Олимпийские игры — это множество разных пользователей с разными задачами и правами доступа, то для их контроля и разграничения нами был использован кластер из устройств Cisco ISE, которые аутентифицировали и авторизовывали проводных и беспроводных пользоваталей. Вот так, например, выглядел портал доступа для журналистов пресс-центра:

Олимпийский портал для журналистов

Учитывая количество людей, которым требовался доступ к различным сервисам и услугам, предоставляемым Олимпийским оргкомитетом, на Cisco ISE был поднят портал самообслуживания, который позволил снизить нагрузку на ИТ-специалистов Игр. Такое самообслуживание касалось и регистрации учетных записей:

Портал самообслуживания Cisco ISE

и регистрации мобильных устройств, и восстановления забытых паролей:

Портал самообслуживания Cisco ISE

С помощью Cisco ISE журналисты, атлеты, волонтеры, спонсоры и другие лица могли получать доступ ко всем нужным сервисам в течение всех Олимпийских и Параолимпийских игр, а также в процессе подготовки к ним. При этом доступ не ограничивался какими-либо сегментами сети (если это не требовалось по политикам безопасности) или типами устройств — Cisco ISE позволял получать защищенный беспроводной доступ во время доставки спортсменов из Олимпийской деревни на спортивные мероприятия (в автобусах был развернут Wi-Fi), во время работы журналистов в пресс-центре и на самих спортивных мероприятиях со своих личных устройств. Общее число уникальных устройств (без посетителей), подключенных к инфраструктуре Олимпийских игр и управляемых с помощью Cisco ISE, к концу игр превысило 235 тысяч (27 тысяч устройств было подключено к инфраструктуре в своем пике, во время церемонии закрытия Олимпийских игр в Рио):

Церемония закрытия Олимпийских игр в Cisco ISE

За обнаружение атак на периметре и внутри сети отвечали система предотвращения вторжений Cisco Firepower NGIPS, система мониторинга DNS-угроз Cisco OpenDNS Umbrella и система нейтрализации сетевых аномалий на базе Netflow — Cisco Stealthwatch. При этом последнее из упомянутых решений осуществляло мониторинг и виртуальной инфраструктуры в основном и резервном ЦОДах олимпийской инфраструктуры. Каждое из упомянутых решений в качестве источника данных использовало сетевой трафик, но с разных точек зрения, что позволило обеспечить принцип эшелонированной обороны и не допустить проникновения атак внутрь олимпийской сетевой инфраструктуры.

Интересный опыт был получен при использовании сервиса Cisco OpenDNS Umbrella, задача которого была мониторить DNS-запросы из Олимпийской инфраструктуры и отсекать все, что было связано с вредоносной активностью:

  • вредоносный код, пытающийся проникнуть внутрь инфраструктуры
  • ботнеты и фишинговые атаки, приводящие к утечкам данных
  • новые, фальшивые и мошеннические сайты

Нам удалось внедрить Cisco OpenDNS Umbrella по всей инфраструктуре всего за 2 (!) часа за 2 дня до церемонии открытия Игр и уже в процессе своей эксплуатации этот сервис ежедневно пропускал через себя 22 миллиона DNS-запросов и 23 тысячи из них блокировал по причине вредоносности.

Из других интересных цифр, которыми мы могли бы поделиться, я бы назвал следующие:

  • Всего было зафиксировано свыше 1 миллиарда 300 миллионов событий МСЭ Cisco ASA
  • 15 миллионов событий TACACS+
  • IDS/IPS зафиксировали свыше 7 миллионов событий безопасности, из которых больше трети всех попыток были связаны с троянами, а 23% с DoS, из которых 99% были связаны с DNS-протоколом
  • ISE провел 13,5 миллионов успешных аутентификаций и отбраковал 1,7 миллиона неудачных


Церемония открытия Олимпийских игр в событиях безопасности

Такими оказались для нас Олимпийские игры в Бразилии в 2016-м году. Мы усилили свою компетенцию в области защиты массовых спортивных мероприятий и планируем вновь применить свой опыт на играх в Японии в 2020 году. Уже известно, что Япония планирует потратить на это направление свыше 190 миллионов долларов, считая его одним из приоритетных для себя. Ну а Cisco готова помочь в этом Международному Олимпийскому Комитету и компании Atos, являющейся официальным поставщиком ИТ-услуг для Олимпийских игр.
Поделиться с друзьями
-->

Комментарии (20)


  1. Sunrisekhv
    10.10.2016 04:05
    +3

    Эксперты по информационной безопасности любят вставить шпильку официальным лицм по поводу количества кибератак на официальные ресурсы, но при этом абсолютно не стесняются писать про 510 миллионов кибератак за Олимпиаду.


    1. ShashkovS
      10.10.2016 08:59
      +3

      Вероятно, каждое действие каждого пользователя рассматривалось как кибератака. Ибо как в анекдоте про изнасилование — инструмент-то есть.

      PS. Видимо по каким-то причинам всё-таки каждое третье, ведь «1300M событий МСЭ Cisco ASA» и «510M кибератак».


      1. Sunrisekhv
        10.10.2016 09:06
        +3

        МСЭ это МСЭ, IDS это IDS. 510 миллионов атак это я так понимаю события именно IDS. Зачем каждый чих считать кибератакой?


        1. PaulAtreides
          10.10.2016 12:01
          +3

          510 миллионов больше похоже на количество дропнутых пакетов.


    1. alukatsky
      10.10.2016 12:59

      А это не наша статистика (про 510 миллионов) — это официальные цифры. Я по тексту написал про число событий, которые фиксировали наши средства защиты. Допускаю, что речь идет о каждом дропнутом событии на периметровых средствах защиты, включая МСЭ. Только IDS/IPS столько не генерил сигналов тревоги


  1. LoadRunner
    10.10.2016 08:34
    +3

    А там применялось оборудование, уязвимости для которого закрыли лишь недавно, и то благодаря утечкам Shadow Brokers?


    1. alukatsky
      10.10.2016 13:00

      Там применялся целый набор решений, в том числе и таких, которые позволяли отслеживать любые аномалии в сетевом трафике.


  1. uniquesmiler
    30.01.2017 01:27
    +1

    Выработал для себя такую практику:
    1. Подписался на все интересные хабы по RSS.
    2. Читаю подписку один раз в неделю, в выходной.

    В итоге знаю, что ничего интересного для себя не пропущу, и в то же время не жду постоянно обновлений на сайте.

    В этом, кстати, важное преимущество TM — здесь есть RSS.


  1. VitMain
    10.10.2016 12:01
    +2

    Алексей, сколько ISE нод обслуживало Олимпиаду в Бразилии? ISE какой версии использовался? Почему использовали ACS если в ISE есть TACACS?


    1. alukatsky
      10.10.2016 13:05
      +1

      В проекте использовался ISE v1.3. 2.0 (с поддержкой TACACS) мы не закладывали, так как проектировали еще до выхода 2.0. Кластер ISE был один на два ЦОДа. В каждом ЦОДе было 10 нод.


  1. Vjatcheslav3345
    10.10.2016 12:16

    Интересно было бы сравнить с защитой электронных госуслуг государства и госбаз — ведь олимпиада — периодическое мероприятие а вот государство должно работать постоянно.


    1. alukatsky
      10.10.2016 13:07

      Сложно сравнивать. Олимпиада — это сжатое по времени и очень публичное мероприятие, на которое бросается много ресурсов. А защита госресурсов — это непрерывный проект с небольшими инвестициями. Поэтому сравнивать не просто.


  1. xBrowser
    10.10.2016 13:07

    22 миллиона DNS-запросов в сутки — это 255 в секунду. Что соответствует штатному серфингу около тысячи одновременных абонентов, по моему опыту.
    23 тысячи вредоносных — это 1 пакет в 4 секунды. С учетом данных от IDS/IPS это «DoS» пакеты.
    Расскажите как ваше оборудование смогло выдержать такую нагрузку? И сколько денег все это стоило?


    1. alukatsky
      10.10.2016 13:14
      +1

      22 миллиона DNS-запросов шли через сервис Cisco OpenDNS Umbrella. К DoS-статистике IPS они никакого отношения не имели. Для Cisco OpenDNS 22 миллиона — это смешные цифры; там 80 миллиардов DNS-запросов ежедневно анализируется. Так что Олимпиада не сильно повлияла на доступность этого сервиса. Что касается доступности инфраструктуры, то она специально тестировалась с нагрузкой. Обычно работы по Олимпиале начинаются за 1000 дней до ее начала (в Рио мы начали работать за 900 дней до начала). Общие временные затраты нашего консалтингового подразделения на этот проект составили 34000 человеко/часов. А всего на тестирование инфраструктуры (всей) было потрачено 200 тысяч часов — проверялись разные сценарии, в том числе и под серьезной нагрузкой. Поэтому все было учтено заранее. Вопрос цены я оставлю за кадром :-)


      1. LoadRunner
        10.10.2016 14:25

        Вопрос цены я оставлю за кадром :-)
        Олимпиард рублейдолларов?


  1. paxlo
    10.10.2016 16:10

    Как-то корежит от «олимпийских атлетов» применительно к игрунам в видеоигры. Люди занимающиеся олимпийскими видами спорта, меня поймут.


    1. alukatsky
      10.10.2016 16:10

      А причем тут видеоигры?


  1. Ivan_83
    10.10.2016 23:16

    Пеар такой пеар.

    «Нам удалось внедрить Cisco OpenDNS Umbrella по всей инфраструктуре всего за 2 (!) часа» — Чтобы на пограничнике завернуть весь TCP/UDP dsp port 53 на нужный ip:port нужно пару минут, что вы делали остальные два часа?

    «сервис ежедневно пропускал через себя 22 миллиона DNS-запросов и 23 тысячи из них блокировал по причине вредоносности.» — Что только подтверждает что сервис никчёмный: полезность стремящаяся к нулю :)
    22м в сутки это менее 1м в час или 16к в минуту или менее 300 в секунду. Это мягко говоря ниочём, такое нынче осилит любая мобила с андройдом.

    Реальность более уныла.
    Почитали методички вендора, выбрали нужные кубики, привезли, соединили и настроили всё как на картинках и всё.
    У нас было веселее, по рассказам участников :)


  1. alukatsky
    10.10.2016 23:59
    +1

    1. Пограничный маршрутизатор был не один. Кроме того, мало завернуть трафик (это у нас OpenDNS для домашних пользователей делает — https://www.opendns.com/home-internet-security/) — его надо принять и применить к нему соответствующие политики.

    2. Сервис ежедневно пропускает через 80 миллиардов DNS-запросов. То, что в Рио было на три порядка меньше говорит только о том, что Рио — это еще не весь мир.

    3. Мы не стремимся к веселью — за этим можно в цирк сходить.


    1. Ivan_83
      18.10.2016 23:58

      1. хз кому там что надо принимать, видно же что толку от ваших политик никакого не было, могли бы поставить пару обычных атомов с бсд/линухом и unbound было бы дешевле и лучше. Но экономить деньги заказчика дело не благодарное, да, особенно торгуя шильдиком кошки.

      Исходя из пакетрейта днс можно предположить что аплинки были утилизированы меньше чем до гига или около того, что по современным меркам уже уровень устройств обычного домохозяйства.

      2. 80 ярдов должно кого то удивлять? Серьёзно?
      Современный сервер один столько прожуёт, единственное что возможно придётся софт допилить немного: тому же unbound прикрутить netmap или DPDK вместо обычных сокетов.

      3. Уху, видно что вам не до смеха. Ещё немного и вместо вас везде будет хуавей да всякие программно-опенсорсные решения.