Дата-центр — заманчивая цель для кибератак и непростой объект для защиты. Мы решили выяснить, как обеспечивается бесперебойная работа ЦОДов у руководителя отдела информационной безопасности 3data Павла Черных, и публикуем его рассказ.

Из него вы узнаете, как выглядят три кита безопасности ЦОД, к каким специфическим инцидентам постоянно готовятся на этих объектах и почему дата-центры привлекают бездомных. А напоследок вы получите несколько практических советов по выбору надежной площадки для размещения своей инфраструктуры.

Из чего складывается безопасность ЦОД

В теории безопасность любого центра обработки данных стоит на трех китах, это:

• Физическая безопасность — она обеспечивается круглосуточной охраной, видеонаблюдением, системами контроля доступа (СКУД), пожаротушения и резервированием по электричеству и связи;

• Информационная безопасность, которая включает защиту каналов связи, мониторинг оборудования, установку средств защиты информации и информационную гигиену;

• Бумажная безопасность — прохождение аудитов, сертификации, получение лицензий ФСТЭК, введение политик по информационной безопасности.

Эти аспекты часто пересекаются. Так, например, программная уязвимость в СКУД может привести к нарушению физической безопасности, а политика реагирования на инциденты напрямую влияет и на физическую, и на информационную безопасность. Все будет зависеть от конкретного инцидента и модели угроз.

Наша модель угроз

На практике многое зависит от специфики бизнеса. Одно дело, когда ты отвечаешь за безопасность гигантского банковского дата-центра, периметр которого охрана объезжает на джипе. И совсем другое, если это площадка на одном из этажей бизнес-центра.

У нас своя специфика — 3data управляет сетью ЦОД шаговой доступности. То есть мы строим дата-центры на 60-200 стоек каждый в черте города. Они располагаются в деловых районах рядом со станциями метро и крупными БЦ и отвечают надежности и безопасности на уровне TIER 3. Из-за такого расположения мы сталкиваемся со специфическими проблемами. В частности, это создает дополнительные риски для физической безопасности инфраструктуры.

Бешеный экскаватор — враг связиста

Больше всего проблем, связанных с физическим воздействием, приносит работа городских служб, которые могут повредить часть инфраструктуры, начав раскопки неподалеку.

ЦОД — здание телекоммуникационное, к нему тянется множество кабелей в самых разных плоскостях: под землей, на земле, «по воздуху». Что-нибудь, где-нибудь да и перерубят. Такие кейсы нередки, особенно в случае дата-центров, которые находятся в центре города, где особенно активно кладут плитку. Поэтому ЦОДы зарезервированы по нескольким вводам по схеме N+1, N+2. Но нужно признать, что карты коммуникаций становятся актуальнее, и подобные инциденты происходят все реже — в последние годы у нас и вовсе не случались.

К тому же, наши технические службы находятся на связи с управляющими компаниями и администрациями районов. Мы заранее узнаем о том, где и когда будут проводиться работы, и можем подсказать, где проложены кабели. Это конечно добавляет головной боли сотрудникам, но риски просчитаны, и угрозы для клиентов тут нет — такой подход помогает подготовиться к неожиданностям.

Московский киберпанк

Другой аспект, который приходится учитывать, если хочешь эксплуатировать ЦОД в городе, — большой людской поток возле объекта и возможный рост числа инцидентов, которые связаны с человеческим фактором. Многие из них скорее курьезные.

Зимой на улице холодно, а внешние блоки кондиционирования 24 на 7 выдувают поток теплого воздуха. Получается этакий оазис на промозглых городских улицах, который неудержимо притягивает бездомных. По крайней мере, если кондиционеры расположены достаточно близко к забору, а охрана еще не приступила к работе. Hi tech low life, в общем. Не то чтобы это была острая проблема, а с установкой дополнительных камер и охранных систем она и вовсе потеряла актуальность, но на заре строительства дата-центров такие случаи были.

Или вот другой пример. По внутренним чатам сотрудников долгое время гуляла запись с камеры наблюдения, на которой курьер с характерной кубической сумкой перемахивает через забор дата-центра и попадает в руки удивленной охраны. Это было давно — центральный офис тогда находился внутри ЦОДа, и сотрудники заказывали доставку еды. В тот раз курьер не смог сориентироваться на местности, не заметил домофон у калитки в паре метров правее, но решил не сдаваться и все же доставить заказ.

Действительно серьезные проблемы

Физическая безопасность, конечно, важна, но виртуальные угрозы для нас опаснее, ведь они легко масштабируются и автоматизируются. Главная, можно сказать профильная угроза для нас — цифровые атаки на основные каналы связи. Обычно это DDoS. Не совру, если скажу, что их количество и интенсивность за последние полтора года выросли в несколько раз.

Недавно зафиксировали DDoS на одну нашу внутреннюю сеть. На уровне L7, то есть на уровне приложения, на сервер поступал трафик 497 гигабит в секунду. Но поскольку подобное случается регулярно, к таким вещам мы готовы. Дали знать подрядчику, который помогает с DDoS-защитой, и оперативно почистили трафик.

Разграничение ответственности и SLA

Также встречаются проблемы на уровне личных кабинетов и оборудования клиентов. Недавно внедряли в нашу зону ответственности проект заказчика, и стоило подключить сервер к SIEM, как система подсветила множество подключений и авторизаций на одном из портов. Просканировали, посмотрели и нашли там админку китайского ботнета. Как она там оказалась — загадка.

Тут важно понимать, что большинство дата-центров продают только размещение оборудования, и по большому счету все, что происходит на серверах, — ответственность клиента. Если там будет происходить что-то незаконное, с нарушением условий обслуживания, то ЦОД просто разорвет контракт.

У нас другой подход. Мы позиционируем свои дата-центры, как некий маркетплейс, где можно получить сразу несколько услуг, в том числе по информационной безопасности. Например, можем поставить на мониторинг безопасность клиентских систем, служб и сервисов — все зависит от договоренностей. С каждым клиентом заключается индивидуальный SLA, где прописаны сферы ответственности, а также тайминг реагирования на те или иные проблемы.

Что мы делаем для поддержания безопасности ЦОД

Когда заходит речь о мониторинге работы ЦОД, в голове возникает большой дашборд с лампочками, как на атомной станции. Это не обязательный атрибут системы мониторинга безопасности, но у нас действительно реализовано нечто подобное. Мы заинтересованы в том, чтобы следить за всеми площадками одновременно в режиме реального времени. Вкладываемся в телеметрию и автоматизацию самых разных аспектов их работы: от сетевой связности и версий ПО до доступа к оборудованию, температуры воздуха в машзалах и т. д. Иногда шутим, что у нас в дата-центрах под наблюдением все вплоть до температуры воды в кулерах.

Пока система безопасности представляет собой черный ящик, ее гораздо сложнее взломать, так что я не могу вдаваться в подробности, но кое-что расскажу. Так, помимо стандартного набора СЗИ, сетевых экранов и средств доверенной загрузки мы активно используем сертифицированные регулятором SIEM-системы и регулярно меняем схемы средств защиты. Без этого никак:

• сервисы и услуги со временем масштабируются и диверсифицируются, и их защиту нужно поддерживать;

• меняется законодательство — регуляторы выпускают новые приказы, и под них тоже нужно подстраиваться;

• подталкивают клиенты, которым нужно удовлетворять запросы конечных пользователей.

Кажется, что в таких условиях уже не один ЦОД не может обойтись без полноценной службы информационной безопасности и партнерской ИБ-экосистемы.

Что касается физической безопасности, то и тут все непросто. Мы всегда смеемся, когда в боевиках типа «Миссия невыполнима» главный герой проползает по вентиляции, вваливается в серверную, открывает первую попавшуюся стойку, засовывает флешку и тут же получает все, что хотел.

Во-первых, у нас не бывает такой широкой вентиляции, а во-вторых, любой ЦОД — это режимный объект под круглосуточной охраной, видеонаблюдением и мониторингом. У нас на входе установлены биометрические СКУД с доступом по отпечатку пальца. 

Попасть внутрь комплекса могут только аккредитованные лица в сопровождении дежурного инженера. Доступ в машинный зал ограничен политикой безопасности компании, в которой указано, какое количество согласований и проверок должен пройти каждый желающий.

На первый взгляд, такая бюрократизация может показаться излишней, но она играет не последнюю роль в обеспечении безопасности. К тому же, она не обязательно должна быть неудобной. Все необходимые формальности и согласования у нас проводятся через личный кабинет клиента — детище нашего Центра разработок.

Каждый клиент сертифицирован, а каждый посетитель аккредитован. Благодаря системе заявок у нас есть вся информация о посетителе: мы видим, кто находится в машинном зале, во сколько зашел и во сколько вышел, а все действия с оборудованием отражаются в системах мониторинга.

Когда и этого мало

Это если говорить о среднем уровне по больнице. Бывают заказчики с еще более жесткими требованиями к безопасности. Для них приходится идти еще дальше. Например, могу раскрыть подробности кейса, связанные с одной крупной букмекерской конторой. Закон устанавливает ряд требований к размещению инфраструктуры таких компаний, поэтому с ними не все так просто — они не могут зайти в любой ЦОД.

Для того, чтобы поставить серверы по всем требованиям букмекера, нам пришлось соорудить внутри машзала отдельный бокс — cage — выгородку. Внутри него было организовано собственное видеонаблюдение и отдельная зарезервированная система контроля доступа. А еще внутри выгородки установили кассовый аппарат и организовали рабочее место для охранника. Хорошо хоть ему не нужно было дежурить там круглосуточно.

Сам дата-центр в этом случае должен располагаться на определенном расстоянии от социальных объектов: детских садов, школ, больниц и так далее. Организовать все это за чертой города было бы гораздо проще, но заказчик хотел, чтобы инфраструктура находилась в пределах МКАД. Мы подобрали подходящую площадку, подготовили бокс, а потом приехал сторонний аудитор и нашел поблизости какой-то никем не замеченный социальный объект. Пришлось все демонтировать и своими силами перемещать в другой наш ЦОД, который уже отвечал абсолютно всем требованиям. 

Рынок российских ЦОД: проблемы и тенденции

Даже в текущих реалиях ЦОДы продолжают греть воздух и перемалывать числа, а мы продолжаем строить новые площадки. На рынке уже много лет дефицит стойкомест. Молодая отрасль отечественных центров обработки данных просто не успевает удовлетворить потребности рынка. Мы только готовимся ввести в эксплуатацию новый объект, а 80% мощностей уже законтрактовано клиентами. Это при том, что особых проблем со строительством нет и пока не предвидится, просто нужно время.

Если говорить в контексте инфраструктуры, то мы и до санкций использовали отечественное оборудование, например, системы пожаротушения от Пожтехника. Многое сейчас тестируем. Кондиционеры и дизель-генераторы, да — зарубежные, но параллельный импорт работает, и это внушает сдержанный оптимизм.

С чем были проблемы, так это с процессом сертификации AICPA SOC 2, точнее с невозможностью заплатить зарубежным компаниям, которые проводят этот аудит. Вопрос удалось решить уровнем выше с помощью с сертифицированных подрядчиков, которые нам с этим помогают.

Ходили слухи, что Uptime Institute прекратит стандартизировать российские дата-центры, но этого пока не произошло. Ну а если вдруг, случится, у нас останутся сотрудники российского представительства. Они знают, что такое ЦОД, отвечающий самым высоким стандартам, их компетенции никуда не денутся.

О требованиях клиентов

Отдельно хочется отметить, как сильно за последние пять лет выросли компетенции клиентов. Раньше заказчики почти не интересовались тем, что происходит в дата-центре — оборудование работает, да и Бог с ним. Сейчас к нам обращаются подкованные IT- и технические директора, приходят целые технические отделы.

Заказчики интересуются, как построен дата-центр, кто вендор, кто поставщик, сколько запасных деталей, спрашивают про дополнительные услуги. Многим требуются офисы внутри ЦОД, чтобы персонал компании мог дежурить рядом с системой. Это здорово, потому что раньше приходилось доказывать клиентам, что им необходимо брать какой-то резерв, что стоит обратить внимание на информационную безопасность. Более того, такие запросы позволяют нам лучше понимать, что востребовано на рынке, расширять и дополнять портфель клиентских сервисов.

Так, с начала 2022 года вырос спрос на дополнительные услуги в части безопасности. Все больше компаний интересуется защитой от DDoS. Раньше с такими атаками сталкивались только некоторые типы бизнеса, но сейчас в защите заинтересованы все: от СМИ и госзаказчиков до сетевых фитнес-центров.

Обозначился спрос на геораспределенные системы. Клиенты все чаще берут стойки для резервирования на разных площадках, чтобы исключить физическое воздействие на инфраструктуру.

Взять, скажем, тот пожар во французском дата-центре — яркий пример того, зачем нужна геораспределенная система. Тогда сгорело сразу несколько машзалов, и ряд компаний потерял все данные, потому что основные системы стояли в первом зале, а резервные — в четвертом.

Отдельные московские заказчики даже захотели разместить резервные системы за Уралом, но в основном мы распределяем серверы по нашим ЦОДам в черте города — когда у тебя в распоряжении целая сеть площадок, гораздо проще подобрать вариант, подходящий для клиента.

Как выбрать надежный ЦОД

Как я уже говорил, современный заказчик хорошо представляет, что ему нужно, но можно попробовать выделить несколько рекомендаций с позиции изнутри индустрии. При выборе площадки стоит обратить внимание на следующие моменты:

• Каков уровень надежности ЦОДа и его инфраструктурные характеристики, включая расположение, площадь, наличие ДГУ и т. д.;

• Есть ли физическая охрана, системы видеонаблюдения, контроль доступа на территорию и непосредственно к серверам;

• На наличие и уровень СЗИ: современных SIEM-систем, использование межсетевых экранов, IPS/IDS, DDoS-защиты;

• Проводятся ли плановые аудиты безопасности, пентесты через независимых подрядчиков, и какова частота их проведения;

• Как выглядит процесс предоставления доступа к системам новым сотрудникам ЦОДа;

• Есть ли обязательная аккредитация клиента/сотрудника для доступа в машинный зал;

• Каков уровень «бумажной безопасности»: соблюдаются ли политики и сертификации, такие, как ISO 27001 и PCI DSS и т. д. Соблюдение законодательных и регуляторных требований;

• Какова частота проведения тестов инцидентов и предупредительного обслуживания в ЦОДе;

• На уровень технической поддержки и доступность службы поддержки в случае инцидентов или проблем;

• Когда и что сообщают клиентам, если возник инцидент;

• На репутацию ЦОДа и поиск отзывов от других клиентов.

Это лишь малая часть того, на что необходимо обратить внимание при выборе дата-центра. Если говорить в контексте бумажной составляющей, важным аспектом при выборе ЦОДа является наличие у оператора согласованных планов реагирования на инциденты, SLA (Service Level Agreements), которые предлагают подписать клиентам, а также отечественных и зарубежных сертификаций. Средства и силы, вложенные в их получение — хороший маркер серьезного отношения к информационной безопасности.