Мы используем для своего облака дата-центр DataPro. Да, интегратор «Техносерв» строил дата-центры и серверные узлы, да, мы умеем это делать, да, у нас есть нужные инженеры в штате, но мы предпочитаем отдавать именно размещение на аутсорс. Почему? Потому что дата-центр в виде IaaS — это, очень упрощая, как холодильник или склад. Ничего романтического — просто место, куда надо поставить сервер. Охлаждение, питание, регламенты и всё остальное — это очень много компетенций, которые не нужны в облаке. Хранение чужих серверов включёнными — это отдельный бизнес.
Почему мы выбрали их? Потому что они параноики в классическом военном смысле. Например, никогда не зависят от одного вендора. Или вот давайте просто дойдём до нашего сервера и посмотрим, сколько раз нас по дороге остановят.
Сначала нас остановит забор с набором датчиков. Если его потрясти в любом месте или попробовать на него залезть, то сработает датчик вибрации, и сразу выдвинется патруль охраны.
Вот этот забор:
Потом у них вход в здание, где нужно авторизоваться. Правда, бывали случаи, когда вместо пропуска прокатывало показать сервер за 2–3 миллиона рублей, но дальше турникета всё равно не пустят. Там надо нормально представиться, взять RFID-метку и записать паспортные данные. Дальше — ещё один турникет и офисная часть, где сидят инженеры и команды админов тех, кто держит железо в ЦОДе. Мы тоже там иногда сидим.
Ладно, предположим, вам удалось пройти туда. Теперь надо проникнуть в нужный машзал. По дороге в машзал ждёт вот такой сюрприз:
Это тамбур, внутри — две (или больше) дверей. На фото слева — техническое помещение, которое открывается специальным мастер-ключом, справа — сам машинный зал, куда доступ по электронному пропуску. То есть у инженера по эксплуатации технологического оборудования (сотрудника, между прочим, DataPro!) просто нет доступа в помещение со стойками.
Сами стойки тоже заслуживают внимания. Вот обычные запертые:
А вот используемые нами дополнительные защитные периметры (решётки). И здесь, за решёткой, только небольшая часть серверов:
Такие решётки каждый клиент ЦОДа выбирает на свой вкус. Хочется прутья чаще, чтобы руку нельзя было просунуть даже до запертой стойки, — не вопрос. Хочется жалюзи — не вопрос. Решётки у некоторых особо осторожных и недоверчивых клиентов уходят под фальшпол и в фальшпотолок.
Вот диспетчерская службы эксплуатации с круглосуточным мониторингом работы ЦОД:
Это дежурный инженер службы эксплуатации. В круглосуточной смене таких инженеров больше одного. У службы безопасности ЦОД (охраны) примерно такое же отдельное помещение, только с доступом строже, чем в машинный зал, и туда выводятся данные с видеокамер.
Здесь инженер службы эксплуатации контролирует работу всего оборудования ЦОД, например, температуру в машинных залах, передаваемую температурными датчиками из холодных и горячих коридоров, непосредственно у стоек:
Можно пойти и осмотреть оборудование визуально, собственными глазами (кстати, дежурные инженеры службы эксплуатации совершают регулярные обходы с осмотром оборудования), но это получится, только если есть допуск в соответствующие помещения:
Можно насладиться видом датчиков:
Опять же, что особенно нам нравится, даже строго в своей части команда эксплуатации ЦОД делает всё очень аккуратно и педантично. Вот ДРИБП (это такие большие источники бесперебойного питания, но без традиционных аккумуляторов) и маркировка на кабелях:
По ДРИБП тоже два вендора, кстати.
Везде аккуратная разводка:
Хотя, конечно, у клиентов ЦОДа внутри стоек бывают наспех провешенные «сопли»:
Есть удобные банкетные столики, используемые обычно как консольные тележки:
На крыше тоже всё схвачено:
Прямоугольные коробочки чуть ниже камер — это свет:
Во всех помещениях, включая вот это, — видеонаблюдение:
Собственно, конец простой экскурсии.
Директор по эксплуатации инженерных систем DataPro — Кучин Андрей Вадимович
Вот почему мы арендуем ЦОД — парни знают толк в надёжности, безопасности и поддерживают уровень эксплуатации. Но даже при таком подходе нельзя привязываться к одному вендору и одной площадке (хотя наше оборудование стоит в нескольких машинных залах) — поэтому скоро у нас будет еще одна новая площадка, в том числе для георезервирования.
Комментарии (21)
skeletor
22.03.2018 14:58Сначала нас остановит забор с набором датчиков. Если его потрясти в любом месте или попробовать на него залезть, то сработает датчик вибрации, и сразу выдвинется патруль охраны.
И часто вот так выбегает охрана на любые вибрации? А если вибрации сразу с нескольких сторон, хватит ли у вас охраны что бы выбежать на все направления?
TS_Cloud Автор
22.03.2018 14:59Охрана выбегает не на каждую вибрацию, а только на такую, которую система охраны может ассоциировать с действиями от проникновения человека или по разрушению периметра (забора). Также на место срабатывания датчиков автоматически наводятся камеры системы видеонаблюдения. И уже потом бежит охрана.
В составе круглосуточной смены службы безопасности ЦОД достаточное количество сотрудников, чтобы проверить срабатывание от вибрации гораздо больше одного датчика.
carrier
23.03.2018 03:37Старый-добрый саботаж, хехе. Всегда можно найти способ заставить срабатывать периметральную сигнализацию постоянно. Раз-за-разом.В идеале так, чтобы акт саботажа оставлял полотно неизменным.
W0lk
23.03.2018 10:33Скорее всего стоит еще видеонаблюдение с освещением периметра, прилетел пакет (иногда и его достаточно что бы сигнализация сработала) — посмотрел в монитор и убедился что угрозы, забыл до обхода.
Но это только скорее всего…
Bobrovskii
22.03.2018 17:24Мне всегда было интересно, от кого эта защита?
Придут дяди в масках с автоматами и выдадите вы им сервера по предписанию суда как миленькие.
А от гопников все это избыточно (ИМХО)TS_Cloud Автор
22.03.2018 17:25+4Между крайностями «дяди в погонах» и «гопники» есть и еще варианты.
Стоимость оборудования в ЦОД (даже на уровне одной стойки) может достигать нескольких сотен тысяч долларов.
Также данные, которые могут храниться на серверах, размещенных в ЦОД, могут стоить еще дороже.
Вас не смущают же, например, аналогичные меры по безопасности в банках и денежных хранилищах?
navion
22.03.2018 20:39От предприимчивых сотрудников и других клиентов, когда те копаются в своих стойках.
claymen
22.03.2018 21:13Даже на сервер поставили железную дверь по привычке, что значит традиция.
На заводах станки закрывали…
Без железа никак…
Грусть. И тоска.
А если вспомнить что половину банков обчистили их же хозяева…
Sleuthhound
22.03.2018 22:13Вот почему мы арендуем ЦОД
А может все же потому, что построить свой ЦОД стоит наааамного дороже, чем арендовать чужой? А безопасность и надежность тут как бы не причем.ksopt
23.03.2018 09:57От сценария развития зависит. В некоторых случаях TCO своей площадки более привлекательно. У Schneider есть разные калькулятор на эту тему, если интересно погуглите trade off tools. Там калькулятор TT-13 v1 как раз сравнивает полную стоимость.
pogorzhelskiy
23.03.2018 10:53Причина банальна. ЦОД в Лыткарино ещё не запустился полноценно и далеко туда ездить.
TS_Cloud Автор
23.03.2018 11:29+1Действительно, ЦОД мы арендуем потому, что это быстро и дешево, особенно учитывая, что под наши задачи нам нужен относительно небольшой ЦОД. Но таких «относительно небольших» нам нужно несколько, причем именно уровня TIER III. Строить их самим просто экономически нецелесообразно.
Когда мы выбираем себе дата-центр для аренды, то ведем очень строгий отбор. И основной критерий тут — безопасность. В посте мы и рассказали о своих критериях по безопасности.
Ну, и, как мы уже сказали выше, скоро мы подключим себе новую площадку и будем использовать два дата-центра.
pogorzhelskiy
23.03.2018 10:58Так в чём же интересность защиты? Любой человек может перекинуть через забор что угодно и это будут уже стенки ДЦ(например, офисы ТП). Для примера, ЦОД ТрастИнфо, огорожен большой территорией НИЦЭВТ, где нужен отдельный допуск.
TS_Cloud Автор
23.03.2018 15:51Интересность защиты, по нашему мнению, в том, что это целостное единое решение.
Периметры, охрана, разделение доступа, технические системы и т. д. и т. п.pogorzhelskiy
23.03.2018 15:59Так показали бы логичную картинку, например, вот крутилка на входе, далее охрана на рецепшен, процедура оформление пропуска, вот и первая дверь с RFID меткой, далее лифт, далее дверь на этаж с контролем видеокамер и одевание бахил, далее дверь в гермокамеру перед входом в маш.зал, далее сам маш.зал и там уже оградка около стоек.
После можно инженерную инфраструктуру показать. И сделать акцент, что до неё сложно добраться. Например, визуально показать, как сложно попасть к друпсам и на крышу здания.
Вы показали кусками ДЦ, что не даёт понять целостную картинку взаимосвязи этого всего и гарантию интересной безопасности.
jetcar
23.03.2018 11:27бред, как часто люди извне пытаються пронитнуть в серверную? проще уговорить местного работника и вся внешняя защита сразу становиться бесполезной, более важно защищать от своих работников, если от них защитил то и внешние угрозы будут непочём
TS_Cloud Автор
23.03.2018 15:54Даже свои работники не имеют доступа к помещению со стойкой. Это как минимум интересно
pogorzhelskiy
23.03.2018 16:02Не соглашусь с вами. Вы наверное не были в ДЦ.
Обладая одним пропуском, в маш.зал могут проникнуть любое количество людей. Гостевые пропуска в ДЦ — не проблема сделать.
prospero78su
23.03.2018 11:47+1После недавнего доморощенного ЦОДа — эта статья оставляет приятное впечатление. Прям, как укол иголкой в одно место тем товарищам))
Вообще, разнообразный парк технических изделий — не очень хорошо. Если выбор ограничен 3 не афилированными производителями — тогда вполне рабочий вариант.
Всё же решётки я бы заменил жалюзями с встроенными пластиковыми окнами. Руку просунуть можно в раздвижном барьере, а из-за ячеистой решётки визуально осмотреть оборудование — не просто. Хотя, ещё раз — действительно, всё выглядит на уровне промышленного решения.
pil0t
21 век же на дворе, а где пушки/сети для защиты от дронов?
vesper-bot
Вон в тех бочках над дверями на крыше. Если засекают дрон, крышка открывается, и дрон сбивается.
(Шучу. Но вполне возможно, что защита есть, просто не попала в кадр)