Что общего между Крымским мостом и СКС? Мы случайно выяснили: для железнодорожной части этого моста потребовалось 76 000 шпал (по информации из открытых источников). И примерно столько же оптических волокон в нашей СКС, построенной для банка «Открытие». Под катом рассказываю, как мы ее делали и тестировали (и даже немного о том, зачем на проекте понадобился маляр). 

Действующие лица  

• Банк «Открытие» — он же заказчик, входит в ТОП-10 банков России.

• ЦОД «Компрессор» — входит в сеть отказоустойчивых дата-центров ИТ-компании КРОК. Cертифицирован Uptime Institute на уровень Tier III.

• СКС — структурированная кабельная система. 

• Инженеры КРОК.

Пролог 

В 2019 году банк «Открытие» решил использовать «Компрессор» в качестве резервной площадки. В ЦОД для банка выделили машинный зал на 200 стойко-мест. Разумеется, сразу встал вопрос об адаптации инженерной инфраструктуры. Чтобы соответствовать техническим требованиям заказчика, нужно было перестроить всю систему кабельных каналов и смонтировать новую высокоплотную СКС. 

Предварительные расчеты по проекту мы провели еще в феврале 2019 года. Приблизительно к апрелю стал понятен объем закупок. В течение всего этого времени мы вели переговоры с «Открытием»: согласовывали объемы, спецификацию, утверждали проект.

Действие первое: организация 

Надежность — главное требование для банка при построении СКС. Минута простоя ЦОДа приводит к миллионным убыткам. Также требуется максимально возможная скорость в 100 Гбит/с. По сравнению с активным оборудованием кабельные сети стоят существенно дешевле, так что экономить на СКС — дурной тон.

Есть две основные структуры построения СКС: интерконнект и кроссконнект. Заказчик выбрал более дорогой кроссконнект как максимально гибкое решение, с заделом на будущее. Порт на активном оборудовании подключается один раз, так что все переключения происходят в кроссе, а не на оборудовании. Соответственно, риск повредить порт на «активке» практически отсутствует. А в кроссе его всегда можно заменить. 

Уже на этапе проектирования мы поняли, что проект простым не будет. Главной сложностью были объемы: центральный кросс — 60+ тысяч волокон — нужно было разместить в шести шкафах. И это далеко не максимальная загрузка, а с возможностью роста. 

Структурная схема:

Решения с такой плотностью и такими маленькими размерами кросса есть не у всех вендоров, и, как правило, они дорогие. Выбор пал в сторону американского Corning. Во-первых, это качественный поставщик оптоволокна. Во-вторых, только они смогли гарантировать соблюдение сроков. Обещали поставку за 5 недель — поставили за 5. Для сравнения: все прочие компании говорили о сроке в 8-10 недель.

Действие второе: монтаж 

К маю 2019 года в ЦОДе все еще стояло оборудование предыдущего заказчика, которое требовалось демонтировать. Сделали мы это довольно быстро, и уже в начале июня стартовал монтаж. В это же время мы поняли, что не все стандартные практики тут применимы. 

Во-первых, кабель оказался необычайно толстым. Поскольку это была одна из первых реализаций высокоплотной СКС, мы слегка не рассчитали, что кабель с большим количеством волокон будет ощутимо толще обычного. Ведь, когда говорим про оптику, то сразу думаем — она же тонкая, около 6 мм в диаметре! А тут мы столкнулись с диаметром около 12 мм. Если раньше такого не встречал, то и представить такой вариант сложно. Так что дорабатывать лоточную систему пришлось буквально на ходу. Кроме того, кабель оказался еще и довольно тяжелым. Пришлось пересчитывать подвесы — опорные крепления самого лотка. 

Во-вторых, у нас оптика претерминированная, то есть предоконцованная с двух сторон. Проектировщики в таком случае всегда боятся ошибиться с длиной,  закладывают запас. Потому что столкнуться с нехваткой — куда большая проблема, чем перезаложить. Плюс при заказе претерминированной оптики производители рекомендуют соблюдать условную номенклатуру — 3-5 метров. Нормальная практика — предусматривать «бублики» в лотках, куда этот запас можно уложить. В этот раз пришлось искать нестандартный вариант: из-за толщины кабеля не смогли его нужным радиусом разложить в лотке, поэтому аккуратно скрутили его над шкафом. 

В-третьих, частично сказались и некоторые ограничения самого ЦОДа. Во время его строительства использовались несколько иные нормы, в том числе, для СКС. Заказчик же выбрал очень высокие шкафы — 48U — чтобы держать в одной стойке больше железа. Поэтому лотки под оптику, электричество, сами панели было достаточно трудно разместить в просвете над шкафами. Пространства для маневра у нас практически не оставалось — рукой подать до фальшпотолка, поэтому сделали так компактно, насколько возможно. Чтобы оптический кросс не занимал половину зала, мы реализовали гибридную систему: с одной стороны разъем на два волокна, с другой — на восемь.

Действие третье: тестирование 

Без тестирования ни один производитель не поставит свою СКС на гарантию. Есть много вариантов тестирования: с одной перемычкой, с двумя, с тремя, и у многих производителей в дополнение к основным стандартам идут еще и свои собственные требования. Это иногда приводит к недопониманию. На одном из объектов, например, мы тестировали по стандартам, а они со стандартами вендора в некритичных моментах расходились. В итоге пришлось по просьбе заказчика провести повторное тестирование. 

Смысл тестирования заключается в том, чтобы проверить, укладываемся ли мы в определенные показатели затухания. Заклятый враг всех оптических систем при тестировании — стройка. Пыль оседает на волокно, и протестировать в нужное затухание сложно. При слишком большом затухании некоторые протоколы просто не заработают, а систему необходимо ставить на гарантию. Поэтому приходится чистить от пыли. И тут нам, кстати, помогли ребята из Corning. Приехал их специалист и объяснил: если по результатам теста затухание больше 6 децибел, то чистка не поможет — проблема точно в волокне. Кроме того, при подключении тоже рекомендуется продуть сжатым воздухом разъемы на панели.

Для очистки можно использовать любое оборудование, но ведущие производители рекомендуют эталонные патч-корды Fluke, а они сами по себе достаточно дорогие. Обычная штука, которая нужна для прочистки LC разъема, стоит не меньше 5000 рублей (есть и дешевле, но они, как правило, очень быстро выходят из строя). По заявлениям производителей, хватает ее на 500-600 разъемов. Еще дороже эталонные шнуры — около 30 тысяч рублей. При этом одного комплекта может хватить и на 100 разъемов, и на 1500.  

Тестирование шло около месяца, в ежедневном режиме. И тут надо сказать, что проблем с кабелем практически не было, а единичные случаи Corning оперативно заменил. 

В итоге заказчик «заехал» в ЦОД в июле. Привезли и ввели в эксплуатацию оборудование. В первую очередь — телеком, затем — серверное железо.

Так выглядит центральный кросс:

Эпилог 

Итого — в кратчайшие сроки развернули действительно огромную СКС.  Получилось 52 юнита рабочего пространства. Да еще и в цветах «Открытия». Для этого на несколько дней по просьбе банка останавливали монтаж. Все, что можно было, замотали пленкой и пустили маляров сделать их работу. Но это, как говорится, совсем другая история.