Фондовый рынок — высокотехнологичная отрасль. В нашем блоге мы уже писали о протоколах передачи финансовых данных, алгоритмах обнаружения инсайдерской торговли, разработке финансового софта и способах ускорения транзакций. Все это разнообразие технологий и инструментов выстраивается вокруг серверного ядра самих бирж — многие HFT-трейдеры пользуются услугами колокации и размещают серверы со своими торговыми приложениями как можно ближе к биржевому торговому движку.

Сегодня мы поговорим о дата-центрах различных площадок и покажем, как они выглядят.

NYSE Euronext


Дата-центр биржи NYSE Euronext расположен в городе Махва, штат Нью-Джерси. Площадь залов для колокации серверов трейдеров составляет около 18 тысяч квадратных метров — площадь самого здания при этом составляет более 120 тыс. кв. метров. Издание Data Center Knowledge публиковало некоторые фотографии этого ЦОД.

Центр управления объектом — в нем объединены интерфейсы систем управления зданием (BMS) и управления инфраструктурой самого ЦОД (DCIM). Именно здесь сидят специалисты, которые контролируют режимы температуры и влажности, состояние блоков питания и других элементов в каждом серверном зале.



А вот так выглядит «горячий коридор», в который поступает воздух, выбрасываемый серверами:



Длинный главный коридор дата-центра позволяет прочувствовать огромные масштабы объекта.



Финансовый хаб Equinix


Компания Equinix является одним из крупнейшим мировых игроков на рынке ЦОД и колокации. Одним из ее объектов является здание бывшего завода по производству очков в Секаукусе штат Нью-Йорк площадью более 100 000 квадратных метров, переоборудованное в современнейший дата-центр. Его услугами пользуются такие биржи, как NASDAQ, BATS, CBOE, и вот как он выглядит.

По обе стороны длинного главного коридора дата-центра расположены решетки; эти решетки и стойки соединяются кабелем, который проходит по желтым подвесным кабель-каналам.



Потолок высотой 12 метров предоставляет большое пространство для нескольких уровней размещения кабель-каналов, заполняющих верхнюю часть дата-центра Equinix, в которой находятся отдельные каналы для соединительных, несущих и силовых кабелей.



Зал источников бесперебойного питания (ИБП) в дата-центре Equinix NY4, питающийся от подстанции мощностью 26 мегавольт-ампер. Оборудование состоит из системы бесперебойного питания мощностью 30 мегаватт, поддерживающей работу вычислительной установки в случае отказа системы электроснабжения.



На случай отключения электроэнергии оборудование дата-центра NY4 оснащено этими 18 запасными дизельными генераторами фирмы «Caterpillar» мощностью 2,5 мегаватт каждый, которые в сумме дают 46 мегаватт аварийной электроэнергии, достаточной для обеспечения полным запасом энергии оборудования, а также холодильных установок и систем ИБП. Во время урагана Сэнди эти генераторы поддерживали оборудование в рабочем состоянии в течение целой недели.



Охладительная система в NY4 оборудована громадными трубами, по которым охлажденная вода поступает к оборудованию, а также к пластинчатому теплообменнику (справа), выполняющему роль холодильника зимой и позволяющему сохранять энергию, которая при обычных условиях тратилась бы на работу холодильных установок.



Московская биржа, дата центры М1 и DataSpace1


В настоящий момент крупнейшая российская биржевая площадка предлагает трейдерам возможность размещения своего оборудования в московском дата-центре М1 (адрес: Варшавское шоссе, д. 125).

Согласно информации, представленной на сайте компании-оператора ЦОД, он является крупнейшим в московском регионе — его емкость составляет 950 серверных стоек. Дата-центр введен в эксплуатацию в 2006 году, его общая площадь составляет 3850 кв.м, из которых под серверные залы отведено 2400 кв. м (нагрузочная способность 5-8 кВт на стойку).

Для поддержания необходимо режима температуры ( 22 ± 4 градусов) и влажности (45 ±10 %) в серверных залах установлены системы приточно-вытяжной вентиляции и прецизионные кондиционеры промышленного типа. Компоненты системы кондиционирования также зарезервированы по схеме N+3 и лучше. Источник фото ниже: сайт stacktelecom.ru





Серверные стойки располагаются принципу по горячих и холодных коридоров, закрытие последних позволяет исключить смешивание горячего, выбрасываемого оборудованием воздуха, с поступающим от кондиционеров холодным.



Источники бесперебойного питания рассчитаны на время работы всего оборудования большее, чем необходимо для запуска дизель-генераторных установок и перехода на автономное энергоснабжение ЦОД.





Фактическая надежность ЦОД в период с 2008 заявлена на уровне в 100%.

Стойки в дата-центре М1 есть не только у самой биржи, но и у брокерских компаний — например, ITinvest предлагает возможность установки в своих стойках как серверов, так и запуска торговых систем на специально «поднятых» виртуальных машинах.

В 2014 году руководство «Московской биржи» приняло решение о переезде в дата-центр DataSpace1. ЦОД сдан в эксплуатацию в июле 2012 года. Его общая вместимость составляет 1062 стойко-места — 12 машинных залов, площадью до 255 квадратных метров каждый. Будет выделен отдельный зал для колокации оборудования участников торгов. Источник фото ниже: сайт dataspace.ru.

В ЦОД организованы 6 независимых цепей электропитания, каждый машинный зал снабжается электричеством от 2 независимых цепей.



Чиллеры и сухие воздухоохладители установлены по схеме распределённого резервирования N+1, холодный воздух подводится под полом.



Периметр здания и внутренние помещения оснащены 8-уровневой системой безопасности, которая включает различные компоненты контроля доступа и наблюдения.



Как сказано в пресс-релизе Биржи, посвященному переезду в новый ЦОД, DataSpace1 обладает сертификатами Tier III Design Documentation и Tier III Constructed Facility.

Заключение


Биржевые площадки и HFT-трейдеры уделяют большое внимание выстраиванию собственной торговой инфраструктуры. Сегодня на фондовом рынке успех от неудачи часто отделяют доли секунды, поэтому и софт и железо, обеспечивающие работу финансовых приложений, должны работать в высшей степени надежно.

Уровень нагрузки столь велик, что справиться с ним нелегко — это требует серьезных инвестиций со стороны провайдеров услуг ЦОД. В противном случае могут возникать ситуации, наподобие той, что произошла в августе 2015 года в дата-центре CenturyLink — во время серьезно движения на рынке, инфраструктура для HFT-торговли работала в усиленном режиме, с которым не справилась система вентиляции (HVAC).

В результате многие серверы не просто перегрелись, а физически сгорели:

Комментарии (21)


  1. aml
    25.12.2015 12:20
    +9

    В двух словах: «Как выглядят биржевые дата-центры? Так же, как и все остальные».


    1. lol_wat
      25.12.2015 12:29

      Ну в общем и целом понятно, что да, но Ecquinix покруче большинства обычных будет все же, как мне кажется


    1. alinatestova
      25.12.2015 12:40

      Ну тут вы зря. С одним только охлаждением куча вариантов. Тема интересная


  1. atd
    25.12.2015 12:22

    Заголовок про «биржевые ДЦ». А что М1 что дейтаспейс самые обычные, просто биржа там пару залов арендует.

    М1 так вообще хлам, обслуживаемый непонятными дедками, хостился там (не трейдинг), never again.


    1. BasilioCat
      25.12.2015 14:02

      В статье не зря упомянута надежность после 2008 года — потому как годом раньше вышли из строя кондиционеры, температура поднималась до 48 градусов (по данным термодатчиков на серверах), после чего все оборудование просто обесточили. Но, надо сказать, что по сравнению с другими ДЦ того времени, M1 был одним из лучших


  1. Firz
    25.12.2015 12:57

    //offtop
    Прямо какая-то знамения фотография сгоревшей стойки, лет 10 уже мелькает везде.


    1. Firz
      25.12.2015 13:42

      знаменитая*


  1. reff
    25.12.2015 13:23

    питающийся от подстанции мощностью 26 мегавольт-ампер
    Наверняка 26 МВт. Особенности перевода?


    1. BasilioCat
      25.12.2015 14:06
      +1

      Это специальные маркетинговые ватты, их любят производители UPS, и, видимо, генераторов


      1. reff
        25.12.2015 14:11

        Прозводители ИБП их любят обосновано из-за особенностей нагрузки. Наверняка ошиблись при переводе.


      1. k0ldbl00d
        25.12.2015 20:30

        Это специальные вольт-амперы, которые можно умножить на cos ? (а он зависит от типа нагрузки) и получить мощность в ваттах. Гуглите «коэффициент мощности».


    1. comp3v
      27.12.2015 11:40

      у них там ещё и город Секаукус.


      1. webmascon
        27.12.2015 11:48

        en.wikipedia.org/wiki/Secaucus,_New_Jersey читайте транскрипцию


        1. comp3v
          27.12.2015 11:52

          спасибо, кэп, я в курсе. Я как раз и имел в виду, что перевод хромает.


  1. IGHOR
    26.12.2015 12:15

    Сколько же у них максимум транзакций в секунду на одной валютной паре обрабатываться может?


    1. webmascon
      27.12.2015 04:47

      у них это у кого?


      1. IGHOR
        27.12.2015 04:54

        У бирж что именуют себя HFT биржами.


        1. webmascon
          27.12.2015 07:11

          чем-чем биржи именуют себя?


          1. IGHOR
            27.12.2015 12:39

            1. webmascon
              30.12.2015 01:34

              спасибо, кэп, я в курсе


  1. webmascon
    27.12.2015 04:52

    The CME Group data center in Aurora, IL, is over 428,000 square feet and is served by two 138,000 volt transmission quality utility services from two separate generation plants through our privately owned and operated substation. This substation provides for up to 92 MW of redundant power (184 MW of total power).

    угадайте, откуда они берут питание?