Мы уже не раз в нашем блоге на Хабре рассказывали о технологии AV over IP, которая позволяет гонять 4K-видеопотоки не с помощью HDMI, а используя для этой цели IP-сети. Можно ошибочно думать, что это актуально лишь для каких-нибудь спортивных баров и концертных площадок. Это один из способов разом решить целый пул проблем возникающих при проектировании и построении диспетчерских пунктов. В этой статье мы расскажем об этом на примере дата-центра.

Диспетчерская: начало


Любой современный дата-центр — это множество инженерных систем за которыми нужно круглосуточное наблюдение. Пока у вас одно небольшое серверное помещение, речь о построении диспетчерского пункта не идёт. Скорее всего, это небольшой сервер мониторинга, куда стекается лишь малая часть информации и настроены триггеры на ситуации вроде «Шеф, всё пропало! Всё пропало! Гипс снимают, клиент уезжает!».

Данные выводятся на единственный монитор, установленный в помещении, где сидят дежурные инженеры. Его обслуживает какой-нибудь старенький small form-factor PC или вообще одноплатник Raspberry Pi. Это всех будет устраивать ровно до того момента, пока не случится первый фейл, вроде зависания этого самого одноплатника. Вы будете видеть данные, которые уже не обновляются и пропустите начальный момент развития критической ситуации.

После разбора полётов, руководство признаёт, что пора задуматься о том, чтобы выкинуть «малинку» и поставить туда небольшой, но уже новый компактный ПК, вроде Intel NUC. Ну а маленький мониторчик заменить на большой телевизор, чтобы туда помещалось больше информации. Чтобы совсем быть на пике прогресса, то всё это воткнуть в небольшой консьюмерский UPS, способный вытянуть 30 минут и потом, радостно пропищав спикером, потухнуть.

Так продолжается год-полтора, за это время появляется второе серверное помещение, а система кондиционирования серьёзно переделывается. Появляется возможность отслеживания данных в реальном времени, но вот незадача — одного телевизора, даже большого, уже не хватает. Не беда — давайте купим ещё телевизор и подключим ко второму видеовыходу Intel NUC, благо их там два. Спустя месяц появляется второй телевизор и теперь у инженеров перед глазами данные по температуре всех кондиционеров в серверных помещениях. Красота, да и только. NUC работает исправно, почти не виснет, и не доставляет проблем.

Диспетчерская 2.0


Очередная модернизация системы электропитания и закупка соответствующего софта позволяет создать мнемосхему и в реальном времени отслеживать все показатели дизель-генераторов и промышленных UPS, обеспечивающих бесперебойную работу оборудования. Приезжает ещё один телевизор и внезапно выясняется, что тонкая стена уже не выдержит, а в NUC его подключить уже нельзя. Опять же есть чёткое понимание, что скоро в систему мониторинга будут добавлены видеокамеры, которые также надо будет куда-то выводить.

Здесь руководство понимает, что пора задуматься о построении нормального диспетчерского пункта на месте старой инженерки. Весь персонал временно отселяют в другое помещение и делает нормальный современный ремонт, а для размещения множества экранов делается кастомный металлический каркас. Всего там будет 9 больших 4K телевизоров, работающих мониторами, а питание для них будет подводиться от нормального серверного UPS с несколькими батареями. И вот тут возникает самый интересный вопрос — а куда подключаться то? Поставить 5 ПК аля Intel NUC, KVM-свитч между ними для управления и отдельно на каждом настроить вывод изображения?

Так, конечно, можно сделать, но в разы увеличивается количество проводов и устройств. 7 кабелей питания, 6 Ethernet-кабелей, небольшой неуправляемый коммутатор, 5 HDMI-кабелей, 5 USB-кабелей… в общем, нехилая такая гроздь разнокалиберного добра, которую придётся спрятать за экранами и хорошенько пристяжить. Это вполне реально, но есть и другой, более надёжный способ.

Когда у вас есть дата-центр, гораздо проще всю инфраструктуру разместить именно внутри него, а не пытаться выстраивать отдельно. Казалось бы нет проблем воткнуть несколько видеокарт с кучей видеовыходов в один-единственный сервер и вывести HDMI-кабели до диспетчерской. Но именно здесь мы упираемся в ограничения стандарта. Обычный HDMI-кабель имеет предельную длину в 10 метров. Более длинные кабели требуют ухищрений и дополнительных устройств (активных удлинителей) с собственным питанием. В большинстве случаев, тянуть HDMI-кабели будет нецелесообразно.

Альтернатива


Вот именно тут на сцену выходит AV over IP и говорит: зачем придумывать велосипед? Можно передавать видеопоток с сервера по витой паре, используя обычный L2 коммутатор с поддержкой PoE. Да, это потребует дополнительных устройств, но с которыми не потребуется лишних заморочек. На выходе сервера устанавливаете энкодеры и соединяете с коммутатором. Городить лишнее питание не придётся, ведь в большинстве своём они умеют питаться по PoE.

В диспетчерский пункт, который находится не далее, чем в 100 метрах от серверной, можно протянуть обычную витую пару Cat6A в том количестве, сколько видеопотоков потребуется, и уже там поставить декодеры. Их, кстати, тоже запитывать не понадобится, ведь они тоже умеют запитываться по PoE. Воткнули по HDMI-кабелю от декодеров в каждый телевизор и система готова.

Управление сервером можно реализовать несколькими способами. Во-первых — это классический доступ по RDP/VNC, в зависимости от используемой операционной системы. Во-вторых можно будет задействовать отдельно выделенный IP-KVM (вроде ATEN KE8950) с поддержкой AV over IP. Такой KVM будет также состоять из двух частей: энкодера и декодера. Помимо видеопотока, он будет эмулировать устройства ввода, позволяя удалённому оператору взаимодействовать с сервером так, словно он подключился к серверу напрямую, воткнув в него монитор, клавиатуру и мышь.

IP-KVM также запитывается по PoE и умеет легко передавать 4К видеопоток на скорости 30 FPS и при этом поддерживает не только стандартные соотношения сторон. На нём, например, заработает даже монитор с aspect ratio 32:9. С учётом того, что на рынке таких мониторов уже много, фича более чем актуальна. Подобные экраны легко заменят привычную схему три-в-ряд и потребуют меньше проводов.

Получается, что:

  • не надо прокладывать отдельное электропитание для энкодеров и декодеров;
  • легко масштабировать и резервировать;
  • свободные порты с неизрасходованным PoE бюджетом можно использовать для других целей, например, для питания IP-камер внутри серверных помещений.

Предположим, что диспетчерский пункт находится в соседнем здании. Поскольку используются самые обычные IP-сети, то и вопрос с организацией соединения решается привычным путём: аплинк с помощью оптики и аналогичный коммутатор на той стороне.

Мы уже писали про наш управляемый коммутатор Zyxel XMG1930-30HP с PoE. Эта модель отлично подойдёт и в качестве сетевой «базы» для построения диспетчерского пункта в дата-центре, ведь помимо большого количества мультигигабитных портов и солидного PoE-бюджета у него есть специальный режим Networked AV. Он позволяет специалистам не тратить лишнее время и максимально быстро выполнить задачу по настройке AV over IP:


Помимо удобного интерфейса в котором отображается информация об основных настройках, Networked AV дополнен специальным мастером настройки — Setup Wizard. В нём есть два варианта: простая (Basic) и комплексная (Advanced) настройка. Для первого варианта нужно задать лишь самые необходимые параметры, а всё остальное будет по-умолчанию. Второй вариант позволяет детально настроить все параметры работы AV over IP. Наличие такого мастера можно считать большим плюсом, поскольку сразу становится понятным порядок действий без необходимости изучения документации.

Относительным минусом AV over IP можно назвать большую загрузку канала. Это неудивительно, ведь приходится непрерывно передавать большое количество данных с минимальными задержками. Так, например, один 4K-видеопоток без сжатия при 30 FPS утилизирует стандартный канал 1 Gbit/s практически полностью, что нужно учитывать при планировании.

Чтобы не допустить образование «бутылочного горлышка» в режиме Networked AV есть удобный мониторинг, отображающий текущую утилизацию всех портов. Так системному администратору будет легче принять решение по снижению нагрузки, например, при помощи алгоритмов сжатия с потерями.

Видеопотоки проще всего изолировать от остального трафика, завернув в самый обычный VLAN. Это не создаст какой-либо существенной нагрузки на коммутатор и позволит полностью исключить влияние каких-либо сторонних устройств, тех же IP-камер видеонаблюдения. Общая же пропускная способность Zyxel XMG1930-30HP составляет 240 Gbps, что позволит без задержек оперировать множеством видеопотоков, обеспечивая мгновенное отображение информации на дисплеях диспетчерского центра.

А вы пробовали AV over IP? Расскажите о своём опыте в комментариях.

Комментарии (6)


  1. Nareloote
    11.01.2024 10:05
    +1

    Спасибо за обзор, в свое время мы тестировали различные решения на базе недорогих китайских производителей. Основная проблема, с которой мы столкнулись: данные решения поддерживают только стандартные HID устройства: типа мышь и клавиатура. Но в наших решениях требовалось использование сенсорного экрана, который не определяется данными устройствами и соответственно не пробрасывается по IP. Про высокую утилизацию сетевого канала вы тоже верно заметили.

    Вы не тестировали возможность работы с сенсорным монитором?


    1. Zyxel_Russia
      11.01.2024 10:05
      +1

      Приветствую. С сенсорным монитором не тестировали. Вообще были совместные тесты с АТЕН, вот ва пара ссылок как это было:

      https://habr.com/ru/company/zyxel/blog/539204/
      https://habr.com/ru/company/zyxel/blog/539378/


  1. q2digger
    11.01.2024 10:05

    а модели энкодеров-декодеров написать?


  1. keenx
    11.01.2024 10:05

    Есть положительный опыт с Aten. Задача была в том, чтобы удаленно управлять ноутбуком, на котором нет никаких прав на установку софта или драйверов. Был взят на тестирование (с предварительной оплатой и гарантийным письмом) KVM-IP 9950, переходник Hama USB-C Male (в ноутбук) <-> DisplayPort Female (в KVM-IP), обычный кабель DisplayPort, обычный кабель USB-B Male <-> USB-A Male.

    И все отлично завелось! Качество картинки просто крутое по сравнению с тем, что я привык использовать в ЦОДе с Hetzner с их LARA KVM-IP (640x480 по личным ощущениям). Вендор обещает поддержку 4K, но реально точно можно пользоваться 1920х1080х30 на хорошем интернет канале без проблем.

    Для безопасности подключил IP-KVM не к роутеру, а к второму Ethernet интерфейсу соседнего сервера, чтобы сначала подключаться к соседнему серверу по RDP, а оттуда к IP-KVM через приложение (веб-интерфейс тоже присутствует). Это не даст свободный доступ в Интернет устройству IP-KVM.

    После удачного тестирования просто оставил оборудование себе.


  1. GlobalPenetrator
    11.01.2024 10:05

    А для мониторинга вот прям 30 fps надо!?


  1. maniacz
    11.01.2024 10:05

    не только тестировали, но и используем в проде...

    вводная: система на основе регения Matrox Extio 3 series

    20 ПК размещены в стойке в серверной комнате, к каждому ПК подключен энкодер matrox N3208 (внешнее исполнение), все они подключены в коммутатор 1Gb портами, декодеры N3408 размещены в диспетческом зале на нескольких рабочих местах с 4хFullHd мониторами.

    личный опыт:

    • очень удобно: централизованное управление, наличие прессетов для рабочих мест (до 4 ПК), безшовное использование клавиатуры/мыши. вывод потока на видеостену

    • полная тишина в операторском зале

    • отсутсвует физический доступ к ПК

    • настройка доступа внешних накопителей

    теперь минусы:

    • завялено что оборудование для критической инфраструктуры, но виснет и подглючивает. Для такого заявления это самый жирный минус

    • довольно дорогое решение

    • при перезагрузке ПК на Linux энкодер теряет захват вывода, победить пока не удалось. перезагружаем, не частое событие... но см. на пункты выше

    • ну есть еще мелочи с ПО, что никак не вяжется с "критичностью" решения