Обычно в дата-центрах IP KVM — это отдельная услуга, на которой часто экономят при заказе colocation или dedicated-серверов. Когда при форс-мажоре клиент все-таки обращается за IP KVM, то доступ к консоли приходится ждать: провайдеру нужно проложить кроссировку, организовать и настроить отдельный интернет-канал до стойки, где располагается пострадавший сервер. Для таких экстренных ситуаций мы и сделали Wi-Fi-вариант IP KVM. Получилось сердито, но эффективно.
Схема работы
Беспроводная сеть дата-центров DataLine состоит из 66 точек доступа моделей Cisco AIR-LAP1041N и AIR-CAP1602I под управлением трех контроллеров Сisco 2504 (Wireless LAN controller, WLC), один из которых резервный. Площадка OST общей площадью 10000 кв. м покрывается 37 точками доступа. 29 точек доступа работает в дата-центрах NORD.
Применение нескольких SSID позволяет использовать одни и те же точки доступа и контроллер для нескольких нужд: Wi-Fi-телефония, гостевая и локальная беспроводные сети. На контроллере каждому SSID соответствует свой VLAN. Для IP KVM выделены отдельные SSID и VLAN. Wi-Fi сеть защищаем с помощью WPA2-Enterprise (алгоритм шифрования AES) и RADIUS.
Одна из точек доступа, закрепленная на лотке СКС машинного зала. Для залов до 200 кв.м – одна точка доступа, от 200–400 кв. м – две.
В машинном зале установлены точки доступа. IP KVM-коммутатор ATEN CN8000 подключается через Wi-Fi-мост Trendnet TEW-800 к Wi-Fi-сети дата-центра.
По отношению к контроллеру (WLC) KVM – пассивное оборудование со статическим IP-адресом. По умолчанию WLC работает как proxy-ARP, т.е. отвечает на внешние ARP-запросы самостоятельно, зная IP-адрес беспроводного абонента. Когда у устройства статический IP-адрес, WLC не знает его IP-адрес и не может ответить на ARP-запрос. Поэтому при подключении KVM-коммутатора к беспроводной сети обязательно активируем на WLC опцию Passive client. В этом случае ARP-запросы будут отправляться напрямую конечным устройствам без участия WLC.
Теперь, когда клиенту внезапно понадобится удаленное подключение к консоли сервера, дежурный инженер просто подключает KVM-коммутатор в оборудование. Для владельца оборудования создается учетная запись, сообщается внешний IP и учетные данные для доступа на IP KVM.
С момента получения заявки до подключения клиента к консоли теперь проходит не более 30 минут.
По запросу клиента к стойке подвозят IP KVM, подключенный к Wi-Fi-мосту. Выглядит вот так.
Пользователь может подключаться к KVM через браузер с помощью Win- или Java-приложения.
Интерфейс KVM CN8000. Для открытия консоли нужно кликнуть “Просмотрщик” и скачать приложение.
Вход в консоль через Win-приложение.
Консоль оборудования. В верхней части закреплена панель инструментов. позволяющая регулировать картинку, работу клавиатуры, мыши и другие настройки.
Выбор метода Wi-Fi-подключения
Сначала мы искали IP-KVM с интегрированным модулем Wi-Fi, но готового, коробочного, варианта не нашлось. Ранее ATEN выпускала беспроводной вариант IP KVM – KW1000, но модель была снята с производства.
Тогда мы стали подбирать отдельный девайс в качестве Wi-Fi-моста для обычного IP KVM-коммутатора. Конструктивно Wi-Fi-мост должен быть компактным и удобным при эксплуатации, желательно с минимальным тепловыделением: связка “KVM – Wi-Fi-модуль” используется в горячих коридорах машинных залов ЦОД.
Первой идеей было использование в качестве Wi-Fi-моста точки доступа Cisco Aironet 1600 в режиме Workgroup Bridge. Решение выходило громоздким, и использовать целую точку доступа для этой задачи было нерационально. Мы решили немного поэкспериментировать с микрокомпьютером Raspberry PI 2B в сочетании с USB Wi-Fi-модулем edup N8508GS.
Одноплатный компьютер Raspberry PI 2B на базе процессора Broadcom BCM2836 и Wi-Fi-модуль edup N8508GS.
Raspberry PI 2B поддерживает различные ОС. При желании можно его приспособить под различные задачи. Мы поставили на него ОС Raspbian, подключили к нему usb Wi-Fi-модуль edup N8508GS и стали использовать в качестве Wi-Fi-маршрутизатора.
В этой схеме Wi-Fi-маршрутизатор на базе Raspberry выполняет функцию NAT – транслирует публичные IP-адреса во внутренние IP-адреса (private).
Схема беспроводного KVM с участием Raspberry PI 2B и Wi-Fi-модуля edup N8508GS.
Эта связка работала, но не стабильно: сессии часто прерывались. Когда удавалось подключиться, из-за большого джиттера и потери пакетов картинка на стороне пользователя сильно подвисала.
ICMP-запросы до Raspberry выглядят следующим образом:
Ответ от 10.7.19.50: число байт=32 время=42 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=77 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=106 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=34 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=66 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=7 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=132 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=84 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=81 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=96 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=232 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=68 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=86 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=111 мс TTL=63
Ответ от 10.7.19.50: число байт=32 время=33 мс TTL=63
Следующим вариантом опробовали простенький домашний Trendnet TEW-800. Устройство имеет низкое энергопотребление 12 Вт ( построен на процессоре ARM), и несильно греется. Работает в двух диапазонах – 2.4 и 5 ГГц.
Wi-Fi-мост Trendnet TEW-800.
Raspberry PI 2B мы использовали в качестве маршрутизатора с функцией NAT: внешний IP “смотрит” в Wi-Fi-эфир, а внутренний – на KVM. Trendnet TEW-800 же в нашей схеме выступает в роли Wi-Fi-моста, т. е. на канальном уровне (L2) связывает Wi-Fi-среду и KVM-коммутатор. Публичный IP-адрес находится на самом IP KVM. Это упрощает схему, убирает лишний анализ пакетов (lookup) на транзитном узле и NAT connection tracking-данные.
Схема беспроводного KVM с участием Wi-Fi-моста Trendnet TEW-800.
ICMP-запросы до Trendnet выглядят следующим образом:
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=3 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=2 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Ответ от 10.7.19.80: число байт=32 время=1 мс TTL=127
Выбор IP KVM-коммутатора
Выбирали из двух моделей – D-Link DKVM IP1 и Aten CN8000. Модель D-Link мы традиционно использовали для проводного варианта IP KVM.
Для задачи подключения по Wi-Fi обе модели подходили, но у Aten CN8000 было больше возможностей для проводного подключения. Wi-Fi IP KVM – это все-таки экстренный вариант, и на постоянное время лучше использовать проводное подключение.
Aten CN8000.
В проводном варианте есть возможность организовать управление всеми коммутаторами и пользователями через централизованный сервер. Для этого Aten предоставляет программное средство управления CC2000. В едином интерфейсе Личного кабинета инженер со стороны дата-центра cможет управлять учетными данными пользователей, просматривать журнал событий доступа, управлять всеми IP KVM-коммутаторами. Доступ пользователя к Личному кабинету осуществляется по https.
Схема подключения инженера к KVM-инфраструктуре дата-центра центра через СС 2000.
Интерфейс Личного кабинета СС 2000. Вкладка с пользователями.
Вместо заключения
Если удаленный доступ нужен постоянно, то лучше воспользоваться проводной версией. Она обеспечивает стабильное качество работы с IP KVM, на которое не влияет расстояние между IP KVM-коммутатором и точкой доступа. Зато Wi-Fi IP KVM спасет, когда с оборудованием случилась беда и подключиться к нему нужно быстро.
Комментарии (20)
beho1der
26.10.2016 17:41-1А почему не пробрасывать заранее по сети IPMI сервера? Сейчас вроде почти во всех серверах он есть и даже в новых уже переходят на html5, что наконец избавляет от корявой java консолей.
dataline
26.10.2016 18:48Да, можно сделать так, как вы предлагаете. Но нужно учитывать следующие факторы:
— Канал под IPMI должен быть подготовлен заранее: подключение к локальной сети заказчика или предоставлен выход в интернет. В большинстве случаев это невозможно организовать быстро.
— Не во всех серверах есть IPMI.
— Некоторые вендоры ограничивают доступ к IPMI платной лицензией.
— Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес).
Описываемый в статье Wi-Fi IP KVM как раз для тех случаев, когда клиент не позаботился заранее о доступе по IP KVM или IPMI, а к серверу нужно подключиться быстро.
merlin-vrn
26.10.2016 22:09— Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес).
Это что ж за сервер такой?
Мне пока попадались только такие BMC, которые можно ребутать независмо от сервера. Более того, их можно ребутать изнутри ОС сервера: ipmitool mc reset warm или cold по вкусу. IP-адрес тоже меняется изнутри: ipmitool lan и поехали. И пользователями так же можно управлять, приходилось пару раз пароль на IPMI сбрасывать.
Redaicd
27.10.2016 08:26— Канал под IPMI должен быть подготовлен заранее: подключение к локальной сети заказчика или предоставлен выход в интернет. В большинстве случаев это невозможно организовать быстро.
Для этого можно организовать VPN, порты коммутаторов КВМ в отдельный ВЛАН(ы), КВМки на серые адреса.dataline
27.10.2016 15:35В рамках небольшой серверной такое организовать возможно. Мы писали с позиции дата-центра, где только в одном зале может быть больше 100 заполненных стоек. Мы не можем заранее организовать такие доступы для всех.
Наше решение экстренное и временное, для тех, кто не организовал заранее доступ по IPMI или организации IP KVM.Redaicd
27.10.2016 15:55Зачем сразу всех. Раз стойки заполнены знач и коммутаторы в этих стойках есть(или вы через всю гермозону к серверам патчи тягаете?) Настраиваете один порт в каждом из таких коммутаторов, правильнее на отдельный влан. Когда необходимо бросили патч до ipmi, а клиенту выдали ВПН и сообщили какой ай-пи получил его ipmi по dhcp. Или вашу-же КВМку по такому-же принципу подключать, можно без ВПНов. У нас так и сделано, в каждом коммутаторе выбрали порт специально для КВМ. Все дежурные знают, что скажем в порт 1 каждого коммутатора можно подключать КВМ и никто не тягает кабеля через всю гермозону. Если жалко портов в дорогих коммутаторах, то можно взять несколько старых и поставить в центре ГЗ и от них развести по розетке в каждый шкаф.
dataline
28.10.2016 10:12В каждую стойку ставить свой коммутатор нецелесообразно, тем более когда этого не желает сам заказчик. Коммутаторы для KVM у нас есть в каждом зале для проводного подключения KVM, но на кросс нужно время. Иногда этого времени нет, вот для таких ситуаций наш беспроводной KVM.
merlin-vrn
27.10.2016 15:57Вы всегда серверы подключаете двумя портами к сети? Нет?
Скорее всего порт LAN1 сервера используется и для BMC, если отдельный LAN-порт BMC не задействован. В таком случае и отдельная физическая сеть не требуется. К тому же, можно BMC настроить так, чтобы он работал в VLANе.
DaemonGloom
26.10.2016 19:32"— Любое изменение параметров IPMI обычно требует перезагрузки сервера (например, поменялся IP адрес)."
Это не так, по крайней мере, для iLO и IPMI в supermicro. Перезапуск BMC не означает перезапуск всего сервера.merlin-vrn
26.10.2016 22:09А ещё это не так в Dell iDRAC и ASUS iKVM. И там, и там прекрасно всё меняется независимо.
dataline
27.10.2016 15:32Да, но мы рассматриваем ситуацию, когда у клиента не настроен IPMI.
Если клиент потерял доступ к ОС, преднастроенного IPMI у него тоже нет, как он сможете поменять настройки IPMI?merlin-vrn
27.10.2016 15:54Вы даёте серверы в аренду? Настраивайте всегда.
Вы ставите серверы на колокейшн? Предупреждайте клиента, образовывайте его. Сделайте услугу KVM платной (хотя бы символически) и объясняйте, что «бесплатно можно то же самое сделать вот так».dataline
28.10.2016 10:16Решение c беспроводным IP KVM у нас возникло не просто так. Мы посмотрели статистику по запросам, и, как оказалось, запросов на KVM значительно больше, чем запросов на IPMI, хотя IPMI мы также предоставляем.
merlin-vrn
28.10.2016 10:30Да просто наивные юноши, называющие себя администраторами, не знают, что такое бывает. Я говорю же, образовывате людей, хотя бы сообщайте им возможности оборудования.
merlin-vrn
Скажите, когда эти ваши IP KVM начнут использовать непосредственно для доступа к консоли по сети нормальный noVNC вместо мерзких джава-апплетов и ещё более мерзких приложений под винду?
Redaicd
С момента когда производители этих КВМ это сделают ЯТД. «Мерзкие» аплеты используют все КВМ, iLo, IPMI, iDrac что я видел
navion
В iDRAC уже появилась консоль на HTML5.
MagicEx
Последние прошивки Supermicro IPMI под X11 (вроде и X10, не уверен) серию плат уже имеют поддержку HTML5 консоли
merlin-vrn
Я знаю. Я к тому и говорю, что человечество уже лет пять минимум как научилось нормально, за эти пять лет сколько, два, три, четыре поколения серверов сменилось? Пять лет назад у HP был G5 в ходу, сейчас G9.
Да и к тому же ничто не мешает сделать для старого KVM прошивку с html5.
dataline
да, мы тоже любим красивые интерфейсы на html5, но это скорее вопрос к производителям оборудования. В решениях, которые подходили бы под все наши требования, пока такого нет.