Чем новее сервер, тем дольше он грузится. Особенно это раздражает при диагностике или в ходе обновления прошивок, поэтому однажды я покопался в закромах Dell и нашел несколько полезных утилит для экономии нервов.

Автоматическая миграция и самостоятельная прошивка

У Dell есть бесплатный набор инструментов OpenManage Essentials для мониторинга оборудования и обновления прошивок. Для инфраструктуры с физическими серверами это неплохой вариант решения некоторых административных задач:

• Мониторинг любого оборудования через SNMP, IPMI и WMI. Для OpenManage Essentials 2.2 и новее доступен импорт файлов описаний MIB прямо из консоли. Для более старых версий потребуется Dell OpenManage Essentials MIB Import Utility;

  
  
• Загрузка и установка новых версий драйверов и прошивок.

Если же у вас виртуальная среда, то пригодится Dell Management Plug-in for VMware vCenter.

Плагин позволяет vCenter своевременно узнавать об аппаратных сбоях, а заодно обновлять прошивки, драйверы и BIOS на хостах с ESXi. Но что оказалось наиболее полезным, с ним vCenter может мигрировать виртуальные машины перед запуском прошивки.

Миграция при обновлении сервера доступна как для актуальных систем Dell PowerEdge 12 и 13 поколений, так и для восстановленных серверов 11 поколения с контроллером iDRAC.

Сценарий обновления железа на виртуальных хостах теперь выглядит так:

1. Прямо в консоли vCenter я вижу пометки о необходимости обновления – там же можно запустить FirmWare Wizard. Мастер может подтягивать обновки как из онлайн-репозитория Dell, так и из местных источников;

1. Затем выбираю обновления и указываю удобное время. Обязательно отмечаю BIOS, iDRAC и LifecycleControler, чтобы не получить проблем при установке;

   
   
2. Обновление кластера занимает от 30 до 60 минут. Если все пройдет успешно, то машины вернутся обратно на свой хост, а за процессом можно наблюдать через почтовые уведомления или на странице Job Queue.

Для автоматического перемещения виртуальных машин на другой хост vSphere должна работать в конфигурации DRS (Distributed Resource Scheduler) с полностью автоматическим режимом.

Без плагина все эти операции выполнялись вручную, включая предварительную миграцию машин, создание загрузочной флешки для обновления, прошивку каждого компонента отдельно и т.п. Разумеется, сидя рядом с сервером, что уже не так красиво и удобно.

Конечно, нечто подобное можно попробовать реализовать на базе Zabbix и набора скриптов. Но почему бы не использовать некоторые удобства, которые обходятся компании в скромные $495 за лицензию на плагин для 5 хостов.

Были некоторые опасения вида "а что, если все пойдет не так, и на следующий день серверы вообще не будут работать". От большинства сложностей есть такой алгоритм:

1. Я получаю оповещение о том, что виртуальные машины успешно или не очень мигрировали. Если миграция не удалась – обновление не начнется, и на следующий день я спокойно разберусь в ситуации;

   
   

2. После миграции машин на другой хост наш "пациент" может хоть сгореть, пользователи не заметят. При неудачном обновлении хост не будет пытаться снова и снова загрузиться, а будет спокойно ожидать отката прошивки. Конечно, если не забыть поставить галку Enable Alarms for Dell Hosts при настройке OpenManage Integration;

   
   
3. Если обновление микро-ПО прошло не слишком удачно, то уже будут готовы журналы перезагрузок и скриншоты консоли в процессе.

Конечно, порой и кластер не панацея, но от всего и не застрахуешься.

К слову о скриншотах – это следующая полезная опция.

Скриншоты синих и пурпурных экранов

Знаете, как это бывает: добавляешь драйвер на хост, перезагружаешь ESXi и спокойно отключаешься от удаленного управления в ожидании загрузки системы. А она все недоступна и недоступна. Подключаешься снова и видишь пурпурный экран. Понятно, что первым действием будет откат добавленного модуля. А если проблема не в нем?

В таких случаях я сначала перезагружаю хост и наблюдаю за процессом загрузки, его этапами и возникающими сообщениями. Для серверов с модулем iDRAC 7 Enterprise ведется лог сообщений и экранов консоли при загрузке сервера, зависании или возникновении ошибок. То есть, вся диагностическая информация уже под рукой и не требует многократных перезагрузок, каждая из которых у современных систем может длиться более 5 минут.

Можно просмотреть записи последних трех загрузок. Для работы опции нужна лицензия iDRAC Enterprise за $75.

Еще немного магии iDRAC

Аппаратный модуль управления Dell может отменить неудачную установку прошивки и вернуть любую прошлую версию. Это полезно, например, при обнаружении бага в новой версии – о подобных вещах как раз была дискуссия в комментариях к статье про сервисные контракты. Можно просто вернуть "как было" и больше не трогать. Откат прошивок доступен сразу для нескольких компонентов за одну перезагрузку, что здорово экономит время (помним про неспешную загрузку современного железа с десятками ГБ памяти).

Пару лет назад неудачно прошили BIOS в сервере и после перезагрузки любовались такой вот надписью:

Все, что я сделал после первичной паники – это зашел в Lifecycle Controller со своей станции и выбрал Launch Firmware Rollback для BIOS, который успешно отыграл свою партию.

Мастер восстановления прошивок поддерживает следующие устройства:

• Контроллер iDRAC;
• BIOS;
• Сетевая карта;
• Блок питания;
• Контроллер RAID.

Из дополнительных полезных удобств iDRAC:

• Встроенный сервер VNC. Позволяет подключаться к iDRAC через привычный клиент VNC, без использования браузера или установки стороннего ПО. Требует лицензии iDRAC Enterprise;

  
  
• Прозрачная аутентификация в Active Directory. До сих пор многие коллеги используют локальный учетные записи в модулях аппаратного управления, что довольно неудобно при смене ответственного за конкретный сервер.

Мобильная перезагрузка и мониторинг

В наш век модных мобильных технологий даже автомобиль уже можно открыть или запустить с телефона. Нечто подобное есть и от Dell – называется OpenManage Mobile, приложение доступно под Android и iOS.

Фактически, это урезанный клиент консолей OpenManage Essentials и iDRAC, который можно установить на смартфон или планшет и получить следующие возможности:

• Включение и перезагрузка сервера;
• Просмотр уведомлений iDRAC;
• Чтение журналов событий OpenManage Essentials;
• Запуск подключения через VNC. В приложении есть ссылки на удаленное управление, которые откроются в установленном по умолчанию VNC-клиенте планшета;
• Загрузка документации к оборудованию.

Есть у меня старая дурная привычка: уже после манипуляций с железом или софтом на одной из наших площадок еду в офис и по дороге просматриваю последние состояния «пациентов» через оповещения в почте. OpenManage Mobile вывел привычку на новый уровень и позволил смотреть статус в реальном времени. Конечно, я бы не рискнул вот так просто перезагружать сервер удаленно вне офиса, но просмотр статусов и логов частенько пригождается.

Использовать приложение логичнее с планшета – тогда можно организовать удобный VNC-доступ и получить своеобразный пульт управления сервером. Разумеется, доступ к сети с интерфейсами iDRAC осуществляется через VPN.

О земном

Если посчитать стоимость всех этих бонусов для одного сервера, то выходит $174:

• Dell iDRAC Enterprise обойдется примерно в $75 на каждый сервер;
• Dell Management Plug-in for VMware vCenter – около $99 на хост.

Даже без покупки дополнительных лицензий вы получаете детальный мониторинг всех компонентов PowerEdge "из коробки", вместе с бесплатной системой мониторинга сети и стороннего оборудования OpenManage Essentials.

А какие инструменты управления скрашивают ваши административные будни?

Напоследок, несколько полезных ссылок:

• Настройка удаленного мониторинга и обновления прошивок\драйверов Dell;

  
  

• Импорт описаний SNMP (MIB) для сторонних систем в OpenManage Essentials;

  
  

• База с файлами описаний MIB для различных систем. Пригодится, если строите мониторинг на базе OpenManage Essentials;

  
  
• Настройка записи видео загрузки сервера через iDRAC.