Близятся новогодние каникулы и в преддверии праздников и входных самое время ответить на вопрос: а что будет с ИТ-инфраструктурой на это время? Как она проживёт без нас всё это время? А может потратить данное время на модернизацию ИТ-инфраструктуры, чтобы в течение года «оно всё само работало»?
Вариант, когда ИТ департамент намеревается в полном составе отдохнуть вместе со всеми (за исключением дежурных администраторов, если таковы имеются) требует выполнения комплексных работ, которые можно обозначить общим термином «заморозка».
Плановые работы — это противоположный вариант, когда пользуясь случаем, можно попытаться спокойно сделать какие-либо необходимые действия, например, провести модернизацию сетевого и/или серверного оборудования.
«Заморозка»
Основной принцип данной стратегии «Работает — не трогай».
Начиная с определённого момента времени объявляется мораторий на все работы,
связанные с развитием и улучшением.
Все вопросы по улучшению и развитию переносятся на позднее время.
Работающие сервисы тщательно тестируются.
Все выявленные проблемы анализируются и разделяются на два типа: легкоустранимые
и трудноустранимые.
Легкоустранимые проблемы вначале подвергаются анализу на предмет: что будет
если? Работа по их устранению производится только в случае отсутствия
потенциальных сложностей.
Трудноустранимые проблемы фиксируются, документируются, но их выполнение
откладывается до окончания моратория.
Перед проверкой разрабатывается план, куда заносятся объекты для контроля,
контрольные параметры и методы проверки.
Например, файл-серверы Windows — чтение журналов Event log, проверка состояния
RAID-массива и т. д.
Для сетевой инфраструктуры существуют свои инструменты для сбора отчётности.
Для оборудования c поддержкой облачной платформы Zyxel Nebula проблем в принципе особых нет, система работает, информация собирается.
Для межсетевых экранов роль такого сборщика данных может взят на себя сервис
SecuReporter.
Наибольшая опасность для нормального развития событий возникает, в момент вынужденной паузы. Когда все работы по проверке уже закончились, а выходные ещё не наступили. В высвободившееся время сотрудники не знают, чем себя занять. Замечено, что все кошмарные проблем, вызвавшие кучу бестолковой ненужной работы по их устранению, начинались со слов: «Я только попробую…».
Для заполнения паузы в работе в такие периоды прекрасно подходит усиленная работа по документированию. Польза от этого двойная: не только чем-то занять чьи-то шаловливые ручки и блестящие глазки, но и снизить время устранения инцидентов, если они всё же возникнут.
В выходные и праздничные дни сотрудники часто бывают недоступны, поэтому если актуальная информация хранится только в чьей-то гениальной голове — самое время перенести её на бумагу или в файл.
Кстати, о бумажных носителях. Несмотря на обвинения в ретроградстве, твёрдые копии документов, например, распечатки списков серверов с IP и MAC адресами, схема сети, различных регламентов бывают очень полезны. Особенно регламенты включения и отключения, потому что ситуация: чтобы правильно запустить ИТ-инфраструктуру необходимо прочесть документацию и только потом включать оборудование, а, чтобы прочесть документацию, нужно включить оборудование — хоть и не часто, но встречается. Аналогичная ситуация, когда перед отключением питания большая часть серверов благополучно отправлена в shutdown, а нужный документ как раз храниться на одном из них. И конечно же, такие ситуации возникают в самый неподходящий момент.
Итак, все важные технические детали задокументированы. О чем ещё позаботится?
Проверить систему видеонаблюдения, при необходимости освободить место на системе
хранения видеоданных.
Проверить сигнализацию, как на охранную, так и пожарную.
Проверить, оплачены ли счета за Интернет, доменные имена, хостинг сайтов и
другие облачные услуги.
Проверить наличие ЗИП, в первую очередь жёстких дисков и SSD для замены в
RAID-массивах.
Комплектующие для замены (ЗИП) должны хранится в непосредственной близости от оборудования, для которого они предназначены. Вариант, когда диск вышел из строя на удалённом объекте за городом, а комплектующие хранятся в центральном офисе — в Новогоднюю ночь не слишком приятен.
Обновить список контактов полезных сотрудников, в том числе секретаря (офис-менеджера), начальника охраны, завхоза, кладовщика и других сотрудников, которые напрямую к ИТ-отделу не относятся, но в критической ситуации могут понадобиться.
ВАЖНО! Все необходимые контакты должны быть у всех сотрудников ИТ подразделения. Одно дело, когда люди каждый раз встречаются в офисе, когда на общем ресурсе всегда доступен заветный файл с телефонами и адресами, и другое дело — когда сотрудник пытается решить проблему удалённо, когда в офисе никого нет.
ВНИМАНИЕ! Если оборудование размещено в ЦОД, стоит заранее позаботиться о пропусках для сотрудников, которым разрешён доступ к оборудованию в выходные и праздничные дни.
Это же относится к ситуации, когда серверная находится в арендуемом здании. Можно запросто нарваться на ситуацию, когда по волеизъявлению «высочайшего начальства» в выходные и праздники доступ ограничен и охранники не пускают системного администратора даже внутрь здания.
Также стоит позаботиться о работоспособности удалённого доступа. Если с серверами более или менее всё понятно — на крайний случай, если не отвечает RDP или SSH — есть IPMI (например, iLO для серверов HP или IMM2 для IBM), то с удалённым оборудованием бывает не так просто.
Пользователи Zyxel Nebula в данном случае находятся в более выигрышной ситуации.
Например, если при удалённой работе неправильно настроили конфигурацию Интернет-шлюза, то можно запросто получить ситуацию: «ключ от срочной медицинской комнаты хранится в срочной медицинской комнате». И остаётся только одно: приехать в серверную, в офис, в ЦОД, на удалённый объект и т. д.
На наше счастье Nebula всегда предупреждает о возможных проблемах, связанных с неправильной конфигурацией.
Самое важное, что облачное управление использует исходящее соединение, когда единица сетевого оборудования сама устанавливает соединение с управляющей средой. То есть не нужно «проковыривать дырки» на файерволе, и меньше риска, что обнуление настроек эти «дырки» снова закроет.
СОВЕТ. В Nebula можно внести информацию о размещении оборудования и самых
важных контактах как примечание.
Плановые работы
Новогодние каникулы — это только для обычных работников безусловный перерыв в работе. Часто эти свободные деньки ИТ-отдел вынужден использовать как единственную возможность привести в порядок инфраструктуру.
Во многих случаях приходится не кататься на оленях, а заниматься модернизацией и перестройкой ИТ-инфраструктуры, лечить старые проблемы, до которых не удавалось дотянуться в обычные дни. Такие вещи, как перекроссировка, замена элементов сетевой инфраструктуры, перестройка структуры VLAN, настройка конфигурации оборудования в целях повышения безопасности и так далее.
Давайте сразу вкратце разберём основные пункты, которые нужно пройти во время подготовки и проведения плановых работ.
Отвечаем на вопрос: «Зачем?»
Что греха таить, бывает, что техработы проводятся ради «галочки», потому что так хочет начальство. В таком случае лучше вернуться к пункту «Заморозка», «перекрасив» данный процесс под видимую модернизацию. В конце концов, документацию обновлять придётся в любом случае.
Досконально документируем систему
Вроде бы сервер есть, но что на нем запущено — никто не знает. Есть старенький NoName коммутатор с настроенными VLAN, но как их менять или настраивать — неизвестно и не понятно.
Вначале вносим ясность и выясняем все технические нюансы ИТ-инфраструктуры, и только потом что-то планируем.
Кто владелец данного процесса (ресурса, службы, сервера, оборудования, помещения и так далее)?
Под владельцем понимается не материальный собственник, а process owner. Например, данный коммутатор используется подразделением CCTV и после перенастройки VLAN камеры потеряли связь с сервером для хранения видеоданных — это как-то совсем нехорошо и нужно предусмотреть «обходной манёвр», если это действительно необходимо. Вариант «Ой, мы не знали, что это ваша железка» — такого в принципе не должно быть.
Как и в случае с «заморозкой» обновляем список контактов «на все случаи жизни», в который не забываем добавить process owners.
Разрабатываем план действий
Если план хранится только в головах, это не куда не годится. Если он на бумаге — это уже немного лучше. Если он тщательно проработан со всеми «участниками соревнований», включая начальника охраны, который будет должен при необходимости выдать ключи от запертых кабинетов — это уже кое-что.
План с подписями всевозможных начальников хотя бы по принципу: «Уведомлен. Согласовано» — это убережёт от различных проблем в виде: «А нас никто не
предупреждал!» Поэтому будьте готовы в самом конце подготовить соответствующие документы на подпись.
Создаём резервные копии для всего, всего, всего!
При этом резервные копии — это не только копия всех бизнес-данных, но и файлов конфигурации, слепки (образы) системных дисков, и так далее. Мы не будем подробно останавливаться на копировании данных для бизнеса и информации для быстрого восстановления. Если говорить о теории и практике резервного копирования, то этому посвящено целое отдельное пособие
Для резервных копий конфигурации сетевого оборудования можно воспользоваться как встроенными возможностями сохранения конфигурационных файлов, так и внешними сервисами вроде Zyxel Nebula или Zyxel SecuManager
Прорабатываем запасные варианты
Всегда бывает ситуация, когда что-то пошло не так или по какой-то причине нужно отойти от основного плана. Например, тот же самый отдел CCTV передумал менять VLAN на своём коммутаторе. Всегда нужно иметь ответ на вопрос: «А что будет если?»
И, наконец, когда всё проработали, оценили трудозатраты, подсчитали человеко-часы, обдумали сколько просить за это отгулов и премий — стоит снова вернуться к пункту «Зачем?» и ещё раз критически пересмотреть задуманное.
Проводим согласование downtime и других аспектов работы
Мало предупредить. Нужно довести до начальства и других сотрудников чёткое понимание того, что что-то (или даже всё целиком) какое-то время может не работать.
Надо быть готовым к тому, что downtime могут сильно урезать и от какой-то части
плана придётся отказаться?
«А как вы хотели? Вы, айтишники, только деньги тратите и работать мешаете! Радуйтесь, что, хотя бы это согласовали!» — вот такого рода аргументы иногда приходится слышать в ответ на любой вопрос касательно технических работ и модернизации.
Снова смотрим на пункт «Зачем?»
Долго думаем на предмет: «Зачем всё это нужно?» и «Стоит ли овчинка выделки?»
И только если после всех этих этапов задуманное не вызывает сомнений, стоит
приступать к выполнению задуманного, спланированного, подготовленного и
согласованного со всеми инстанциями.
—
Разумеется, в таком коротком обзоре нельзя описать все жизненные ситуации. Но какие-то наиболее часто встречающиеся моменты мы честно постарались описать. И конечно, всегда найдутся компании и подразделения, где есть всё это учтено, написаны и утверждены специальные документы.
Но это не важно. Важно другое.
Главное, чтобы всё прошло тихо и без сбоев. И пусть Новый год будет для вас удачным!
С праздником, коллеги!
Полезные ссылки
- Наша телега для сетевиков. Помогаем, общаемся, узнаем про всякие ништячки от Zyxel.
- Облачная сеть Nebula на официальном сайте Zyxel.
- Описание сервиса аналитики Cloud CNM SecuReporter на официальном сайте
Zyxel. - Описание ПО для управления и аналитики Cloud CNM SecuManager на официальном
сайте
Zyxel. - Полезные ресурсы на Zyxel Support Campus EMEA —
Nebula.
3aBulon
Спасибо, вроде хорошо.