Всем привет.
В этой статье мы в подробностях расскажем, как функционирует техническая поддержка систем хранения и систем виртуализации АЭРОДИСК. Поговорим об её особенностях и развитии от «полутора» инженеров до сети сервис-центров на всей территории России и ближайших стран.
И, как положено, после статьи на Хабре мы делаем вебинар «ОколоИТ». Тема –техническая поддержка АЭРОДИСК. Вебинар состоится 28 апреля в 14 00. Зарегистрироваться можно по ссылке.
Идея
Нам часто задают следующие вопросы: «А есть ли поддержка у вашего железа?», «Сколько человек в поддержке дежурит по ночам?», «А если сломается LSI-адаптер вы будете сами чинить или в LSI отправите?», «Есть ли поддержка на 5 лет?», «А если железо стоит за полярным кругом? Как быть?» и так далее. Именно поэтому нам пришла идея написать эту статью, где мы раскроем не только официальную часть (она есть на сайте), но и всю «подкапотку».
Давно все это начиналось…
Когда АЭРОДИСК был молодой и красивый и начал поставлять свои первые СХД (в 2015 году), мы начали создавать свою техническую поддержку. Нам, конечно, хотелось сразу сделать все дорого-богато, но денег на это не было (инвестиции мы привлекли только в 2017-ом). Поэтому на тот момент (а в компании работали пять человек) поддержка состояла из одного инженера + два основателя, которые помогали, чем могли.
Единственным способом поддерживать СХД в таких стесненных условиях было наличие у нас максимально широкого кругозора о смежных ИТ-системах заказчика (что и как работает, для чего, где «узкие места» и так далее), а также максимально частый контакт со службами эксплуатации заказчика. По сути, мы знали всё не только о наших СХД в ИТ-инфраструктуре клиентов, но и имели очень глубокое понимание этой самой ИТ-инфраструктуры (за исключением самых конфиденциальных моментов). И зачастую помогали решать проблемы на смежных системах. Такой подход не только помог минимальными ресурсами оказывать качественную поддержку, но и несмотря на возникающие проблемы (куда же без них), заслужить уважение у первых наших заказчиков.
После привлечения первых инвестиций в 2017 году, наконец, появилась возможность строить поддержку как надо, а не как получится.
Как пройти поле с граблями?
Лично мое твердое убеждение заключается в том, что для по-настоящему серьезных ИТ-продуктов техническая поддержка – это половина продукта. Время и опыт это подтверждают.
Многие сотрудники АЭРОДИСКа раньше успели поработать в крупных зарубежных производителях и прекрасно знали, как функционирует изнутри серьезная тех. поддержка (со всеми плюсами и минусами). Поэтому было решено использовать весь позитивный опыт зарубежных производителей, однако при этом не слепо переносить его на наши условия, а с помощью своих «ноу-хау» избегать тех проблем, с которыми они сталкиваются.
Позитивный опыт
Все, кто эксплуатировал серьезное зарубежное ИТ-оборудование, успели привыкнуть к качественной поддержке. Быстрая отправка запчастей, широкая сеть сервисных центров, ремонт техники на территории заказчика, прогнозируемые сроки реакции, круглосуточная первая линия поддержки, обширная база знаний... Это далеко не полный перечень необходимых элементов качественной технической поддержки. Все это нам нужно было, по сути, создать «с нуля» и при этом избежать некоторых нюансов, о которых написано ниже.
О проблемах поддержки «кровавого Enterprise-а»
Основными проблемами поддержки многих крупных зарубежных производителей являются чрезмерная формализованность и слабая доступность реальной экспертизы для заказчика.
Источником первой проблемы (формализованность) является то, что разным подразделениям поддержки требуется «кровь из носа» выполнять свои KPI (срок реакции и решения), затрачивая при этом минимальный ресурс. Угадайте, какой самый простой способ это сделать? Решить проблему заказчика? Нет! Перевесить задачу на другое подразделение с тем или иным железным аргументом. Конечный заказчик в этой ситуации проваливается в бюрократическое болото (его тикетом играют в пинг-понг), где формально SLA выполняется, но решения его проблемы не происходит.
Вторая проблема (доступность экспертов) также лежит в плоскости экономии денег. По-настоящему серьёзные проблемы, требующие привлечения серьезных экспертов в масштабах средней или крупной компании происходят крайне редко и держать под них дорогих специалистов с уникальными навыками невыгодно. Поэтому количество таких специалистов минимизируют. В нашей практике работы в крупных вендорах иногда доходило до абсурда: например, когда оказывалось, что экспертов третьей линии (в мире), которые могут решить возникшую проблему у заказчика насчитывается всего два…. (это крупный известный производитель, много тысяч сотрудников в мире). Один в отпуске, другой занят на очень важном проекте и освободится через неделю.
Структура поддержки, средства и «ноу-хау»
Несколько лет работы, набитых шишек, многоуровневого мата и прочих прелестей жизни все-таки позволили построить поддержку так, как мы хотели.
На сегодняшний день (весна 2022) тех. поддержка АЭРОДИСКа имеет вполне классическую структуру, но со своими особенностями. В цифрах это - три линии поддержки, 120 сервис-центров России и СНГ, RND офис в Москве, а также сеть складов запчастей (2 в Москве + сервис центры).
Первая линия работает в круглосуточном режиме (для всех тарифов поддержки, что важно), она обеспечивает прием и категоризацию заявок. Кроме того, специалисты первой линии оказывают первичную консультацию и применяют решения популярных проблем, которые берут из постоянно пополняющейся базы знаний. Если решение не удалось найти с помощью первой линии, то заявка попадает инженеру второй линии, который отвечает за нее до окончательного решения проблемы.
А на второй линии работают эксперты. Вы не ослышались: именно на второй. Инженер второй линии поддержки в АЭРОДИСКе не только решает технически сложные задачи и выполняет работы на площадке заказчика, но и отвечает за ИТ-инфраструктуру заказчика в целом (он знает, как и для чего она работает). Он регулярно общается со службой эксплуатации заказчика не только через почту и тикет-систему, но и обычными человеческими средствами, с помощью мессенджеров и телефона. Кроме того, именно инженер второй линии – единственный ответственный за маршрутизацию задач по тикету заказчика между внутренними подразделениями АЭРОДИСКа. Это его задача – сделать так, чтобы любой сотрудник АЭРОДИСКа (в том числе и генеральный директор, если потребуется) при необходимости приступил к решению проблемы заказчика. Неважно, кто отвечает за устранение проблемы в том или ином компоненте системы, которая на поддержке. Будь то кусок кода, который написал АЭРОДИСК или сторонний компонент, который разработал «условный LSI», важно чтобы задача заказчика была решена. Каждый новый заказчик закрепляется за своим персональным инженером, и задачей этого инженера является точно знать, что происходит в ИТ-инфраструктуре заказчика, вне зависимости от того, есть там тикеты или нет. В нашем случае на второй линии работает не просто инженер, а скорее смесь инженера, архитектора и аккаунт-менеджера (или service delivery manager-а в терминологии ITIL). Работа эта, безусловно, сложнейшая, требования к hard- и soft- скилам запредельные. К примеру, новый сотрудник второй линии только после полугода работы и постоянного обучения в АЭРОДИСКе может быть готов к самостоятельной работе.
Само собой, график у таких инженеров ненормированный, поэтому тут мы предусмотрели так называемые «удаленные дежурства». То есть инженеру доплачивают за то, что он в нерабочее время (в определенные часы) доступен для работы, если это будет необходимо (есть с собой телефон, интернет, ноутбук, силы и трезвый разум :-)).
Третья линия – это разработчики. Их подключает вторая линия при необходимости срочных доработок. Так же, как и на второй линии, разработчики, которые задействованы в поддержке, работают в нерабочие часы в режиме «удаленного дежурства» и в определенное время готовы быстро приступить к решению задачи. Доработки, которые возникают и применяются в рамках поддержки, позже анализируются, при необходимости совершенствуются и штатным образом добавляются в следующие регулярные обновления.
Внимательный читатель обнаружит, что вторая и частично третья линии поддержки работают по сути так же, как и работала вся поддержка АЭРОДИСКа изначально (см. начало статьи). Именно это «ноу-хау», позволившее минимальными ресурсами обеспечивать качественную поддержку на ранней стадии работы АЭРОДИСКа, в текущей разросшейся структуре позволяет отличаться нам в лучшую сторону. Именно этот подход позволил избежать двух проблем поддержки «кровавого Enterprise-а».
Пинг-понг тикетом между подразделениями внутри вендора невозможен т.к. есть заинтересованный в решении инженер второй линии, который не даст тикету утонуть в болоте и будет лоббировать его решение. Также при необходимости он может в любой момент привлечь руководство компании к решению задачи.
Самые сильные эксперты работают максимально близко к заказчику. Они всегда при деле, они в бизнесе, поэтому экономической надобности их минимизировать нет. Формально – это вторая линия поддержки, неформально - это они постоянно общаются с ИТ-шниками заказчика. Это их работа.
Линия «за кадром»
Невидимое заказчику, но крайне важное подразделение тех. поддержки – гарантийный отдел. Там работают специалисты, которые отвечают за склады запчастей, их логистику, учёт, а также ремонт. Именно от слаженной работы этого подразделения зависит время доставки запчастей на территорию заказчика.
Техническая сторона
Если говорить о технических средствах реализации поддержки, то тут тоже все более-менее стандартно, но со своим колоритом.
Основное средство поддержки - тикет-система, расположенная по адресу https://sd.aerodisk.ru/
Заказчик получает в неё доступ при активации поддержки. Для активации после покупки системы нужно связаться с тех. поддержкой и зафиксировать серийный номер продукции, а также другие необходимые данные. После этого система ставится на поддержку, заказчику высылается логин и пароль в тикет-систему.
Несколько раз у нас возникали инциденты, когда заказчик не активировал тех. поддержку, а потом не знал, что делать, когда она оказывалась нужна. Обращался в итоге отдел продаж, и там дальше его быстро связывали с коллегами из поддержки. После этого случая мы добавили пошаговую инструкцию о том, как активировать поддержку. Инструкция находится в техническом паспорте изделия, который всегда в коробке, которую получает заказчик.
Также запросы на поддержку принимается средствами обычной электропочты. Если запрос прилетает с уже зарегистрированной почты заказчика, то система назначает запрос корректно, с привязкой к нужному специалисту и нужной конфигурации. Таким же способом для систем с включенной автоподдержкой регистрируются тикеты самой СХД. Если СХД стало «плохо» и автоподдержка включена и настроена, то СХД сама отправит диагностическое сообщение в поддержку, где тикет-система сама заведет тикет, и у инженера будет вся необходимая информация ещё до того, как заказчик обратился сам.
Кстати о конфигурациях
Конфигурационная база (CMDB) – неотъемлемая часть нашей тикет-системы. К каждому заказчику привязаны определенные конфигурации. Какая система, версия прошивки, история обновлений, где установлена, кем эксплуатируется, какой интегратор и когда внедрял, требования SLA, порядок удаленного доступа, мониторинг, порядок физического доступа и так далее. Эта информация позволяет максимально быстро ориентироваться всем специалистам, участвующим в поддержке.
База знаний
Для каждого продукта и каждой его версии, кроме стандартной рабочей документации (технический паспорт и руководство администратора) предусмотрена база знаний. База знаний – также неотъемлемая часть тикет-системы, к которой получает доступ заказчик. База знаний содержит статьи о решении сложных задач, неочевидных, но полезных способов улучшения работы систем.
Телеграм-чат
Ещё один бонус нашей поддержки – телеграм-чат ( https://t.me/aerodisk ), он создан как альтернативный способ связи с поддержкой. Чтобы им пользоваться, не обязательно быть зарегистрированным в тикет-системе. Чат открыт для всех (кроме тех, кто правила не соблюдает :-)), в нем можно задать вопрос специалистам поддержки или просто пожаловаться на жизнь в рамках приличия и тематики.
Уровни поддержки
Как и с предыдущими пунктами типы поддержки вроде стандартные, но есть нюансы.
Стандартная часть состоит из трёх уровней поддержки.
Стандартная поддержка очень недорогая и включает в себя круглосуточную первую линию, вторую и третью линии в рабочие часы, доступ к обновлениям, удаленную поддержку в решении инцидентов и ремонт/замену оборудования в ближайшем сервисном центре в течение 20 дней. Основное назначение стандартной поддержки – системы низкой критичности. Нас часто пинают, говорят: «вы с ума сошли, 20 дней на замену СХД!». Объясняем, стандартная поддержка имеет крайне низкую стоимость и предназначена для систем действительно не сильно важных, а такие есть. Согласитесь, было бы странно платить серьезные деньги за поддержку системы, которая не выполняет важных функций. Вот стандартная поддержка существует именно для таких случаев.
Расширенная поддержка (бизнес) 8/5 – самый популярный вариант поддержки, включает отправку неисправного оборудования из ближайшего СЦ на следующий рабочий день после фиксации сбоя. Также включает в себя возможность устранения инцидентов не только удаленно, но и на территории заказчика, плюс приятный бонус в виде индивидуального обучения. Этот уровень поддержки используется в 90% случаев.
И, наконец, премиальная поддержка 24/7, которая подходит для критичных систем. На этом уровне реализована максимально быстрая отправка запчастей, в течение 4-х часов после зафиксированного сбоя. Кроме того, в рамках премиальной поддержки оказывается помощь в миграции данных со сторонних систем на системы АЭРОДИСК. Такой уровень поддержки применяется редко, в основном для очень крупных проектов, как правильно федерального масштаба.
Специальные опции
Кроме стандартных уровней, есть ряд специализированных опций, к ним никак не привязанных.
Одна из популярных опций – невозвратные диски. В ряде случаев на режимных предприятиях нельзя возвращать диски вендору (что требуется при обычной их замене). Это нужно для того, чтобы исключить утечку важной информации. Такая опция у нас предусмотрена и довольно часто применяется.
Ещё одна интересная опция – партнерская поддержка. Нас часто спрашивают партнеры-интеграторы, «можем ли мы оказывать поддержку своих заказчиков самостоятельно?» Да, это возможно и часто практикуется. Если у интегратора есть достаточно компетенций, он может пройти специальное обучение и оказывать первую и вторую линию нашей поддержки для своих заказчиков. АЭРОДИСК в этом случае обеспечивает третью линию, а также запасные компоненты на срок поддержки.
И наконец, про полярный круг. Что если система находится там, где мы ни физически, ни удалённо не можем её достать? Это может быть предприятие, куда попасть (физически и через сеть) можно, только имея спец. допуск. На этот случай у нас предусмотрена поддержка силами заказчика. Инженеры заказчика также проходят специальное обучение и выполняют поддержку самостоятельно. АЭРОДИСК в этом случае помогает консультациями, а также отправляет патчи с обновлениями и исправлениями для самостоятельной установки.
P.S. Кстати, про полярный круг – это не выдумка. У нас действительно за полярным кругом стоит система хранения и поддерживается специально обученными инженерами заказчика.
Заключение
В этой статье мы постарались максимально осветить работу нашей технической поддержки со всех возможных сторон. Если остались вопросы, пожалуйста, пишите в комментариях, будем рады.
Также по традиции после статьи на Хабре мы организуем вебинар «ОколоИТ» и в этот раз будем разговаривать про техническую поддержку. Если мы что-то здесь упустили, то на вебинаре в прямом эфире вы сможете задать нам свои вопросы. Вебинар состоится 28 апреля в 14 00. Зарегистрироваться можно по ссылке.
А ещё напоминаем, что мы любим трезво порассуждать об импортозамещении на нашем специальном телеграм-канале «Импортозамещение здорового человека», присоединиться можно по адресу: https://t.me/aerodisk_official
Всем спасибо, ждем комментариев и предложений.
litvinovog
Как планируете масштабировать ТП, при многократном и быстром росте?