История такая: будучи одной из крупнейших ИТ-компанией на российском рынке ИТ-аутсорсинга и услуг, мы очень часто оказываемся в ситуации поддержки решений на стыке двух-трёх производителей. И когда возникает проблема, например, от которой зависит, заплатят людям вовремя пенсию или нет, в общем случае начинается следующая история:
— Ну что вы, наше железо отлично работает, проблема в ПО, — говорит первый вендор и отправляет ко второму.
— Как можно! Наш софт протестирован, проблема в аппаратной части, — говорит второй и отправляет к первому.

Если на этой стадии начать их знакомить, собирать встречи и объяснять, что надо работать, а не переводить стрелки, то конечные пользователи могут выйти толпой на улицы.

Поэтому работаем вместо них мы. Один раз – даже включенными в кислородно-изолирующие приборы после сработки пожарной сигнализации.

SLA

Надо сразу сказать, что крупные производители железа и ПО, давно работающие на российском рынке, находятся с нами в довольно двойственных отношениях. Если смотреть по маркетингу – мы пытаемся «выдавить» друг друга с объекта: они продают свои сервисные контракты, а мы свои. Иногда, когда заканчивается наш, начинается их – а иногда и наоборот, когда ограничения вендора надоедают заказчику. Или оказывается, что у одного небезызвестного производителя поддержка – натуральное кидалово.

В целом же наш контракт по понятным причинам несколько дороже, но и не содержит присущих чисто железному вендору ограничений.

С другой стороны, если речь про технические команды, то мы чаще всего работаем бок-о-бок, пока маркетинг там веселится. Дело в том, что любой эксплуатирующийся баг– это и проблема для предприятия, и репутационный урон для вендора. Ну и просто косяк «по жизни», что не очень желательно. Поэтому между нашими вторыми линиями, как правило, царит глубокое взаимопонимание, были даже случаи, когда мы помогали друг другу при высокой загрузке – сегодня ты подменишь инженера компании на объекте, а завтра они прикрывают тебе спину при сложном переезде ЦОДа, например.

Итак, заказчик обычно покупает оборудование напрямую или через кого-то (иногда – через нас) и может сразу же в комплекте приобрести не только гарантию, но и расширенную поддержку от вендора с выездами, «консультациями по телефону» и другими приятностями. Проблема в том, что риски заказчика на себя вендор, естественно, брать не хочет, и поэтому в SLA прописывается не совсем то, что хотелось бы видеть, например, страховой компании, крупной рознице, ответственному НПО, или, в особенности, финансовой организации.

Дальше вопрос решается тоже достаточно просто. Если у бизнеса есть очень сильная IT-команда (а, как правило, у тех же банков она есть), то поддержку в рамках нужного SLA делает она. Если такой команды нет, или наша работа обходится дешевле (а это нередко случается с учётом масштабов географии или того, что «своя» команда сидит в Нидерландах), то мы вместе с заказчиком пишем «правильный» SLA и берём часть рисков на себя.

Для реализации сложных SLA (в 4 часа) мы часто устанавливаем дежурство прямо на объекте заказчика. Особенно часто это касается тех случаев, когда на системы ядра падает большая нагрузка в сезонный пик: например, «икс-команда» часто дежурит на банковских дата-центрах в период новогодних кредитов.

На объектах попроще, как правило, в ночь с 31-го на первое, например, дежурный всё же встречает дома с семьёй, но не выпивает. У него есть специальный аварийный ноутбук с интернетом. Мы не используем VPN-линки со своими рабочими местами по политике ИБ, поэтому для таких ситуаций используется цитриксовский терминал, на который публикуются нужные приложения.

Конечных пользователей конкретно мы (вторая линия) не поддерживаем вообще, работаем с ИТ-отделом заказчика, либо с нашей службой поддержки пользователей. Мы умеем дружить команды поддержки через нашу тикет-систему, и логически эти два инстанса могут быть в одной службе, но внутри организации не пересекаются. ИТ-отдел не разгребает вал неквалифицированных звонков. Если есть квалифицировнный вопрос – через процедуру эскалации возникает квалифицированный ответ. Это сильно влияет на ценообразование, потому что, например, помню в 2005 году у нас один банк заказал на первую линию больше 35 специалистов с сертификатами не ниже MCSE – я как раз был одним из них – почти 10 тысяч долларов они платили за каждого инженера на контракте. Сейчас это, ну, эээ, несколько дороговато.

Сейчас, кстати, из-за экономии в кризис, опять возвращается традиция двух- и трехлетних контрактов. Раньше они почти всегда были годовые, долгие договоры не рассматривались особо. А сейчас все понимают, что сразу на два-три года – это дешевле.

Примеры проектов:

• Обеспечение проведения 100 тысяч выборов в год (Федеральный центр информатизации Центризбиркома РФ) – это поддержка системного ПО главных избирательных комиссий в 85 субъектах РФ, обслуживание продуктов собственными силами по окончании официальной поддержки вендора. Фактически работа идёт в реальном времени — сервисная команда из 10 инженеров выходит на online-режим поддержки во время выборов.
• Комплексная ИТ-поддержка крупного табачного предприятия. 16 инженеров обеспечивают поддержку сервисов для более чем 2000 пользователей. 6 фабрик в Москве, Санкт-Петербурге, Краснодаре, Ростове-на-Дону, Екатеринбурге, Владивостоке, 2 офиса. Администрирование серверов, учетных записей, поддержка рабочих мест, бизнес-приложений, услуг мобильной связи и обеспечение ИТ-безопасности. Колл-центр на основе облака КРОК для всех офисов заказчика.
• Бесперебойная работа бизнес-критичной системы нефтяной компании. Поддержка в 14 предприятиях России от Санкт-Петербурга до Хабаровска, четыре выделенных сертифицированных специалиста, оперативное решение всех технических проблем с базами данных Oracle – удаленно по электронной почте, телефону и непосредственно на территории заказчика. Время реакции на запрос – 1 час, время решения критически важных инцидентов – 24 часа.
• Стабильная работа российских офисов крупной международной косметической компании. 20 городов от Самары до Хабаровска, обслуживание ПО и 1000 единиц офисной техники, время реакции на запрос – 30 минут, время устранения критичных проблем – 5 часов, приём заявок – 24x7, решение проблем – 5 дней в неделю, с 9:00 до 21:00.

Откуда берутся люди для дальних объектов

Естественно, если у заказчика обширная география, нам часто нужны знающие люди далеко-далеко на севере или на Дальнем Востоке. Опять же, естественно, наши SLA в 4 часа касаются городов, а не добывающих объектов на месторождениях (про особенность поездок к мишкам рассказывали и расскажут ещё мои коллеги из группы «космонавтов»). Так вот, лететь, например, во Владивосток куда больше 4 часов, прописанных в контракте. Поэтому нужно иметь человека на месте.

Пример такого проекта – у нас был сервисный контракт по сети кинотеатров. Там нужно было держать людей «в шаговой доступности», но при этом даже на 1/10 ставки брать нецелесообразно – настроено всё так, что за год может не быть ни одного инцидента.

Поэтому мы ищем местных админов и инженеров через специальные сервисы занятости и фриланс. Я не скажу точно, как это в конечном счёте выглядит с точки зрения HR, но в итоге мне предлагают около 20 кандидатов на город, каждый из которых обладает нужными умениями. Мы созваниваемся, проверяем навыки – остаётся человек 10. Из них, условно, пятеро подходят, и с тремя мы в итоге договариваемся о том, что если что – за 2 часа надо подъехать и решить. Оплата поинцидентно. Оформляет и решает все документальные вопросы тот же подрядчик, который их искал.

Это делается под каждый проект — предотбор среди потенциальных выездных очень полезен.

Затем, если что-то случается, у нас есть уже нужные контакты и договорённости – и на место выезжает человек с головой и руками. В случае, если он «отваливается» (например, заболел), мы просто вызываем второго и третьего. В это время дежурный «икс-комады» работает с ними удалённо. Если диагностируется что-то сложное, параллельно другой инженер вылетает на место.

Пики удалённой поддержки

Ещё очень важно отрабатывать случаи, когда нужно резкое расширение удалённой поддержки первой линии. Это тоже наша внутренняя служба, которая умеет быстро масштабироваться. Например, для первой линии удалёнщиков для розницы обычно нужно 30 человек. Так весь год за исключением декабря, когда начинается пик. В декабре нужно 70 человек, например.

Реалия рынка такова, что тарификация для заказчика идёт позаявочно, то есть содержать эти 40 лишних человек в запасе он просто не будет. Поэтому это наш риск и наш вопрос, что с ними делать.

С одной стороны, конечно, сезонные пики не у всех наших заказчиков одновременные, поэтому эффект немного распределяется, но всё равно, грубо говоря, нужно расти уже не от 30 до 70, а от 40 до 70 человек за месяц.

Поэтому у нас есть сезонные работники первой линии. 80 процентов этих людей работают с нами не первый год, и работают только в высокий сезон. Они приходят за месяц до начала горячего времени и почти не дообучаются – уже знают, что и как. Мы, чаще всего, арендуем для таких команд место рядом с офисом заказчика и сажаем на время пика.

Куда они деваются после? Когда как. Я знаю нескольких людей, которые уезжают на Гоа и сёрфят там по полгода, а потом снова возвращаются в наш саппорт, знаю крутого айтишника, который полгода в году метёт пол в Израиле (а потом там же отдыхает ещё 3 месяца), знаю людей, которые берут отпуск на другой работе и приходят к нам саппортить, знаю множество фрилансеров, которые тоже к сезону приезжают в наши временные офисы. Естественно, есть и небольшая ротация.

Случаи поддержки

Кроме совершенно обычных рядовых тикетов на замену вентиляторов и прочие радости жизни, требующие выезда, на вторую линию приходит много интересного. Но интересного поначалу – потом год из года ситуации повторяются. Например, у нас очень часто просят достать какие-нибудь хитрые переходники на разную лабуду – чаще всего оказывается, что у розницы воруют большие колонки, они покупают новые и не могут их правильно смонтировать. Бывает, показывают СКС и говорят, мол, можете ли сделать не так криво? Мы, конечно, оцениваем и за дополнительный бюджет делаем, если заказчика устраивает. Часто поверх контракта просят добавить ещё камеру к видеонаблюдению, смонтировать пожарку, починить-перенастроить сигнализацию, — всё это делает не наша команда, а инженерный саппорт. Ищем правильных людей и делаем быстро и качественно. Иногда ездим сами, но чаще — подряд. Один раз из нестандартного нас даже попросили на каждого строителя на стройке повесить чип. Мы вшили им радиометки в спецовки, а потом назначали каждому права и допустимые территории. Понятно, что половину стройматериалов воруют не на этом уровне, но именно воровство от рабочих снизилось в три раза – писались треки и было видно, кто не там, где должен быть по плану.

Мы не ограничены по спектру работ – хоть розетку смонтировать, хоть внеплановую почистку от вирусов и реинсталлы — любой нестандартный запрос можем сделать. В ЦППК (электрички Подмосковья) у нас вообще, наверное, самый полный набор из возможных – там и телеком, и сервера, и железо на станциях, и видеонаблюдение, и ПО, и диспетческий центр, и ещё даже частичная поддержка прикладного ПО (хотя приклад вообще редко отдают на внешнюю поддержку). Там история такая, что даже тикет на вторую линию их приклада маршрутизируется через нашу систему по нашей методике – заказчику крайне удобно, что всё делается через одно окно. Вся эскалация через нас.

В последнее время довольно часто стали приходить запросы на то, чтобы мы забрали «родную» команду поддержки к нам в офис. Мы сначала не очень понимали, в чём смысл, пока один из представителей западной компании не пояснил, что подписать контракт с нами – дешевле. В три раза. Дело в том, что ИТ-специалист в европейской модели стоит примерно 5 зарплат в месяц. Это место в офисе, внешние обязательства (например, всякая благотворительность у них считается по головам). Мы называем свои цены – не самые низкие на рынке – а люди начинают улыбаться и говорить: «Да, хорошо, заверните». Конечно, есть те, которые ещё сравнивают цену контракта с зарплатой админа на месте. А есть те, которые считают все деньги и все издержки. У них есть утвержденная ставка на нормочас своего ИТ-отдела — и они сравнивают с ним.

Бывает и обратный процесс — наши команды иногда выкупают

Один крупный банк как-то принципиально решил, что аутсорсинга больше не будет вообще – и мы отдали им всю свою команду поддержки как футболистов. Так и банк выиграл и людям хорошо, не надо работу искать заново. За 8 лет так было уже три раза. Похожая история была в одном крупном банке – но там они просили двух наших крутых икскомовцев на год. Бывает, выкупают конкретных сотрудников. Опять же, принцип как с футболистами: если сотрудник не против, то мы говорим — вот столько стоили курсы, мы в него в итоге вложили 10 тысяч долларов – если устраивает, забирайте. Забирают. Напрямую хантить некрасиво – у нас есть чаще всего взаимные договоры, что мы не берём без согласования бывших сотрудников друг друга (аутсорсер и заказчик на контракте поддержки) в течение 3-5 лет.

Склады

Иногда, когда доставка запчастей явно не укладывается в SLA, держим небольшой ЗИП на стороне заказчика. Как правило, в 90% случае это всякая мелочь типа запасных принтеров, запасных преконфигурированных системных блоков или картриджей. Раз в пару месяцев приезжаем, меняем сгоревшие блоки питания, материнские платы и т.п. на заменённом оборудовании, возобновляем ЗИП. В больших точках лежат ещё ремкомплекты для инженеров и наши наборы комплектующих для дата-центров. Хорошая практика — каждый такой склад, если получается, снабжается сотрудником на месте, ответственным за него. Это чтобы правильно обученная тётенька могла выдать новый принтер взамен чего-то не печатающего. На дальневосточных объектах делаем аварийные конверты – «делай раз, делай два, если лампочка не зажглась, вызывай подкрепление».

Иногда вообще доходит до того, что эти вот специальные склады железа под заказчика делаются даже для нового железа. Например, мы поддерживали небольшую сервисную компанию с целым комплексом распределенных по Москве и области офисов. Каждый из них — по 2 компьютера, и они чаще всего садятся на уже готовую инфраструктуру торговых центров. Прелесть в том, что они сверхтекучие: точка может работать две недели, а потом переехать в другой торговый центр. Или их может открыться десяток за 2 дня, а потом весь этот десяток отправится в соседний город в конце весны. С ними мы утвердили спеку на конкретное железо для точки, обозначили фиксированные цены на полгода, а потом просто закупили вперёд на несколько месяцев. Они ставят тикет вроде «открываемся через 3 дня, вот адрес», мы отправляем железо комплектом для транспортной компании, а на месте его ждёт уже сотрудник из наших «контрактников». И точка развёртывается за считанные часы.

Несколько лет назад был очень интересный сервисный контракт с одной «маленькой гордой нефтяной компанией». Нашему топу позвонил их генеральный директор, попросил «прошаренного компьютерщика», но деталей не уточнил. Задачу передали в икс-команду, приехал наш инженер-эксперт. На месте сидит лысый дядя комплекции «кубик Рубика». На каждом пальце по кольцу. Такой флешбек в девяностые. Он вежливо поздоровался и сделал две вещи:

1. Позвал красивую вышколенную девушку и объяснил – вот этот парень инженер, он теперь будет к нам ездить. Помогай ему во всём. Вообще всём.
2. Позвонил мне и сообщил: «Я теперь вашего человека знаю. Пусть никто кроме него вообще не приезжает». Цена выезда серверного эксперта на сломанный принтер его не смутила, доверие для него было куда важнее.

Инженер с первого выезда вернулся с квадратными глазами, но на шикарной машине. Говорит, мол, я, когда обстановку и дядю этого увидел, то сразу понял – если не сделаю, живым не выйду.

Стыки с поддержкой вендора

Выездные сервисные подразделения на сервисных же контрактах очень тесно взаимодействуют у нас внутри. Потому что чаще всего сложные ситуации всегда на стыке областей: например, умер кондей, нужно снять ИТ-сервисы, чтобы серверная не перегрелась до замены. Или перестало что-то пинговаться, а производители софта говорят, это железки вон ваши, а те говорят – а чего сразу к нам, лучше смотрите на мелкое и мягкое. Вместе они не работают, просто процедур нет и практики. Поэтому – обязательно проверка смежных областей. Если есть подозрение на файрволл-железку и системное ПО — занимаемся своим и тут же зовём инженера на железку. Следующий раз наши у нас же спросят. Совместно решаем. Это вообще многого стоит. Придаёт уверенности людям, что их не начнут футболить коллеги.

Есть такие подрядчики, которые перекидываются, спорят с вендорами, мы вникаем и решаем. Огромное количество компетенций — всегда чуть больше возможностей проверить смежные области.

Ещё из интересного – вендор крайне редко даёт рекомендации на основе обычной поддержки. А у нас вся клиническая картина – видим постоянные болячки и можем посоветовать, что поменять заказчику, чтобы симптомы не возникали. То есть лечим сразу на уровне архитектуры, если заказчик хочет. Стандартный отчёт — смотрим, есть ли однотипные инциденты, пробуем найти корневые причины этих проблем.

С вендорами, в целом, отношения такие – мы делаем текущий сервис и передаём уникальные железные проблемы или что-то совсем серьёзное вроде помощи при настройке нового гомогенного ЦОДа. С другой стороны, вендоры иногда делают и не совсем обычные штуки, например, HP отлично поддерживают SAP.

Насчёт взаимовыручки техкоманд – чаще всего, мы друг друга знаем ещё по проектам десятилетней давности, и никаких ощущений соперничества нет (даже если по маркетингу мы пересекаемся). Например, когда у заказчика одного «горел» проект по пусконаладке в новом здании, была такая ситуация – оборудование серверных уже подняли, работа на всю страну без перерыва и пауз, а в здании всё ещё учебные тревоги, нужно освобождать его. Пару раз договаривались, что остаётся дежурный с КИПом и «скафандром», а остальные с ноутбуками дежурят из столовой соседнего здания. Но один раз они проводили прямо серьёзное взрослое учение, и выйти надо было вообще всем. По договорённости с заказчиком 20 сервисов мы передали в железный саппорт вендора, они нам помогали на это время. Потом и мы им как-то поможем где-нибудь в Горячем Ключе, они это знают.

Ещё у нас есть схема отработки аварийных моментов внутри компании. Например, если вдруг вся икс-команда загружена (такое бывает при одновременных 2-3 авариях в Москве, например, при падении подстанции), то тимлиды первой линии могут на пару часов прикрыть инженеров из пула поддержки. На каждую ситуацию есть контакты минимум трёх сотрудников с компетенциями.

Ссылки

• Калькулятор цен (очень примерный, но представление даёт)
• Байки икс-команды
• Байки наших выездов
• Байки дальних инженерных выездов и ещё
• Моя почта – afineboym@croc.ru.