У нас офис, склад, много магазинов по стране и куча технически подкованных пользователей, которые умеют продавать настольные игры. Интересно наблюдать, как вся эта экосистема эволюционирует в плане работы с техподдержкой. Поэтому ниже – спокойный пост наблюдений без каких-либо советов или выводов. Просто такова жизнь.

Вот, например, продавцы поняли, что не все выездные админы одинаково полезны. Старшие точек умеют чудовищно быстро меняться нужной информацией. Поэтому теперь на разные случаи просят разных инженеров. Стоит кому-то сделать работу хотя бы на 10% быстрее обычного или ещё как-то показать качество – и сразу же начнутся звонки в духе:
— Привет. Поддержка?
— Добрый день.
— А кто сегодня выездной?
— Миша.
— Ааааа… А Валера когда?
— Валера завтра до 15. Так что у вас сломалось-то?
— Да не, не, всё в порядке. Сегодня всё хорошо. Завтра сломается. В 11:30.

А почему так? Потому что Валера чудесным образом не только поменял монитор, но и очень впечатляюще разобрал «хвосты» проводов на Таганской. Он не первый человек, кто брался решать эту проблему, но первый, кто решил её до конца. Вот что запутали там продавцы:



И вот что он сделал:



Не бог весть какой подвиг, но точку впечатлило. Об этом его скилле (и том, что он любит тортик) почти сразу стало известно всем продавцам сети. Собственно, не все даже догадывались, что можно попросить сделать это админа. Через пару дней в отчёте закономерно появляется ещё пара фотографий:





Так будет продолжаться ещё 14 выездов, по количеству магазинов в городе. При этом сами старшие – далеко не гуманитарии. Как разбирать кабели – так «нет, сами не можем, боимся, а вдруг что напортачим». А как паять блок питания промо-паяльником из «Бригады», потому что так быстрее, чем ждать приезда выездного инженера – так пожалуйста. Сами починили. Касса же простаивала.

Не всегда особо хитрые пользователи стучат именно в поддержку. Начнём с того, что в поддержку надо звонить, потом ждать инженера (или же подключать его удалённо), там они никого в лицо не знают… Ещё надо писать тикет по форме, что не для всех тривиально. Поскольку наша работа очень плотно связана с общением, и атмосфера в офисе не сказать чтобы очень формальная, начинает рулить естественный интерфейс. Что делать? Правильно, надо оглядеться вокруг и найти того, кто шарит в вопросе. Аниматоры не поймут, операторы колл-центра заняты. Поэтому решение чертовски простое и всегда однозначное – есть же команда 1С. Они всем помогают по софту. Если у меня клавиатура не работает – ведь не сложно помочь, правда? Почти софт. Берут что-то вкусное и пытаются подкупить этим разработчика. От этого разработчик со временем толстеет.

Так продолжается до тех пор, пока друзей у кого-то из 1С не становится слишком много, либо он не перестаёт пролазить в дверь. Соответственно, затем он пишет гневное письмо в поддержку, мол, чего вы мне своих пользователей скидываете. И начинает худеть и отказывать. Правильный процесс восстанавливается примерно на две недели, друзья немного ворчат, но понимают, что таков мир и порядок. Да и самих друзей временно становится меньше. Потом начинается опять:
— Привет! Тима, у нас что-то тут не работает… Это к вам же, да? Можешь подключиться-посмотреть быстренько, клиенты стоят? Прошлый раз меня перезагружать просили, а я перезагружала до этого. А ты сразу делаешь…
Тима – лапочка, его любят все магазины. Естественно, он не откажет. И придётся заново набирать вес.

Звонки не по адресу иногда рождают очень странные ситуации. Например, поскольку у нас много-много магазинов в терминальной ферме с 1С, офис, склад и ещё пара объектов, при пропадании канала не всегда ясно, к кому стучать. В магазине есть табличка с типовыми симптомами и телефонами для решений. Так вот, однажды мы продолбали проплатить один из резервных интернет-каналов. Как назло – упала связь, прошло переключение на резерв в магазине. Продавец позвонил в инженерную службу «железному» админу. И попросил СРОЧНО решить. А надо сказать, что наши айтишники друг друга всячески поддерживают и мячом не кидаются. Надо СРОЧНО – ок, будет. И админ начал набирать провайдера. Правда, конкретно он не знал, провайдер на точке сменился: ориентировался он по распечатке, а не актуальному статусу в базе. В итоге выяснилось, что:
— Интернета нет, потому что авария.
— К вам выехал специалист.
— Специалист ищет обрыв на линии.
— Нужна замена оборудования.
— Замена оборудования будет произведена в течение 3 часов.
— Обнаружен ещё один физический обрыв.
— Оппа! Всё подключено, но вы уже три месяца как не являетесь нашим клиентом.
Наш не знал про контракт, а их не знал про то, куда делось железо. Два одиночества нашли друг друга.

Эта борьба за результат до победы проявилась ещё раз, когда коммерческий директор принёс сломавшийся ноутбук. Несколько кнопок на клавиатуре не нажимались. Но не WSAD, а случайные. Отдали в сервис. Через несколько дней приходит заключение: кнопки починили, но ещё нужно бы поменять подсветку экрана. Про то, что экран работал как-то не так, Дима, сдавая ноутбук, ничего не сказал. Сам он был на встрече, поэтому попробовали расспросить человека из того же кабинета. Да, с ноутбуком всё у него в порядке, говорит, нарадоваться не мог. Только кнопки что-то последние дни сбоили.

Анамнез ясный. Сервис сам что-то поломал в процессе ремонта. Поскольку у нас тоже бывают свои ремонты, ситуация предельно знакомая и ясная. Наш человек начал давить: мол, сдавали целый, только кнопки не пахали, а вы что-то с подсветкой мутите. Спецы сервиса, видимо, тоже не раз с таким сталкивались — дополнительные поломки в процессе ремонта бывают. Поэтому спорить не стали. Ноутбук через день починили. Ещё через месяц случайно выяснилось, что Дима использовал его только с внешними экранами. Почему? Потому что «родной» экран стал очень тусклым ещё пару лет назад.

Мы не заплатили за ремонт, чего стыдились целых два месяца. Потом сервис подарил нам сертификат на бесплатный ремонт ноутбука в любой точке мира. Естественно, мы отдали первый же попавшийся в починку. Они вернули нам машину после диагностики, но без ремонта. С диагнозом «такое не чиним». Сертификат назад не отдали. Равновесие восстановилось.

Ещё как-то раз у нас в подъезде (общем с рядом других офисов) завёлся настоящий бомж. Проблема была в отказе одного из контуров двери. Как оказалось, мужик был очень сильным, поэтому проник около 23:00, просто оторвав дверь от электромагнита замка. На вторжение поначалу никто не отреагировал, потому что первое, что сделал бомж – это переставил лампочки в подъезде. Зачем – не знаю. Но если стоит большой странный человек и меняет лампочку – наверное, это поддержка. Выгнал его, собственно, один из админов. А дальше самого админа из подъезда попробовал выпинать большой и тяжёлый арендодатель – ему сказали, что там шарится кто-то не наш. Естественно, его подозрение сразу же пало на нетипично одетого человека.

В одном из магазинов продавцы вечером 9 марта приводили всё в порядок после зерграша 8-го. В лучших традициях админских баек нашли валяющийся кабель, нагло торчащий из стены. Старший точки педантичный. Он знает, что если в магазине что-то валяется просто так – это нецелесообразный расход ресурсов. Мне кажется, он даже Num Lock отключает, чтобы беречь электричество. Так вот, дальше он делает то, что сотни бухгалтеров делали до него по всей стране. Поднимает хвост и втыкает его в положенное место. В белую коробку. Там дырок много, каждая подходит. И успокаивается, потому что гармония восстановлена. А это конец дня, машины уже выключены. Гасит свет, запирает магазин и счастливый уходит домой. Утром выясняется, что сети как-то нет, причём не только в магазине, но и рядом. И вокруг уже бегают смешные инженеры.

Однажды при переезде оборудования у нас умер один из жестких дисков на сервере. В целом, ничего страшного, всё было в бекапе. Просто несколько магазинов в регионах на время восстановления (примерно полчаса) должны были выбивать чеки на кассовом оборудовании в ручном режиме. Через три дня с негодованием звонят из Челябинска:
— Когда уже можно будет кассой пользоваться?
С тех пор мы знаем, что надо говорить не только про начало техработ и их срок, но и про окончание.

Неграмотные пользователи делятся на обычных и геройских. Обычные – это, например, когда уборщица несколько дней поливала роутер в бухгалтерии вместе с цветком (он был под ним) – мы, соответственно, узнали это по тикету. А геройские – это когда в той же бухгалтерии разбирали провода, нашли какой-то тонкий лишний, на 6 миллиметров, две жилы, миллиметр изоляции. Самоотверженно и решительно обрезали ножницами. В итоге половина соседнего подъезда осталась без электричества – так в здании делали когда-то времянку для проводки, и с тех пор оставили.

Есть много рутины: как правило, ремонты и апгрейды. Пользователи регулярно разбивают клавиатуры (просто технический износ), часто сами собой горят экраны, регулярно летят блоки питания, кулеры и жёсткие диски. Ещё частая замена – батареи упсов. С ними неприятно то, что у нас часть резервных источников без мониторинга, поэтому узнаём про необходимость замены мы иногда далеко не сразу. Стандартная работа в последний год ещё – замена оперативной памяти. Продавцы раскусили, что можно просто и быстро сделать апгрейд, удвоив оперативку – и тогда работать будет комфортнее. Это дёшево и не затрагивает привычную рабочую среду. По мере распространения этой ценной информации по магазинам, вставали всё новые тикеты на такую задачу. Но с апгрейдами есть и другая засада — многие очень боятся писать, даже если компьютер дышит на ладан. Например, в одном магазине у нас долго стоял моноблок на Атоме, который был запущен по случаю аварийной замены. Уже много раз предлагали его поменять, но продавцы настойчиво отказываются: «тут всё настроено, не трогайте». Работает – не мешай. Иногда в похожих случаях при плановых апгрейдах люди реально сопротивляются заменам.

Ещё одна история о странной психологии – в 1С есть резервная база, которая нужна для ряда технологических катастроф на серверах ядра. Сначала на ней было написано просто «резервная база» — пользователи думали, что это как второе зеркало, можно тыкать. Потом написали «резервная база, не заходить» — всё равно заходят, создают сложности с синхронизацией. Написали письмо с пояснением на всех, поменяли название на «Тестовая база, не выбирать» — заходов стало меньше, но они не прошли. В итоге 1С-команде пришлось сконфигурировать базу с ошибкой, чтобы падала на старте. При аварии админ подключается и меняет конфиг за 5 секунд.

Самая дурацкая ошибка в магазине – один раз подключили контрольно-кассовую машину после апдейта и не протестили на специальной тестовой штуке. Аппарат ожил и понял, что настал его звёздный час. И понёсся печатать чеки как не в себе. Выключили его примерно через минуту, когда осознали, что что-то пошло не так. Магазин несколько часов писал возвраты – а это достаточно муторные и сложные заявления, причём там по нормативу требуется от руки и по три бумажки на чек.

Однажды мы заранее узнали про отключение питания в подъезде, предполагалось на 25 минут. Придумали целую систему форвардов телефонов, подготовили удлинители для тех, кто перейдёт с ноутбуками, оттестировали работу Wi-Fi при двойной нагрузке… Пока пользователи собирались и переходили в другой подъезд, свет включили обратно. Зато у нас осталась прекрасная резервная схема. Собственно, она нам пригодилась, когда на здании рабочие сбивали сосульки – вместе со льдом бравым парням с хорошо заточенными лопатами удалось сбить кабель провайдера.

В далёких регионах любая мелкая неточность в инструкции может обернуться психологической катастрофой. Например, когда мы разворачивали точку в одном из городов за Уралом, продавцы сконфигурировали всё точно по инструкции. Проблема в том, что поля на скринах для примера с именем московского менеджера. Так в базе появилось 6 «близнецов» с паролями, натурально, ровно из восьми звёздочек. Про себя мы смеялись, но понимали, что люди хотели как лучше и сделали в меру своего понимания. И косяк не за ними, а за нами. Конечно, поменяли инструкцию на будущее.

Ещё очень много тёрок с провайдерами. Характерный пример – на 4 магазинах у нас Билайн основным каналом. Был. Один из договоров был в долларах, остальные в рублях. Осенью курс драматически поменялся, и мы позвонили менеджеру сказать, что либо отключаем, либо давайте в рублях как было переиндексируем. Менеджер согласился и сказал, что нужно заявление. Мы отправили курьером. Они его потеряли. Потом мы написали его ещё раз, они прислали уже своего курьера. И снова потеряли. Мы от них отключились и сказали об этом менеджеру. Перешли на резерв. Вот уже полгода они шлют нам неправильные счета после окончания договора, ищут все три заявления (два на переход и одно на отключение), а по телефону говорят «Да-да, всё передал. Ну, мы большая компания, всё делаем медленно, бюрократично». Последним аккордом стал звонок, проброшенный с общего офисного номера на главу ИТ-службы:
— Добрый день, Билайн беспокоит.
— Ага! Наконец-то! Вы по заявлению?
— Что? Нет, у вас задолженность.
— Ыыыы, вот такая вот история, проверяйте свои документы.
— То есть вы отказываетесь оплачивать задолженность?
— Да нет, всё было хорошо, пока вы не начали документы терять.
— Как вам ни стыдно! Вы же просто моральные уроды какие-то.
— Ух ты. А вы точно из Билайна? Прямо из офиса?
— Нет, коллекторская служба N.
— Аааа, ну тогда до свидания.

Бывают странные тикеты. Например, на аутсорсера падает пустой только с заголовком «Операторы, проблемы доступа в интернет». Нормальный человек бы его тут же закрыл или вернул обратно. Дежурный разобрался и всё починил, спасибо ему. Операторы почувствовали резкую деградацию канала и решили, что нужно написать как можно короче, чтобы прошло. Поэтому получилось письмо «как из последних сил».

Ещё запомнившийся тикет — баг обмена. Клиенту неверно рассчитали стоимость доставки. Его (баг, а не клиента) с холодным спокойствием выслеживало три отдела. Главной проблемой было то, что покупатель оказался не очень дружелюбным парнем. Он прислал письмо, которое при упоминании в обществе дам состояло бы исключительно из звёздочек. Ввиду обилия переменных в этой системе уравнений, опознать симптомы ошибки и путь её воспроизведения удалось далеко не с первого раза. Ещё пару недель некоторые диалективизмы из письма проскакивали в общении закупщиков.

В торговых центрах свои провайдеры. Это настоящая мафия. Где обычная услуга стоит 3 тысячи рублей в месяц, в торговом центре берут 15-17. Мы как-то решили хакнуть их и подключить ADSL от МГТС вместе с их проводным телефоном. Так вот провайдер-монополист настолько монополист, что даже не пустил к будочке монтажника. Мол, проводной телефон тоже мы сделаем. Несите ещё 5 тысяч. Так и сидим на свистке Йоты в итоге.

Да, и напоследок — маленький лайфхак. Каждый раз, когда мы подключаем второй канал резервом на магазин, мы обязательно звоним менеджеру первого провайдера и сообщаем об этом факте. «Знаете, а мы тут попользовались вашим интернетом, и на Курской решили провайдера N+1 подключить, завтра работы начнутся». Это 100% правда. У менеджера в скрипте ухода клиента – предложить условия лучше. Менеджер делает вывод, что если мы подключаем второго провайдера, это уход. И тут же предлагает нам условия лучше. Работает в 99% случаев с самыми разными провайдерами.