Может ли что-то объединять старую металлическую кастрюлю, пожарную сигнализацию с громким названием, десяток невидимых глазу точек доступа Wi-Fi и подпольную биржу труда? Оказывается, да. Все эти удивительные вещи поддерживали работу склада, который мы рискнули взяться модернизировать.

Ну а что из этого вышло, как мы распутывали кабели, перевозили серверы и обновляли IT-инфраструктуру на складе, работу которого нельзя было остановить даже на час, читайте под катом.

Мы в Hoff Tech уделяем много внимания инфраструктуре. Товары должны где-то храниться, а когда понадобятся покупателю — быстро и организованно доставляться. Для этого у нас есть собственные склады: несколько небольших, а также крупные региональные. В мае 2021 мы решили взять в свое управление еще один склад от провайдера в Домодедово — самый большой из всех.

Кстати, меня зовут Максим Бобылев, я директор по инфраструктурным решениям Hoff Tech. Я своими руками открыл первые 6 магазинов Hoff и трижды перевозил наши ЦОДы, но этот проект стал одним из самых сложных за 12 лет работы. Нашей команде нужно было перехватить все процессы за один месяц, но не просто перехватить, а модернизировать. И как раз с этим возникли трудности.

Почему склад — это сложно 

Логистика для компании Hoff — один из основных пунктов затрат, но в то же время и основное конкурентное преимущество. Чем быстрее, аккуратнее и дешевле осуществляется доставка, а также все связанные с ней процессы (погрузка, разгрузка, учет, укладка, возврат), тем довольнее клиент.

При этом склад работает, как постоянно заведенный механизм, (в идеале — «швейцарские часы»), где один процесс неизбежно влияет на другой. А процессы эти объективно сложные и многоступенчатые.

Например, приемка товара. Здесь хорошо подойдет аналогия со стейком: приготовить один стейк не вызывает трудностей. А если таких стейков нужно приготовить 100 — одинаковой прожарки? А если одновременно нужно приготовить другие 100 блюд? Как сделать так, чтобы все блюда для всех гостей были приготовлены более или менее вовремя, чтобы ничего не пригорело и не испортилось? 

На приемке товара происходит нечто похожее: приемка и отгрузка товара не останавливаются ни на секунду. Оборудование должно быть размещено так, чтобы популярные товары были доступны, а те, что заказывают реже, не мешали. При этом нужно учитывать, особенности каждого типа товаров. Например, там, где лежал диван, не очень рационально размещать лампочки для умных люстр (но это уже другая история).

Склад получает товары на поддонах или паллетах разных типов и размеров — их тоже надо где-то размещать, чинить или утилизировать. Иногда приезжает брак и его нужно учитывать как возврат или недогруз — это все отдельные процессы. Есть и оптовые покупатели из других регионов: приходится одновременно загружать и фуры, и маленькие курьерские фургоны. И это взаимосвязанные процессы, которые протекают одновременно в одном физическом пространстве. 

Современный склад — это фактически конвейерное производство, он не может позволить себе ни минуты простоя. Если возникает сложность, она должна решаться не в часы, а в минуты. Клиента не интересуют проблемы, но просто хочет быстро и удобно получить новый товар. Поэтому гениальный план вроде «в этот месяц, ребят, мы решили провести модернизацию, поэтому доставки сейчас нет, зато в следующем месяце она будет в два раза быстрее» мы даже не рассматривали. У нас был месяц на изучение всех процессов и модернизацию склада при полной рабочей загрузке.

Приступаем к аудиту

Кое-какую информацию по складу мы получали в предварительных отчетах и подозревали, что это будет непросто, но даже не представляли масштабов сложностей. 

Склад Hoff в Домодедово представлял собой четыре блока с площадью более 10 000 квадратных метров каждый. Всего 150 камер и 50 точек доступа. На складе должно было быть порядка 70 терминалов (в реальности работало 30), и, конечно же персонал, который носился туда-сюда на карах. Там была какая-никакая IT-инфраструктура и система управления складом, но в первые же дни мы поняли, что она требует немедленного спасения тщательной проверки и обновления. 

Структурированная Кабельная Система или СКС

СКС на складе объединяет все компьютерное оборудование, включая серверы, персональные компьютеры, систему видеонаблюдения, Wi-Fi-точки доступа. 

Сети были проложены загадочно: их схема не соответствовала ни стандартам «звезды», ни «двойной звезды». Не было резервирования, и потеря одного линка приводила к остановке нескольких блоков. При этом кары, разъезжая периодически обрывали провода и повреждали оборудование. 

В процессе аудита мы нашли 15 коммуникационных шкафов, некоторые в довольно неожиданных местах. Так, один обнаружился под потолком на высоте 12 м. Чтобы добраться до него самостоятельно, нужны или акробатические навыки, или недюжинная фантазия.

В некоторых шкафах оборудование не было закреплено, в других оно было запитано от ИБП с неисправными аккумуляторами. Монтаж кабелей, как снаружи, так и изнутри тоже не был идеальным. Наблюдались поврежденные кабельные лотки и клубки проводов.

С электропитанием время от времени возникали проблемы: при перебоях скачки напряжения превышали допустимый диапазон, поэтому оборудование легко выходило из строя.

Похоже, что инфраструктуру раз за разом доделывали, добавляя костыли в виде неучтенных линков, так что чертежи и планы далеко не везде совпадали с действительностью. Такая инфраструктура была ненадежной и попросту опасной. В этом хаосе недоступных шкафов и спутанных проводов трудно было отыскать даже локальную неисправность. А если бы из строя вышло активное оборудование, мы рисковали потерять весь блок или целый склад.

Беспроводная сеть 

На складе было 50 рабочих точек доступа и здесь не обошлось без проблем:

• не было ясно, где именно они расположены — документы потерялись, а визуально они не просматривались; 

• в некоторых местах было плохое покрытие сигналом, из-за особенностей складского  хранения; 

• не было системы мониторинга за сетью. Если какая-то точка доступа выходила из строя, об этом сигнализировали ушедшие на перекур сотрудники и нач. склада, с криками разыскивающий «айтишников».

Терминалы сбора данных или ТСД 

Терминалы сбора данных — это такие мини-компьютеры, без которых невозможно представить современный склад. Считывая штрих-коды и передавая их в товароучетную программу, они автоматизируют работу, экономят время и делают еще уйму всего полезного. Соответственно, неисправные или несовременные ТСД тормозят все процессы.

В наследство нам достались старые терминалы Motorola MC3190. Изношенные, потрепанные жизнью, они обеспечивали рабочий процесс, но доставляли неудобства. 

У многих из них были обломаны крепления, а батарея выдерживала не более 30 минут работы. Чтобы их зарядить, сотрудники использовали резинки и хитровыдуманную конструкцию, в которой главной деталью была железная кастрюля, наполненная кухонными приборами для придания дополнительного веса. Она прижимала аккумуляторы к контактным площадкам. Как тебе такое, Илон Маск?

Как бы ни хотелось сохранить этот пример человеческой смекалки для потомков, мы решили, что ТСД придется заменить на новые и проверенные годами Honeywell EDA50 и EDA61K. Правда, здесь не обошлось без сюрприза. После года использования, EDA61K показал плохое качество приемников связи, и от него начали отказываться все водители. 

Видеонаблюдение 

Система видеонаблюдения включала в себя два сервера (на фото они обведены красной рамкой) и пост наблюдения. 

Выяснилось, что из 160 IP-видеокамер Hikvision постоянно работали примерно 140. И все они были установлены только с одной стороны склада. В результате в помещении было много слепых зон. Из-за неисправностей в СКС камеры иногда сбоили, и кто что натворил сделал в слепой зоне, было невозможно увидеть. Аргумент «камера не работает — охрана ничего не знает» был в ходу. 

Система контроля и управления доступом (СКУД)

Система доступа в разные помещения на складе оказалась выстроена на основе охранно-пожарной сигнализации. Она не вписывалась в наш IT-ландшафт (мы используем решение от Parsec, масштабируя  его на нужное кол-во объектов), да и просто не работала. За все время аудита мы нашли только одну дверь с включенным СКУД. В других местах, электромагнитные замки не функционировали, напряжение не подавалось, блоки питания и контроллеры служили декором находились в нерабочем состоянии.

Мы описали подробно только проблемы с IT-инфраструктурой, хотя похожая ситуация обнаружилась и в бизнес-системах. На складе одновременно использовали 1C, Access и LVS, но 50% процессов выполнялось на бумаге. Минимум дважды на складе терялась база, так как не было никакой системы информационной безопасности. Говоря объективно, программный складской комплекс застрял примерно на уровне 2010 года. 

Удивительное рядом открылось после проверки учета рабочего времени: на складе успешно работал «серый рынок» смен. Кладовщики по таймеру продавали свой выход на работу другим людям, а сами не приходили. Именного учета не было. А еще складские сотрудники показали нам, как смотрят на рабочих компьютерах YouTube, хотя по идее у них не должно было быть доступа в Интернет

Были и бытовые вопросы, которые требовали внимания: столовые, туалеты… Одно тянет за собой другое — чем комфортнее чувствует себя сотрудник на складе, тем выше уровень сервиса, а значит, больше довольных покупателей. Одним словом, нам предстояло нечто большее, чем простой кабель-менеджмент.

Самое сложное — это начать 

Hoff насчитывает 6500 сотрудников, и из них в работе по модернизации склада на разных этапах одновременно участвовало до 300 человек.

Участвовали все подразделения: IT, логистика, сервисный центр, отдел персонала, АХО, продажники. Рядовые сотрудники точно так же, как руководители и директора департаментов ногами ходили по складу и помогали организовать процессы. Все этапы функционирования склада надо было зафиксировать, разобрать по косточкам, перевести в понятную схему и самое главное — понять, с какой стороны зайти, чтобы улучшить, а не испортить. Это как залезть отверткой в работающий двигатель. Одно неловкое движение — и все заклинит.

Часть сотрудников углубилась в IT с точки зрения инфраструктуры, еще одна — в технологический учет, программное обеспечение склада. Большой пласт работы достался отделу персонала. Каждая из команд подхватила свое направление, и мы одновременно с разных сторон взялись за это непаханое складское поле. 

В итоге каждая команда вернулась со своими локальными кулстори. По-хорошему, каждая из них заслуживает отдельного рассказа (может быть в следующий раз), но раз уж мы на Хабре, давайте продолжим про инфраструктуру.

Как мы меняли IT-инфраструктуру 

Сначала собрали схему видеонаблюдения, Wi-Fi, сделали предиктивный замер. Точки доступа, которые на складе невозможно было обнаружить визуально, нашли с помощью радиолокационного обследования.

Чтобы не нарушать работу склада, мы фактически строили параллельную инфраструктуру, протягивая коммуникации от блока к блоку. 

Первым блоком мы взяли не самый нагруженный, расставили в удобных местах шкафы, предварительно согласовав подходящие места. Затем приступили к установке камер и оборудованию точек доступа. Эта работа как раз пришлась на постковидный период, когда все поставки осуществлялись с задержками. Нам все удалось сделать вовремя: поставщики пошли навстречу, плюс кое-какое оборудование у нас было в запасе. 

Когда мы завершили первый блок, подключив его по двойному резерву, то начали строить ядро сети в новом блоке. В один прекрасный момент мы отключили старое оборудование, а вместо него подсоединили новое. Старое при этом оставили висеть до окончания всех работ. Первые замеры и результаты покрытия Wi-Fi показали, где необходимо обновить точки доступа для лучшего покрытия, и уже во втором, третьем и четвертом блоке мы «докрутили» изначальную схему.

Переход на новое оборудование и отключение старого происходило постепенно, а работа склада в момент переподключения не прерывалась. Средняя длительность одной остановки составила 15 минут, максимум — 30, чтобы перезагрузить или перекоммутировать оборудование. Мы успевали проделать это во время пересменки, когда операторы ненадолго отвлекались от терминалов.

Были и сбои, но не из-за новой системы, а из-за деградации старой — своеобразные «приветы из прошлого». Выбивало электричество в блоках, и мы бросались искать причину вместе с электриками. Случались и обрывы оптики, а при перезагрузке СКУД вообще остановился, и для запуска потребовались интенсивные танцы с бубном. 

Одной из самых напряженных оказалась история с серверами. Как выяснилось, они находились за пределами склада, фактически на другом конце на севере Москвы, а склад — на юге, в Домодедово, не менее часа езды, если даже ехать ночью. Вместе со временем на монтаж и демонтаж получается три часа простоя — этого мы не могли себе позволить. 

Мы решились на «живую» миграцию — синхронизацию через бэкап, восстановление и поднятии реплики в нашем ЦОДе. Полчаса интенсивной работы и перезапусков, итог — все виртуальные сервера в нашем центральном складе запущены, а туннель с внешней стороной полностью обрублен. 

При этом мы сохранили адресацию: продублировав адресное пространство, настроили маршрутизацию — склад не должен был «почувствовать», что произошла остановка и что-то изменилось. В этом переходе участвовало три подразделения: сетевики, серверное подразделение и сотрудники склада, которые контролировали на месте весь процесс.

Наш склад не заметил ничего: часть работников сделала перекур на 30 минут, но никакой разницы «до» и «после» они не почувствовали.

Ошибки, которые мы допустили

Не обошлось и без факапов — не смертельных, но поучительных:

• После того, как мы начали интенсивно использовать складское хранение, стали поступать жалобы о проблемах со связью там, где их раньше не было. Мы назвали эти аномальные области «зоной Кастрюль». Выяснилось, что большие объемы металлических товаров запросто создают помехи для приема Wi-Fi.

• Мы заказали не те ТСД для теста — с плохим чипом связи, и сейчас в поисках аналога с хорошим.

• Выяснилось, например, что для видеонаблюдения нам нужны все четыре сервера — на каждый блок по одному. Мы не ожидали такого масштаба и, соответственно, первоначальная оценка стоимости сильно отличалась от финальной. 

Да что там говорить, из-за сжатых сроков и интенсивной работы большого числа людей, все, что мы придумали в начале, в конце выглядело чуточку по-другому. Проще говоря, мы оптимизировали процессы не на 100% процентов от задуманного, а на 80%. Но, кажется, и это неплохой результат. Сейчас наша IT-инфраструктура — это отдельная схему с резервированиями и доступностью, которая позволяет при случае еще и легко масштабироваться, добавлять устройства и компьютеры.

Что мы изменили в бизнес-процессах 

Чтобы прекратить хождения на склад неизвестных личностей Для учета рабочего времени сотрудников, мы установили на складе систему распознавания лиц. Запустили чат-бот, чтобы работники склада могли быстрее получать информацию. А некоторые документы перевели на узбекский, чтобы все всем было понятно.

Практически вся отчетность по персоналу перешла из ручного бумажного формата в автоматический цифровой. Онлайн можно следить за качеством работ: сколько груза кто выдает, в какой зоне, какое количество заданий. Раньше 100% форм и документов печатали в Access, выгружали из него данные, а потом рассчитывали показатели в Excel.

1C еще пока в работе — резко выключать ее из рабочих процессов рано. Но внутри текущей WMS мы уже реализовали все, что дает 1C — в режиме пользователя. В будущем мы будем пробовать полное переключение. Хотя уже сейчас можно сказать, что мы перешли к принципу одного окна. 

Результаты и планы на будущее 

Если подытожить, мы переместили склад из начала 2000-х в год примерно 2021. Мы обновили систему и инфраструктуру, включая приобретение новых терминалов и принтеров, которые обеспечивают процессы на складе. Параллельно с обновлением IT-части усовершенствовали текущие бизнес-процессы — все работает быстрее, качественнее и выдерживает бОльшие нагрузки.

В цифрах это выглядит вот так: 

• на 20-30% сократилась потребность в персонале; 

• на 15-17% выросла общая эффективность складской обработки; 

• с 8 до 6% упал процент недогрузок (потеряли, побили, не нашли).

Конечно, есть еще много вещей, над которыми мы работаем. Очень хочется перейти на единый домен с отказом от лишнего ПО и освободить мощности — мы делаем это постепенно. Мечтаем сократить бумажный документооборот и добавить мини-термопринтеры, чтобы сотрудники стали мобильнее. Пока не решили, как быть с контролем дверей и ворот: идеально, если они будут открываться и закрываться только, когда система управления складом выдала сотруднику задание. Еще один челлендж — «зона кастрюль», от которой пока не удалось избавиться окончательно. Все это в процессе реализации. 

Склад похож на живой организм, работа которого не останавливается ни на минуту. Главное, к чему мы сейчас стремимся — привести эту систему к такому состоянию, когда можно будет тиражировать ее на другие склады компании. С «обкаткой» процесса все более или менее получилось, должен получиться и этот перенос. Подготовить к работе новый склад буквально за часы и с минимумом подготовки — цель, которая стоит усилий.