ИИ устраняет хаос в каталоге ТМЦ: забудьте о дублях и некорректных описаниях ТМЦ

Чем больше каталог ТМЦ, тем сложнее им управлять: дубли, некорректные описания ТМЦ, как следствие избыточные запаса и снижение уровня обеспеченности — эти проблемы хорошо знакомы бизнесу. Чистить каталоги вручную — долго и неэффективно, поэтому мы решили проблему через ИИ: разработали алгоритм, который быстро наводит и поддерживает порядок даже в самых запущенных каталогах. Сейчас расскажем, как он работает и какие задачи бизнеса может решить

Какие проблемы возникают из-за дублей в каталогах

Каталоги товарно-материальных ценностей (ТМЦ) можно сравнить со шкафом: если его долго не открывать, то кажется, что там все в порядке и на своих местах. В реальности так бывает редко.

Основная проблема каталогов крупных корпораций – обилие дублей номенклатуры, когда один и тот же товар или материал учитывается в системе под разными названиями. Иногда дубли появляются из-за невнимательности: допускаются ошибки или опечатки, и вот «металлическая труба» превращается в «металическую», в описание вклиниваются лишние пробелы, транслит. Часто из-за лени вместо поиска нужной позиции сотрудники просто создают новую.

Наша команда работала с каталогами многих промышленных компаний (например, ЕвроХим, Русал, СУЭК, ММК, ОМУ, УГМК, ERG), число записей там варьировалось от 500 тысяч до 1,2 млн. При этом количество дублей могло достигать 30%, а это десятки и сотни тысяч лишних записей.

Дубли усложняют работу многих подразделений:

  • Планировщикам сложнее проводить анализ и учитывать реальные потребности предприятия. Если товар записан под двумя разными наименованиями, система может показывать избыток по одной позиции и дефицит по другой.

  • Закупщикам труднее оперировать заказами. Дубликаты могут закупаться по-отдельности, тогда на склад под разными названиями привезут аналогичный товар.

  • Логистам придется разбираться со множеством учетных позиций и выделять дополнительное место под хранение.

  • Бухгалтеры столкнутся с проблемами во время инвентаризации.

  • Финансисты получат больший процент замороженных финансовых ресурсов, ошибки в себестоимости продукции.

  • Аналитикам будет сложнее свести данные, чтобы проанализировать запасы продукции.

Способы устранения дублей

Широко известны два способа, а мы придумали третий назвали его ПромМаркет. Разберем каждый из них.

  1. Находить и удалять вручную Такая работа занимает месяцы и требует привлечения опытных специалистов, но пока они чистят одну часть каталога, в другой появляются новые дубли.

  2. Использовать встроенный функционал систем учета по поиску дублей Алгоритм работает по принципу обычного поисковика, то есть ищет набор похожих слов, но не учитывает технические характеристики товаров. Например, по запросу «сапоги женские» алгоритм 1С найдет и «сапоги женские», и «сапоги мужские». Поэтому каждое обнаруженное совпадение придется проверять вручную.

  3. Вычистить дубли при помощи технологий искусственного интеллекта Система автоматически распознает дубли одного и того же товара, объединяет их в одну позицию и создает стандарты наименований и характеристик ТМЦ в каталогах, чтобы исключить появление дубликатов в будущем.

Какое решение мы сделали на основе ИИ

Нам было важно, чтобы система работала полностью автоматически, могла быстро обрабатывать большие массивы данных без потери качества, но при этом работала с контекстом не хуже людей.

Один человек в среднем за день может обработать 80-120 позиций, но это не значит, что за 10 дней он проверит и исправит 1200 позиций. После первой сотни концентрация снизится и, вероятнее всего, специалист начнет допускать ошибки. В отличие от человека алгоритм на основе ИИ не имеет ограничений по объему обрабатываемой информации – это большой плюс для крупных предприятий.

Схема решения ПромМаркет выглядит так:

  1. Система анализирует структуру всех данных Искусственный интеллект изучает существующие паттерны классификации, выявляет ключевые характеристики различных групп товаров и формирует логику организации каталога.

  2. Приступает к поиску дублей ИИ использует алгоритмы, которые извлекают из текста численные характеристики, ссылки на стандарты, длину и толщину изделий, марки и обозначения, классификаторы, справочники и другую значимую техническую информацию, а затем раскладывают в таблицы согласно принятой онтологии. Это позволяет системе «понимать» смысл, чтобы эффективно находить дубли и аналоги.

  3. Выявляет и устраняет ошибки Система вычищает некорректные и повторяющиеся символы, убирает лишние пробелы, ошибки импорта и экспорта данных, переводит текст в верхний регистр, выполняет десятки других операций по подготовке данных.

  4. Объединяет позиции Все найденные дубли ИИ объединяет в одну позицию, сохраняя и обогащая важную информацию из всех карточек, а еще система может предложить аналоги, исходя из выбранной стратегии.

  5. Предотвращает появление новых дублей Система формирует стандарты описания и автоматически проверяет новые позиции при добавлении в каталог, снижая вероятность появления новых дублей. Более того, она может переименовать весь каталог под новый формат описания ТМЦ.

Что получает бизнес

У технологии ПромМаркет есть основные и дополнительные функции, и все показывают отличные результаты.

Основные функции:

  • Сокращение объемов каталога на 25-30%;

  • Качественные метрики данных (система проверяет каждую запись и весь справочник в целом, а затем оценивает полноту их заполнения и степень соответствия заданным стандартам, рассчитывает «индекс здоровья каталога»);

  • Быстрая проверка на дубли новых позиций.

Дополнительные функции

Возможности системы не ограничиваются работой с дублями, ее можно использовать для оптимизации всех процессов работы с ТМЦ:

- Подбор аналогов
Система автоматически определяет взаимозаменяемые товары — особенно актуально при перестройке цепочек поставок.

- Защита от переплат
ИИ анализирует историю цен и выявляет подозрительные отклонения, которые могут говорить об ошибках или недобросовестности поставщиков.

- Упрощение интеграций
Автоматическое сопоставление разных каталогов существенно ускоряет процессы синхронизации каталогов компаний и работу с новыми поставщиками.

Как мы проверяли эффективность ИИ

Чтобы проверить продуктивность технологии, мы провели эксперимент: поручили очистку одного и того же сегмента каталога команде опытных специалистов и нашей системе.
Ставка на искусственный интеллект себя оправдала: качество обработки данных ИИ превзошло результаты ручной работы в среднем на 12%, а скорость оказалась выше «человеческой» в несколько тысяч раз.

Какие результаты дает дедубликация:

  • повышается прозрачность учета ТМЦ на всех этапах: от планирования до списания;

  • ускоряется работа аналитиков по запасам

  • сокращаются складские запасы и операционные издержки

  • повышается уровень обеспеченности

Результаты виден сразу: ИИ систематизирует каталог компании и повышает эффективность работы с ТМЦ.

Комментарии (12)


  1. Adgh
    02.12.2024 03:51

    учитывая полное отсутствие технических делателей, выглядит как Amazon с 1000 индусов вместо ИИ


    1. Karbasov Автор
      02.12.2024 03:51

      Как было сказано в материале вся работа выполняется полностью автоматически, технология имеет некую схожесть с розничным кредитным конвейером в плане потока обработки информации.
      Технические подробности будут в следующих статьях по данному продукту


      1. Adgh
        02.12.2024 03:51

        в первоначальном пресс-релизе Amazon Go тоже указывалось полностью автоматически, а на деле - индусы)
        На профильном ресурсе маркетинговый булшит без технических потрошков - ну такое себе(


  1. 0pauc0
    02.12.2024 03:51

    Отлично. Но главную проблему не решает.

    Где взять изначально правильное наименование? Чтобы соотносилось с ОКПД2 (Росстандарт), КТРУ (Минфин), а еще и с региональными каталогами, ну и неплохо бы с мировыми классификаторами? Если это конечная продукция, то как формируется код и наименование, указываемое в сертификате, как соотносится с уже несколькими действующими системами маркировки товара? Если это полуфабрикат, материал, деталь для использования внутри предприятия, какие есть утвержденные требования к их кодификации?

    Ну вот никаких проблем это сделать нет, да - займет время, но можно и нужно, пример - системы маркировки, сделали же. Но они тоже фактически сами по себе.

    Судя по всему Росстандарту не хочется этим заниматься. А справочники тем временем плодятся, и никакой ИИ не поможет, если изначальное кодирование и именование неверно.


    1. Karbasov Автор
      02.12.2024 03:51

      Не совсем понял при чем здесь внешние справочники? У нас есть отдельный продукт по актуализации рыночных цен, но это немного другая история, подробней о ней я напишу в следующей статье.
      Что касается дедубликации корпоративного каталога, Правильное наименование = Онтология, именно в соответствие с ней идет дедубликация, дополнительная возможность - подбор аналогов


      1. 0pauc0
        02.12.2024 03:51

        Ваш пример.

        Труба металлическая; (а в ГОСТе - бесшовная стальная труба, ну и в наше время неплохо бы добавить - круглая, так как в практике бывает именуют трубы - квадрат и прямоугольник)
        Горячедеформированная; (нет вопросов)
        Стальная 45; (может Сталь 45? неплохо бы и группу указать - определяет область применения)
        Диаметр 63.5 мм; (наружный? или внутренний? по ГОСТу - наружный)
        Толщина 5 мм; (толщина стенки?)
        ГОСТ 8732-78 (нет вопросов)

        Забыли - длина мерная (штуки) или немерная (метры).

        А теперь по сути. Если на указанное вами изделие есть ГОСТ (то есть он может использоваться как передел внутри предприятия, так и на покупку/продажу), то конечно наименование надо указывать максимально строго по ГОСТу. Отметку, где используется продукция - для собственных нужд и/или на продажу/приобретение, можно поставить отдельно, плюс сам код трубы в информационных системах управления может также иметь пометку.

        Исходя из вышеприведенного примера, я рассуждаю о другом - госорган (Росстандарт в данном случае) давно уже должен был выпустить нормализованные наименования (а еще лучше вместе с уникальными общероссийскими кодами) для товаров и изделий по действующим ГОСТам. В этом случае вам на предприятии и париться то не надо было бы - сертифицировали продукцию по ГОСТу (или получили сертификат вместе с приобретенным товаром), сразу в сертификате получили бы общероссийское нормализованное наименование и уникальный код, которые везде по всей стране используются, а на сайте Росстандарта - электронную копию, чтобы не ошибиться в какой-нибудь букве, и занести ее в свою информационную систему.

        Но я не слышал о такой работе Росстандарта, и даже о попытках это сделать.


        1. Plovchik
          02.12.2024 03:51

          Отличное применение ии в посте и отличное замечание.

          В целом стандартизация наименований своими силами это уже шаг врепед. Действительно интересно как сработает система, если товар поступает с другой последовательностью слов в наименовании? Например Труба горячедеформированная металлическая. Правильный ли атрибут будет присвоен? Учитывает ли система методы учета(FIFO, LIFO, AVECO)?


          1. Karbasov Автор
            02.12.2024 03:51

            1. Порядок символов (Труба металлическая / Металлическая труба) значение не имеет, так же не важны сокращения (Мет., Металл и подобные), не важны префиксы (Диаметр, D, Диам. и подобные)

            2. Вопросом планирования управления запасами так же занимаемся, но тема выходит за рамки статьи


        1. Karbasov Автор
          02.12.2024 03:51

          Полностью согласен!
          Помимо создания инструмента по дедубликации, который основан на принятой в компании онтологии, наша команда участвовала и в создании онтологии, могу утверждать что это не простая задача. Если бы онтология предлагалась в виде шаблона гос.регулятором, ее адаптация могла выполнятся меньшими усилиями. Скажу больше, мы работали с компаниями у которых вообще не было онтологии, но данный вопрос выходит за рамки статьи


  1. HHH888
    02.12.2024 03:51

    Как высчитывалась оценка разбора (системы и эксперта)?


    1. Karbasov Автор
      02.12.2024 03:51

      после разбора системы и так сказать рядовым экспертом финальную оценку давал, супервизор, его мнение по качеству считалось финальным


  1. DenSigma
    02.12.2024 03:51

    Статья как реклама (и как идея для приложения полученных на курсах знаний) хороша. Но хоть намекните, какие технологии использовали и какую архитектуру создали. Хоть маленечко технических деталей.