Обработка документов — один из самых трудоемких и демотивирующих процессов для сотрудников. Мы подсчитали, что ручной ввод данных из типовых форм занимает 6–7 часов в день. Автономная система Smart Document Engine на смартфоне справляется с подобной задачей буквально за минуты. В этой статье мы расскажем о самых эффективных бизнес‑кейсах применения нашей мобильной OCR.

Кадр из фильма "Бойцовский клуб" (1999)
Кадр из фильма "Бойцовский клуб" (1999)

Когда в вашей компании появляется новый клиент или запустился очередной проект с давним партнером, неизбежно формируется большой объем корпоративных документов. К ним относится вся «первичка»: счета‑фактуры, счета на оплату, платежные поручения; документы бухгалтерской и налоговой отчетности (например, справка о доходах физлица). А кроме того уставные, страховые, нотариальные документы, KYC‑анкеты, согласия на обработку персональных данных и т. д.

Зачастую компании обрабатывают миллионы листов корпоративных документов с помощью планшетного сканера. Сотрудники сканируют документы и переводят их в PDF‑файлы. Поиск нужной информацию в этих копиях иногда превращается в квест.

Нередко банки, государственные компании и госкорпорации привлекают к обработке документов специальные онлайн‑сервисы, которые в свою очередь нанимают операторами распознавания третьих лиц, обычно, самозанятых. В этом случае при несущественных затратах у заказчика возникает серьезный риск утечки данных и угроза мошенничества, за что компания и ее CEO скорее всего будут оштрафованы.

Утечки персональных данных могут обернуться для топ‑менеджеров банков более серьезными последствиями. Центробанк планирует ввести личную ответственность топ‑менеджеров банков за утечки данных, наказывая их «вплоть до дисквалификации».

Кадр из фильма "Вий" (1967)
Кадр из фильма "Вий" (1967)

Более надежно обрабатывать данные в безопасном контуре, не используя внешние сервисы. Распознавание корпоративных документов сейчас можно поручить автономной системе на базе искусственного интеллекта, которая инсталлируется на любое устройство. Последней разработкой в этом классе является программный продукт Smart Document Engine. В декабре команда ученых Smart Engines представила его новую версию.

Если говорить коротко, решение позволяет решить две главных задачи:

  1. Оцифровка бумажных документов;

  2. Оптимизация процессов массового ввода документов.

«Газпромбанк», «Росбанк», банк «Синара» и другие компании уже используют систему распознавания деловых документов Smart Document Engine.

Как автономная OCR применяется в банках и МФО?

Наша система помогает банкам улучшить качество обслуживания и увеличить точность, скорость и безопасность своих операций.

Быстрое распознавание справки о доходах физического лица (ранее — 2-НДФЛ) позволяет банкам полностью автоматизировать процесс так называемого "кредитного конвейера". Это система обработки заявок на кредитование и принятия решений на основе комплексного анализа данных заемщика. Она анализирует риск невозврата и определяет параметры кредита — условия, лимит, срок, обеспечение. Причем не имеет значения, идет ли речь о микрофинансировании, потребительском кредитовании, автокредитах, ипотеке.

Технология распознавания обнаруживает и извлекает из справки о доходах все данные табличной части, в том числе при размещении информации на двух страницах. Система обрабатывает до нескольких сотен атрибутов, содержащихся в справке о доходах.

Таким образом, автономная OCR для смартфона помогает банкам ускорить процесс коммуникации с клиентом и, что не менее важно, сократить число ошибок ввода, которые приводят к необоснованным отказам.

Технологии распознавания Smart Engines используются в банках не только для обработки документов, но и для считывания данных QR‑кодов, банковских карт и при сканировании номеров телефонов. Об этом мы подробно рассказали в нашем блоге.

Где OCR может использоваться еще?

Автоматизация бухгалтерской отчетности

Давайте представим себе компанию Х, занимающуюся продажей гидравлического оборудования. В ней работает бухгалтер, который контролирует участок товарно‑материальных ценностей (ТМЦ) и отвечает за оформление процессов закупки материалов, товаров и услуг. Ежедневно он обрабатывает по 60–70 первичных документов. На каждый из них у него уходит от 5 до 10 минут. То есть в день бухгалтер‑материалист тратит на эти процессы по 6–7 часов.

Теперь предположим, что сотрудник вводит данные из документов не вручную, а с помощью системы распознавания для десктопных, серверных и мобильных платформ. OCR извлекает атрибуты счета‑фактуры за 2–3 секунды, платежного требования — за 2 секунды. Иначе говоря, те же самые 60–70 документов решение обрабатывает за считаные минуты. При автоматическом вводе снижается и вероятность ошибки, исключается риск утечки.

Упрощение аудиторских проверок

Выездные аудиторы обычно работают в офисе клиента. Согласитесь, в условиях такой «полевой» работы каждая минута на счету. Вспомним, сколько стоит рабочее время таких выездных сотрудников. Такой режим задает высокую планку для допустимого времени извлечения данных из документа. А какова цена ошибки при вводе данных из важных бухгалтерских документов? Точность считывания данных для аудитора особенно важна.

Автоматизация программ лояльности

Хотя в мире уже сформировался тренд на автоматизацию процессов в работе с программой лояльности, многие компании по‑прежнему предпочитают действовать по старинке: взамен заполненной от руки бумажной анкеты дают пластиковую карточку. При ручной обработке результатов анкетирования процент ошибок составляет около 30%, в то время как автоматический ввод данных обеспечивает гораздо более высокий уровень точности.

Smart Document Engine также обеспечивает защиту персональных данных пользователей программ лояльности. Это наиболее надежный вариант обработки персональных данных - в этом случае информация не покидает контур безопасности. Если оператор персональных данных привлекает к их обработке внешних исполнителей, то это создает риск утечки. Пример тому - “Спортмастер”. 

31 декабря 2022 г. в одном из телеграмм-каналов был опубликован архив с данными клиентов "Спортмастера". В распоряжении злоумышленников оказались имена, даты рождения, номера телефонов и адреса электронных почт. Этот архив содержит всего 1,655 млн строк информации о пользователях.

“Спортмастер” объявил о начале расследования, которое должно выяснить причины инцидента. По предварительным данным, утечка произошла через одного из подрядчиков компании, который имел доступ к указанной информации. Название компании-подрядчика, попавшего под подозрение, “Спортмастер” не уточняет.

Но вернемся к нашему лонгриду. Где еще можно применять нашу безопасную OCR?

Обработка KYC-анкет

Система KYC – Know Your Customer или Знай своего клиента (ЗСК) – это процедура идентификации контрагентов, обязательная для банков, бирж, криптобирж и букмекерских контор. С ее помощью организации защищают себя от риска работы с мошенниками, а также от контактов с лицами, внесенными в списки экстремистов и террористов.

В соответствии с этим принципом компании задают своим клиентам вопросы об их финансовой деятельности и т.д. Но сбор данных – это лишь первый этап, после которого следует обработка полученной информации. Система распознавания документов не только в разы увеличивает качество проверки данных из KYC-анкет, но и снижает санкционные риски.

Помимо этого Smart Engines проверит подлинность удостоверяющих документов, найдет признаки редактирования файлов и установит факты компрометации изображений, которые предъявляются в ходе онбординга клиентов.

Обработка ПЦР-тестов

Сейчас в России уже не действуют жесткие ограничительные меры, связанные с распространением коронавируса COVID-19, и мир вернулся к нормальному режиму жизни. Но угроза новых вспышек заболевания по‑прежнему остается. Система распознавания документов Smart Document Engine позволяет упростить процедуру проведения ПЦР‑тестов.

О том, как увеличить эффективность этой процедуры, мы подробно рассказывали в нашем блоге.

Напомним, что первый этап автоматизации ПЦР‑тестирования — ввод персональных данных клиента и заключение договора на оказание медицинских услуг. Smart Engines предлагает продукт для автоматизации ввода персональных данных.

И второй этап — это контроль валидности проведенных тестов. Система Smart Document Engine поможет проверить результаты теста и в небольшом офисе на 100 человек, и в торговых центрах, и транспортных узлах, через которые проходят тысячи человек в день. Система считывает данные вне зависимости от формы результатах ПЦР‑теста. Единого шаблона таких справок пока нет.

Обработка логистической документации

В качестве примера представим себе логистический склад, где водитель‑экспедитор в соответствии с универсальным передаточным документом (УПД) или товарной накладной по форме ТОРГ-12 передает кладовщику под ответственное хранение весь товар. Какое оборудование, помимо шариковой ручки, в такие моменты под рукой? Максимум — терминал сбора данных или какой‑то смартфон. Автономная OCR Smart Document Engine для мобильного телефона значительно ускорит работу кладовщика.

На каком этапе развития компании пора внедрять OCR по распознаванию документов?

 
AI‑решение по распознаванию документов существенно повышает эффективность бизнеса и потому не может стоить дешево. В ряде случаев руководству компании в моменте удобнее держать в штате несколько человек, которые в течение дня вводят и обрабатывают документы (первичку, KYC анкеты, заявления и т. д.), чем нести затраты на покупку OCR.

Мы подсчитали, что если организация — вне зависимости от того, чем она занимается — обрабатывает в год более 100 тыс. документов или использует хотя бы двух операторов ручного ввода, то ей имеет смысл приобретать решение по распознаванию текста уже сейчас.

Спасибо, что дочитали до конца нашу статью!

Специально для вас мы собрали ее ключевые поинты:

  • Обработка документов с помощью планшетного сканера — это прошлый век;

  • Передача персональных данных на обработку третьим лицам, во внешние сервисы и на краудсорсинг грозит утечками, большими штрафами, дисквалификацией, уголовной ответственностью;

  • Обработка паспортных данных и другой чувствительной информации о клиентах необходимо проводить внутри своей ИТ‑инфраструктуры — в контуре безопасности;

  • В декабре вышла новая версия ПО по безопасному распознаванию корпоративных документов — Smart Document Engine. Это полностью российская разработка. OCR быстро и точно работает на смартфонах. А на сервере скорость распознавания достигает впечатляющих 15 страниц в секунду.

Комментарии (10)


  1. kolabaister
    00.00.0000 00:00
    +1

    А цены вы не публикуете принципиально?

    Всегда удивляет такая политика. Для меня если у продукта нет цены значит он не продается и страницу можно закрыть и забыть.


    1. SmartEngines Автор
      00.00.0000 00:00

      Добрый день! Цены на сайте мы действительно не публикуем. Информацию о стоимости наших продуктов мы предоставляем по запросу. Но ваша позиция нам понятна.


  1. OBIEESupport
    00.00.0000 00:00

    Не, вы это все серьезно? Картинка распознается где? В смартфоне за 2 секунды? Любым почерком? Изображение попадает в файловую систему телефона? А сертификат ФСТЭК на случай обработки персональных данных у вас есть? Или, еще пассаж 2 оператора/100 тыс. документов. Так это же электронный документооборот! Вручную 25 окошек налоговой стригут 2 миллиона документов в год при 8 часовом рабочем дне и только радуются такой нагрузке. Их же из-за этого не сокращают и не увольняют за косяки - это же рукописный ввод, но в бланках.


    1. klimkinMD
      00.00.0000 00:00

      Интересно, нужен ли сертификат ФСТЭК на ведение списка контактов в своëм телефоне?


      1. OBIEESupport
        00.00.0000 00:00

        1 марта 2023 года

        1 марта 2023 года вступают в силу ч. 8-10 ст. 10 закона «Об информации, информационных технологиях и о защите информации».

        Закон устанавливает запрет для ряда российских организаций на использование иностранных мессенджеров (принадлежащих иностранным лицам информационных систем и программ для ЭВМ, которые предназначены и (или) используются для обмена сообщениями исключительно между их пользователями, при котором отправитель определяет получателей сообщений и не предусматривается размещение интернет-пользователями общедоступной информации в интернете).

        По состоянию на 1 марта 2023 года к таким сервисам могут быть отнесены:

        1. Discord;

        2. Microsoft Teams;

        3. Skype for Business;

        4. Snapchat;

        5. Telegram;

        6. Threema;

        7. Viber;

        8. WhatsApp;

        9. WeChat.

        Просим российские организации учитывать новые обстоятельства при планировании своей деятельности. 


    1. SmartEngines Автор
      00.00.0000 00:00

      Да, все абсолютно серьезно. Изображение документа на телефоне может распознаваться быстрее 2 секунд. Например, разворот паспорта распознается на кадре за 0,15 секунды, а счет на оплату на фотографии - менее чем 1,5 секунды. Вы можете сами попробовать наше распознавание, установив демо-приложение Smart Engines. И убедиться в том, что решение не требует сетевого соединения, переключив смартфон в авиарежим.

      По поводу вашей ремарки о распознавании почерка. В этой статье речь идет о документах с печатным и рукопечатным заполнением. Вся обработка с помощью нашего ПО ведется в оперативной памяти устройства. Вопросы хранения файлов и распознанной информации лежат за рамками нашего ПО. 

      Мы никогда не получаем от наших клиентов изображения и данные на обработку, поэтому нам (как компании) никакие сертификаты на обработку персональных данных не нужны. Поэтому мы не являемся оператором персональных данных, мы разработчики ПО. А вот наши клиенты, которые интегрировали наши SDK в свои мобильные или серверные приложения, безусловно, должны выполнять все необходимые требования по обработке персданных.


      1. OBIEESupport
        00.00.0000 00:00

        Я тоже не первый год с распознаванием. Скорость чем-то и как-то должна достигаться. Откройте любую мою статью про AI на этом сайте - везде сверху будет написано на какой ОС, какими библиотеками и какими ресурсами все распознается. Так как мобильных случаях - это не менее важная бизнес-критическая информация (хотя бы для планирования нагрузки на сотрудников), которая в статье отсутствует.

        Далее, в 2008-2010 для ряда крупнейших банков мы (то есть компания, которую я представляю на этом ресурсе) делали стационарный аналог вашей библиотеки по типу архитектуры: шаблон документа + скан ручной/планшетный = текстовый файл с досылкой в ИС-приемник. Лицензия ABBYY за ядро распознавания тогда обошлась на рабочее место вменяемых денег. На 100 000 мест - практически даром.

        Опять же, что вы продвигаете? Если вы пишете под государственные мобильные ОС на java, то достижение явно запоздало. Не исключаю,что вы сможете попасть в государственные каналы дистрибуции, если корректно отнесетесь к регулятивным документам.

        Важно же понимать: вдруг вы научились работать с быстрой арифметикой на любых мобильных видеокартах и любых ядрах SoC, то, опять же, такие решения на Котлин известны лет с десяток. Предполагаю, у основных вендоров телефонов давно есть свои библиотеки AI только для своих телефонов, а на других моделях будет торможение - в статье же этого не видно. А вы спокойно из исходного кода собрали некий промежуточный вариант, о чем и хотели сообщить Хабру в этой статье.


        1. SmartEngines Автор
          00.00.0000 00:00
          +1

          Спасибо за ваши комментарии, однако мы все еще не до конца понимаем, какую информацию вы бы хотели от нас получить ????

          "Какими библиотеками и какими ресурсами все распознается" - наша компания - вендор систем распознавания, которые мы разрабатываем много лет сами. Мы производим не приложения, а непосредственно библиотеки распознавания документов, и их лицензируем. Про наши научные исследования, используемые нами алгоритмы и разрабатываемые нами библиотеки мы давно и много пишем на хабре. Эта статья - про то, где можно применить нашу библиотеку Smart Document Engine для распознавания корпоративных документов.

          Из мобильных ОС наши библиотеки поддерживают Android, iOS и ОС Аврора, из серверных ОС - Windows, MacOS, и производные Linux, также у нас есть модуль WASM для работы в браузерах. Видеокарты мы в своих библиотеках не используем, нашим алгоритмам (включая наш инференс сетей) достаточно CPU. Производительность, конечно, зависит от характеристик и количества ядер, и одно из первых действий, которые делают наши клиенты - это замеры скорости работы на том "железе", на котором предполагается использовать наше ПО.

          Мы не поняли ваш комментарий про "государственные мобильные OC на java" и какие-то "каналы дистрибуции". Продвигаем мы наши библиотеки распознавания, которые не являются для нас "промежуточным вариантом" - для нас это наш основной продукт.


          1. OBIEESupport
            00.00.0000 00:00

            Коллеги! А вы, наверное, как раз те, кто мне и нужен для консультации. Я все прочитал, что смог найти. Подскажите, а устройства "для дома и семьи" - не делаете? У вас есть устройство: https://www.ofitrade.ru/cat/scaners/docs/schityvatel_dokumentov_videoskaner_smartpassport_box_ver_2/ Чего будет стоить образец такого устройства, чтобы его можно было дать детям в руки, формат А4 и больше (по формату издающихся нотных изданий). У меня есть на примете хорошее сканирующее приложение, но таскать с собой сканер типа вашего в садик и школу, на природу пользователям не с руки. А изображение с телефона мой распознаватель почти не берет - ноты требуют очень равномерного освещения и минимум 300dpi по обеим измерениям. Если просто сделаете такое устройство на продажу - покупатели будут.


  1. energo_2000
    00.00.0000 00:00

    В Казахстане по бухдокументам уже почьи везде электронно, через госсервера.

    Накладные и счетфактуры не нужны бумажные.

    При растаможке, мы заводим товар в номенклатуру, а потом она последовательно кочует другим покупателям, им вручную чаще всего не надо ничего вбивать.

    Т.е уэе на этапе организации системы нет геобходимости вводить печатные доки