Всем привет, друзья! В одной из прошлых статей мы уже затрагивали тему искусственного интеллекта и роботизации процессов на базе линейки продуктов Microsoft Power Platform. Ознакомиться с данной статьей можно тут. Однако, я решил снова вернуться к этой теме и причиной тому стал колоссальный рост популярности роботизации и применения искусственного интеллекта в различных процессах обработки данных. Но, если быть до конца честным, то была еще одна очень важная причина, по которой я решил написать данную статью. А именно, появление поддержки кириллицы в большинстве моделей Microsoft AI Builder. Ранее, русский язык не поддерживался и это было определенной проблемой для применения искусственного интеллекта AI Builder в русскоязычном сегменте. Но теперь всё изменилось и давайте познакомимся с данным продуктом поближе. Как обычно, совсем немного теории.
Microsoft AI Builder — это набор инструментов, который дает возможность пользователям Microsoft Power Platform обрабатывать информацию с использованием моделей искусственного интеллекта, таких как прогнозирование, обработка форм, обнаружение объектов, классификация категорий, а также извлечение объектов, через достаточно простой и понятный интерфейс. Кроме этого, можно использовать готовые экземпляры моделей и сразу приступить к обработке данных с помощью подготовленных сценариев ИИ, включая извлечение ключевых фраз, определение языка, анализ тональности, распознавание текста (OCR), считывание визитных карточек, обработку квитанций и прочих сценариев. Отличительной особенностью этого продукта является тесная интеграция со всеми продуктами линейки Microsoft Power Platform, а также очень простой режим настройки экземпляров ИИ для внедрения в свои бизнес-процессы. Допустим, для обучения модели обработки форм, необходимо загрузить 5 документов одинаковой структуры, но разного содержания и протэгировать нужные поля. После чего, по данной модели можно прогонять уже реальные документы, из которых будет извлекаться информация по тэгам, для дальнейшего использования (запись в таблицу базы данных, Excel таблицу, список SharePoint). Пример обучения подобной модели на паре скриншотов ниже.
А вот, скажем, модель распознавания текста не требует обучения, и можно напрямую передавать файл, содержащий текст и извлекать оцифрованный вариант текста сразу в целевой источник.
Модели AI Builder делятся на две категории – готовые и пользовательские.
Готовые модели AI Builder уже заранее настроены и предоставляются для непосредственного использования в приложении. Вы не можете обучить модель в соответствии с вашими требованиями, а можете только предоставить входные данные для модели и получить ожидаемый результат. Вы также не можете вносить какие-либо изменения или какие-либо модификации в вывод.
Пользовательские модели искусственного интеллекта можно обучить в соответствии с бизнес-потребностями, предоставив необходимые данные для их обучения.
Способов применения этих моделей довольно много и сегодня я попробую показать парочку из них.
Первый простой сценарий, который появился в голове — это Power Apps приложение-считыватель данных с визитных карточек. Далее, считанную информацию можно сохранить в качестве контакта в любом источнике данных, начиная от Excel таблиц и списков SharePoint Online, заканчивая CRM системами. Итак, что делаем-то?
Открываем портал Power Apps и переходим в раздел AI Builder -> Сборка
Далее, выбираем модель «Средство чтения визитных карточек».
Создаем Power Apps приложение с несколькими контролами. В первую очередь это контрол обработки визитных карточек и несколько текстовых контролов, в которые будет помещаться обработанная информация с визитной карточки. Сразу скажу, что на дизайн я время особо не тратил.
Так как, к сожалению, у меня нет своей визитной карточки, её пришлось создавать в онлайн редакторе. Получилось вроде даже ничего.
Теперь загружаем нашу визитку в контрол считывания визитных карточек и подхватываем данные в текстовые контролы.
Остается только сохранить данные из визитной карточки по кнопке «Сохранить контакт» в любой предпочтительный источник данных. На создание данного приложение ушел 1 час.
Следующий сценарий, который мне пришел в голову — это Microsoft Power Apps приложение, которые было бы связано с базой цен на товары. Через это приложение можно было бы проверять актуальную цену из базы по товару просто сфотографировав ценник. Что для этого будем делать?
Создадим «базу товаров» на основании списка SharePoint Online. Выглядеть эта база будет следующим образом.
Создаем простой список с тремя полями – название товара, код товара и цена товара.
Теперь открываем портал Power Apps и переходим в раздел AI Builder -> Сборка.
Ну что же, попробуем применить модель «Распознавание текста».
Алгоритм будет следующий. Фотографируем ценник, из ценника извлекаем код товара, по коду товара ищем в базе соответствующий товар и, если находим, отображаем его цену. Если не находим, то пишем что-нибудь вроде «Что-то пошло не так, товар не найден».
Делаем простое приложение из одного экрана и нескольких контролов, включая контрол TextRecognizer, завязанный на модель распознавания текста.
Для надежности добавим еще возможность указать код товара самостоятельно, с помощью контрола «Ввести код вручную», который разблокирует текстовое поле «Код товара» для ручного ввода, если, например, на ценнике код нечитаемый.
С помощью контрола распознавания текста загружаем фотографию ценника. А с помощью текстовой области отображаем код товара, полученный с фотографии.
Ну и осталось сделать простую логику проверки кода товара по базе, с помощью нажатия на кнопку «Проверить».
Результат отображается после нажатия на кнопку.
Все работает. Нужно только подключить актуальную базу товаров с ценами и кодами и приложение проверки цен по фотографии ценников может работать уже сейчас в реальных, боевых условиях. На создание данного приложения ушло 1,5 часа.
Microsoft AI Builder совместно с Power Platform предоставляет готовые компоненты для применения искусственного интеллекта в ваших бизнес процессах. Распознавание текста, извлечение данных из изображений и PDF файлов, перевод текста, считывание визитных карточек и штрих-кодов. Всё это и многое другое доступно из коробки для моментального внедрения в приложения и процессы. Эти модели не нужно программировать, долго настраивать и пытаться часами добиться работоспособности. Они уже работают и, более того, с недавних пор, работают с поддержкой русского языка. Создание приложений с поддержкой ИИ становится еще проще и доступнее. В следующих статьях мы обязательно рассмотрим еще больше сценариев применения моделей AI Builder, а также постараемся детальнее разобрать сервис Power Automate Desktop, который предназначен для «роботизации» процессов. Спасибо всем за внимание!
Что такое Microsoft AI Builder?
Microsoft AI Builder — это набор инструментов, который дает возможность пользователям Microsoft Power Platform обрабатывать информацию с использованием моделей искусственного интеллекта, таких как прогнозирование, обработка форм, обнаружение объектов, классификация категорий, а также извлечение объектов, через достаточно простой и понятный интерфейс. Кроме этого, можно использовать готовые экземпляры моделей и сразу приступить к обработке данных с помощью подготовленных сценариев ИИ, включая извлечение ключевых фраз, определение языка, анализ тональности, распознавание текста (OCR), считывание визитных карточек, обработку квитанций и прочих сценариев. Отличительной особенностью этого продукта является тесная интеграция со всеми продуктами линейки Microsoft Power Platform, а также очень простой режим настройки экземпляров ИИ для внедрения в свои бизнес-процессы. Допустим, для обучения модели обработки форм, необходимо загрузить 5 документов одинаковой структуры, но разного содержания и протэгировать нужные поля. После чего, по данной модели можно прогонять уже реальные документы, из которых будет извлекаться информация по тэгам, для дальнейшего использования (запись в таблицу базы данных, Excel таблицу, список SharePoint). Пример обучения подобной модели на паре скриншотов ниже.
А вот, скажем, модель распознавания текста не требует обучения, и можно напрямую передавать файл, содержащий текст и извлекать оцифрованный вариант текста сразу в целевой источник.
Модели AI Builder делятся на две категории – готовые и пользовательские.
Готовые модели AI Builder уже заранее настроены и предоставляются для непосредственного использования в приложении. Вы не можете обучить модель в соответствии с вашими требованиями, а можете только предоставить входные данные для модели и получить ожидаемый результат. Вы также не можете вносить какие-либо изменения или какие-либо модификации в вывод.
Пользовательские модели искусственного интеллекта можно обучить в соответствии с бизнес-потребностями, предоставив необходимые данные для их обучения.
Способов применения этих моделей довольно много и сегодня я попробую показать парочку из них.
1. Обработка визитных карточек
Первый простой сценарий, который появился в голове — это Power Apps приложение-считыватель данных с визитных карточек. Далее, считанную информацию можно сохранить в качестве контакта в любом источнике данных, начиная от Excel таблиц и списков SharePoint Online, заканчивая CRM системами. Итак, что делаем-то?
Открываем портал Power Apps и переходим в раздел AI Builder -> Сборка
Далее, выбираем модель «Средство чтения визитных карточек».
Создаем Power Apps приложение с несколькими контролами. В первую очередь это контрол обработки визитных карточек и несколько текстовых контролов, в которые будет помещаться обработанная информация с визитной карточки. Сразу скажу, что на дизайн я время особо не тратил.
Так как, к сожалению, у меня нет своей визитной карточки, её пришлось создавать в онлайн редакторе. Получилось вроде даже ничего.
Теперь загружаем нашу визитку в контрол считывания визитных карточек и подхватываем данные в текстовые контролы.
Остается только сохранить данные из визитной карточки по кнопке «Сохранить контакт» в любой предпочтительный источник данных. На создание данного приложение ушел 1 час.
2. Проверка цен по базе ценников в магазине
Следующий сценарий, который мне пришел в голову — это Microsoft Power Apps приложение, которые было бы связано с базой цен на товары. Через это приложение можно было бы проверять актуальную цену из базы по товару просто сфотографировав ценник. Что для этого будем делать?
Создадим «базу товаров» на основании списка SharePoint Online. Выглядеть эта база будет следующим образом.
Создаем простой список с тремя полями – название товара, код товара и цена товара.
Теперь открываем портал Power Apps и переходим в раздел AI Builder -> Сборка.
Ну что же, попробуем применить модель «Распознавание текста».
Алгоритм будет следующий. Фотографируем ценник, из ценника извлекаем код товара, по коду товара ищем в базе соответствующий товар и, если находим, отображаем его цену. Если не находим, то пишем что-нибудь вроде «Что-то пошло не так, товар не найден».
Делаем простое приложение из одного экрана и нескольких контролов, включая контрол TextRecognizer, завязанный на модель распознавания текста.
Для надежности добавим еще возможность указать код товара самостоятельно, с помощью контрола «Ввести код вручную», который разблокирует текстовое поле «Код товара» для ручного ввода, если, например, на ценнике код нечитаемый.
С помощью контрола распознавания текста загружаем фотографию ценника. А с помощью текстовой области отображаем код товара, полученный с фотографии.
Ну и осталось сделать простую логику проверки кода товара по базе, с помощью нажатия на кнопку «Проверить».
Результат отображается после нажатия на кнопку.
Все работает. Нужно только подключить актуальную базу товаров с ценами и кодами и приложение проверки цен по фотографии ценников может работать уже сейчас в реальных, боевых условиях. На создание данного приложения ушло 1,5 часа.
Какой можно сделать вывод?
Microsoft AI Builder совместно с Power Platform предоставляет готовые компоненты для применения искусственного интеллекта в ваших бизнес процессах. Распознавание текста, извлечение данных из изображений и PDF файлов, перевод текста, считывание визитных карточек и штрих-кодов. Всё это и многое другое доступно из коробки для моментального внедрения в приложения и процессы. Эти модели не нужно программировать, долго настраивать и пытаться часами добиться работоспособности. Они уже работают и, более того, с недавних пор, работают с поддержкой русского языка. Создание приложений с поддержкой ИИ становится еще проще и доступнее. В следующих статьях мы обязательно рассмотрим еще больше сценариев применения моделей AI Builder, а также постараемся детальнее разобрать сервис Power Automate Desktop, который предназначен для «роботизации» процессов. Спасибо всем за внимание!
zhaparoff
Самая большая беда в том (на мой взгляд), что все эти ИИ прелести в текущем исполнении требуют стабильного сетевого подключения, т.к. все обрабатывается в облаке. Соответственно, для реального мобильного приложения, к сожалению, они слабо применимы. Да и с юридической точки зрения это не всегда возможно - слать все подряд данные в другую страну на обработку.
Andrew_Braun Автор
Согласен с Вами, данные модели ИИ от Microsoft просчитываются на текущий момент только в облаке и без интернета они, разумеется, работать не будут. Но я думаю, в будущем подобные функциональности будут доступны в числе возможностей самого приложения, установленного на телефоне. За примерами далеко ходить не надо, тот же Azure Stack Edge позволяет использовать возможности облачных сервисов Azure на отдельных пограничных устройствах. А Azure Stack Hub вообще предназначен для использования сценариев Azure в локальной среде.