Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Эта сфера уже охватила не только оценку повреждений транспорта, но и другие виды собственности, например, недвижимость.

Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными. Из-за расширения области действия таких сервисов на разные регионы стало необходимым получение из каждого региона данных, аннотированных в точности согласно таксономии каждой страховой компании.

Проблемы и решения

Мы хотим поделиться своими рекомендациями и советами, которые позволят добиться успеха вашему проекту в сфере ИИ:


Именно поэтому очень важно начинать с подходящих данных обучения и применять методику human-in-the-loop для постоянного совершенствования используемых вами моделей визуальных проверок! Это включает в себя обработку в реальном времени пограничных случаев, чтобы гарантировать выявление и оценку всех повреждений перед расчётом стоимости ремонта.

Типы аннотаций для распознавания повреждений при помощи ИИ

Ниже представлено несколько сценариев аннотирования изображений и видео для визуального контроля транспорта при помощи ИИ, а также рекомендации по каждому из сценариев:

Распознавание повреждений

Для распознавания повреждений автомобилей необходимо собрать обширный датасет различных типов повреждений и аннотировать их при помощи многоугольников или кистей. Аннотирование ограничивающими прямоугольниками применять не рекомендуется, поскольку они не обеспечивают необходимой точности и накладываются друг на друга, что может запутать модель.

Оценка повреждений

Для каждого аннотированного тип повреждения датасет оценки повреждений должен содержать классификацию типа повреждения: например, царапина, разбитая деталь, скол краски, разбитое стекло и так далее. Кроме того, для оценки степени повреждения можно добавлять метки: например, малая, средняя, высокая.

Распознавание деталей автомобилей

Распознавание деталей автомобиля — необходимый этап, выполняемый параллельно с распознаванием повреждений для понимания того, какая именно деталь повреждена. Кроме того, он помогает понять, насколько велик повреждённый участок по сравнению с общей площадью детали автомобиля, и может способствовать вычислению точной площади в квадратных сантиметрах.

Распознавание положения машины

При анализе фотографий или видео важно определить точное положение камеры относительно автомобиля, чтобы знать, какая сторона машины повреждена. Это можно реализовать добавлением к каждому изображению меток с приблизительной величиной поворота машины в градусах.

Наши любимые инструменты

Мы приведём советы и рекомендации по выбору лучших инструментов, которые мы используем для такого типа разметки. Надеемся, они будут полезны тем, кто занимается парсингом документов или обработкой моделей.

1.CVAT (Open-Source)

CVAT — это очень удобный в использовании опенсорсный инструмент, предоставляющий всю базовую функциональность, необходимую для аннотирования датасетов: от ограничивающих прямоугольников и многоугольников до аннотирования видео с интерполяцией.

2.Hasty (бесплатная и платная версии)

Hasty — это более сложный инструмент, предоставляющий замечательные функции автоматической разметки ограничивающими прямоугольниками и многоугольниками, которые существенно ускоряют процесс аннотирования.

Как использовать human-in-the-loop для ИИ визуальных проверок

При работе с системами визуальных проверок в различных регионах сложно справляться с дрейфом данных и обрабатывать примеры, на которых модель не обучалась или которые представлены в обучающих данных недостаточно хорошо. Поэтому необходимо на постоянной основе, а не только на этапе первоначального обучения моделей, использовать вмешательство человека. Вот несколько способов встраивания людей в цикл MLOps:

1. Сбор датасетов: сотрудники могут собирать датасеты с изображениями и видео повреждённых автомобилей из любой точки мира, в зависимости от регионов применения модели.
2. Аннотирование эталонных данных: для обучения исходных моделей сотрудники могут выполнять полное аннотирование датасетов; все услуги от распознавания положения автомобиля и типа деталей до сегментации ограничивающими прямоугольниками, многоугольниками и семантической сегментации с целью распознавания повреждений и оценки их серьёзности.
3. Валидация результатов при помощи активного обучения: после обучения исходной модели вы сможете использовать её для предварительной аннотации большой части датасета, что и повышает скорость аннотаторов, и эффект от их работы благодаря созданию процесса активного обучения и увеличению приоритета примеров, в которых модель наименее уверена.
4. Сбор состязательных примеров: после обучения исходной модели можно расширить её базовый датасет дополнительными сложными пограничными случаями, например, необычными марками и моделями автомобилей, редкими углами обзора и типами повреждений (допустим, разбитыми или отсутствующими окнами).
5. Обработка пограничных случаев в реальном времени: после разворачивания модели humans-in-the-loop в режиме 24/7 способен при помощи простого запроса API обрабатывать потенциальные пограничные случаи визуальной проверки, поступающие в реальном или почти реальном времени, а затем за считанные секунды отправлять правильный ответ для обеспечения второго слоя верификации критически важных ответов модели.