В 2018 году мы опубликовали обзор лучших инструментов аннотирования, которыми регулярно пользуемся. Статью с энтузиазмом восприняли и профессионалы в сфере ИИ, и неспециалисты.

С нами даже связались несколько новых платформ, попросив провести бета-тестирование их инструментов и написать отзывы об UX и UI на основе нашего личного опыта управления крупномасштабными проектами разметки для ИИ.

С 2018 года произошёл большой прогресс в сфере платформ разметки, в том числе успешный фандрайзинг Labelbox, упрочивший его ведущую позицию в этой области, а также заявления о потрясающих новых функциях нашего любимого Supervise.ly, который мы продолжаем использовать в большинстве проектов.

Мы решили, что настало подходящее время для рассказа о самых потрясающих новых инструментах, появившихся за последнее время. В предыдущей статье мы оценивали продукты по следующим параметрам:

• Цена
• Функции
• Управление проектами

Но решили, что стоит добавить ещё один:

• Автоматизация

Ведь каждый из этих новых инструментов имеет отличные новые способы оптимизации ручного процесса аннотирования.

1. Hasty.ai

Распознавание объектов ограничивающими прямоугольниками (после аннотирования 10 похожих изображений)


Семантическая сегментация при помощи GrabCut

Мы использовали Hasty.ai во многих последних проектах и нам с нашими клиентами он понравился. Базирующаяся в Германии команда разработчиков всегда открыта к отзывам и тесно сотрудничает с пользователями над созданием функций под их потребности.

1. Цена: пока в открытой бета-версии
2. Функции: поддерживает и векторные аннотации (прямоугольники и многоугольники), и попиксельную аннотацию (кистью). Пользователи могут загружать и данные, и предварительно сгенерированные метки, а также экспортировать свои данные как файлы JSON или PNG-маски. UI и дизайн очень похожи на Neurala BrainBuilder, который, вероятно, и стал источником вдохновения.
3. Управление проектами: обеспечивает отличное управление рабочим процессом: изображения можно сортировать по состоянию (новые, в процессе обработки, на проверку, готовые), а пользователям можно очень гибко настраивать доступ. Нам нравится особенность этого инструмента: панель ручной проверки, в которой можно визуализировать каждый размеченный объект и отсортировать их по разметчику, состоянию и классу. Например, показать все многоугольники, помеченные как «люди». Это сильно упрощает процесс проверки, но больше мы нигде не встречали подобной функции.
4. Автоматизация: у платформы есть множество «умных» инструментов наподобие GrabCut, Contour и Dextr, распознающих края или контуры объектов, которые можно вручную настроить с пороговым значением для наилучшего сегментирования изображения. Она также поддерживает прогнозирование разметки после аннотирования достаточного объёма данных. Вторая особенность платформы — возможность обучения собственного распознавателя объектов, семантического сегментирования и сегментирования объектов. Особенно хорошо они работают с крупными предсказуемыми наборами данных: спустя какое-то время активируются «умные» инструменты и их можно использовать для значительного снижения затрат времени на каждый объект. Единственный недостаток заключается в том, что обработка занимает время (до 10-20 секунд), а его можно было потратить на выполнение самой разметки.

2. Superannotate

Семантическая сегментация от 15 до 500 сегментов


Сегментация более сложного изображения

Superannotate — это стартап Кремниевой долины, большая часть которого работает в Армении. Основатель компании разработал технологию во время учёбы на PhD в сфере компьютерного зрения, и предлагаемые ею оптимизации по сегментации изображений сильно впечатляют.

1. Цена: бесплатно для первых 100 изображений и для научных исследований. Платные версии Starter (до 10 тысяч изображений), Pro (неограниченные изображения) и Enterprise (без ограничений, специализированная настройка).
2. Функции: обеспечивает и векторные аннотации (прямоугольники, многоугольники, линии, эллипсы, ключевые точки с шаблонами и кубоиды), и попиксельное аннотирование при помощи кисти. Поддержка изображений и видео. Также содержит множество других полезных функций выделений многоугольниками, фильтрации изображений, отслеживания объектов между кадрами и горячих клавиш.
3. Управление проектами: Superannotate уже долгое время поставляет системы аннотирования с полным управлением, поэтому на основании своего опыта создал множество функций для управления проектами и контроля качества. Среди них управление уровнями доступа разных пользователей, возможность закреплять изображения для аннотирования и проверки, сохранение комментариев к изображениям и возврат их на аннотирование, и даже арбитраж администратора на случай, если аннотатор не согласен с контролем качества.
4. Автоматизация: вероятно, лучшая часть инструмента — это функция суперпикселей. Она способна распознавать края объектов с чрезвычайно большой точностью, что сильно ускоряет семантическую сегментацию и сегментацию объектов по сравнению с другими инструментами. Единственная проблема заключается в том, что если границы между объектом и фоном нечётки, она больше тратит времени на манипуляции с сегментами, чем на выполнение самой работы. Также готовится к выпуску важная функция предварительной разметки, которая позволит пользователям использовать одну из моделей Superannotate, а позже и собственную (на данный момент доступно только для COCO). Также пользователи могут просто загружать вместе с изображениями собственные предварительно сгенерированные аннотации.

3. Picsell.ia

Автоматическое определение ограничивающих прямоугольников


Автоматическая сегментация

Picsellia — плод труда двух учившихся в ENS французских инженеров, решивших создать инструмент, оптимизирующий и ускоряющий в десять раз процесс ручной аннотации. Их бизнес-модель довольно сильно отличается от обычной, используемой для инструментов аннотации (стоимость рассчитывается по количеству вызовов API) и нам не терпится узнать, какие ещё обновления у них есть в запасе для дальнейшего совершенствования прогнозирования разметки!

1. Цена: 100 долларов в месяц за пользование платформой. Также отдельная плата за вызовы API (по 0,02 евро за вызов) для пользователей, желающих внедрить в собственный UI «умные» инструменты
2. Функции: поддерживаются векторные аннотации (прямоугольники, многоугольники, точки и линии). Данные можно экспортировать (или для всех аннотаций, или только для утверждённых) в файл JSON. Похоже, UI и дизайн полностью скопированы у Labelbox, но мы надеемся, что с развитием платформы они заживут собственной жизнью.
3. Управление проектами: платформа поддерживает все основные операции и имеет удобный дэшборд для мониторинга активности проекта разметки. Можно создавать пользователей с разным уровнем доступа, закреплять за ними разные задачи по разметке и проверять аннотации на панели проверки. Мы уверены, что вскоре появятся и другие удобные функции!
4. Автоматизация: мы решили включить Picsellia в этот список благодаря его огромному потенциалу автоматической предварительной разметки при помощи собственной модели. Пока для всех прогнозов используется COCO и она довольно неплохо справляется с прогнозированием ограничивающих прямоугольников. Единственная проблема в том, что сам инструмент не может автоматически назначать классы объектам, даже если правильно их распознал. Автоматическую сегментацию обеспечить немного сложнее, но пользователь может редактировать сегментацию при помощи кисти и стирательной резинки- результаты не особо точны, но вполне приемлемы. Нажав на «Enable Assistance», можно использовать 4 крайних точки, дающие прогноз объекта посредством Dextr. Нажав правой клавишей мыши и выбрав «switch prediction», вы переключитесь на GrabCut. Стоит поэкспериментировать с тем, какой инструмент лучше подходит для ваших данных, но иногда они справляются достаточно хорошо.

4. Diffgram

Ещё один из наших фаворитов, Diffgram, существует уже довольно давно. Это платформа, нацеленная на реализацию не просто инструмента аннотирования, а целой системы управления данными обучения. Основатель компании находится в Калифорнии, он решительно настроен на помощь компаниям, полностью управляющим всем процессом данных обучения.

1. Цена: есть бесплатная пробная версия, версии Explorer и Teams с ежемесячной платой 398 и 994 долларов
2. Функции: векторные аннотации (прямоугольники, многоугольники и линии); единственный инструмент из нашего списка, специализирующийся на разметке видео. Поддерживает форматы JSON и YAML. Недостаток заключается в том, что поначалу в UI сложно разобраться и он сбивает с толку.
3. Управление проектами: имеет отличные функции управления сотрудниками, в том числе автоматическое закрепление задач при помощи создания пакетов, создание экзаменов с наградами для аннотаторов, которые необходимо пройти перед тем как приступать к реальному аннотированию, а также создание наборов данных и управление ими внутри платформы. Можно импортировать или экспортировать данные через онлайн-интерфейс, API или SDK.
4. Автоматизация: если вы хотите использовать прогнозирование разметки, то при помощи Diffgram можно загружать готовые метки вместе с изображениями. Для генерирования прогнозов Diffgram больше не использует FAN внутри платформы, но интерполяция видео по-прежнему остаётся основной поддерживаемой функцией. По сути, пользователям достаточно аннотировать всего несколько ключевых кадров, а инструмент интерполирует все кадры между ними. Процесс интерполяции может быть довольно медленным и не совсем точным, но вполне подходит для отслеживания простых объектов.