![](https://habrastorage.org/webt/ay/rd/tj/ayrdtj9daybgmwjoxg04_ffyaoa.png)
В 2018 году мы опубликовали обзор лучших инструментов аннотирования, которыми регулярно пользуемся. Статью с энтузиазмом восприняли и профессионалы в сфере ИИ, и неспециалисты.
С нами даже связались несколько новых платформ, попросив провести бета-тестирование их инструментов и написать отзывы об UX и UI на основе нашего личного опыта управления крупномасштабными проектами разметки для ИИ.
С 2018 года произошёл большой прогресс в сфере платформ разметки, в том числе успешный фандрайзинг Labelbox, упрочивший его ведущую позицию в этой области, а также заявления о потрясающих новых функциях нашего любимого Supervise.ly, который мы продолжаем использовать в большинстве проектов.
Мы решили, что настало подходящее время для рассказа о самых потрясающих новых инструментах, появившихся за последнее время. В предыдущей статье мы оценивали продукты по следующим параметрам:
- Цена
- Функции
- Управление проектами
Но решили, что стоит добавить ещё один:
- Автоматизация
Ведь каждый из этих новых инструментов имеет отличные новые способы оптимизации ручного процесса аннотирования.
1. Hasty.ai
![](https://habrastorage.org/getpro/habr/post_images/621/91f/c4f/62191fc4f10721beee7f1101de984b3d.gif)
Распознавание объектов ограничивающими прямоугольниками (после аннотирования 10 похожих изображений)
![](https://habrastorage.org/getpro/habr/post_images/35f/d8f/9d8/35fd8f9d8f867de04d5d9292eb834819.gif)
Семантическая сегментация при помощи GrabCut
Мы использовали Hasty.ai во многих последних проектах и нам с нашими клиентами он понравился. Базирующаяся в Германии команда разработчиков всегда открыта к отзывам и тесно сотрудничает с пользователями над созданием функций под их потребности.
- Цена: пока в открытой бета-версии
- Функции: поддерживает и векторные аннотации (прямоугольники и многоугольники), и попиксельную аннотацию (кистью). Пользователи могут загружать и данные, и предварительно сгенерированные метки, а также экспортировать свои данные как файлы JSON или PNG-маски. UI и дизайн очень похожи на Neurala BrainBuilder, который, вероятно, и стал источником вдохновения.
- Управление проектами: обеспечивает отличное управление рабочим процессом: изображения можно сортировать по состоянию (новые, в процессе обработки, на проверку, готовые), а пользователям можно очень гибко настраивать доступ. Нам нравится особенность этого инструмента: панель ручной проверки, в которой можно визуализировать каждый размеченный объект и отсортировать их по разметчику, состоянию и классу. Например, показать все многоугольники, помеченные как «люди». Это сильно упрощает процесс проверки, но больше мы нигде не встречали подобной функции.
- Автоматизация: у платформы есть множество «умных» инструментов наподобие GrabCut, Contour и Dextr, распознающих края или контуры объектов, которые можно вручную настроить с пороговым значением для наилучшего сегментирования изображения. Она также поддерживает прогнозирование разметки после аннотирования достаточного объёма данных. Вторая особенность платформы — возможность обучения собственного распознавателя объектов, семантического сегментирования и сегментирования объектов. Особенно хорошо они работают с крупными предсказуемыми наборами данных: спустя какое-то время активируются «умные» инструменты и их можно использовать для значительного снижения затрат времени на каждый объект. Единственный недостаток заключается в том, что обработка занимает время (до 10-20 секунд), а его можно было потратить на выполнение самой разметки.
2. Superannotate
![](https://habrastorage.org/getpro/habr/post_images/086/143/dba/086143dbacad0103bffbbc3c65d3b7c6.gif)
Семантическая сегментация от 15 до 500 сегментов
![](https://habrastorage.org/getpro/habr/post_images/815/82c/636/81582c6369dfc19ff456d9f3ddaafd37.gif)
Сегментация более сложного изображения
Superannotate — это стартап Кремниевой долины, большая часть которого работает в Армении. Основатель компании разработал технологию во время учёбы на PhD в сфере компьютерного зрения, и предлагаемые ею оптимизации по сегментации изображений сильно впечатляют.
- Цена: бесплатно для первых 100 изображений и для научных исследований. Платные версии Starter (до 10 тысяч изображений), Pro (неограниченные изображения) и Enterprise (без ограничений, специализированная настройка).
- Функции: обеспечивает и векторные аннотации (прямоугольники, многоугольники, линии, эллипсы, ключевые точки с шаблонами и кубоиды), и попиксельное аннотирование при помощи кисти. Поддержка изображений и видео. Также содержит множество других полезных функций выделений многоугольниками, фильтрации изображений, отслеживания объектов между кадрами и горячих клавиш.
- Управление проектами: Superannotate уже долгое время поставляет системы аннотирования с полным управлением, поэтому на основании своего опыта создал множество функций для управления проектами и контроля качества. Среди них управление уровнями доступа разных пользователей, возможность закреплять изображения для аннотирования и проверки, сохранение комментариев к изображениям и возврат их на аннотирование, и даже арбитраж администратора на случай, если аннотатор не согласен с контролем качества.
- Автоматизация: вероятно, лучшая часть инструмента — это функция суперпикселей. Она способна распознавать края объектов с чрезвычайно большой точностью, что сильно ускоряет семантическую сегментацию и сегментацию объектов по сравнению с другими инструментами. Единственная проблема заключается в том, что если границы между объектом и фоном нечётки, она больше тратит времени на манипуляции с сегментами, чем на выполнение самой работы. Также готовится к выпуску важная функция предварительной разметки, которая позволит пользователям использовать одну из моделей Superannotate, а позже и собственную (на данный момент доступно только для COCO). Также пользователи могут просто загружать вместе с изображениями собственные предварительно сгенерированные аннотации.
3. Picsell.ia
![](https://habrastorage.org/getpro/habr/post_images/43f/2ac/047/43f2ac047fe7a2891848ba583b3df987.gif)
Автоматическое определение ограничивающих прямоугольников
![](https://habrastorage.org/getpro/habr/post_images/0a8/429/3cd/0a84293cdc906a5b63f0d91cd29b8375.gif)
Автоматическая сегментация
Picsellia — плод труда двух учившихся в ENS французских инженеров, решивших создать инструмент, оптимизирующий и ускоряющий в десять раз процесс ручной аннотации. Их бизнес-модель довольно сильно отличается от обычной, используемой для инструментов аннотации (стоимость рассчитывается по количеству вызовов API) и нам не терпится узнать, какие ещё обновления у них есть в запасе для дальнейшего совершенствования прогнозирования разметки!
- Цена: 100 долларов в месяц за пользование платформой. Также отдельная плата за вызовы API (по 0,02 евро за вызов) для пользователей, желающих внедрить в собственный UI «умные» инструменты
- Функции: поддерживаются векторные аннотации (прямоугольники, многоугольники, точки и линии). Данные можно экспортировать (или для всех аннотаций, или только для утверждённых) в файл JSON. Похоже, UI и дизайн полностью скопированы у Labelbox, но мы надеемся, что с развитием платформы они заживут собственной жизнью.
- Управление проектами: платформа поддерживает все основные операции и имеет удобный дэшборд для мониторинга активности проекта разметки. Можно создавать пользователей с разным уровнем доступа, закреплять за ними разные задачи по разметке и проверять аннотации на панели проверки. Мы уверены, что вскоре появятся и другие удобные функции!
- Автоматизация: мы решили включить Picsellia в этот список благодаря его огромному потенциалу автоматической предварительной разметки при помощи собственной модели. Пока для всех прогнозов используется COCO и она довольно неплохо справляется с прогнозированием ограничивающих прямоугольников. Единственная проблема в том, что сам инструмент не может автоматически назначать классы объектам, даже если правильно их распознал. Автоматическую сегментацию обеспечить немного сложнее, но пользователь может редактировать сегментацию при помощи кисти и стирательной резинки- результаты не особо точны, но вполне приемлемы. Нажав на «Enable Assistance», можно использовать 4 крайних точки, дающие прогноз объекта посредством Dextr. Нажав правой клавишей мыши и выбрав «switch prediction», вы переключитесь на GrabCut. Стоит поэкспериментировать с тем, какой инструмент лучше подходит для ваших данных, но иногда они справляются достаточно хорошо.
4. Diffgram
![](https://habrastorage.org/getpro/habr/post_images/3c4/4ae/421/3c44ae4215775758704a935d4abb23a4.gif)
Ещё один из наших фаворитов, Diffgram, существует уже довольно давно. Это платформа, нацеленная на реализацию не просто инструмента аннотирования, а целой системы управления данными обучения. Основатель компании находится в Калифорнии, он решительно настроен на помощь компаниям, полностью управляющим всем процессом данных обучения.
- Цена: есть бесплатная пробная версия, версии Explorer и Teams с ежемесячной платой 398 и 994 долларов
- Функции: векторные аннотации (прямоугольники, многоугольники и линии); единственный инструмент из нашего списка, специализирующийся на разметке видео. Поддерживает форматы JSON и YAML. Недостаток заключается в том, что поначалу в UI сложно разобраться и он сбивает с толку.
- Управление проектами: имеет отличные функции управления сотрудниками, в том числе автоматическое закрепление задач при помощи создания пакетов, создание экзаменов с наградами для аннотаторов, которые необходимо пройти перед тем как приступать к реальному аннотированию, а также создание наборов данных и управление ими внутри платформы. Можно импортировать или экспортировать данные через онлайн-интерфейс, API или SDK.
- Автоматизация: если вы хотите использовать прогнозирование разметки, то при помощи Diffgram можно загружать готовые метки вместе с изображениями. Для генерирования прогнозов Diffgram больше не использует FAN внутри платформы, но интерполяция видео по-прежнему остаётся основной поддерживаемой функцией. По сути, пользователям достаточно аннотировать всего несколько ключевых кадров, а инструмент интерполирует все кадры между ними. Процесс интерполяции может быть довольно медленным и не совсем точным, но вполне подходит для отслеживания простых объектов.