Мы постоянно находимся в поиске лучших платформ аннотирования, обеспечивающих широкую функциональность, имеющих инструменты управления проектами и оптимизацию процесса аннотирования (когда нужно аннотировать 50 тысяч изображений, важна экономия даже одной секунды на каждом).

На основании своего опыта работы с каждой из платформ мы делимся своими честными обзорами, надеясь, что они будут полезны дата-саентистам, которым необходимо вручную размечать свои данные.

Мы используем следующие критерии:

1. Цена
2. Разнообразие функций, инструментов и форматов
3. Управление проектами и простота использования

1. LabelIMG

LabelImg — это инструмент для разметки изображений с открытым исходным кодом, имеющий готовые собранные файлы для Windows, благодаря чему его установка выполняется чрезвычайно быстро.

1. Цена: бесплатно
2. Функции: поддерживает только ограничивающие прямоугольники (также есть версия в формате RotatedRect и оптимизированная версия для одноклассовой разметки), но что-либо более сложное отсутствует. Используется формат PascalVoc XML, а файлы аннотаций сохраняются отдельно для каждого изображения в исходной папке.
3. Управление проектами: практически не имеет функций управления проектами, но позволяет удобно импортировать и визуализировать аннотации, а при необходимости и исправлять их. Простой офлайн-интерфейс ускоряет процесс аннотирования, однако он не поддерживает многих горячих клавиш.

2. VGG Image Annotator

VGG — это инструмент в open-source, который подобно LabelImg способен потрясающе справляться с простыми задачами, не требующими управления проектами. У него есть онлайн-интерфейс, а также его можно использовать офлайн как HTML-файл. В самой последней версии есть широкий выбор инструментов для разметки видео.

1. Цена: бесплатно
2. Функции: имеет гораздо больше инструментов, в том числе точки, линии, многоугольники, круги и эллипсы (единственная платформа в нашем списке с поддержкой кругов и эллипсов!). Также имеет опцию добавления атрибутов/тегов объектов и изображений. Аннотации можно скачивать как один файл JSON, содержащий все аннотации, или как один файл CSV; также их можно загружать обратно, если потребуется проверка.
3. Управление проектами: ничего особо изощрённого с точки зрения управления наборами данных и пользователями, но для аннотации многоугольниками интерфейс является одним из самых эффективных и точных, потому что он позволяет отображать только линию многоугольника и ничего более. Также поддерживаются некоторые горячие клавиши, а само приложение в целом очень легковесно.

3. Supervise.ly

Supervisely — это потрясающая веб-платформа, предоставляющая расширенный интерфейс аннотирования, а также обеспечивающая весь процесс обучения компьютерного зрения, в том числе и библиотеку моделей глубокого обучения, которые можно непосредственно обучать, тестировать и совершенствовать внутри платформы.

1. Цена: бесплатная общественная версия и корпоративные тарифы для версии с собственным хостингом
2. Функции: отличный набор инструментов, в том числе точки, линии, прямоугольники, многоугольники и пиксельные кисти для семантической сегментации (однако «умный» инструмент показался нам не особо полезным). Также существует возможность рисования отверстий в полигонах, оказавшаяся невероятно полезной. Ещё одной очень полезной функций стала опция добавления тэгов изображений и объектов для упорядочивания фигур в слоях. Вывод выполняется в файлах JSON для каждого изображения или в PNG-масках; также платформа позволяет загружать такие форматы, как Cityscapes и COCO. Кроме того, существует опция выполнения преобразования данных непосредственно на платформе.
3. Управление проектами: платформа предоставляет множество опций управления проектами на различных уровнях (команды, рабочие пространства, наборы данных) и управления аннотаторами (задачи разметки, допуски, статистика). Ещё есть язык Data Transformation Language и опция Python Notebooks для управления данными, которая была очень полезной. Не хватает статистики по времени и механизмов контроля качества. Отдел технической поддержки платформы всегда готов помочь в случае проблем. Интерфейс обеспечивает очень точную работу и поддерживает настраиваемые горячие клавиши, но иногда производительность бывает довольно низкой, что особенно раздражает, когда платформе требуется много времени на переключение между изображениями и запись аннотаций.

4. Labelbox

Labelbox — ещё одна отличная веб-платформа, запущенная в начале 2018 года и с тех пор постоянно обновляющая и улучшающая свои функции. Она также предлагает возможность интеграции живого оператора при помощи импорта прогнозов модели и наблюдения за консенсусом между разметчиками и моделью.

1. Цены: бесплатная общественная версия на 5000 изображений и корпоративная версия
2. Функции: полный набор инструментов аннотирования, в том числе точки, линии, прямоугольники и многоугольники, а недавно была добавлена потрясающая новая функция для кисти семантической сегментации — опция суперпиксельной раскраски, сильно упрощающая жизнь в случае чётких границ объектов (почти как этот и этот инструменты в open source). Вывод производится в один файл JSON или CSV, содержащий все аннотации, или в PNG-маски (однако для каждого класса есть только одна маска, поэтому пользователю необходимо придумывать, что потом делать с пересекающимися областями)
3. Управление проектами: подготовка проекта чрезвычайно проста, есть множество опций для мониторинга производительности, в том числе статистика по количеству секунд, необходимых для разметки изображения. Можно использовать множество механизмов контроля качества, в том числе активацию автоматического консенсуса между разными разметчиками или установку бенчмарков «золотого стандарта». Есть возможность приглашения пользователей (однако уровни доступа реализованы не очень гибко) и проверки работы каждого из них. Интерфейс разметки очень прост и поддерживает горячие клавиши (хоть и без возможности их настройки). В бесплатной версии отсутствует функция загрузки аннотаций для их визуализации или редактирования.

Вам нужно что-то ещё? Вот некоторые другие платформы, стоящие вашего внимания:

1. Diffgram  — очень многообещающая платформа, пока находящаяся в бета-версии, оптимизирующая аннотацию изображений обучением RCNN.
2. RectLabel — потрясающий инструмент для ограничивающих прямоугольников и многоугольников на MacOS
3. Prodigy  — предлагает бэкенд с собственным хостингом и различными интерфейсами аннотирования, в том числе аннотирование изображений при помощи ограничивающих прямоугольников; цены на продукт начинаются от 390 долларов для личного пользования (пожизненная оплата на каждого пользователя)
4. DataTurks  — платформа, имеющая множество возможностей аннотирования; аннотируемые в бесплатной версии данные становятся общедоступными, а корпоративные тарифы начинаются от 300 долларов за месяц для небольших команд
5. ImageTagger  — платформа с открытым исходным кодом для совместной разметки изображений
6. Fast Annotation Tool — ещё один инструмент в open source, использующий OpenCV для ограничивающих прямоугольников в формате RotatedRect
7. LabelMe — классика отрасли, инструмент MIT с открытым исходным кодом  для аннотирования многоугольниками; однако обладает чрезвычайно низкой точностью
8. PolygonRNN+ — доступен только в виде демо. Многообещающий инструмент, обученный на наборе данных Cityscapes и генерирующий автоматизированную разметку для беспилотных автомобилей с обучением с подкреплением