Мы уже долгое время занимались регулярной публикацией обзоров лучших инструментов аннотирования на рынке. Радостно видеть, что экосистема всегда динамична, а у платформ аннотирования появляются всё более мощные функции.

Все наши обзоры совершенно честны и основаны на личном опыте аннотирования тысяч изображений и видео для различных проектов и областей применения.

В этом году мы хотим поделиться списком лучших инструментов для разметки и аннотирования в 2021 году (вне какого-либо порядка).

Как и в предыдущих списках, мы оценивали инструменты по следующим параметрам:

• Функции
• Автоматизация
• Управление проектами

1. Darwin V7

Визуальное отслеживание объектов при помощи многоугольного выделения «Auto-annotate» в Darwin

Инструмент Darwin, созданный V7 Labs — один из наиболее универсальных и продвинутых инструментов для аннотирования изображений и видео. Этот инструмент изготовлен той же компанией, которая создала другие замечательные проекты компьютерного зрения, например, AI Poly и Autonomous Retail. В 2021 году она даже оказалась в списке лучших 25 стартапов по машинному обучению по версии Forbes!

1. Функции: интерфейс Darwin чрезвычайно удобен и лаконичен. Это швейцарский армейский нож для аннотирования, поддерживающий множество форматов аннотирования, а также различные типы файлов с данными, в том числе .mp4, .mov, .avi, .bmp, .jpg, .jpeg, .png, .svs, .tif, .tiff и .dcm в цветовом пространстве RGB и YBR. При работе с крупными коллекциями данных можно также импортировать файлы при помощи командной строки. Проект можно экспортировать в различные форматы, в том числе COCO, CVAT, PASCAL VOC, PNG-маски, а также в собственный формат Darwin в JSON или XML.

2. Автоматизация: инструмент многоугольного выделения и семантической сегментации «Auto-annotate» является одним из лучших на рынке, потому что он не зависит от класса объекта и может распознавать любой участок или объект. Его даже можно использовать в видео, где вы можете применять автоматическое аннотирование к ключевым кадрам и наблюдать, как интерполированные многоугольники в промежуточных кадрах плавно преобразуются друг в друга. Однако на данный момент эта функция, похоже, не очень хорошо работает на тёмных участках или с очень сложными или нечёткими объектами. Для таких специфичных случаев использования V7 может обучить специальную модель распознавания многоугольников при помощи движка AutoML, изготовленного для тонкой настройки Auto-annotate под новые наборы данных. Также компания предоставляет возможность обучения нейросети непосредственно внутри платформы (в настоящий момент она доступна только для сегментации объектов). Каждая сессия обучения тестирует гиперпараметры и техники улучшения изображения для поиска оптимального решения.

3. Управление проектами: Darwin позволяет настраивать этапы аннотирования и проверки, при которых работу можно закреплять за конкретными участниками проекта. На этапах проверки аннотаторы и проверяющие могут оставлять комментарии внутри инструмента, чтобы задавать вопросы или указывать на проблемы. Данные могут сохраняться и перечисляться в порядке приоритетности, а ход работы можно отслеживать. Система управления пользователями поддерживает такие должности, как «Сотрудник», «Руководитель трудового коллектива» и «Администратор», а продуктивность и качество работы каждого пользователя можно отслеживать по отдельности в каждом проекте. Наконец, удобной функцией является возможность загрузки инструкций по разметке, отображающихся, когда пользователь открывает проект, а также наличие миниатюр и описаний для каждого класса объектов!

2. Deepen

Функция прямоугольного выделения на лидаре одним щелчком


Визуальное отслеживание объектов Deepen


Deepen Superpixel

Компания Deepen была основана в 2017 году; она позиционирует себя как организация, в первую очередь обеспечивающая безопасность жизненного цикла данных и услуг. Компания специализируется на беспилотных автомобилях и отрасли робототехники. Наряду со своим инструментом Deepen AI, который мы уже обозревали, фирма имеет и другие продукты, например, недавно выпущенный Deepen Calibrate — инструмент, который можно использовать для точной калибровки данных множественных датчиков. Deepen также является руководителем проектов в Safety Pool — международной брокерской фирме, работающей над тестированием, валидацией и сертификацией систем беспилотного вождения. Инструмент Deepen AI Suite содержит полный набор функций для аннотирования и валидации сочетания графических и видеоданных, а также показателей датчиков (камер, лидаров, радаров и т.д.).

1. Функции: Deepen — единственная в этом списке платформа, предлагающая интерфейс 3D-лидара для аннотирования и семантической сегментации. При запуске рабочего пространства можно изучать содержимое баз данных и с лёгкостью загружать, аннотировать и даже редактировать данные внутри них. Deepen AI Suite поддерживает множество форматов: изображения, видео, облака 3D-точек, которые можно аннотировать как отдельные кадры или как их последовательность. Инструмент имеет функции выделения прямоугольником, многоугольником, линиями, точками, параллелограммом, 3D-полигоном, 3D-линиями, 3D-рисованием, 3D-раскраской объектов и разметки сцен. Нас сильно впечатлили уникальные свойства инструмента, например, возможность одновременного отображения всех меток с нескольких кадров, что особенно помогает в сочетании с функцией предварительной разметки.

2. Автоматизация: Deepen имеет функцию выделения прямоугольником, автоматически генерирующую очень точные и настраиваемые ограничивающие параллелограммы в 3D! Также в нём есть уникальная функция визуального отслеживания объектов на основе машинного обучения с удобной опцией слайдера: когда объект покидает сцену, его расположение предсказывается не на основе интерполяции, а по его первым кадрам. Также инструмент имеет функцию кисти, которую можно использовать для автоматической генерации маски сегментации определённых объектов одним нажатием кнопки, например, при разметке данных лидаров. Также компания вскоре выпустит функцию суперпиксельной сегментации, помогающую автоматически сегментировать изображения и значительно снижать время аннотирования. Наконец, функция предварительной разметки AI Sense может автоматически предварительно размечать изображения (до 80 различных объектов на изображениях, 8 различных объектов в последовательностях кадров, автомобили, пешеходы и велосипеды в 3D).

3. Управление проектами: Deepen позволяет создавать наборы данных и их профили, настраивать конвейер и закреплять задачи, управлять сотрудниками и назначать их в группы — и это лишь несколько примеров того, на что способен этот инструмент в управлении проектами. Упомянутые выше профили наборов данных очень полезны, потому что конфигурацию проекта можно повторно использовать в будущем для схожих проектов. Кроме того, для контроля качества инструмент имеет опцию создания вопросов для выделения и обсуждения проблем с разметкой, и даже функцию автоматического контроля качества на основе алгоритма. На данный момент единственным недостатком является то, что разметчики используют тот же интерфейс пользователя, что и менеджеры проектов. Однако нам сообщили, что создание отдельного портала для аннотаторов уже есть в «дорожной карте» и он будет добавлен в ближайшем будущем.

3. Heartex

Конфигурация проекта Heartex

Heartex — это компания из Сан-Франциско, занимающаяся разработкой инструментов для разметки данных. Основатели компании покоряли гору Сток-Кангри в Гималаях и этот момент решили создать инструмент разметки данных мирового уровня в open source. Результатом этого решения стал Label Studio. На фоне других продуктов для разметки эту платформу выделяет формат open source, управляемый и поддерживаемый очень активным и увлечённым сообществом пользователей. Эта версия Label Studio Community Edition идеальна для небольших команд, а платная Enterprise Edition добавляет функции, позволяющие крупным организациям масштабировать работы по разметке. В этом обзоре мы будем рассматривать Label Studio Enterprise Edition.

1. Функции: Label Studio Enterprise Edition — один из самых гибких и настраиваемых инструментов для разметки данных. В нём можно работать почти с любым типом данных: с аудио, изображениями, текстом, HTML и HTML NER, а также импортировать файлы CSV или JSON для обработки данных временных последовательностей и данных, хранящихся в другом месте. При создании проекта инструмент можно настроить при помощи уникального Labeling Config, имеющего более пятидесяти шаблонов аннотирования, которые можно изменять, предоставляя аннотаторам интуитивно понятный UI, в котором есть только то, что необходимо для разметки данных. В интерфейсе разметки можно даже вывести на экран несколько изображений! Подобный уровень гибкости настройки — потрясающая и уникальная особенность, которую можно протестировать в Label Studio Community Edition Playground.

2. Автоматизация: Label Studio Enterprise Edition имеет множество функций автоматизации с управлением алгоритмами, в том числе опцию предварительной разметки, которая может предварительно размечать данных на основании имеющейся модели машинного обучения. Также в инструменте есть функция улучшения результатов модели машинного обучения, обеспечивающая непрерывный цикл совершенствования модели, при котором исправления предварительно размеченных данных могут помочь алгоритму совершенствоваться для новых задач предварительной разметки. Label Studio даже может вычислять то, чему нужно отдавать приоритет при настройке прогнозирования модели в будущем. Кроме того, инструмент имеет очень удобную функцию режима активного обучения, при которой Label Studio способен определять репрезентативный элемент из выборки. Наконец, вскоре появится новая функция полуконтролируемого обучения, которая, по утверждениям основателей компании, совершит переворот в разметке и аннотировании больших наборов данных. Используя эту функцию, пользователь должен будет всего лишь ввести набор правил для управления автоматизированным процессом разметки.

3. Управление проектами: Label Studio Enterprise Edition имеет простой интерфейс управления проектами, где обучение и данные находятся в одном месте, а также обеспечивающий безопасный хостинг в облаке. Пользователь может легко создавать команды, добавлять в команду участников и приглашать аннотаторов для участия в конкретных проектах. Также инструмент позволяет управлять порядком, в котором данные выбираются для разметки.

Что касается контроля за разметкой, то менеджер проекта может создать набор размеченных данных, который будет считаться эталонными данными для проекта. В дальнейшем эти данные можно будет использовать для сравнения точности разметки элементов набора данных моделью машинного обучения или аннотаторами.

Можно указать приемлемый уровень соответствия спецификациям. Также присутствуют удобные средства для отслеживания процесса контроля качества, метрик и статистик конкретного проекта.

4. Alegion

Визуальное отслеживание объектов Alegion Control

Основанная в 2014 году компания Alegion разрабатывает платформу разметки, наиболее примечательную тем, что она специализируется в аннотировании видео. На данный момент версии платформы для разметки изображений и текстов доступны как аутсорсинговые услуги, однако недавно компания запустила Alegion Control: собственную версию платформы разметки видео, в которой видео можно обрабатывать в 4k; она снижает время разметки и поддерживает сложные и крупномасштабные форматы совместной работы.

1. Функции: Alegion можно использовать для аннотирования наборов данных видео, изображений и текста, а также для задач общего назначения. Среди прочего, инструмент обеспечивает точную локализацию объектов, классификацию объектов, присваивание атрибутов, классификацию сцен, распознавание объектов, семантическую сегментацию, а также сегментацию объектов. Платформа поддерживает 2D- и 3D- разметку, а её система разметки видео соответствует передовым разработкам. Также она обеспечивает поддержку сложной таксономии и вложенные классификации взаимосвязей сущностей. При покупке расширенных тарифных планов открывается доступ к многоэтапным рабочим процессам с условными зависимостями.

2. Автоматизация: среди функций платформы есть инструмент автоматизированного выделения, функция предварительной разметки при помощи машинного обучения и отслеживание объектов в видео, которое может выполняться в 4k! Кроме того, платформа использует DextR в своей функции SmartPoly, позволяющей разметчикам создавать многоугольники и маски, щёлкнув по четырём точкам контура объекта. Функция отслеживания объектов позволяет отслеживать объекты на протяжении всего видео на основании всего пары кадров; вместо простой линейной интерполяции используется настоящее отслеживание объектов. Однако для увеличения точности мы рекомендуем аннотировать дополнительные кадры.

3. Управление проектами: Alegion обеспечивает «полимеризированные» рабочие процессы, позволяющие создать эффективный и точный процесс на основе консенсуса человека и машинного обучения: результаты аннотаторов сравниваются или друг с другом, или с прогнозами модели машинного обучения. Также в рабочие процессы можно включать предварительную разметку или любой внешний API с использованием Lambda. Для создания многоэтапных рабочих процессов этапы даже можно объединять в цепочки при помощи условной логики. На этапе контроля качества руководство может численно оценивать размеченные файлы, что отражается на метриках каждого разметчика. Кроме того, можно создавать группы аннотаторов по определённым критериям, что позволяет командам аннотаторов получать специализацию в конкретных видах задач или этапах процесса разметки.