Команда из Массачусетского технологического института помогла Microsoft создать систему поиска изображений. Она базируется на работе алгоритма, который ищет соответствия картин разных художников.

«Даже самые подвинутые искусствоведы не могут ознакомиться с миллионами картин за тысячи лет и найти неожиданные параллели в темах, мотивах и визуальных стилях», — пояснили разработчики. Их вдохновила выставка картин «Рембрандт и Веласкес» в Рейксмузеуме.

Новая система MosAIc подбирает схожие произведения, используя глубокое обучение. Чтобы найти две одинаковые картины, новый алгоритм поиска отвечает на вопросы, к примеру, «какой музыкальный инструмент ближе всего к этому изображению сине-белого платья», и извлекает изображение сине-белой фарфоровой скрипки.

«Системы поиска изображений позволяют пользователям находить те, которые семантически похожи на изображение из запроса, и служат основой для поисковых систем с обратным изображением и многих механизмов рекомендаций по продуктам», — отмечают авторы разработки. — «Ограничение системы поиска определенными подмножествами изображений может дать новое понимание отношений в визуальном мире. Мы стремимся стимулировать новый уровень взаимодействия с творческими артефактами».

MosAIc отличается от инструмента Google X Degrees of Separation, который находит сходства между двумя произведениями искусства тем, что ему требуется только одно изображение. Он раскрывает связи с этим произведением в любой культуре или средствах массовой информации.

Команда использовала новую структуру данных поиска изображений, которая группирует подобные изображения вместе в древовидную структуру. Чтобы найти близкое соответствие, они начинают со «ствола» дерева и следуют за наиболее многообещающей «ветвью». Структура данных улучшена, и дерево быстро трансформируется в соответствии с новым типом запросов.

Этот подход также может быть использован для помощи в поиске дипфейков. Он помогает найти области, в которых вероятностные модели на генеративных состязательных сетях не работают. Эти слепые зоны также показывают, как GAN пытаются представить определенные области набора данных.

«В дальнейшем мы надеемся, что эта работа вдохновит других задуматься о том, как инструменты поиска информации могут помочь другим областям, таким как искусство, гуманитарные науки, социальные науки и медицина. Эта работа может быть расширена с точки зрения новых наборов данных, новых типов запросов и новых способов понимания связей между работами», — отметили исследователи.

См. также:

• «Художник из Гонконга обучил ИИ создавать абстрактные картины с помощью чернил»
• «Система DeepFace дорисовывает лица по простым эскизам»
• «Как заставить генеративные изображения выглядеть естественно при помощи математических алгоритмов»