Исследователи компании Google Джонн Флинн, Айван Нюландер, Джеймс Филбин и Ной Снейвли создали алгоритм, который способен комбинировать снимки из сервиса обзора панорамных видов улиц Street View в гладкие видеоролики с едва заметными артефактами. Алгоритм получил название DeepStereo, пример его работы представлен выше. Вероятное использование созданной технологии включает создание простых анимаций, обработку изображений, кино и виртуальную реальность.

Не всегда возможно адекватно оценить некоторое место только по картам или цифровым снимкам. Посмотреть на улицу с высоты чуть выше человеческого роста помогают сервисы по типу Google Street View. Но это склеенные в панораму фотографии, а не видеоролики.

Если нужно создать анимацию движения вперёд из отдельных снимков, то решение просто проиграть последовательность изображений не подойдёт — оно получится слишком быстрым, поскольку картинки будут меняться с частотой как минимум 24 кадра в секунду. В случае проезда по широкой ровной дороге или шоссе можно создать неплохую анимацию в стиле замедленной съёмки. Но в Google Street View есть панорамы музеев и витиеватых улочек — таймлапс из быстрой смены кадров здесь не получится. Нужны недостающие изображения между снимками. Этим и занимается созданный алгоритм.

Команда исследователей использовала обширные знания компании в обучении алгоритма. На входе имеется набор изображений с некоторых точек, а целью является создание новых кадров с других точек. Точное решение этой задачи требует построения 3D-модели окружения, что чаще всего невозможно из-за преград. Задача не нова. Некоторые предыдущие методы обладают проблемами, которые приводят к появлению разрывов возле барьеров, алиасингу и размытию. Особенные сложности вызывают деревья и другие объекты, отдельные элементы которых могут закрывать вид.



Новый метод команды Флинна использует обучение алгоритма компьютерного зрения для того, чтобы он мог понять, какие объекты должны быть в недостающих кадрах. Для обучения использовались наборы изображений с двигающегося автомобиля. Исследователи заявляют, что объем базы для обучения составил 100 тысяч наборов изображений.

Затем проводилось тестирование с использованием последовательностей из трёх снимков из Google Street View. Алгоритм заставляли обработать два крайних изображения и представить вариант промежуточного. Сравнение с оригиналом позволяло оценить работу.

Конечный результат DeepStereo команда называет правдоподобным. С первого взгляда его не так легко отличить от реальной фотографии. Заметные артефакты включают лёгкую потерю разрешения и пропадание тонких структур на переднем плане. Объекты со сложной структурой, которая перекрывает свои собственные детали, могут появляться в размытом виде. Алгоритм также не в состоянии создать поверхности, которых нет в оригинальных снимках. Перемещающиеся объекты (пешеходы, машины) намеренно размыты, чтобы создать эффект движения.

Для рендеринга требуется внушительная вычислительная мощь. Для создания лишь одного изображения разрешением 512?512 пикселей требуется примерно 12 минут работы многоядерной системы с неназванными техническими характеристиками. Создание изображений большего разрешения требует слишком много оперативной памяти. Исследователи выражают надежды по оптимизации алгоритма с возможностью сокращения времени рендеринга до нескольких минут или даже секунд при использовании процессоров видеокарт. В перспективе при значительной доработке функционирование алгоритма на GPU возможно даже в реальном времени.

По материалам текста исследования и MIT Technology Review. arXiv:1506.06825 [cs.CV]