На будущей конференции SIGGRAPH будет представлено много интересного. Не останется в стороне и компания Microsoft, которая заранее анонсировала свои планы. Она покажет технологию Hyperlapse для эффективной стабилизации изображений и склеивания необычных и красивых видеороликов типа таймлапс от первого лица.
Microsoft работает над этой технологией уже несколько лет, представляла научный доклад о Hyperlapse на SIGGRAPH 2014. Сейчас же всё работает. Можно установить мобильное приложение и попробовать Hyperlapse в деле (чтобы установить версию под Android, например, нужно вступить в сообщество и зарегистрироваться как тестер).
На отдельной странице Microsoft подробно объясняет, чем отличается её приложение от недавно представленного приложения Instagram Hyperlapse для iPhone. Вроде бы, и называется так же, и работает примерно одинаково.
Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад. Как показало разбирательство, у двух технологий имеется ряд фундаментальных отличий. Программа от Instagram похожа на обычные стабилизаторы, когда край одного кадра накладывается на другой кадр, чтобы компенсировать дрожание камеры. В отличие от существующих программ Adobe After Effects или Youtube video stabilizer, впрочем, программа от Instagram не анализирует кадры, а использует информацию со встроенного гироскопа. Чтобы на краях не было артефактов, она зуммирует картинку.
Всё это работает только при слабом дрожании, говорит Microsoft, например, если аккуратно держать смартфон двумя руками и плавно двигаться. Но когда вы вставляете его в шлем и пускаетесь в райд, всё полностью разваливается.
В Microsoft Hyperlapse реализован фундаментально иной метод. Здесь осуществляется реконструкция всего маршрута камеры в 3D и составляется модель окружающего мира. Это позволяет сделать более плавным движение камеры в пространстве-времени и сгенерировать итоговое видео, где камера двигается на постоянной скорости. То есть будут автоматически вырезаны «медленные» фрагменты, как стояние на красном свете.
Что очень важно, Microsoft Hyperlapse может заполнить недостающие фрагменты кадров, заимствуя пикселы не с одного соседнего кадра, а с нескольких кадров.
Техническое объяснение работы Microsoft Hyperlapse см. на видео.
Microsoft работает над этой технологией уже несколько лет, представляла научный доклад о Hyperlapse на SIGGRAPH 2014. Сейчас же всё работает. Можно установить мобильное приложение и попробовать Hyperlapse в деле (чтобы установить версию под Android, например, нужно вступить в сообщество и зарегистрироваться как тестер).
На отдельной странице Microsoft подробно объясняет, чем отличается её приложение от недавно представленного приложения Instagram Hyperlapse для iPhone. Вроде бы, и называется так же, и работает примерно одинаково.
Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад. Как показало разбирательство, у двух технологий имеется ряд фундаментальных отличий. Программа от Instagram похожа на обычные стабилизаторы, когда край одного кадра накладывается на другой кадр, чтобы компенсировать дрожание камеры. В отличие от существующих программ Adobe After Effects или Youtube video stabilizer, впрочем, программа от Instagram не анализирует кадры, а использует информацию со встроенного гироскопа. Чтобы на краях не было артефактов, она зуммирует картинку.
Всё это работает только при слабом дрожании, говорит Microsoft, например, если аккуратно держать смартфон двумя руками и плавно двигаться. Но когда вы вставляете его в шлем и пускаетесь в райд, всё полностью разваливается.
В Microsoft Hyperlapse реализован фундаментально иной метод. Здесь осуществляется реконструкция всего маршрута камеры в 3D и составляется модель окружающего мира. Это позволяет сделать более плавным движение камеры в пространстве-времени и сгенерировать итоговое видео, где камера двигается на постоянной скорости. То есть будут автоматически вырезаны «медленные» фрагменты, как стояние на красном свете.
Что очень важно, Microsoft Hyperlapse может заполнить недостающие фрагменты кадров, заимствуя пикселы не с одного соседнего кадра, а с нескольких кадров.
Техническое объяснение работы Microsoft Hyperlapse см. на видео.
Комментарии (11)
DeanUA
15.05.2015 00:04Жаль, что не могу опробовать, но выглядит просто очень круто. Стоит надеяться, что в скорейшем будущем на том же андроиде сразу же будет стоять такая стабилизация.
Quiensabe
15.05.2015 01:22Похоже приложение сняли с маркета. По ссылке со страницы для тестеров вылетает ошибка.
Ни у кого случаем apk не сохранился? Я это приложение уже год жду. Жаль правда что под андроид, обещали для win сделать версию.
Такая стабилизация нужна для Action-камер, не для телефонов.
Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад.
Это приложение анонсировали почти год назад. Так что видимо имеется ввиду, что за несколько дней до того ананса, они и узнали о разработке Instagram Hyperlapse.Quiensabe
15.05.2015 04:31По ссылке со страницы для тестеров вылетает ошибка.
Уже все нормально.
Попробовал.
Стабилизирует вроде неплохо, действительно дорисовывает картинку с соседних кадров, но приложение очень сырое. На ускоренном движении — странные дерганья, похоже что просто пропуск кадров, так что лушче сохранять в 1x и ускорять другими средствами.
Удалось загрузить видео с Gopro. Движение исправляет лучше чем обычные программы-стабилизаторы. Даже похоже лучше чем созданные специально для action камер, но детально не сравнивал.
Однако использовать приложение для каких-то практических целей невозможно.
Никаких настроек в приложении нет. Возможности влиять на гладкость пути — нет. Выбрать качество рендера — нельзя.
В итоге — замыленная до невозможности картинка, которую даже стыдно кому-то показывать.
В качестве примера: Исходник и Результат
Возможно, на родной камере смартфона будет лучше, т.к. программе нужно учитывать объектив. Но судя по тесту в квартире — примерно то же самое.
6a6ypek
15.05.2015 08:21Nokia 1020: Это приложение нельзя приобрести для вашего устройства.
System Requirements Windows Phone 8.1
Supported devices*:
Lumia 435, 530, 532, 535, 630, 635, 636, 638, 640, 640 XL, 730, 735, 830, 930, 1520
HTC One M8
Loxmatiymamont
15.05.2015 12:05Скачал, попробовал.
Как игрушка очень хорошо, только удручает полное отсутствие настроек и как итог nexus 5 выдаёт довольно мыльную картинку.
Очень жду апдейтов.
Rumlin
Приложение уже появилось в PlayStore (несколько часов назад его еще не было), но у меня печаль:
Ни одно из моих устройств с 4.0.4. Неужели ему 5 версия нужна.
idiv
4.4 или позже:
Currently this app works on the following devices, running Android 4.4 or later:
— Samsung Galaxy S5, S6, S6 Edge, Note 4
— Google Nexus 5 & 6, Nexus 9 tablet
— HTC One M8 and M9
— Sony Xperia Z3 ?