Gcam разработала решение для камеры Google Pixel и ряда других продуктов холдинга Alphabet, так или иначе связанных с обработкой изображений. Компания появилась в 2011 году, когда Себастьян Трун, в то время глава Google X, искал камеру, которую можно было бы установить в Google Glass. В таких очках камера дает возможность делать фотографии «от первого лица» и делиться яркими моментами с окружающими без необходимости доставать фотоаппарат или смартфон.
Эта функция может быть полезной для любого пользователя, начиная от родителей с маленькими детьми до врачей, выполняющих операции. Однако чтобы люди захотели пользоваться Glass, возможности съемки у очков должны быть как минимум на уровне существующих флагманских смартфонов.
На первых этапах разработки Glass возникли проблемы с камерой. Она была слишком маленькой и ей не хватало света, поэтому фотографии в темноте или при высокой контрастности выходили низкого качества. Если сравнивать с теми же смартфонами, сенсор в камере оказался слишком маленьким, что еще сильнее снижало производительность в условиях слабой освещенности и динамического диапазона. Кроме того, очки обладали очень ограниченной вычислительной мощностью и батареей.
Поскольку очки должны получиться легкими и пригодными для постоянной носки, поиск более крупной камеры для решения этой проблемы — не выход. Поэтому команда начала искать другие способы. Тогда создатели задали себе вопрос: что если вместо того, чтобы пытаться решить проблему на аппаратном уровне, попробовать сделать это с помощью программных продуктов?
Компания привлекла к разработке Google Glass Марка Ливоя (Marc Levoy), преподавателя факультета информатики Стэнфордского университета, который по совместительству является экспертом в области вычислительной фотографии. Особенно его интересуют технологии захвата и обработки изображений на базе программного обеспечения.
В 2011 году Ливой создал команду в Google X, известную как Gcam. Ее задачей было улучшить фотографии на мобильных устройствах, применяя вычислительные техники фотографии. В поиске решения проблем, которые ставил проект Glass, команда Gcam исследовала метод под названием Image Fusion, который делает быструю серию фотографий, а затем объединяет их, чтобы создать более качественный снимок.Такая технология «вытягивала» детали на снимках с тусклым освещением. Да и в целом фотографии получались более яркими и резкими.
Image Fusion дебютировала в Glass в 2013 году, и вскоре стало ясно, что технологию можно применить к продуктам других линеек. По мере того, как люди стали чаще делать снимки, чтобы поделиться важными моментами с другими, программное обеспечение, на основе которых работали камеры, должно было обеспечить красивую картинку вне зависимости от освещения.
Следующая версия Image Fusion получила новое название HDR+, вышла за рамки проекта Glass и была запущена в приложении для камеры Android в Nexus 5, а затем и в Nexus 6.
Сегодня эта функция распространилась среди множества приложений и продуктов, а команда Gcam в 2015 году перешла в Google Research. Сейчас Gcam разрабатывает технологии для Android, YouTube, Google Photos и Jump VR. Некоторые решения команды включены в Lens Blur – приложение для камеры Google, а также в программное обеспечение, сшивающее видеоролики в панораму в Jump Virtual Reality.
Не так давно технология HDR+ по умолчанию вошла в качестве режима в смартфон Google Pixel. Команда DxOMark, составляющая один из наиболее объективных рейтингов камер, заявила, что камера Pixel оказалась «лучшей камерой для смартфона из когда-либо созданных».
В 2016 году, размышляя о дальнейшем развитии проекта, Марк Ливой сообщил: «Потребовалось пять лет, чтобы сделать все действительно правильно. Нам повезло, что Google X дал нашей команде направление для долгосрочного развития и независимость».
Что будет дальше с Gcam? Марк Ливой, начинавший свою карьеру с разработки мультипликационной анимационной системы, которую использовала компания Hanna-Barbera, в восторге от будущего команды. Одно из направлений, где она собирается реализоваться в дальнейшем – технология машинного обучения.
«Существует множество продуктов, которые фактически изменяют восприятие и ощущение изображения. Это могут быть даже такие простые на первый взгляд вещи вроде фильтра для регулировки баланса белого. Или те, которые могут что-то сделать с фоном — затемнить, осветлить или стилизовать его. Мы находимся в лучшем месте в мире с точки зрения разработки технологий в области машинного обучения, поэтому у нас есть реальная возможность объединить творческий мир с миром вычислительной фотографии», — отмечает Ливой.
Комментарии (15)
vics001
30.03.2017 00:11Я не являюсь большим специалистом, но написана какая-то ерунда.
Она была слишком маленькой и ей не хватало света, поэтому фотографии в темноте или при высокой контрастности низкого качества… Такая технология «вытягивала» детали на снимках с тусклым освещением.
Если сенсор тянет детали с тусклым освещением, значит тянет. Проблема же в том, что он ни фига не тянет в любой мобильной камере, ISO выше 400 дает неадекватные шумы. Конечно, работа digital шумодава есть во всех мыльницах, но лучше качества фотография не становится.
При плохом освещении вообще не надо HDR! Обычно все сцены в сумерках и в темноте влазят в 4-6 стопов (16-64 раз) по контрастности, да конечно же на источниках света возникает пересвет, но это абсолютно естественно, как и черный цвет.
HDR чаще всего нужен при съемках пейзажей при достаточно ярком солнце, чтобы сохранить и облака и тени на камнях, в таких сценах контрастность доходит до 20 стопов и там применяется серия снимков и этого освещения вполне достаточно для мобильных камер. Отличие, что профессиональным камерам хватит 2 снимков закрыть этот диапазон, для мобильных понадобится 3-4. Алгоритмы HDR действительно сложны и неоднозначны, точнее часто они зависят от того, что хочет добиться фотограф. Лично мое мнение, чаще всего это делается в фотошопе на основе знаний где находится источник света и какой тональный переход допустим от темного к светлому, то есть проводится граница горизонта. Основная проблема это при слиянии картинок не получить «нереальную» штуку, как облака будут темнее земли и сохранить плавность переходов от неба к земле, но в тоже время восстановить цвета в светлых и темных участках.
VanyaKokorev
30.03.2017 00:56В статье речь не про обычный HDR, а про Exposure Fusion, применение которого выражается в снижении уровня шума. Например, вот статья про этот режим в программе Photomatix
vics001
30.03.2017 18:19Насколько, я понял, Exposure Fusion сохраняет объекты с оригинальной экспозицией относительно друг друга в (отличии от HDR) и сжимает их в low dynamic range (8 бит jpeg). Вот что я не понял, так как это позволяет бороться с шумами. Шумы появляются и от долгой выдержки (греется матрица) и от высокого ISO, если у нас по экспозиции только одна картинка светлая, то шумы, конечно, будут меньше заметны так как сжимается ДД, но все равно останутся + к этому картинка получится более тусклая.
VanyaKokorev
30.03.2017 18:35Как я понял, там всё сложнее — каждому пикселю из (например, трёх) версий присваивается вес в зависимости от яркости, насыщенности и контрастности, и в итоговом результате участвует средневзвешенное между версиями пикселей. Похоже, у пикселей шума вес получается низкой по этому алгоритму
v_vabzd
30.03.2017 12:55Вы немного путаете HDR (расширение динамического диапазона) и тонмаппинг (метод, чтобы уместить большой динамический диапазон сцены в динамический диапазон устройства отображения).
В случае с HDR всё просто информация из двух(или более) кадров объединяется (про разницу экспозиции и то, что берутся разные участки тонового диапазона я писать не стану).
Однако возникает такая проблема, что ДД изображения больше ДД устройства отображения (пусть будет монитор ). Если просто сжать дд картинки (12 стопов) до дд монитора (что-то около 8 стопов), то упадет контраст и картинка станет «серой».
Чтобы такого не было применяют те самые алгоритмы: самое простое это когда определённый кусок диапазона просто не занят, тогда в него сгоняют информацию, тем самым увеличив контраст остальных. Немного сложнее действуют тонмапперы (простейший пример инструмент shadows/highlights в фотошопе), они действуют через размытие и во-первых могут давать ореолы на контрастных границах особенно при использовании «алгоритмов для бедных», того же гауссова размытия вместо surface blur'а. Вторая проблема в том, что при неумелом использовании эти алгоритмы могут сделать светлые объекты темнее тёмных (там математика так устроена, что света затемняются без оглядки на тени а тени высветляются без оглядки на света) и можно получить такую картинку на которой темные участки неба (светлый объект) будут темнее светлых участков земли (темный объект). Вот именно оттуда и получается «сюрреалистическая», «марсианская», да называйте как хотите картинка. В общем, чтобы не утратить связь картинки с реальностью нужно всего-то поосторожнее крутить ползунки. Ну и да, камеры обычно об этом знают и марсианскую картинку обычно не выдают.
Giriia
30.03.2017 01:06А что там кстати с очками? Что-то уже давно про них ничего не слышно, да и инфа в гугле противоречия.
tmin10
30.03.2017 10:07Давно свернули разработку, на странце http://www.google.com/glass/start/ просто заглушка.
dmitry_ch
30.03.2017 14:38+1Сколько не сравнивал кадры с телефонов от Гугла, с кадрами, сделанными iPhone сравнимых поколений, iPhone как-то лучше снимал в каждом случае. Причем, уверен, вопрос был не в матрице как таковой (и там, и там матрицы использовались Sony, если не ошибаюсь). Вот в чем загвоздка?
SovGVD
31.03.2017 10:39А у вас ios или android на телефоне?
Загвоздка в постобработке. Некоторые android телефоны могут снимать в raw и если его покрутить в любой «проявлялке», внезапно там качество/детали/дд на порядок лучше чем то что этот же телефон сохраняет в JPG (после шумодава с перешарпом и задранным контрастом). Собственно вот в Пикселе и заморочились с программной постобработкой и вышел очень хороший результат.
dron_k
#1 >>>метод под названием Image Fusion, который делает быструю серию фотографий, а затем объединяет их
#2 >>>Не так давно технология HDR+ по умолчанию вошла в качестве режима в смартфон Google Pixel.
Я был в восторге от режима HDR, и уже был готов оставить его включенным навсегда,
однако из-за #1 быстро движущиеся объекты двоились или имели повторяющиеся контуры,
явно свидетельствующие о склейке кадров.
Так что пользуюсь HDR хоть и часто но с оглядкой на данную особенность. (У меня не Pixel)
Исходя из #2 надеюсь у Пикселя нет таких проблем, и было бы интересно узнать как их побороли.
— очень быстрая съемка?
— программная коррекция быстрых объектов?
— ??
vics001
— HDR нельзя применять для движущихся объектов.
Побороть движение можно камерой с широким ДД, то есть не HDR. Ну или в photoshop можно совместить 2 фотографии вручную, отретушировать, а потом уже делать hdr.
dron_k
>>>HDR нельзя применять для движущихся объектов.
Собственно меня и удивило что в Пикселе он включен по умолчанию.
Поэтому полагаю что они как-то решили эту проблему.
S0ulReaver
Не проверял, но думаю что камера в Pixel банально быстрее снимает \ имеет большую светосилу \ меньше шумит \ позволяет поставить для снимка выдержку по короче \ имеет более качественный шумодав. Таким образом камере требуется значительно меньше времени для съемки серии, и соответственно объекты почти не смазываются. Нет, конечно, если попытаться заснять болид Формулы 1, то снимок всё равно поплывет. Но если мы говорим о бытовых вещах, то Google считает, что этого достаточно. Ну и думаю алгоритм всё таки достаточно умен, чтобы подстроить разные снимки друг под друга.