Отчёт стартапа, занимающегося приложением для улучшения фотосъёмки с iPhone
iPhone XS против iPhone X – изменения в камере на уровне железа
В последней версии нашего приложения мы сделали новую функцию, выводящую подробную информацию о том, на что способна камера вашего телефона. Пользователи, получившие раньше других доступ к iPhone XS, поделились с нами этой информацией, что позволило нам подробно описать спецификации железа.
Проведя анализ, мы можем выдать более подробный обзор того, что нового можно увидеть в камере iPhone XS, и больше подробностей о её технических возможностях, чем Apple пожелала раскрыть на презентации.
Это именно спецификации железа – притом, что Apple в основном концентрировалась на таких программных улучшениях, как Smart HDR и новый портретный режим.
Линзы у iPhone XS and XS Max, использующиеся для большей части снимков, подверглись изменению, получив фокусное расстояние, эквивалентное 26 мм. Это на 2 мм меньше, чем у предыдущих моделей, iPhone 8 Plus и iPhone X, обладавших широкоугольными линзами на 28 мм.
Пользователь нашей программы и iPhone XS прислал нам фото, где видно разницу:
Наше приложение не может узнать размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор. Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше – а Apple утверждает, что размер пикселей на новом сенсоре для широкоугольной камеры составляет теперь 1,4 мкм, что на 0,2 мкм больше, чем у предыдущих.
iPhone XS и XS Max способны держать секундную экспозицию. Предыдущие iPhone могли держать экспозицию до 1/3 с. Эта способность может позволить делать всякие крутые фотографии с долгой экспозицией.
Новый датчик – новый диапазон ISO, чуть шире, чем у iPhone XS. ISO теперь простирается от 24 ISO до 2304 ISO, что обеспечивает немного больше чувствительности при плохом освещении. Лучший из предыдущих датчиков iPhone выдавал только 2112 ISO.
Телеобъектив увеличил ISO на 240, теперь его максимальное значение не 1200, а 1440, что говорит о небольших подстройках сенсора. Возможно, это означает, что при том же уровне освещённости мы увидим меньше шума.
Увеличилась длительность минимальной экспозиции: на широкоугольной камере и телеобъективе эта величина поменялась с 1/91000 с на 1/22000 с и 1/45000 с, соответственно. Непонятно, что из этого следует – надо тестировать.
Сравнение полных списков технических подробностей:
Мне было интересно, почему презентация от Apple концентрировалась на изменениях в программном обеспечении камеры, а не на её железе. Протестировав камеры iPhone XS, я понял, почему.
У iPhone XS не просто увеличен датчик: у него полностью переработана камера, и крупнейшим изменением стало то, что он полагается на вычислительную фотографию.
В Apple умны. Они видят, что от впихивания всё большего количества электроники в сенсор величиной с ноготь результатов получается всё меньше. Фотография – это наука о захвате света, она ограничена оптикой и физикой.
Единственный способ обойти законы физики – это "вычислительная фотография". Мощные чипы в современных iPhone позволяют компании сделать кучу фоток – некоторые из которых делаются ещё до того, как вы нажимаете на кнопку затвора – и слить их в одну идеальную.
iPhone XS сделает фото с увеличенной и уменьшенной экспозицией, сделает быстрые фотографии для заморозки движения и сохранит чёткость по всему кадру, и даже возьмёт лучшие части всех этих кадров, чтобы создать одно изображение. Вот, что вы получите от камеры iPhone XS, и вот что делает её такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного света или сильного контраста.
Это не небольшая подстройка Auto HDR на iPhone X. Это полностью новая функция, кардинальное отличие от фотографий всех предыдущих айфонов. В каком-то смысле, совершенно новая камера.
Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.
Людям кажется, что iPhone XS смягчает изображение, по двум причинам:
Тут важно понять, как мозг воспринимает чёткость, и как художники заставляют вещи казаться чётче.
Всё работает не так, как в комедийных сериалах типа CSI, где детективы кричат «улучшить!» на экран. Нельзя добавить утерянных деталей. Однако можно обмануть мозг, добавив небольшие контрастные участки.
Проще говоря, тёмная или светлая рамка рядом с контрастным светом или тёмной формой. Локальный контраст заставляет вещи казаться более чёткими.
Для улучшения контрастности надо сделать светлые области светлее рядом с границей, а тёмные области темнее рядом с границей.
iPhone XS сливает изображения с разными экспозициями и уменьшает яркость ярких областей и делает менее тёмными тени. Детали остаются, но нам кажется, что изображение менее контрастное, потому что потерян локальный контраст. На фото выше кожа кажется более гладкой потому, что свет не такой резкий.
Наблюдательные люди заметят, что это влияет не только на кожу. Шероховатые текстуры и практически всё тёмное – от кошек до углей – выглядит более гладким. Это работает уменьшение количества шума. iPhone XS делает это агрессивнее, чем предыдущие айфоны.
Испытав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более высокую скорость затвора и увеличенный уровень ISO. Иначе говоря, он делает фото быстрее, но из-за этого появляется шум.
iPhone X RAW
iPhone XS RAW
В формате RAW можно заметить, что у iPhone XS (справа) шума гораздо больше. В этом формате не происходит удаления шума. Почему же кадр XS должен быть таким шумным?
Помните ту презентацию с последовательностью кадров, показывающую, как работает камера айфона?
Если только у вас не бионические протезы, вы не сможете так долго держать телефон без движения. Чтобы получить чёткие и идеально выровненные изображения в таком количестве, айфону надо делать фотки очень быстро. Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.
Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.
iPhone XS RAW – детали в отражении более «гладкие»
Smart HDR
Но по большому счёту более гладкими становятся селфи – особенно лица!
Да. Железо фронтальной камеры хуже работает в низком освещении, чем у основной. У камеры для селфи маленький сенсор размером с ноготь мизинца, поэтому в него попадает меньше света, а значит, больше шума и больше удаления шума.
В результате получается более гладкое изображение, и Smart HDR вкупе с конвейером вычислительной фотографии сглаживает его сильнее, чем раньше.
Обратная сторона медали в том, что селфи, которые обычно получаются хуже в смешанном или резком свете (а такова большая часть освещения) уже не размываются, и в большинстве случаев выглядят лучше, только немного более сглаженными.
Хорошие новости в том, что Apple может и это немного подстроить, если людям покажется, что сглаживание работает слишком сильно, но поскольку тут стоит выбор между плохим освещением с шумом и слишком большим сглаживанием, логично, что версия 1.0 склоняется к сглаживанию.
По поводу заявлений о том, что ПО по-особенному относится к лицам: я фотографировал лимон, шероховатую бумагу и делал селфи, и уровень сглаживания везде был одинаковым.
Нет, камера его не хуже, чем у iPhone X. У iPhone XS камера лучше. У неё выше динамический диапазон, но это связано с некоторыми компромиссами в ПО. Если вам не нравится делать вещи новомодными способами, не волнуйтесь.
Подобный снимок нельзя было сделать на предыдущих айфонах
То, что делает Apple, лучше практически для всех случаев: обычные пользователи получат фото лучше, там будет больше деталей на свету и в тенях, без всякого редактирования. Профессионалы смогут вернуть контраст, немного подредактировав фотки; обратное уже не получится: в контрастном изображении детали уже потеряны.
Теперь можно делать селфи и фото при резком освещении, боговом освещении или другом, не выравнивающем свете, и получить приемлемый результат. Это прямо волшебство!
Есть только две небольшие проблемы.
Камеры всё больше превращаются из простых инструментов в «умные устройства», использующие различные сложные операции для объединения нескольких изображений в одну, и мы задаёмся вопросом, смотрим ли мы на «неотредактированное» изображение.
Возьмём это фото Йосемитского национального парка:
Оно отредактировано. Чтобы правильно экспонировать ландшафт, фотограф использовал долгую экспозицию. Затем снял звёзды с более короткой экспозицией, иначе бы они превратились в следы. Затем объединил два фото в одно. Технически говоря, это подделка.
Вернёмся к iPhone: Smart HDR берёт разные экспозиции и сливает их вместе, чтобы получить больше деталей в тени и на свету. В этом есть определённая степень подделки. Сторонники чистоты фотографий могут возмутиться по этому поводу.
iPhone XS, Smart HDR
iPhone XS
iPhone X
Без Smart HDR очень сложно сделать HDR вручную так, чтобы изображение не выглядело подделкой. Есть целый сабреддит, посвящённый хреновым HDR.
У среднего изображения, с отключённым Smart HDR, всё ещё большой динамический диапазон, но оно кажется не таким «автоподстроенным».
Так теперь работает камера на айфонах. Готов поспорить, что и в будущем она будет работать именно так.
Да, и это применимо к видоискателю любого приложения, делающего фотографию. Apple улучшает динамический диапазон на лету, прямо в видео, поэтому вы всегда будете видеть «изменённое» изображение.
С практической точки зрения проблемы начинаются вот с чего: iPhone XS делает экспонирование совсем не так, как iPhone X. А это имеет огромное значение при съёмке в RAW.
Возьмём такой снимочек:
iPhone X RAW
iPhone XS RAW
Вы сразу заметите, что второе фото передержано. Начав редактировать файл iPhone XS RAW, вы увидите, что светлые части изображения утеряны.
Углубившись в детали, вы увидите вторую проблему: iPhone X делал экспозицию в 1/60 с и ISO 40, а iPhone XS делал экспозицию с 1/120 с и ISO 80. Мы подозреваем, что для получения наилучшего фото для Smart HDR, камере просто приходится использовать меньшую экспозицию и более высокие значения ISO.
Мы делаем приложение для камеры, чтобы получать фотографии в RAW, поэтому это очень плохо. RAW не только не получает преимуществ от слияния нескольких фото – фотографии iPhone получаются очень шумными на уровне ISO 200. Это шаг в неправильном направлении.
Ещё больше ухудшает ситуацию то, что сенсора iPhone XS шум получается чуть более активным и цветным, чем у iPhone X.
Такой шум не так-то просто убрать на постобработке. Это не мягкая зернистость плёнки, которую мы наблюдали у iPhone X и iPhone 8 в RAW.
На сегодня получается, что если снимать RAW на iPhone XS, придётся переключаться в ручной режим и уменьшать экспозицию. Иначе ваш RAW получится хуже, чем JPEG от Smart HDR. От этого страдают все сторонние приложения для камеры. Как ни странно, RAW файлы от iPhone X выглядят гораздо лучше, чем от iPhone XS.
К счастью, это можно поменять. После выхода iPhone XS мы, работая по ночам и выходным, придумали решение того, как извлечь максимум из большего по размеру сенсора и его глубоких пикселей.
Мы сделали Smart RAW – функцию, использующую новую сенсорную технологию в iPhone XS, и делающую фотографии в RAW лучше, чем это мог бы сделать iPhone X. Smart RAW не использует никакие функции Smart HDR – он наоборот их избегает, чтобы вам практически не нужно было убирать шум.
Теперь, когда мы обошли проблемы с экспозицией iPhone XS, в файлах Smart RAW можно обнаружить удивительное количество деталей. Давайте посмотрим на фотографию с концерта First Aid Kit и сравним варианты с использованием Smart RAW и без него:
Без Smart RAW
Smart RAW
Гораздо лучше, чем у iPhone X. Вот несколько сравнений RAW-изображений, сделанных с iPhone XS и iPhone X.
Результаты удивительны: меньше шума, больше деталей.
Лучшая особенность Smart RAW: благодаря подстройке сенсора iPhone XS, мы получаем максимум качества в изображениях, больше, чем когда бы то ни было. При переходе от iPhone X к iPhone XS происходит удивительное увеличение разрешения и качества.
Вас может заинтересовать, как эту функцию можно сравнить с Smart HDR, поскольку съёмка в RAW подразумевает отсутствие HDR. Я сделал сложный по условиям экспозиции снимок, использовав Smart HDR и наш новый RAW:
Smart HDR
RAW
Без редактирования они получаются почти одинаковыми; возможно, Smart HDR чуть получше.
Но RAW – это только отправная точка. Вот те же фотки после редактирования:
Smart HDR
RAW после редактирования
Такого динамического диапазона, как у Smart HDR, мы не получили – обратите внимание, как там небо становится более голубым – но подошли довольно близко. Мне больше нравится, как выглядит RAW после редактирования – чуть наутральнее.
Но главное преимущество: детали.
Я предпочитаю снимать в RAW из-за чёткости деталей, и на iPhone XS с его более крупными пикселями деталей стало больше, чем раньше. Прекрасный пример – листья у дерева справа вверху:
И так получается с большинством фотографий. Снимая в RAW, потом приходится поработать над снимком, но результаты часто того стоят. Конечно, в этом изображении очень много света – необходимо проверить, что получается после захода солнца.
В ситуациях с недостатком света существует компромисс. Чем меньше света, тем больше шума. iPhone XS вместе с Smart HDR в штатном приложении для съёмки прекрасно справляется с такими снимками, но иногда у него получаются не самые чёткие фотки.
На фотографиях с недостатком света всегда будет много шума. Smart HDR агрессивно его прячет, теряя в детализации. Если вам нужно больше деталей и не мешает небольшой шум, попробуйте наш Smart RAW:
Слева Halide Smart RAW, справа iPhone Smart HDR
Присутствует шум в тенях, а кожа выглядит более грубой из-за меньшего размытия светлых и тёмных пятен, но детализация потрясающая, по сравнению с изображениями, сделанными в штатном режиме.
Smart RAW всё ещё находится в режиме тестирования, и потребуется набрать очень много фотографических свидетельств того, что он идеально работает во всех ситуациях.
У iPhone XS появилась совершенно новая камера. Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на слияние экспозиций и вычислительную фотографию, её изображения могут сильно отличаться от тех, что сделаны в тех же условиях на другие айфоны.
Но, поскольку в отличие от предыдущих камер, её преимущества в качестве основаны на ПО, можно ожидать их улучшения и изменения. Это всего лишь первая версия iOS 12 и Smart HDR.
Нам же, разработчикам, нужно обновлять приложения, чтобы в полной мере воспользоваться преимуществами нового сенсора в iPhone XS и XS Max. Поскольку он так сильно отличается, к нему нельзя относиться, как к сенсору любого другого айфона, иначе вы получите неудовлетворительные результаты.
Если вас не очень устраивают некоторые аспекты этого дивного нового мира вычислительной фотографии или особенности обработки изображений от Apple, вы можете отключить активную HDR-обработку в настройках камеры, или снимать в RAW.
Для отключения необходимо зайти в Settings > Camera, и отключить там Smart HDR. После этого откройте камеру и в верхнем меню появится новая настройка HDR. Нажмите на неё, чтобы отключить HDR.
iPhone XS против iPhone X – изменения в камере на уровне железа
В последней версии нашего приложения мы сделали новую функцию, выводящую подробную информацию о том, на что способна камера вашего телефона. Пользователи, получившие раньше других доступ к iPhone XS, поделились с нами этой информацией, что позволило нам подробно описать спецификации железа.
Проведя анализ, мы можем выдать более подробный обзор того, что нового можно увидеть в камере iPhone XS, и больше подробностей о её технических возможностях, чем Apple пожелала раскрыть на презентации.
Это именно спецификации железа – притом, что Apple в основном концентрировалась на таких программных улучшениях, как Smart HDR и новый портретный режим.
Что нового?
Переделанные широкоугольные линзы
Линзы у iPhone XS and XS Max, использующиеся для большей части снимков, подверглись изменению, получив фокусное расстояние, эквивалентное 26 мм. Это на 2 мм меньше, чем у предыдущих моделей, iPhone 8 Plus и iPhone X, обладавших широкоугольными линзами на 28 мм.
Пользователь нашей программы и iPhone XS прислал нам фото, где видно разницу:
Новый сенсор
Наше приложение не может узнать размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор. Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше – а Apple утверждает, что размер пикселей на новом сенсоре для широкоугольной камеры составляет теперь 1,4 мкм, что на 0,2 мкм больше, чем у предыдущих.
Увеличение времени экспозиции до 1 секунды
iPhone XS и XS Max способны держать секундную экспозицию. Предыдущие iPhone могли держать экспозицию до 1/3 с. Эта способность может позволить делать всякие крутые фотографии с долгой экспозицией.
Увеличение диапазона ISO
Новый датчик – новый диапазон ISO, чуть шире, чем у iPhone XS. ISO теперь простирается от 24 ISO до 2304 ISO, что обеспечивает немного больше чувствительности при плохом освещении. Лучший из предыдущих датчиков iPhone выдавал только 2112 ISO.
Телеобъектив увеличил ISO на 240, теперь его максимальное значение не 1200, а 1440, что говорит о небольших подстройках сенсора. Возможно, это означает, что при том же уровне освещённости мы увидим меньше шума.
Изменения минимальной экспозиции
Увеличилась длительность минимальной экспозиции: на широкоугольной камере и телеобъективе эта величина поменялась с 1/91000 с на 1/22000 с и 1/45000 с, соответственно. Непонятно, что из этого следует – надо тестировать.
Сравнение полных списков технических подробностей:
Программные изменения
Мне было интересно, почему презентация от Apple концентрировалась на изменениях в программном обеспечении камеры, а не на её железе. Протестировав камеры iPhone XS, я понял, почему.
У iPhone XS не просто увеличен датчик: у него полностью переработана камера, и крупнейшим изменением стало то, что он полагается на вычислительную фотографию.
Умная камера
В Apple умны. Они видят, что от впихивания всё большего количества электроники в сенсор величиной с ноготь результатов получается всё меньше. Фотография – это наука о захвате света, она ограничена оптикой и физикой.
Единственный способ обойти законы физики – это "вычислительная фотография". Мощные чипы в современных iPhone позволяют компании сделать кучу фоток – некоторые из которых делаются ещё до того, как вы нажимаете на кнопку затвора – и слить их в одну идеальную.
iPhone XS сделает фото с увеличенной и уменьшенной экспозицией, сделает быстрые фотографии для заморозки движения и сохранит чёткость по всему кадру, и даже возьмёт лучшие части всех этих кадров, чтобы создать одно изображение. Вот, что вы получите от камеры iPhone XS, и вот что делает её такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного света или сильного контраста.
Это не небольшая подстройка Auto HDR на iPhone X. Это полностью новая функция, кардинальное отличие от фотографий всех предыдущих айфонов. В каком-то смысле, совершенно новая камера.
Что это за «мягкий фильтр» для селфи?
Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.
Людям кажется, что iPhone XS смягчает изображение, по двум причинам:
- Улучшенное, более агрессивное уменьшение количества шума из-за слияния различных экспозиций.
- Слияние экспозиций уменьшает резкость, устраняя контраст между светом и тенью, получающийся на разных участках кожи.
Тут важно понять, как мозг воспринимает чёткость, и как художники заставляют вещи казаться чётче.
Всё работает не так, как в комедийных сериалах типа CSI, где детективы кричат «улучшить!» на экран. Нельзя добавить утерянных деталей. Однако можно обмануть мозг, добавив небольшие контрастные участки.
Проще говоря, тёмная или светлая рамка рядом с контрастным светом или тёмной формой. Локальный контраст заставляет вещи казаться более чёткими.
Для улучшения контрастности надо сделать светлые области светлее рядом с границей, а тёмные области темнее рядом с границей.
iPhone XS сливает изображения с разными экспозициями и уменьшает яркость ярких областей и делает менее тёмными тени. Детали остаются, но нам кажется, что изображение менее контрастное, потому что потерян локальный контраст. На фото выше кожа кажется более гладкой потому, что свет не такой резкий.
Наблюдательные люди заметят, что это влияет не только на кожу. Шероховатые текстуры и практически всё тёмное – от кошек до углей – выглядит более гладким. Это работает уменьшение количества шума. iPhone XS делает это агрессивнее, чем предыдущие айфоны.
Зачем нужно уменьшать количество шума?
Испытав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более высокую скорость затвора и увеличенный уровень ISO. Иначе говоря, он делает фото быстрее, но из-за этого появляется шум.
iPhone X RAW
iPhone XS RAW
В формате RAW можно заметить, что у iPhone XS (справа) шума гораздо больше. В этом формате не происходит удаления шума. Почему же кадр XS должен быть таким шумным?
Помните ту презентацию с последовательностью кадров, показывающую, как работает камера айфона?
Если только у вас не бионические протезы, вы не сможете так долго держать телефон без движения. Чтобы получить чёткие и идеально выровненные изображения в таком количестве, айфону надо делать фотки очень быстро. Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.
Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.
iPhone XS RAW – детали в отражении более «гладкие»
Smart HDR
Но по большому счёту более гладкими становятся селфи – особенно лица!
Да. Железо фронтальной камеры хуже работает в низком освещении, чем у основной. У камеры для селфи маленький сенсор размером с ноготь мизинца, поэтому в него попадает меньше света, а значит, больше шума и больше удаления шума.
В результате получается более гладкое изображение, и Smart HDR вкупе с конвейером вычислительной фотографии сглаживает его сильнее, чем раньше.
Обратная сторона медали в том, что селфи, которые обычно получаются хуже в смешанном или резком свете (а такова большая часть освещения) уже не размываются, и в большинстве случаев выглядят лучше, только немного более сглаженными.
Хорошие новости в том, что Apple может и это немного подстроить, если людям покажется, что сглаживание работает слишком сильно, но поскольку тут стоит выбор между плохим освещением с шумом и слишком большим сглаживанием, логично, что версия 1.0 склоняется к сглаживанию.
По поводу заявлений о том, что ПО по-особенному относится к лицам: я фотографировал лимон, шероховатую бумагу и делал селфи, и уровень сглаживания везде был одинаковым.
Так что, камера iPhone XS хуже?
Нет, камера его не хуже, чем у iPhone X. У iPhone XS камера лучше. У неё выше динамический диапазон, но это связано с некоторыми компромиссами в ПО. Если вам не нравится делать вещи новомодными способами, не волнуйтесь.
Подобный снимок нельзя было сделать на предыдущих айфонах
То, что делает Apple, лучше практически для всех случаев: обычные пользователи получат фото лучше, там будет больше деталей на свету и в тенях, без всякого редактирования. Профессионалы смогут вернуть контраст, немного подредактировав фотки; обратное уже не получится: в контрастном изображении детали уже потеряны.
Теперь можно делать селфи и фото при резком освещении, боговом освещении или другом, не выравнивающем свете, и получить приемлемый результат. Это прямо волшебство!
Есть только две небольшие проблемы.
Проблема подлинности
Камеры всё больше превращаются из простых инструментов в «умные устройства», использующие различные сложные операции для объединения нескольких изображений в одну, и мы задаёмся вопросом, смотрим ли мы на «неотредактированное» изображение.
Возьмём это фото Йосемитского национального парка:
Оно отредактировано. Чтобы правильно экспонировать ландшафт, фотограф использовал долгую экспозицию. Затем снял звёзды с более короткой экспозицией, иначе бы они превратились в следы. Затем объединил два фото в одно. Технически говоря, это подделка.
Вернёмся к iPhone: Smart HDR берёт разные экспозиции и сливает их вместе, чтобы получить больше деталей в тени и на свету. В этом есть определённая степень подделки. Сторонники чистоты фотографий могут возмутиться по этому поводу.
iPhone XS, Smart HDR
iPhone XS
iPhone X
Без Smart HDR очень сложно сделать HDR вручную так, чтобы изображение не выглядело подделкой. Есть целый сабреддит, посвящённый хреновым HDR.
У среднего изображения, с отключённым Smart HDR, всё ещё большой динамический диапазон, но оно кажется не таким «автоподстроенным».
Так теперь работает камера на айфонах. Готов поспорить, что и в будущем она будет работать именно так.
Да, и это применимо к видоискателю любого приложения, делающего фотографию. Apple улучшает динамический диапазон на лету, прямо в видео, поэтому вы всегда будете видеть «изменённое» изображение.
Проблемы с RAW
С практической точки зрения проблемы начинаются вот с чего: iPhone XS делает экспонирование совсем не так, как iPhone X. А это имеет огромное значение при съёмке в RAW.
Возьмём такой снимочек:
iPhone X RAW
iPhone XS RAW
Вы сразу заметите, что второе фото передержано. Начав редактировать файл iPhone XS RAW, вы увидите, что светлые части изображения утеряны.
Углубившись в детали, вы увидите вторую проблему: iPhone X делал экспозицию в 1/60 с и ISO 40, а iPhone XS делал экспозицию с 1/120 с и ISO 80. Мы подозреваем, что для получения наилучшего фото для Smart HDR, камере просто приходится использовать меньшую экспозицию и более высокие значения ISO.
Мы делаем приложение для камеры, чтобы получать фотографии в RAW, поэтому это очень плохо. RAW не только не получает преимуществ от слияния нескольких фото – фотографии iPhone получаются очень шумными на уровне ISO 200. Это шаг в неправильном направлении.
Ещё больше ухудшает ситуацию то, что сенсора iPhone XS шум получается чуть более активным и цветным, чем у iPhone X.
Такой шум не так-то просто убрать на постобработке. Это не мягкая зернистость плёнки, которую мы наблюдали у iPhone X и iPhone 8 в RAW.
На сегодня получается, что если снимать RAW на iPhone XS, придётся переключаться в ручной режим и уменьшать экспозицию. Иначе ваш RAW получится хуже, чем JPEG от Smart HDR. От этого страдают все сторонние приложения для камеры. Как ни странно, RAW файлы от iPhone X выглядят гораздо лучше, чем от iPhone XS.
Наше решение: Smart RAW
К счастью, это можно поменять. После выхода iPhone XS мы, работая по ночам и выходным, придумали решение того, как извлечь максимум из большего по размеру сенсора и его глубоких пикселей.
Мы сделали Smart RAW – функцию, использующую новую сенсорную технологию в iPhone XS, и делающую фотографии в RAW лучше, чем это мог бы сделать iPhone X. Smart RAW не использует никакие функции Smart HDR – он наоборот их избегает, чтобы вам практически не нужно было убирать шум.
Теперь, когда мы обошли проблемы с экспозицией iPhone XS, в файлах Smart RAW можно обнаружить удивительное количество деталей. Давайте посмотрим на фотографию с концерта First Aid Kit и сравним варианты с использованием Smart RAW и без него:
Без Smart RAW
Smart RAW
Гораздо лучше, чем у iPhone X. Вот несколько сравнений RAW-изображений, сделанных с iPhone XS и iPhone X.
Результаты удивительны: меньше шума, больше деталей.
Лучшая особенность Smart RAW: благодаря подстройке сенсора iPhone XS, мы получаем максимум качества в изображениях, больше, чем когда бы то ни было. При переходе от iPhone X к iPhone XS происходит удивительное увеличение разрешения и качества.
Smart RAW против Smart HDR
Вас может заинтересовать, как эту функцию можно сравнить с Smart HDR, поскольку съёмка в RAW подразумевает отсутствие HDR. Я сделал сложный по условиям экспозиции снимок, использовав Smart HDR и наш новый RAW:
Smart HDR
RAW
Без редактирования они получаются почти одинаковыми; возможно, Smart HDR чуть получше.
Но RAW – это только отправная точка. Вот те же фотки после редактирования:
Smart HDR
RAW после редактирования
Такого динамического диапазона, как у Smart HDR, мы не получили – обратите внимание, как там небо становится более голубым – но подошли довольно близко. Мне больше нравится, как выглядит RAW после редактирования – чуть наутральнее.
Но главное преимущество: детали.
Я предпочитаю снимать в RAW из-за чёткости деталей, и на iPhone XS с его более крупными пикселями деталей стало больше, чем раньше. Прекрасный пример – листья у дерева справа вверху:
И так получается с большинством фотографий. Снимая в RAW, потом приходится поработать над снимком, но результаты часто того стоят. Конечно, в этом изображении очень много света – необходимо проверить, что получается после захода солнца.
В ситуациях с недостатком света существует компромисс. Чем меньше света, тем больше шума. iPhone XS вместе с Smart HDR в штатном приложении для съёмки прекрасно справляется с такими снимками, но иногда у него получаются не самые чёткие фотки.
На фотографиях с недостатком света всегда будет много шума. Smart HDR агрессивно его прячет, теряя в детализации. Если вам нужно больше деталей и не мешает небольшой шум, попробуйте наш Smart RAW:
Слева Halide Smart RAW, справа iPhone Smart HDR
Присутствует шум в тенях, а кожа выглядит более грубой из-за меньшего размытия светлых и тёмных пятен, но детализация потрясающая, по сравнению с изображениями, сделанными в штатном режиме.
Smart RAW всё ещё находится в режиме тестирования, и потребуется набрать очень много фотографических свидетельств того, что он идеально работает во всех ситуациях.
Итоги
У iPhone XS появилась совершенно новая камера. Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на слияние экспозиций и вычислительную фотографию, её изображения могут сильно отличаться от тех, что сделаны в тех же условиях на другие айфоны.
Но, поскольку в отличие от предыдущих камер, её преимущества в качестве основаны на ПО, можно ожидать их улучшения и изменения. Это всего лишь первая версия iOS 12 и Smart HDR.
Нам же, разработчикам, нужно обновлять приложения, чтобы в полной мере воспользоваться преимуществами нового сенсора в iPhone XS и XS Max. Поскольку он так сильно отличается, к нему нельзя относиться, как к сенсору любого другого айфона, иначе вы получите неудовлетворительные результаты.
Если вас не очень устраивают некоторые аспекты этого дивного нового мира вычислительной фотографии или особенности обработки изображений от Apple, вы можете отключить активную HDR-обработку в настройках камеры, или снимать в RAW.
Для отключения необходимо зайти в Settings > Camera, и отключить там Smart HDR. После этого откройте камеру и в верхнем меню появится новая настройка HDR. Нажмите на неё, чтобы отключить HDR.
Комментарии (43)
kahi4
16.10.2018 11:21Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.
Являюсь буржуем с iPhone XS. Простой эксперимент: прикрываем половину лица рукой и смотрим как ведет себя камера. Сразу в глаза бросается агрессивная цветокоррекция, однако так же накладываются фильтры, убирающие дефекты кожи. Попробуйте воспроизвести в магазине, например. Я не говорю, что это прям уж так плохо, но лицо он корежит фильтрами.
boootloader
16.10.2018 13:49прикрываем половину лица рукой и смотрим как ведет себя камера. Сразу в глаза бросается агрессивная цветокоррекция, однако так же накладываются фильтры, убирающие дефекты кожи
XS Max, абсолютно НЕ подтверждаю. Во-первых, чтобы камера переставала распознавать лицо, нужно закрыть его почти целиком (половины лица явно недостаточно). Во-вторых, даже если изловчиться, то нет никакой разницы в плане ретуши. При ярком освещении даже со сработавшим определением лица на фото отчетливо видны все мои дефекты и дефектики. В полумраке камера просто пытается агрессивно маскировать шумы, как и указано в статье.kahi4
16.10.2018 16:04Под спойлером две фотки
Мой лоб
safari2012
16.10.2018 18:36кожа на руках сильно отличается по цвету (либо по светоотражающей способности) от лица?
kahi4
16.10.2018 19:31Нет, да и это не важно. Он меняет тон сразу как обнаруживает лицо, буквально небольшое движение пальцем, при котором становится виден глаз.
Если бы я не был стесняшкой, записал бы видео, где это хорошо видно, вживую сразу бросается в глаза. Но чего тут такого? Он видит лицо и пытается сделать цветокоррекцию, ничего волшебного.
К счастью, на ютубе есть много кто не стесняется, вот тут видно это на видео:
https://youtu.be/Q3GGdtn9poo?t=299
Впрочем признаю, скорее всего речь идет не о ретуше, а об кривой светокоррекции с шумодавом. Детали действительно более-менее на месте, но контраст их уменьшен, из-за чего это воспринимается как-будто бы кожа стала более гладкой.
staticmain
16.10.2018 11:42Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.
И потом дальше по тексту:
Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.
Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.
iPhone XS RAW – детали в отражении более «гладкие»
Но по большому счёту более гладкими становятся селфи – особенно лица!
timurey
16.10.2018 12:19А появилась возможность отключать встроенную стабилизацию? Для записи видео со стедикама необходимо её отключать.
advan20092
16.10.2018 13:57Не у всех БЗК с IBIS есть функция блокировки сенсора, а вы этого от телефона хотите.
JC_IIB
16.10.2018 13:44Интересно, почему обо всем этом умолчала Apple, в их сравнивалке на сайте у Х и XS абсолютно одинаковые камеры.
Ilyasyakubov
16.10.2018 23:43По тем параметрам, которые Apple привыкла указывать в Tech Specs, камеры одинаковые ;)
Filippok
16.10.2018 15:10Интересно, почему Apple не делает версии без камеры? Наверняка камера — половина стоимости девайса и почему за нее должны переплачивать те, кому этот функционал не нужен — не понятно.
red_andr
16.10.2018 21:17А кому то не нужны динамики, а кому то сенсоры Face ID, а кому то чипы Bluetooth или NTC. И пошло поехало. В результате имеем десяток вариантов одного телефона, причём не дешевле, чем в котором есть всё это, так как надо отбивать затраты на разработку отдельных версий и кастомизацию производства.
RaymanOne
16.10.2018 15:15Можно поздравить пользователей Apple. Появился такой же режим, как на Google Pixel в 2016 году.
xRay
16.10.2018 21:07Huawei выкатил Mate 20 и Mate 20 Pro вот где камера интересная точнее аж три камеры. (в смартфоне Mate 20 Pro дактилоскопический датчик встроен прямо под экран)
Ilyasyakubov
16.10.2018 23:48В последних Хуавеях (P20 / Mate 20) просто установлен здоровенный основной сенсор. Воткнуть в смартфон сенсор размером 1/2" и больше никакая не проблема. Сделать сбалансированный смартфон, вот тут надо постараться.
mistergrim
16.10.2018 23:28Тут на 5% лучше, тут на 10% лучше, тут вообще сомнительно — и вот вам совершенно новая камера.
Ilyasyakubov
16.10.2018 23:45Конечно же она не «совершенно новая», просто сенсор чуть больше. Это автор оригинальной статьи насыпал немного маркетингового булщита в статью.
Politura
17.10.2018 01:27Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.
Выглядит очень непонятно, причем тут скорость затвора? Шумы оттого, что приходится задирать ISO на коротких выдержках. Полез в оригинал: That requires a shorter shutter speed?—?and that, in turn, means that there will be more noise in the image.
В оригинале тоже shutter speed и оказалось, что в переводе на русский это выдержка :)
Сам только что узнал: залез на википедию en.wikipedia.org/wiki/Shutter_speed и переключился на русский язык.
В общем, корректный перевод будет «Это требует более короткой выдержки – а это значит, что на изображении будет больше шума.»vsb
17.10.2018 01:41Выдержка и скорость затвора это в общем-то одно и то же (ну формально в айфоне нет никакого затвора, конечно).
Politura
17.10.2018 01:57Разумеется это не одно и тоже, однако по смыслу текста подходила выдержка, а не скорость затвора и как оказалось, в оригинале она и имелась ввиду (тем более shorter еслиб и правда была скорость логичнее было-бы писать faster). Интересно, как по-английски будет скорость затвора?
cyberly
17.10.2018 05:42Почему это не одно и то же?
Интересно, как по-английски будет скорость затвора?
Shutter speed? В английской википедии, на которую вы сослались в предыдущем комментарии, в первом предложении написано:
shutter speed or exposure time is the length of time when the film or digital sensor inside the camera is exposed to light
скорость затвора или время экспозиции — промежуток времени, в течение которого на пленку или цифровой сенсор внутри камеры попадает свет
То есть, там shutter speed измеряется в единицах времени, соответственно, «shorter» — корректно.
Или вас смущает, что «скорость» — это должно быть что-то про расстояние деленное на время? Ну, тогда это, видимо такой же казус как с номерами наждачной бумаги, калибрами/площадью проводов и калибрами огнестрельного оружия (где-то большее число означает «мельче», где-то «крупнее», а физический смысл этих номеров часто совсем не интуитивен)Politura
17.10.2018 08:16Скорость затвора это термин со времен пленочных фотоаппаратов, когда шторки, или лепестки открывали доступ свету к пленке. То есть была механика, которая открывалась/закрывалась с какой-то скоростью, могла срабатывать быстро, а могла медленно. Однако скоростью затвора регулировать количество света было весьма фигово, т.к. если шторку открывать медленно, пленка засвечивалась неравномерно, в нормальных фотоаппаратах скорость затвора по сути определяла лишь минимально возможную выдержку. В телефонах никаких механических затворов нет, так что термин к ним вообще никак не применим.
Может, конечно и путаю что-то, ибо фотографией, проявлением пленки в ванной комнате и прочим непотребством увлекался лет 30 назад.cyberly
17.10.2018 10:59Ну, вот, фотоаппарат 60-х годов (в большом размере по клику на картинку). Колесико выбора времени экспозиции (под номером 4) подписано shutter speed dial:
В чисто электронной камере используется схема, которая называется «электронный затвор» — камера сначала обнуляет матрицу, а через некоторое время — дает команду на оцифровку накопленного в каждом пикселе заряда (либо на копирование величины этого заряда в промежуточную ячейку, где падающий свет на него уже не будет влиять и откуда он будет впоследствии считан и тоже оцифрован). Время между этими командами определяет экспозицию.
По поводу происхождения термина, нашел в википедии, что таки бывают
механические затворы, для которых время экспозиции задается скоростью движения шторки:
Частным случаем шторного затвора может считаться гильотинный (например, в фотоаппаратах «Киев-Вега») с щелью постоянной ширины, движущейся с переменной скоростью. Так же действуют обтюраторные затворы.
Я допускаю, что в какие-нибудь стародавние времена фотоаппаратов с такими затворами было достаточно много, чтобы термин закрепился.
ilitaexperta
APLe
Для этого, вроде, придётся толщину увеличивать?
Tenebrius
Как будто, это что-то плохое =)
Думаю, я единственный, кто был бы не против, если хотя бы некоторые телефоны были потолще и поменьше диагональю.
Nikita_64
Не единственный.
sw0rl0k
Думаю все, кроме дизайнеров и маркетологов производителей смартфонов были бы не против.
springimport
Iphone 8 plus весит 202 грамма. Несмотря на то что мне он нравится я всегда считал его вес избыточным, не в последнюю очередь благодаря возможности беспроводной зарядки.
Предлагаете сделать его 300-граммовым чтобы руки отваливались?
Tenebrius
Ну, во-первых изменение компановки не обязательно изменит объем/вес.
Во-вторых, не знаю, сколько грамм весит мой телефон. но увеличения веса раза в полтора для меня не критично.
В третьих, я не предлагаю все телефоны делать такими. Но от возможности выбора я бы не отказался. У тех же айфонов в некоторых версиях есть «стандартная» модели и «увеличенная» (по площади), можно было бы добавить и «неувеличенно утолщенную».
sevikl
попробуйте карманы, очень удобная штука, чтобы не таскать телефон в руках, которые и так, видимо, слишком слабенькие.
offtop: скучаете по алюминиевым столовым приборам или купили карбоновые? нержу тоже держать нелегко, когда супчик кушаешь.
Lincoln6Echo
Увеличение веса даст «подрессорную массу», т.е. тремор при съемке с рук уменьшится. Объектив будет меньше дрожать по всем плоскостям. Не стоит конечно до беспредела доводить смартфон, но эффект хорошо знаком фотографам, когда к аппарату прикручивается монопод, но при этом съемка ведется с рук по ракурсам без касания моноподом земли — при большей выдержке получаешь меньший ISO, что есть гуд. Более массивным смартфоном вы с рук при прочих равных сможете снять лучше фотографию, но, это закономерно имеет свою цену.
springimport
Пост о камере, понятно почему вы акцентируете на ней.
Я бы сильно подумал над выбором если бы с отказом камеры смартфон бы стал легче на 50 грамм или бы прибавил 500-1000 мА к батареи.
red_andr
Motorola с Hasselblad True Zoom попыталась пойти таким путём, но не вышло что то.
Stepanow
Там тоже сенсор с ноготок. Только к нему прилагается выдвижной хобот для зума