Авторы Creatism Хуэй Фанг (Hui Fang) и Мэн Чжан (Meng Zhang) считают, что по итогам разработали шкалу оценок красоты, которые в будущем фотографы могут использовать для объективных сравнений. По результатам они провели то, что назвали тест Тьюринга для фотографов. Исследователи предложили экспертам оценить смесь лучших снимков, сделанных людьми и созданных Creatism, не говоря что в наборе есть созданные машинами. 40% работискусственного интеллекта удостоились оценки «хорошие снимки с художественным вкусом». Разработчики ставят целью помочь любому фотолюбителю превратить свой фотоснимок в красивое изображение без фильтров и настроек. Нажатием одной кнопки, запускающей Creatism.
Приблизив передачу света к естественной и наиболее «глубокой», алгоритм иногда делал мелкие ошибки склейки панорамы, которые можно увидеть на этом фото.
Проблемы светопередачи у фотографий
Матрица цифровой камеры не способна одновременно зафиксировать информацию и в тёмных участках изображения, для которых нужна экспозиция (выдержка) побольше, и в светлых, где хватит экспозиции поменьше. Динамический диапазон — это разница в ступенях экспозиции между самым тёмным и самым светлым участком изображения, которые могут быть воспроизведены без потери информации. В совершенно чёрных участках изображения (в переэкспонированных), равно как и в пересвеченных (недоэкспонированных) информацию восстановить невозможно. Тёмные участки изображения можно высветлить, но уже с искажениями. При HDR методе картинка из нескольких снимков, сделанных с разной экспозицией, объединяется в одном 32-битном файле.
Зрение человека способно фиксировать зрительную картинку с разницей в 10-14 ступеней освещенности под ярким солнечном светом (на солнце у зрачка нет возможности адаптации к разной освещённости) и до 24 ступеней при тусклом свете звёзд (возможна адаптации зрачка к световой разнице). Увидеть мы можем, а вот запечатлеть даже часть этого диапазона на фото бывает сложно. Динамический диапазон обычной негативной плёнки составляет около 9-11 ступеней экспозиции, слайдовой плёнки — 5-6 ступеней, матрицы цифровой камеры — от 8 до 11 для большинства цифровых камер. Специальные камеры обеспечивают 17 и более ступеней съемки. Воспроизвести реальный динамический диапазон тоже непросто. Фотобумага например способна воспроизвести всего 7-8 ступеней экспозиции.
Особенности Creatism
Для эксперимента были взяты 15 000 профессиональных фотографий с сайта 500px.com с разрешением не менее 299 х 299 пикселей. С их помощью разработчики научили Creatism выделять самое интересное в пейзаже. Затем на базе 40 000 панорамных сферические снимков пейзажей в национальных США, Канады и Европы алгоритм научили работать с цветом и светом.
Затем каждому кадру усилили динамический диапазон, и применили собственную операцию «фильтр выразительности», улучшающую тени, освещение и цвет. Для этого уже по традиции для обработки изображений, использовали модель генеративной состязательной нейросети — модель, когда одна часть программы ухудшает качество оригинала, а другая пробует его восстановить и обучается «как делать не надо».
Для создания конечной оценочной шкалы взяли базу AVA, в которой 250 000 изображений, а главное — множество разнообразных метаданных, включая большое количество эстетических оценок для каждого изображения, семантические метки по 60 категорий, а также ярлыки, связанные с фотографическим стилем для профессиональной сортировки.
По итогам всех операций обработки 400 фотографий эксперимента смешали с 800 фотографиями AVA и дали оценить экспертам.
Жюри
Фотоэкспертам с профессиональным образованием и минимум 2 летним опытом было предложено оценить к какой категории относится снимок и дать соответствующую оценку:
- Сделано «мыльницей» — как вышло, так вышло. Ни настроек, ни фокуса.
- Хорошее фото неопытного новичка, но художественная ценность минимальна.
- Полупрофессиональный снимок. Четко виден художественный вкус.
- Сделано профессионалом.
Из числа обработанных Creatism 40% снимков попали в категорию от 3 до 4 — то есть были признаны как минимум полупрофессиональными. Средняя же оценка была ниже 3.
Исследователи опубликовали лучшие снимки, обработанные Creatism. Под каждым для сравнения показана полная панорама, из которой он был вырезан.
Комментарии (22)
napa3um
21.07.2017 00:23Естественным мозгам придётся конкурировать друг с другом в сюжетности изображений, а не в профессиональности обработки. Вроде, все участники рынка в выигрыше.
Leeloush_Keer
21.07.2017 09:47+2> В совершенно чёрных участках изображения (в переэкспонированных), равно как и в пересвеченных (недоэкспонированных).
Вот тут у вас ошибочка. Наоборот — снимок получается «тёмный» или недоэкспонированным, и, соответственно, выжжено-белым или переэкспонированным.
P.S. Современные камеры практически не встречаются с абсолютным «недосветом», и, зачастую, информацию из сильных, казалось бы, провальных теней можно восстановить (с шумами и потерей резкости, но всё-таки), а вот получить «пересвет» очень просто, даже на автомате. А вот убрать практически невозможно.
Artystarty
22.07.2017 17:59[...] получить «пересвет» очень просто, даже на автомате. А вот убрать практически невозможно.
Если фотография сделана в формате RAW, то из переэкспонированных мест снимка можно вытянуть детали. Не пробовал подобное в PS или LightRoom, а в DPP (Digital Photo Professional) от Canon такой фокус делается с помощью линейной гамма-коррекции. Зачастую запаса сохранённых RAW-данных хватает для того, чтобы места с белыми пятнами можно было исправить методом HDR-фотографии (либо просто свести исправленные области с оригиналом в PS).
Arty_Fact
24.07.2017 05:07Это не пересвеченные места вы вытягиваете, а только которые кажутся белыми. В реальности, если засветили участки, то там нет никакой дополнительной информации, чтобы предположить, что там было.
Artystarty
25.07.2017 13:09У цифровых фотокамер нет таких умозрительных понятий ;) Камеры работают с очень широким динамическим диапазоном, который перекрывает ДД любого sRGB дисплея, в том числе встроенного в камеру. Благодаря этому и есть запас по свету/цвету/контрастности. Чтобы «реально» переэкспонировать снимок, нужно первый раз в жизни держать в руках цифровую камеру, не знать, что такое автоэкспонометр — и не уметь им пользоваться, а после жахнуть вслепую и промазать в экспозиции ступеней на 5+ (нужно попробовать сымпровизировать). Возможно, после этого у вас и получится пересвеченный снимок, детали которого выходят за рамки динамического диапазона RAW. По сути это будет белое пятно во весь кадр.
Поэтому, грамотно щёлкая цифровой камерой и ошибаясь с экспозицией на 1-2 ступени, всегда можно вытянуть детали из снимка из пересвеченных областей. Вот это реальность )Arty_Fact
26.07.2017 05:06не нужно никаких умозрительных понятий. Я ориентируюсь на гистограмму.
Понятно, что 10 бит RAW будет лучше, чем 8 бит RGB, однако и снимая в RAW можно получить пересвет. Достаточно поставить модель в тень и сфотографировать на фоне неба в яркий день. Автоматика выставит экспопару по модели, а небо будет пересвечено.Artystarty
28.07.2017 15:30Для примера сделал снимок на скорую руку (извините, без романтики):
Снимок экрана с интерфейсом DPP - экспозиция камеры
Arty_Fact
28.07.2017 17:02Почти согласен с вами. RAW великолепен, и я, естественно, снимаю в него.
Каюсь, специально не снимал для ветки —нашел баловство в своей библиотеке:
Artystarty
28.07.2017 16:11В принципе, можно было проще ответить ) Вот статья двухгодичной давности на Гиктаймсе, в ней обо всём об этом, что выше и даже подробнее:
Фотография в RAW: динамический диапазон и контрастность
maksim_ms
21.07.2017 10:36+1Да что так мучаться то.
1. ищем фотки в инстаграм (или где-то еще) с наибольшим количетвом лайков.
2. определям какой фильт был применен
3. применяем к нашей фотографии.
Лайки не врут, миллионы людей не могут ошибаться)
cicatrix
21.07.2017 11:16Опубликованы только природные пейзажи. Интересно, как оценивается композиция и сюжет, например, в натюрмортах, портретах, репортажных фото. Мне кажется, всё, что научилась делать машина — это накладывать цветофильтры.
Arty_Fact
21.07.2017 11:56На чем учили, на том и проверяют, очевидно же. Тем более такая большая база снимков у Гугла есть для цветокоррекции.
we1
21.07.2017 13:55Кадры взяты из Google Street View, поэтому кроме пейзажей другие фотографии не рассматривались.
2Dzot
21.07.2017 20:39Как-то фото особо не тянут на
3. Полупрофессиональный снимок. Четко виден художественный вкус.
4. Сделано профессионалом.last_hp
22.07.2017 04:51С коровой отличный снимок, можно сказать классичесая композиция. Ну и много еще более менее хороших снимков. Похоже вам просто не хватает художественного вкуса чтобы оценить это ;)
ProLimit
22.07.2017 01:17По ссылке очень неплохая обработка, чтобы так сделать — нужно иметь вкус и владеть фотошопом на высоком уровне. Обработанные фотки и правда отличаются от оригиналов в лучшую сторону. Ну что же, ждем появления новых поколений фильтров в инстаграмме и смартфонах. Мы все ближе к волшебной кнопке «снять шедевр».
ads83
22.07.2017 23:1740% работискусственного интеллекта удостоились оценки «хорошие снимки с художественным вкусом»
А какие оценки получили фото из «контрольной выборки»? Ведь слепая оценка нужна как раз чтобы можно было получить относительные показатели. Из статьи непонятно: 40% это оглушительный успех (у контрольной выборки получили 10%) или феерический провал (90% обычных снимков получили высшую оценку)?
MegaVaD
>совершенно чёрных участках изображения (в переэкспонированных)
негативчики? ;)