Вот что бывает, если вы споткнётесь во время съёмки

Мы в Туту почти полгода проводили конкурс на самый необычный памятник в России. У нас в стране есть и памятник клавиатуре в Екатеринбурге, и всегда метущий к вам спиной дворник, и лабораторная мышь, которая вяжет ДНК в обратную сторону, и двухметровый комар, и вообще что угодно.

Мне хотелось обеспечить одинаковые условия с точки зрения оценки памятника для всех на голосовании. Не такие, чтобы зависели от фотографа, погоды на месте, времени суток и кривизны рук, а реально привести всё к некоему общему знаменателю. В рекламе такой вопрос решается просто рендером вместо фото.

Ну я взял и предложил отснять каждый памятник и сделать 3D-модель автоматически на основе фотографий — что-то вроде 3D-сканирования кроссовок, только для памятника. На первый взгляд задача выглядела исполнимой, если у вас есть доступ к большому сообществу путешественников из разных городов. У нас есть.

Но тогда я ещё не знал, что некоторые памятники придётся лепить из пластилина дома, некоторые «отрывать» от опоры, а некоторые находятся на закрытой территории какого-нибудь мирного производства между двумя городами в Сибири.

В общем, я хочу поделиться с вами STL-моделями с лицензией для некоммерческого использования 10 памятников-финалистов конкурса. И рассказать про ощупанные грабли в фотограмметрии, позволяющие делать такие операции в очень разумном бюджете. Бюджет был 2500 рублей на модель.

Процесс съёмки

Сначала мы пошли по доступным недалеко от нас случайным памятникам, чтобы понять, как именно нужно писать инструкцию тем далёким от ИТ и фотографии людям, которые взялись нам помогать со съёмкой памятников.

Суть метода — взять камеру, трижды обойти памятник по кругу со средней, нижней и верхней точек, чтобы памятник всегда полностью был в кадре, плюс потом доснять детали вроде внутренних элементов.

Если памятник высокий – всё снизу, если ниже человеческого роста или есть дрон – можно и покружить сверху.

Снимать можно на что угодно — начиная от GPS-дрона (дорогого в аренде и сложного в обращении) и заканчивая телефоном, который есть у всех. На практике после ряда опытов оказалось, что снимать лучше всего на простую, но всё же зеркальную камеру с распространённым (лучше всего китовым) объективом. На дорогую беззеркалку тоже можно, но где ж её на Руси взять-то. Почему важен распространённый объектив и зеркалка — потому что шагом дальше нам понадобятся RAW-файлы, которые мы загоним в Лайтрум, где сверху будет наложен корректирующий профиль для объектива, исправляющий геометрию. Если такой профиль не найдётся или будет каким-то творчески-редким, то мы потеряем в точности и модель может неожиданно превратиться в тыкву.

Вот пример превращения в тыкву:



Узнаёте памятник «Свидание», где мужик с цветами летит навстречу любви? Нет? А должны. Правда, здесь девушка упала со стремянки во время съёмки.

Вот с такого ракурса, наверное, более понятно:



Итоговая STL с ним рендерится вот так. Памятник, кстати, занял второе место в конкурсе. История с ним отличная: вроде бы сначала он летел через дверь с пиццей, потом пиццу заменили на букет роз, букет роз — на букет полевых цветов и неправильно поставили, углубив на лишние полметра, после чего памятник начал бить этими ромашками прохожих по голове:



А ещё нам важно будет вытаскивать детали в тенях, убирать хроматические аберрации, добавлять резкость и обесцвечивать зелень. Часть памятников, которые снимали ближе к концу конкурса, уже была под сибирским снегом. Снег решался не в Лайтруме, а закрашивался поверх текстуры в Substance Painter, но про это дальше.

Методология съёмки

Итак, чтобы собрать памятник, нужно сделать на типовой объект три круга:
1. Со средней точки.
2. С нижней точки.
3. С верхней точки.

Ещё бывают детали внутри памятников, тогда нужно плавно зайти, снимая, и плавно выйти, снимая. Во все полости после кругов плавно выходим и заходим, чтобы сдвиги между кадрами были минимальными, потому что этот шайтан-софт должен посчитать вектора сдвига в каждом кадре и понять, как изменилась координата фотографа.

Настоящие профессионалы используют опорную RTK-станцию, но мы же работаем силами сообщества, помните?

Снимаем на широкоугольник. Лучше всего 18 мм или 24 мм на 1,6 кропе. Диафрагма закрыта до 7,1 или 9. Есть проблемы с объективами 50 mm fix: например, в основном на них снимали мелкие памятники, и почти при любом диафрагменном числе часть памятника выпадала за границу резкости, и софт тупил. Если памятник высотой до метра, можно снимать даже на диафрагменных числах 9-11, но дальше будут ухудшаться края модели.

Вот так собрались панда и медведь, дружба России и Китая навек. Только постамент:



В итоге мы заказывали моделинг этих медведей 3D-скульптору, потому что это не собралось уже после второй съемки. Выглядят они вот так:



Памятники сделаны из разных материалов. Лучше всего бетон (не для памятника, для съёмки). Бетон надёжен, как Борис Бритва. Бетон обладает массой и почти не бликует. Но бывают памятники из металла и с блестящими краями. Блики с точки зрения софта — это дырки в модели.

Поэтому мы стараемся поймать пасмурную погоду (это когда небо затянуто тонким слоем облаков и представляет собой огромный рассеиватель для солнца, то есть свет идёт отовсюду, практически лучший портретный свет). При этом погода должна быть стабильной, потому что съёмка занимает какое-то время и изменение света и цвета нам не очень нужно. Пасмурная погода убирает суперблики. Места с серебрянкой всё равно будут выгибаться на моделях внутрь, и это придётся править руками, но за счёт погоды можно отыграть очень много качества на автоматической сборке. Кто-то может спросить: а почему вы не использовали матирующий спрей? Всё по той же причине краудсорсинга: у нас обычные люди, которые могут неправильно его нанести, плюс потом его же надо счистить щёткой. А в этой ситуации полиция может принять фотографа за вандала.

Для тех памятников, которые не сильно превышают человеческий рост, нужна стремянка для третьего круга и съёмки макушки памятника. Под конец конкурса мы научились текстурировать недостающие макушки, чтобы камера крутилась не только в горизонтальной плоскости, да и ребята набили уже руку, и эти допдействия не требовали сильного увеличения времени обработки.

Идеальному сферическому памятнику нужно 18 кадров в один круг. Один идеальный памятник был бы — это глобус. Если бы он был с человеческий рост. Но из-за громадных размеров пришлось снимать его с коптера.



Всё остальные сложнее. Вот якутский дворник из Безликих (с другой стороны он точно такой же), на него нужно уже около сотни кадров:



А вот комар-нефтесос из Ноябрьска, он требует уже большего числа кадров. Он занял третье место в конкурсе. Я сейчас в очередной раз смотрю на ноги нефтесоса, и мне снова хочется плакать. Наши модели неидеальные, конечно, а этот ещё и сильно бликовал всеми своими частями:



И наш рекордсмен — Горыныч из Липецка, два прохода по 700 кадров, и всё равно сырая модель была вот такая:



Из-за количества фотографий подхватывалось небо с облаками, которое не было статичным, поэтому вышло что вышло:



Финал для сравнения вот:



Горыныча и подобные памятники собирали долго. Дракона 3 дня, сначала закинули, прогнали, получилось много мусора. Во второй прогон почистили, оставив треть от общего количества кадров. В третий подход сделали примерно для 100 кадров маски (то есть вырезали в фотошопе, целый день в 4 руки этого змея, максимально чисто), и вот после масок на третий день у нас получилась более-менее чистая сборка.

Про Горыныча мы узнали, что в качестве референса для лепки дракона использовалась какая-то старая игрушка, но достать её не удалось, да и скульптор отошёл от неё достаточно далеко. Скажем так, по ней он изучал анатомию этого зверя и его пластику.

А ещё у нас оказалось очень много памятников с кучей деталей. Буквально, из кучи деталей:


Монумент «Время». Магаданская область, Магадан.

Вот такой вышел в финал:


Скульптура «Динозавр». Псковская область, Опочка.

В этом месте вы можете спросить меня: неужели нельзя было попросить у скульпторов, заказчиков или авторов идей модели, по которым они это делали? Отвечаю: удивительно, но моделей ни у кого не было. Более того, как мы говорили со скульпторами и владельцами памятников, они с радостью соглашались раскрыть модели для некоммерческого использования, потому что оцифровка памятника для них огромный плюс.

Но была пара исключений. Во-первых, в Новосибирске на территории НИИ стоит мышь, которая плётет ДНК. Вот про неё учёные сказали, что они сами сделают фотограмметрию и пришлют. И сделали. И прислали модель.

Софт для фотограмметрии

Сначала попробовали демоверсию 3DZephirus. Реклама говорит, что они там все просто боги, с ним собирается всё отлично и вообще надо быстрее покупать. Хорошо, что есть демка. В общем, берёте любой опенсорсный пакет (в нашем случае Meshroom) — и на наших входных фотографиях всё собирается в сотни раз лучше. Прощай, 3DZephirus, спасибо за сэкономленные 3000 долларов. В защиту этого ПО отмечу, что студийную съёмку с выверенными до миллиметра сдвигами он действительно собирает лучше других. Но это не наш случай.

Потом я увидел, как мой знакомый собрал кроссовки для рекламного ролика с помощью
Agisoft Metashape. Про этот пакет есть хороший перевод на Хабре, вот он. Нашли ещё одну софтину за 699 рублей в месяц RealityCapture (отличный софт, собирающий в 2 клика, в большей части сборки использовали её в итоге). И увидели бесплатный Meshroom. Он с открытым кодом, по сути, похоже на автодесковый набор, чтобы модель зачищать. И зачищает идеально. В итоге мы собирали памятник через Agisoft, Meshroom, RealityCapture (самый простой из всех с отличным результатом, перешли под конец на него) и чистили в Meshmixer (тоже свободный от Автодеска).

Потом выяснилось, что энтузиасты, горевшие желанием нам помочь, иногда нет-нет, да отходили от методологии. Мы прописали очень подробный документ, как готовить камеру, как снимать, но, оказывается, нужно не только говорить «как надо в идеальном случае», но и описывать типовые ошибки. Типовой ошибкой было показать нам какие-то детали сборочному софту дополнительно или сэкономить круг, потому что и так всё понятно.

Кто-то не знал, что закрытие диафрагмы — это увеличение диафрагменного числа, а не уменьшение. Стали указывать конкретнее, потому что есть путаница даже между F и f.

Для кого-то выдержка «меньше (короче) 1/100» оказывалась 1/20, потому что 20 меньше 100. Или вот звонок «Я отснялся, но у вас тут написано снимать в RAW, я в JPG, ничего? Он тоже крутой, но только немного в темноте руки памятника, ничего, да?»

Довнесли мысли, что если уж ты начал круг, то идти надо до конца, не отвлекаясь на полости памятника. Некоторые объекты из-за этого переснимали 3 раза. Примерно вот так бывает при нарушении пути (Памятник «Сантехник Степаныч». Омская область, Омск):



С видео собирать плохо, потому что практически каждый софт режет его на кадры и использует их как опорные. Есть ПО, которое умеет использовать каждый кадр и даже из двух соседних восстанавливать картинку более высокого разрешения, чем два исходных, но это совсем не наши задачи и не наши бюджеты.

Конкретные примеры памятников, где что-то пошло не так

Здесь владелец памятника снимал сам, не собиралась карта РФ под ногами. Самое простое решение — ограничивать ось вращения камеры. Этот памятник можно смотреть только по кругу, без залётов вверх и вниз:



Вот тамбовский волк. Его сняли на восходе, было очень много засветов сзади, долго правили. Суть такая, что снимали спину на восходе против солнца и ловили в объектив жёсткие блики «зайцы», поэтому собиралось плохо.



Шоколадная фея из Покрова: снимали тоже на рассвете. Памятник бронзовый, люди его трут. Много пересветов в тех местах, где бронза натёрта:



Дерево желаний в Брянске: ангела можно снять только с коптера, его пришлось моделировать вручную по фотографиям.



Изначально пробовали слепить такого же своими руками из пластилина и отсканить по фотограмметрии в студии. В итоге оказалось проще смоделировать:



Мы купили две модели: это памятник «Чижик» (очень маленький, его моделировали по фото фактически) и голову Ленина в Бурятии. Потому что голова Ленина ну очень большая и очень сферическая, там нужен был коптер. Ещё 16 были замоделены нами: например, памятник клавиатуре легче нарисовать с нуля по фото, чем сделать фотограмметрию. Здесь нам очень помогли студенты-практиканты, которые учились на 3D-дизайнеров.



Были проблемы, когда какой-то конкретный памятник не собирался с ошибкой ПО. Просто берёт и не собирается. С этой же камеры другой собрался, а на нашем падает. Идём на форум Агисофта, спрашиваем. Нам говорят: а, известная история на Radeon, обновите дрова. А у нас они самые новые, и вообще nVidia. А нам: нет, на ней такой ошибки в принципе быть не может. Купите Радеон и обновите дрова.

Некоторые памятники нельзя обойти целиком, если они у стены или обрыва. Терминатора из Глазова нужно печатать со стеной.



Собака Дружок из Благовещенска — он прилеплен к граниту борта рядом с речкой. За ним лесенки. Чтобы нормально снять — только дрон, по факту нет нормального круга:



Реактивный поезд в Твери частично замоделен, благо отдельные компоненты уже были почти готовыми — взяли поезд, поставили движки:

Модели финалистов

В финал вышли вот эти памятники:



А победил в конкурсе памятник тувинской письменности, который находится в музее-заповеднике «Белдир-Кежии»:



Вот файлы моделей для закачки (65 Мб). Это STL-файлы, доступные по лицензии CC BY-NC, то есть вы можете использовать модели для обучения, печати фигурок для личного пользования, но не можете получать выгоду из их использования или включать в производные произведения, которые будут использоваться для получения выгоды.

Посмотреть все 3D-модели 100 памятников в плеерах можно вот здесь.

А я напоследок хочу ещё раз сказать огромное спасибо всем тем, кто помогал собирать данные о памятниках по всей стране. Огромное спасибо вам!