В Нижнем Новгороде жил и творил известный фотограф Максим Петрович Дмитриев. У горожан и гостей города пользуются большой популярностью выставки его работ, фотоальбомы, открытки. Это потрясающе: разглядывать, узнавать и не узнавать те места, через которые идёшь на работу, на прогулку, едешь на учёбу…

Хочется вглядеться в лица, узнать здания, найти какие-то мелочи (например, деревья), которые так и находятся там, где были в конце XIX века. А ещё хочется увидеть в цвете, но бережно, с любовью к истории. Редкая удача — хорошая колоризация старых фото. Казалось бы, с видео всё ещё сложнее.

Но в Нижнем, к счастью, есть популяризатор истории и по совместительству сотрудник ИТ-кампуса НЕЙМАРК Антон Анисимов. Вот уже несколько лет он ищет и с помощью нейросетей красит старинную черно-белую хронику города. А затем делится ею со всеми желающими в своем паблике Вконтакте. 

Ему и слово.

Обидушка и упрямство как драйверы проекта

Сразу хочу сказать, что нового для экспертов по нейросетям и прожженных айтишников я не расскажу ничего. Я гуманитарий. И все ресурсы, которые использую, могу оценить только как юзер.

Началось всё с Нижегородской ярмарки. Не с момента ее основания в 1817 году, конечно. В 12 лет я решил поучаствовать в школьном конкурсе эссе к 100-летию Всероссийской промышленной и художественной выставки, которая на ней проходила. Добрался до финала и с треском вылетел оттуда, потому что, оказывается, минимальный возраст участников — 15 лет. Тогда я для себя решил, что история — круто. А вот соревноваться в интересе к ней с другими — не очень.

Кстати, в период активной работы над проектом сделал сам для себя «пасхалку» — окрасил видео ярмарки начала 1920-х годов. И на этот раз не ограничился нейро‑ и «ручным» колором. На кадрах тех лет все быстро передвигаются, как будто бегают. Это особенность съемки — 16 кадров в секунду вместо 24-х, не говоря уже о 30–60–240 и так далее, которые сегодня доступны и смартфону. Просто замедлить — будет как видео со старой камеры наблюдения: все движения рваные.

Наткнулся на нейросеть DAIN. Она умеет дорисовывать промежуточные кадры. Если просто: у вас есть две фотки проезжающего автомобиля. На первой он в левой стороне кадра, на второй — уже в правой. Вы закидываете эти кадры в DAIN, она сравнивает все объекты на фото и выдает «среднее арифметическое» — машина в центре. Повторяем процедуру до желаемого результата, и хоть слоумо из старой видеозаписи делаем. Сейчас такое могут уже несколько общедоступных нейросеток.

А непосредственно проект начался с другой кинохроники. Еще более ранней, 8 мая 1916 года. В этот день в Нижнем были Мининские торжества. Кинематографисты добросовестно отсняли 50 минут. А потом кто‑то не менее добросовестно потерял плёнку. Сто лет о ней ничего не было известно, и вдруг в 2016 году в Российский госархив кинофотодокументов заявляется некто со словами: «Гляньте, что я в лесу около московской станции метро „Речной вокзал“ нашел!». Правда, кино было в ужасном состоянии, и восстановить удалось от силы 10%.

Меня так впечатлила эта почти детективная история и сами кадры, что я решил показать их маленькому сыну. Не поддающийся логическому объяснению родительский порыв. А сыну чёрно‑белая картинка оказалась совсем неинтересна.

Но я уперся, разбил видео на отдельные кадры. И принялся красить их одним из первых доступных приложений для автоматической колоризации фото DeOldify, гулявшим тогда по сети. Получалось откровенно плохо, но я уже загорелся и докрашивал особо неудачные кадры вручную в Photoshop. Итог: ребенок посмотрел уже с любопытством. Потом я не раз просил его побыть «фокус‑группой».

В такую авантюру — с покадровой колоризацией — я в жизни больше не влезу. С тех пор внимательно слежу за нейросетками, которые это делают автоматически. Хотя все равно всегда дорабатываю результат вручную. Чаще всего прогоняю сначала через тот же DeOldify на Гугл‑колабе. Так получается быстрее — он не грузит систему. Или через программу для компьютера на основе, полагаю, этой же нейросетки. Удачно прикупил её в своё время. А потом исправляю косяки по цвету масками в After Effects.

Без регистрации, СМС, упоминаний и монетизации

Как‑то само по себе оказалось, что такие ролики интересны не только нам с сыном. Они начали разлетаться по городским пабликам и собирать там неплохую аудиторию. Правда, далеко не все подписывали, «откуда дровишки». Но вместо того, чтобы обидеться на перезаливы, я подумал, что это может быть фишкой проекта. Как‑то неправильно насобирать таких культурных сокровищ — а у меня в коллекции сейчас уже порядка 150 кусочков нижегородской истории, запечатленных кинохроникой, — и держать их при себе. Это общая история.

Собственно, так и начался проект #РасцветНижнего. Из паблика в паблик, с упоминанием или без, но кусочки истории стали расходиться. Пошли отзывы. От специалистов‑историков, журналистов, деятелей культуры, учителей и библиотекарей.

Оказалось, что дело, во‑первых, в масштабах региона уникальное, а во‑вторых — всем интересное. Каждому по‑своему. В комментариях периодически даже случаются стычки любителей разных периодов нашей истории. Впрочем, всё в рамках приличного.

От поисков к нейро-реконструкции

Так как кинохроника не бесконечна, в какой‑то момент я стал экспериментировать с генерацией видео. Мне очень не нравится слово «дипфейк». В него заочно заложен негативный смысл. «Фейк», фальшивка — это злонамеренная попытка кого‑то обмануть, выдать искусственное за настоящее. А если, скажем, видео просто воссоздает прошлое и автор об этом честно предупреждает — какая же это «фальшивка»? Это реконструкция событий, вещь полезная.

Год назад почти в шутку я сделал трейлер несуществующего фильма про самую криминальную улицу города в ХIХ веке. Кстати, опирался исключительно на исторически достоверные свидетельства. Экспериментировал с GEN-2 от Runway, и итог тоже хорошо зашёл людям. Хотя мне не понравилось с ней работать: галлюцинирует сильно.

Сейчас больше работаю с Luma Dream Machine. Она очень адекватно «оживляет» старые фото, если не полениться нормальный промт написать: что на снимке, в какой одежде люди, как относительно них должна двигаться виртуальная камера. К 120-летию несправедливо подзабытого нижегородца — маршала авиации Александра Голованова — сделал несколько нейро‑реконструкций сцен, запечатленных на фото с ним.

Думаю, в этом направлении буду работать и дальше. Пока это интересно мне, моим близким, жителям города, никогда не соглашусь с периодически появляющимися комментариями вроде: «Тебе делать больше нечего?».

Есть. Но и популяризацией родной истории кто‑то должен заниматься.