С чего всё началось? Как-то я решил в третий раз с детства пересмотреть всю оригинальную коллекцию "Том и Джерри", но я, в отличие от маленького ребёнка, не потребляю любой контент вне зависимости от его качества. И вот я собрался посмотреть самую доступную версию, а там вот это цветошоу с постоянными царапинами на всём экране.
Спустя год я узнаю об Topaz Video Enhance AI (нынешний Topaz Video AI) и решил попробовать сделать апскейл до FullHD. Результат вышел скверный. Артефакты плёнки и видеокодеки не исчезли, а изображение стало резким с попыткой в реализм, что не уместно в мультике такого жанра. Помучавшись так, месяц или два, я это дело забросил. Но вот, собравшись с духом, я приступил к второй попытке.
Cодержание:
1. Хорошие исходники
Следующие пол года я собирал информацию по теме. Оказывается, существует ремастеринг плёнки, в процессе которого её покрывают специальным раствором для устранения царапин, проводят глубокое сканирование, делают дюжину операций на компьютере и т.п. об этом подробнее есть отдельная статья.
Один из примеров:
Спустя много времени на поиски, я смог найти архив на ресурсе internet archive, с большей частью отремастеренных серий, сейчас публикация заблокирована по очевидным причинам (пиратство). Однако в ней всё равно не хватало многих серий в "хорошем качестве", а именно тех что были улучшены HBO Max. Было это лет так 5 назад и большим спросом не пользовалось, так что их тоже пришлось искать опальными путями. Но ~15% серий остались на уровне простого сканирования плёнки c цветокоррекцией, т.е. с просто огромным количеством царапин.
2. Составление единой русской аудиодорожки
На этот этап ушло очень много времени. Как известно, Том и Джерри был ооочень популярен в 90-е годы, да и сейчас было записано много переводов, однако универсального, заведомо хорошего - нет. Один диктор может перевести то, что было написано на той стене, а 10 других - нет. У 4 дикторов может быть профессиональный голос, а у других нет, и т.п. Иногда вообще дубляж есть))). То есть, нам надо взять и склеить надлежащим образом все эти дорожки в одну. Но помимо этой проблемы, есть и другая. Все эти аудиодорожки были очень плохого качества, т.к. записывались по большей части на видеокассеты (некоторые серии шли по телевидению). Это значит, что их будет трудно сопоставить между собой и оригинальным аудио, взятым уже с плёнки в хорошем качестве.
Сначала необходимо найти собственно переводы аудиодорожек, мне сразу повезло и на всеми известном сайте, начинающемся на Ru был пакет, содержащий примерно 12 дорожек на каждую серию, а иногда и по 20.
В классическом Том и Джерри 19 часов общего хронометража, что очень много для подобного вида работ, так что даже вычтя все дорожки с откровенно плохим переводом, на работу ушло порядка 2 месяцев.
Использовал Audacity, потому что на мой взгляд, он больше всего подходит для подобного типа работ, ибо даёт быстрый доступ к базовым инструментам и лёгок в освоении. В нём просто регулировать скорость относительно оригинала и сводить аудиодорожки между собой, делать усиление звука, редактировать дорожку после уже завершения работы и т.д.
После этого, я нашёл утилиту Ultimate Vocal Remover, что позволило мне извлекать голос из записи, к примеру с видеокассеты, и помещать его поверх хорошей аудиодорожки, снятой с оригинальной плёнки. На улучшение всех дорожек ушло 2 недели. Заметно повысилось качество аудио на интро и аутро серий. По итогу все проекты суммарно занимали ~150 Гб
А теперь подробнее. Начнём с подгонки одной аудиодорожки к другой. Для этого надо
1. выделить и удалить участки без звука в конце и начале обоих аудиодорожек.
2. Выделить всю аудиодорожку которую мы подгоняем под другую, затем перейти в вкладку сверху "Эффекты", затем в выпавшем меню нажать навести курсор на "Высота тона/Темп" и уже там нажать на "Изменение скорости..".
В этом окне нам нужен только один параметр - Процент изменения. Положительное число – сжимает аудиодорожку, отрицательное – растягивает. Выставляем сначала небольшое число "наугад" и нажимаем "Применить", смотрим сколько не хватило и прожимаем Ctrl+Z, повторяем процесс, меняя значение в нужную сторону, стараясь максимально подогнать эту аудиодорожку. И так, у вас это получилось. Теперь зажимая Ctrl и прокручивая колёсико вперёд, сильно приблизьте аудиодорожку и найдите какой-нибудь одинокий всплеск, подгоните аудиодорожку перемещая её, так чтобы, всплеск на обоих дорожках находился друг над другом. Если всё совпало, и аудиодорожка в других местах не отстает более чем на сотню миллисекунд, то теперь следует отменить все изменения и, не удаляя ничего у аудиодорожки, к которой мы подгоняем, примените изменение скорости и снова подгоните её по времени. Далее удалите выступающую справа часть подгоняемой аудиодорожки. После этого можно приступать ко второму этапу.
Теперь время прослушивать аудиодорожку на необходимом языке, каждую реплику на необходимом языке выделите, а затем нажмите клавишу End, тем самым разделяя аудиодорожку в месте реплики, после необходимо удалить отделившуюся слева часть аудиодорожки, например прожав комбинацию клавиш Ctrl+x. После этого, нажмите на часть аудиодорожки с репликой и кликните правой кнопкой мыши на оригинальную аудиодорожку, на которую потом планируете наложить эти реплики, в выскочившем меню нажмите "Разделить клип", а затем удалите его предложенной ранее комбинацией клавиш. И так проводите этот цикл каждый раз, до окончания аудиодорожки. Очевидно что часть, оставшуюся справа от реплики, под конец нужно удалить. Очередь третьего этапа.
Сохраняем проект нажав комбинацию клавиш Ctrl+S. Затем нажимаем на кнопку "тихо", слева от аудиодорожки на которую будем в последствии накладывать реплики на необходимом языке и производим экспорт аудиоданных, комбинацией клавиш Shift+Ctrl+E, выбираем формат. Я обычно делал экспорт в mp3, но скорее всего лучше всё же использовать wav. Сохраняем, со всем соглашаемся. Приступаем к четвёртому этапу.
Для него нам понадобится утилита Ultimate Vocal Remover, в ней мы будем при помощи нейросетей, как удалять вокал из аудиодорожки, так и удалять музыку, оставляя только вокал. Скачиваем её на гитхабе, устанавливаем и открываем. Далее нажмите "Select Input" и выбираем аудиофайл с оригинальной аудиодорожкой, на которую будем впоследствии накладывать реплики. Выбираем папку для экспорта нажав на кнопку "Select output", затем выставляем все настройки, как показано на скрине и нажимаем кнопку "Start processing".
Ждём окончания процесса, затем проводим те же операции с файлом реплик(вокалом), который сохранили в третьем этапе. Но у же с этими настройками:
Приступаем к шестому этапу.
Возвращаемся обратно к Audacity, осталось дело за малым - вклеить реплики поверх аудиодорожки. Для этого опять кидаем нужные файлы в Audacity (получившуюся чистую аудиодорожку с репликами, оригинальную аудиодорожку и её же, но без вокала).
Обязательно, необходимо, не делать этого в прошлом проекте, чтобы на случай ошибки (не до конца отрезал реплику или наоборот), иметь возможность это исправить, заново прогнав аудиодорожку через Ultimate Vocal Remover.
Теперь вырезаем моменты с всплесками на аудиодорожке с репликами, а затем делаем их усиление, если голос звучит недостаточно громко. Усиление можно сделать перейдя на вкладку "Эффекты" сверху, затем переходим в "Громкость и компрессия" -> "Усиление". И так, зачем же нам нужна оригинальная аудиодорожка без вокала? В моментах где диктор не просто переводит что-то написанное на экране, а переводит чей-либо голос, он будет звучать сразу два раза, так как он исходит из оригинальной дорожки и из нашей с репликами на другом, необходимом нам языке. Чтобы этого избежать, надо вырезать на оригинальной дорожке моменты где вот так переплетаются реплики. А затем вырезать их же на оригинальной без вокала.
Поздравляю! Ваши мучения закончились. Также, следует дополнить, что если вы собрались делать такую операцию с больше чем парой серий, то переход к четвёртому этапу можно сделать уже после окончания первых 3х этапов в остальных сериях. Дабы сделать работу чуть менее монотонной.
3. Увеличение разрешения видео
Начнём с главного - Topaz Video AI. Эта программа включает в себя огромное количество нейронных сетей для разных типов входного видео, от компьютерной графики, до реальной жизни. И почти каждая из них имеет несколько уровней обучения, от очень низкого качества исходных данных до очень высокого. Я провёл улучшение в 300% (1440p, в исходнике было 480p).
Я выбрал модель Iris, которая при сравнении показала себя как самый удачный вариант. В Topaz Video AI нет модели, созданной именно для мультипликации, но у Iris выходит делать точную детализацию, при этом избавляясь не побоюсь этого сказать, от всех артефактов видео. И помимо этого ещё и дорисовывая хорошие линии, в местах где большая часть других нейросетей сделала бы слоённый торт, что не подходит для мультипликации как таковой.
Примеры показывающие как нейросеть улучшает качество в разных по уровню качества исходниках:
Несколько прямых сравнений 1, 2, 3:
Напрашивается вопрос, почему же это тогда не сделали 20 человек до меня? Всё просто. На обработку всех серий уходит 85-130 часов работы видеокарты на полную, без учёта времени простоя, когда вам нужно заняться ещё чем-то за пк. Да, есть один пример такой работы, но тут из всех 3 мной описанных шагов, сделан всего один и то на другой, старой модели нейросети, и с всего 36 сериями из 163.
Topaz Video AI не умеет в масштабирование. На моей RX 6600, обработка одной серии в занимает ~40 минут, а на RTX 4080 ~25 минут, а разница должна быть как минимум трёхкратной, без учёта Nvidia CUDA ядер, которые обычно очень нравятся нейросетям.
P.S.
Почему 2к, а не 4к? Нет, это не потребует больше времени на обработку, проблема в том что даже при внимательном рассмотрении, разницы в качестве картинки практически нет, а происходит это из-за недостатка исходных данных для подобного разрешения. Каша станет ещё больше кашей, а уголок и сам видеоплеер сделает чуть-чуть более точным.
4. Интерполяция кадров
Почему я не прибегнул к увеличению FPS в моём ремастере? Если кратко, то вот ответ:
Это самая способная нейросеть которую я вообще смог найти, а искал я далеко за пределами Topaz Video AI. Но оказалось что всё таки Chronas (ИИ модель из Topaz Video AI) пока что лидер в этом деле.
Помимо этого, интерполяция кадров потребляет просто немеренно много ресурсов. Разница во времени обработки аж 3х кратная. Так что, заниматься интерполяцией кадров в моём случае бессмысленно и долго.
5. Обработка результатов, паковка в .mkv контейнер
Начну с интересного - цветокоррекция. Здесь всё просто, скачиваем Adobe Premiere Pro, если надо, то перепаковываем видео в .mp4, например при помощи OBS Studio, необходимые серии, где вам кажется, что изображение блёклое или наоборот слишком красочное. Далее создаём новый проект, закидываем нужную серию, (заранее скажу что я в цветокоре практический 0, так что отталкивался от гайдов умельцев, особенно полезным оказался этот) и начинаем настраивать множество параметров в Lumetri Color, меняя цвета по вкусу. Затем делаем экспорт в кодеке HEVC и ожидаем окончания обработки видео.
Вот мой пример такой работы.
По итогу, с моими настройками (HEVC, битрейт 24 мбит/с), все серии с апскейлом весили ~190гб, а это очень много. Одна серия могла иметь вес в 1.5 гб, напомню, она длится 7 минут и имеет разрешение 1440p. Так дела не пойдут. Поскольку я в основном сижу на линуксе, решаю взять утилиту для конвертации видео HandBrake.
В вкладке "Размер изображения" всё должно быть выключено, кроме "Display Size", а в "Resolution limit" выставляем "8K Ultra HD". 
В вкладке "Видео" самым оптимальным пресетом в моём случае (1440p 24fps), был - кодировщик видео "H.256", постоянное качество - "RF: 12", переменная частота кадров, предустановка "ultrafast", настройки "animation". 
Планку постоянного качества необходимо подбирать самому, т.к. в разных мультиках разный уровень детализации и также этот параметр влияет как неудивительно, на качество видео, и для UltraHD видео он может быть слишком низок, а для FullHD, слишком высок или наоборот. Также, можно указать постоянный битрейт самому, но мне показалось, что c RF будет проще, так как серии сильно отличаются по разрешению изображения и вместо того чтобы каждый раз гадать с битрейтом, можно использовать RF, который везде будет делать одинаково хорошо
Теперь про паковку получившихся файлов в .mkv контейнеры. Если вы хотите где-то выложить вашу работу, то это весьма важный этап, т.к. в .mkv можно использовать сразу несколько аудиодорожек, например, сделать контейнер с английской и русской озвучкой. Как раз мой случай. Для этого нам понадобится утилита MKVToolNix, в неё кидаем получившиеся файлы (русская озвучка и видео с английской озвучкой), устанавливаем языки аудиодорожек.
Нажимаем "Выполнить паковку".
По итогу, все серии ужались с общего объёма в ~190 гб, до ~60гб, с самой минимальной потерей качества. Шага с HandBrake можно было избежать, примерясь, я, сразу с битрейтом видео при настройке вывода видео в Topaz Video AI, но возможно, эта ошибка помогла мне добиться большей точности в цветокоре за счёт более высокого разрешения изображения. И нет, размер изображения в обоих вариантах тот же (1920x1440), но битрейт напрямую влияет на сжатие изображения и при битрейте 5 мбит/с, в изображении будет гораздо меньше поддающейся обработке информации, чем при битрейте 10 мбит/с.
Комментарии (160)
onets
05.01.2024 16:39+42Как тут поставить 100500 плюсов?
Надеюсь мне повезет и я найду нечто подобное на дефолтном сайте ????
arodygin
05.01.2024 16:39+43Плюсанул!!!
Остался нераскрытым один вопрос - где можно скачать результат, тоже давно хотел пересмотреть :)
kovalensky
05.01.2024 16:39+5Раздача на Рутрекере, 4-5го числа перезальют
Dolios
05.01.2024 16:39+4По запросу "Том и Джерри" там 7 страниц результатов, "Том и Джерри ремастер", "Том и Джерри 2к" 0 результатов, "Том и Джерри" с попыткой поискать пользователя по нику как у автора тут (только без собаки) 0 результатов. Среди раздач 23 года этого ремастера нет.
Вы хоть ключевые слова напишите.
kovalensky
05.01.2024 16:39+5Яндексом пользуйтесь.
P.S.
Я так давно с VPN живу, что забыл что в РФ некоторые результаты прячутся.
Вот ссылка.
Dolios
05.01.2024 16:39+3За ссылку спасибо, но пользовался я поиском на рутрекере, врядли он что-то прячет, особенно, с учетов того, что я не с российского IP захожу :)
Ansud
05.01.2024 16:39Странно, что это rutracker NET, а не скрепный ORG :)
DennisP
05.01.2024 16:39а это .org и есть, в ссылке скорее всего ошибка. По крайней мере у меня открывается именно org, а ссылка с .net выдаёт ошибку о недоступном сервере
Ansud
05.01.2024 16:39Неа, на org такое не находится. Net подлагивает, но иногда начинает отвечать.
Squoworode
05.01.2024 16:39+2Подтверждаю.
Если в ссылке заменить .net на .org, то открывается страница раздачи. Но на .org поиск по строке "том и джерри upscale" результатов не даёт.
.net - официальное зеркало рутрекера...
onets
05.01.2024 16:39Все, догнал, я искал на org и он не выдает в поиске эту раздачу
Realife Автор
05.01.2024 16:39+1Она сегодня ночью скорее-всего возобновиться
Realife Автор
05.01.2024 16:39Поправочка, она была перемещена, но в посте на трекере есть на её новое расположение ссылка
Birdhitv
05.01.2024 16:39В новом расположении ссылка не скачивается. визуально есть. а трек файла нет в реальности. надо заново его туда закинуть..
Realife Автор
05.01.2024 16:39Она сейчас вообще на премодерации, проблемная категория "видео", каждый раз при перезаливе походу так будет, ужас одним словом.
Birdhitv
05.01.2024 16:39А есть шанс дождаться что устаканится? Я просто не силен в тамошних делах. Всего раз размещал торрент. Очень хочу мультик))
Realife Автор
05.01.2024 16:39Из-за удаления файла он скорее-всего забросил её в архив, а зеркало ещё не успело опомнится.
vvzvlad
05.01.2024 16:39+45Примеры показывающие как нейросеть улучшает качество в разных по уровню качества исходниках:
Выглядит как трассировка в иллюстраторе, такой псевдо-вектор, ощущение рисованности пропало.
Hint
05.01.2024 16:39+8Такие же мысли. "Ламповость" утеряна. Недавно с ребенком смотрел, скачивал вроде бы Golden Collection. На мой взгляд качество хорошее, но проблема в том, что выпуск прекратили.
https://en.wikipedia.org/wiki/Tom_and_Jerry_Golden_Collection
JordanCpp
05.01.2024 16:39+1Ламповость это конечно хорошо, фильмы и мультики с детьми смотрю на 4k 55 дюймов. Full hd норм. Но вот ламповое видео выглядит ужасно. Могу снять очки и будет вполне смотрибельно, но хочется все таки смотреть по чётче.
vvzvlad
05.01.2024 16:39+2А никто не спорит про недостаток разрешения. Если бы апскейлить с сохранением ощущения рисовки, никто бы слова не сказал.
Realife Автор
05.01.2024 16:39+2Это невозможно как по мне, эффект рисовки пропал ещё на моменте реставрации плёнки, в полном разрешении это ровно тот же цветовой помёт как с кассет, но без царапин. При сжатии картинки кодеком помёт пропадает, но вместе с ним и собственно пропадает эффект рисовки. Топаз хорошо умеет фильтровать артефакты видео, вот собственно этим и был обусловлен выбор данной нейросети. Прикол в том что при скане с кассеты ты как правило, не можешь сжать сильнее видео и более-менее не потерять в деталях, а вот в такой реставрации так сделать можно. БОльше комментариев по этой теме я давать не буду. Думаю, что всем понятно почему это так получилось, и какое у меня мнение на данный счёт.
lowride
05.01.2024 16:39+4Нужна нейросеть, которая применит к видеоряду фильтр, который создаст ощущение рисовки.
ValdikSS
05.01.2024 16:39+1Отключите всякие sharp'еры. Купил недавно телевизор, так на стандартных настройках SD-видео смотреть невозможно — всё в блочности. Включаю на компьютере — всё в порядке.
acsent1
05.01.2024 16:39Самое странно: почему поменялись оттенки цветов?
S-trace
05.01.2024 16:39Это цветокоррекция, один из шагов проделанных автором.
Realife Автор
05.01.2024 16:39+1Немного не так, я сделал это только в паре серий где всё очень плохо было, в самых ранних 2-3, и пара периода Чака Джонса. В остальном работа нейросети, без прямого сравнения разницы в ощущении цветов не будет. Я не создавал данную нейросеть, так что не могу сказать почему она так себя повела, но результат как по мне вполне удовлетворительный. И я прибегал к ручной работе именно в случаях очень тусклых цветов. Я так предполагаю, что большую часть серий того периода реставрировала одна компания, а часть - другая, ну и вот она не озаботилась цветокоррекцией.
Realife Автор
05.01.2024 16:39+21Честно говоря, я уже достаточно много наобщался с теми кому картинка не понравилась. Уже желания эту тему поднимать нет, и другим не советую. Если вам нравится результат - хорошо, не надо трогать других "ценителей", в этом нет никакого смысла, у человека своё мнение, неважно ошибочное оно или нет. Вы можете потратить кучу времени на споры, однако ни одна из сторон своего не добьётся, такое чувство, что каждый выбирает либо белое, либо чёрное. Ни одного, ни другого не переубедить.
Zara6502
05.01.2024 16:39+2ну у любого творчества 50% поклонников и 50% хейтеров. Главное не завязнуть в спорах, людей действительно не переубедить. Вы всё сделали правильно и очень качественно еще и БЕСПЛАТНО. На очереди Утиные истории и Чип и Дейл? ;)
Качество мультиков просто отличное, отличный повод их пересмотреть, тем более я никогда их не видел в русской озвучке. СПАСИБО!!!
Realife Автор
05.01.2024 16:39+2Думаю на Скуби-Ду 70х, самому понравилось после просмотра в осознаном возрасте, поэтому и пал глаз на него. Хотел ещё дикого койота или Том и Джерри в детстве, но всё это уже самому неинтересно смотреть, собственно мотивации такие проекты тянуть - нет.
Zara6502
05.01.2024 16:39<Вкусовщина>А я Скуби как-то не проникся совсем</Вкусовщина>
У меня в интересностях:
Хитрый койот и Дорожный бегун
Вуди Вудпекер (Дятел Вуди)
Чип и Дейл
Утиные истории
Чёрный плащ
Мишки Гамми
Nnnnoooo
05.01.2024 16:39+25Ощущение зловещей долины. Просмотр вызывает неприятные ощущения. Я хз почему именно...
saboteur_kiev
05.01.2024 16:39+2Ощущение от просмотра странное.
Явно теряется ламповость.
Действительно ощущение зловещности присутствует.Предпочел обычную версию, на 40" нормально идет.
anonymous
05.01.2024 16:39НЛО прилетело и опубликовало эту надпись здесь
Realife Автор
05.01.2024 16:39Качественные сканы вряд-ли уже возможно сделать, HBO Max относительно недавно производила реставрацию, помёта на картинке стало ещё больше чем на старых двд дисках выпускаемых вб. По сути можно было бы и просто прогнать через что-то, что весь этот цветовой "помёт" убрало, но я подобных утилит не нашёл, но он устранялся путём уменьшения разрешения и сжатия кодеком. Я как уже ранее упоминалось, нашёл коллекцию исходников, там на мой взгляд было максимально грамотно проделана эта работа, у меня например не получилось это воспроизвести, даже имея на руках отреставрированные записи в полном разрешении.
Vsevo10d
05.01.2024 16:39+4Лучше всего это понятно в эпизоде с островом. Там все виды косяков: артефакты в небе (коцки и точки "едут" как звезды в небе, потом резко пропадают), неестественные жирные черные контуры, как перманентный макияж у женщин (был какой-то эффект в фотошопе, не помню, то ли акварель с контурами, то ли еще что-то, очень похоже), откровенное мыльцо в моментах, где было много зерна (когда он врезается в дерево), то есть, видно качественную картинку и одновременно - как будто рисовал посредственный художник (в принципе, от всех дегенеративных нейросетей так).
acsent1
05.01.2024 16:39Мыльность присутствует. Хоть ее и не слишком заметно, но все-таки видно. На картинке 3 https://imgsli.com/MjI4MzA4/0/1 видно. Усы например. То есть какие то линии мыльные, какие то нет. И это очень не приятно. Не дает мозгу адаптироваться, как с ламповым оригиналом. Где практически все линии мыльные
ValdikSS
05.01.2024 16:39+2На картинке 2 https://imgsli.com/MjI2NDc0 детализация полностью утеряна
Realife Автор
05.01.2024 16:39+1когда шумы начали восприниматься как детализация?
Хотя доля правды в твоём сообщении есть, всплески воды стали менее контрастными, но тут не то что нейросеть, даже человек вряд-ли бы отличил шум от всплесков правильно.
nidalee
05.01.2024 16:39+174. Интерполяция кадров
Практика показывает, что RIFE (например, в составе Flowframes) показывает обычно лучший результат. Но иногда таки вперед выходит Topaz.
Проблемы две:
1) Доверять автоматическому отслеживанию смены плана (scenecut) не приходится. Нужно самому резать видео на сцены, потом апскейлить каждую из них, а потом объединять. Можно использовать что-то вроде pypi/scenedetect, но это все равно большой геморрой.
2) Topaz дурной. При интерполяции кадров, в каждом из видео можно ожидать ближе к концу один застывший кадр, который повторится дважды, а потом "скачок" на столько же кадров. По итогу - интерполированное Topaz-ом видео нельзя просто проложить дорожкой сверху в видеоредакторе - каждый файл (а их будет много, по количеству сцен, см. пункт выше) у вас будет короче оригинала кадра на два. Ближе к концу пара секунд наберется легко, а это уже дикий рассинхрон по звуку. В итоге каждый фрагмент нужно растягивать\замедлять силами уже видеоредактора.
По итогу: потратите кучу времени на ручной отсмотр каждого фрагмента (кто справился в каждой сцене лучше - Topaz или RIFE), кучу места на диске, охренеете от перепутанных файлов и прочих прелестей возни с 2 версиями каждого из 100 кусков видео. И все это ради того, чтобы половина "потребителей" сказала: "фу, ускоренно, как мыльная опера выглядит!"
Оно того зачастую не стоит. :)
В вкладке "Видео" самым оптимальным пресетом в моём случае (1440p 24fps), был - кодировщик видео "H.256", постоянное качество - "RF: 12", переменная частота кадров, предустановка "ultrafast", настройки "animation".
Переменную частоту кадров нафиг, ставьте CFR по частоте кадров оригинала.
CRF слегка жирный, спускаться меньше 16 обычно смысла нет.
Пресет грустный, но такова жизнь, полагаю. На CPU обычно ниже medium спускаться не стоит. Handbrake не умеет аппаратный энкодер AMD?
Что касается двойного сжатия Premiere -> Handbrake, то это, конечно, тоже "косяк". Для Premiere есть бесплатный плагин Voukoder, который дает контроль над всеми параметрами ffmpeg. Там есть и CRF. Выгоняйте сразу оттуда с CRF.
3. Увеличение разрешения видео
Ну и для более искушенных пользователей, кому хочется результат лучше, чем у Topaz, можно смотреть в сторону RealESRGAN-NCNN или Waifu2x-NCNN. Но обертки для них зачастую пишутся энтузиастами и за денежку. Я писал костыль на питоне для RealESRGAN на Windows+CUDA, если кому интересно, могу залить на Github\Pastebin, вроде работает. Также можно посмотреть на chaiNNer, он поддерживает целый зоопарк моделей, и итеративную обработку кадров видео. Другое дело, что какую-то конкретную модель не могу порекомендовать, нужно экспериментировать. Или искать отзывы тех, кто экспериментировал :)
Но для всего этого счастья очень желательно иметь NVIDIA, и еще желательнее - жирную NVIDIA, по факту со всем меньше 24ГБ VRAM скорее всего можно не заморачиваться, а это либо 3090, либо 4090. Ну и возиться придется с раскадровками в PNG, а это несколько сотен гигабайт изображений на каждое видео в лучшем случае...
Realife Автор
05.01.2024 16:391) Даже если бы я про это знал, то это слишком большой объём работы
2) Мне RIFE не понравился, я пробовал его год назад использовать, картинка скакала назад и вперёд. Иногда результат был прям удивительный, но по большей части он очень сильно ошибался. Ну и интерполяцией по большей части не занялся по той же причине что и вы описали, насчёт комментаторов.
3) Я использовал подобные апскейлеры в stable diffusion, мне результат нравится, но по некоторым причинам использовал всё же топаз, если захотите - найдёте в комментариях.
johny_cat
05.01.2024 16:39Я тоже для апскейла изображений и видео использую Waifu2x, в большинстве случаев самый подходящий вариант. В гуи режиме можно юзать эту утилиту, правда порой она может напрягать уведомлениями о поддержке на патреоне, но в целом со своей задачей справляется. Да и там можно выбрать не только Waifu2x.
atb
05.01.2024 16:39+6Не фанат Тома и Джерри, в какой то момент в детстве преисполнился жалости к Тому и не смог смотреть дальше. Но очень рад тенденции. Нам нужно как можно больше ремастередов старых добрых мультфильмов! Возможно, когда-нибудь, кто-нибудь и до Волшебного школьного автобуса доберётся. ;)
Armitage1986
05.01.2024 16:39+4Мне нравится канал HD Ressurection на YT.
Там много обработанных в 4К старых мультсериалов. Пару недель позалипал с удовольствием по вечерам.
kit91ka
05.01.2024 16:39+1Сжатие растяжение(подгонка по времени ) дорожек можно автоматизировать через ffmpeg и питон, например, вдруг пригодится
Skykharkov
05.01.2024 16:39Так а 99% утилит которые использовал автор это и есть всякие UI обертки над ffmpeg. Для простых задач таких оберток хватает. Но для чего-то эдакого...
Лучше потратить пару вечеров на чтение доков и эксперименты, и потом вся последовательность обработки, будет десяток строк на любом скриптовом языке...
Это конечно не преуменьшает проделанную автором работу.kit91ka
05.01.2024 16:39это конечно понятно, просто как я понял - шаг со звуковой дорожкой делался вручную. из-за этого и мой комментарий
Realife Автор
05.01.2024 16:39Я пытался что-то подобное сделать, но моих знаний не хватило, и всякие чат гпт помочь тоже не смогли.
kit91ka
05.01.2024 16:39+1возможно подойдет на будущее
как растянуть/cжать: https://trac.ffmpeg.org/wiki/How to speed up / slow down a video
The atempo filter is limited to using values between 0.5 and 100.0 (so it can slow it down to no less than half the original speed, and speed up to no more than 100x the input)
как узнать длину дорожки: https://stackoverflow.com/questions/6239350/how-to-extract-duration-time-from-ffmpeg-output
Zara6502
05.01.2024 16:39+1Спасибо. Замечания (придирки?):
Не настроен донат на Хабре, руки чешутся, а донатить некуда
Статья требует еще 2-3 вычиток, много мелких помарок, опечаток, ошибок
Нет указания на то где скачать, в личку?
ОООООчень рекомендую освоить ffmpeg, не в разрезе именно этой статьи, но для меня это было самое большое открытие в 2023 году :)
Realife Автор
05.01.2024 16:39+1Я на линуксе, только ффмпег и юзаю, правда все команды ии подсказывает, так бы матрёшки триста собирал
saege5b
05.01.2024 16:39+4Подобная анимация очень хорошо жмётся видеокодеком, нужно только не стесняться с обилием ручных параметров.
Tolik-5
05.01.2024 16:39Отличная статья, спасибо большое!
А где скачать сэмплы до и после?
В вкладке "Видео" самым оптимальным пресетом в моём случае (1440p 24fps), был - кодировщик видео "H.256", постоянное качество - "RF: 12", переменная частота кадров, предустановка "ultrafast", настройки "animation".
Объясните, пожалуйста, в двух словах, что значит RF и "RF: 12". Ссылка на документацию у меня не открывается.
И зачем переменная частота кадров, как она работает, не влияет ли на воспроизведение на разных девайсах?
nidalee
05.01.2024 16:39+1Объясните, пожалуйста, в двух словах, что значит RF и "RF: 12". Ссылка на документацию у меня не открывается.
Это сокращенное альтернативное название CRF. Вот тут про него можно почитать.
И зачем переменная частота кадров, как она работает, не влияет ли на воспроизведение на разных девайсах?
Переменная частота кадров скорее по ошибке, чем намеренно. Пользы чуть, проблемы с совместимостью могут быть. В частности, с синхронизацией видео и звука.
ABy
05.01.2024 16:39+1Waifu2x не пробовали?
Realife Автор
05.01.2024 16:39+1Мыльненко, даже при учёте что в данном примере у waifu2x разрешение в 1.5 раза выше чем у Ириса. https://imgsli.com/MjMxNDA4
qark
05.01.2024 16:39В https://youtu.be/ZmVRz395Hqk всё ещё заметны артефакты плёнки. Так и осталось?
zabanen2
05.01.2024 16:39+11я считаю, что собранные в одном месте первоисточники лучше, чем апскейлы потому, что:
1) апскейл всегда является авторской (програмной) обработкой
2) всегда появлятся способ "сделать лучше"
3) оригинал всегда остается оригиналомна примере коричневого орла достаточно хорошо видно, как потерялось много информации о линиях: если в исходниках линии были просто пожатыми, то после вашего апскейла они стали четко-разнотолщинными, а толщина линии говорит нам об объеме. Т.е. апскейл нагло врет, и это видно на всех скриншотах, где линия тела переходит светлые фоны, в то время как в исходнике это непрерывная четкая линия.
чтобы нейронка могла апскейлить, она должна понимать объекты, с которыми работает, а не просто улучшать все найденные линии
если бы у меня был выбор, я бы смотрел исходный видеокадр + ваша дорожка аудио
splitfire
05.01.2024 16:39+4В своё время захотел пересмотреть Том И Джерри, начал искать и выяснилось. Что "тех самых" мультов легально, посмотреть уже нельзя никак. Многие фрагменты были порезаны или пересняты в рамках "политкорректности".
У вас какие были исходники? Исходные или уже толерантные?Realife Автор
05.01.2024 16:39+1Исходные конечно, банально анимация упала в качестве а толерантном варианте мультика, не знаю почему конкретно это произошло, возможно, что этим занимались уже другие аниматоры.
zartarn
05.01.2024 16:39+1Так то есть Tom and Jerry Spotlight Collection. В ней практически все классические серии не подвергнутые цензуре. Там не хватает только двух серий, Casanova cat и Mouse cleaning.
Единственная серия которая там подвергнута цензуре это His Mouse Friday, но ее исходники так же доступны, в рипе на рутрекере она так же присутствует.
TomskDiver
05.01.2024 16:39+4А много чего интересного нейросетка дорисовала? В вашем первом сравнении видно её художества (Джери машет).
Realife Автор
05.01.2024 16:39Там несколько сраввнений, дабы показать как нейросеть работает при разных исходных данных. Есть как и совсем угроханные, так и более чем хорошие как тут, где нейросеть филернула картинку, в основном аспект на её чёткости.
eigrad
05.01.2024 16:39Запилить бы код всего пайплайна, или хотя бы текстом с параметрами, на Github...
qark
05.01.2024 16:39всю оригинальную коллекцию "Том и Джерри"
Имеется в виду Tom and Jerry: The Classic Collection? По-моему, начиная с 1961 года рисовка стала проще, неряшливее, абстрактнее что ли. Не получается воспринимать как естественное продолжение Ханны-Барберы.
Realife Автор
05.01.2024 16:39скорее-всего да, я взял все серии до того как началась эпоха тв рисовки, и серий по 20 минут.
13werwolf13
05.01.2024 16:39+2как пишут многие выше, и я присоеденюсь:
1) готов задонатить за труды
2) готов встать на раздачу безсрочно
David_Osipov
05.01.2024 16:39+1Автор спасибо!
1. Ламповость у людей теряется из-за того, что убрали шум из плёнки. Скорее всего это сделал Topaz. Шум можно навести искусственный через параметры кодировщиков в Handbrake - у AV1 точно есть. К тому же, шум позволяет лучше скрывать недостатки после апскейла и даёт "ламповость"
2. Кодировать аппаратным кодировщиком при профилях fast и быстрее - обычно не сильно хорошая затея, ибо он оптимизирован под такое себе качество и высокую скорость. Если ресурсы позволяют, то очень рекомендую настроить софтовый кодировщик - для HEVC гайдов полно. Но HEVC я не уважаю, ибо он закрытый и жадный.
3. Если не хочется грузить комп, то рекомендую взять у Selectel сервак и погонять на нём. Для интерполяции брать какой-нибудь сервер с мин. кол-вом ядер, но видяхой Nvidia A100. А вот для софтового кодирования - линейку серверов HighFreq Line. Эффективность распараллеливания падает где-то после 8-12 потоков, поэтому быстрее будет с меньшим кол-во потоков, но быстрыми ядрами (кодировщики не понимают виртуальные ядра, а используют только реальные)
Имхо, рекомендую через MKVtoolnix разрезать видео на 1-2 части по минуте без перекодирования, взять Handbrake и начать жёстко экспериментировать с настройками кодировщика.ValdikSS
05.01.2024 16:39+3Эффект «зловещей долины» возникает из-за увеличения разрешения и повышения чёткости очень ограниченной части элементов, а большинство других остаются без изменений. Это хорошо видно на скриншоте 1:
Пальцы Джерри состоят из хаотичных мазков
Контуры туловища Тома чёткие, а линии на теле мыльные (особенно заметен контраст на контурах рта в сравнении с языком)
Фон весь остаётся мыльный
А на скриншоте 3 и особенно 2 утеряны все мелкие детали — результат куда хуже оригинала.
sterr
05.01.2024 16:39+5Пальцы Джерри состоят из хаотичных мазков
Ну вы прям хотите волшебства. На 480р там просто кашка. И как нейросеть поймет сколько пальцев рисовать из кашки?
Контуры туловища Тома чёткие, а линии на теле мыльные (особенно заметен контраст на контурах рта в сравнении с языком)
тут то вы к чему докопались? Я минут 10 рассматривал, так ничего и не понял. Все линии мне понравились. Ничего там бросающегося в глаза нет.
Фон весь остаётся мыльный
Ну если вы не знаете для чего делается эффект bokeh, то конечно же да, весь фон нужно выделить толстыми черными линиями.
В этом кадре как раз все очень нормально. Ненормально есть иногда в движении, нейросеть плохо понимает мультипликативный моушен блюр. Снежинки стали не мохнатыми, а кругляками. Ну и так, по мелочи в динамике. Я давно пользуюсь топазом, да, он очень часто ошибается. Но результат ТС меня порадовал. Хотя на мультиках, особенно однотонных много думать не надо, там проще.
Если надо шума добавить, то в топазе прям в обработке есть зерно, нужно только количество поставить. Хотя я никогда не добавляю. Зачем мне лишний шум на видео.
ValdikSS
05.01.2024 16:39+6тут то вы к чему докопались? Я минут 10 рассматривал, так ничего и не понял.
Я рассказываю, из-за чего возникает эффект «зловещей долины». Вы, вероятно, его не видите и без проблем смотрите подобный материал.
Ну вы прям хотите волшебства.
Я? Нет, я не хочу такого волшебства: все программные апскейлы, сделанные в автоматическом режиме, для меня выглядят плохо, поэтому я не смотрю такой контент.
M_AJ
05.01.2024 16:39+2Ламповость у людей теряется из-за того, что убрали шум из плёнки.
Не думаю, что дело в шуме. Подобный эффект есть и при апскейле изначально цифровых исходников, дело в том, что нейросети нередко либо съедают какие-то детали, либо дорисовывают линии, которых в кадре никогда не было. Так выше привели яркий пример.
Realife Автор
05.01.2024 16:39Не замечал подобного за данной нейросетью, если я правильно понял, она собирает информацию за несколько кадров дабы различать где и что нужно нарисовать. (А я косяки искал :) )
Psychosynthesis
05.01.2024 16:39-2Где результат-то? Грузили бы на рутуб да и всех дел.
P.S.Судя по скринам, цветокоррекция абсолютно лишняя.
PoltP
05.01.2024 16:39+1Большая работа???? плюсанул топик и в карму +
Примеры показывающие как нейросеть улучшает качество в разных по уровню качества исходниках
но на мой взгляд очень сильно скачут цвета, пересмотрел несколько раз, сначала думал, что показалось…
Realife Автор
05.01.2024 16:39Если ты про то что в активном действии может персонаж изменить свой тон цвета - так и в оригинале было. А так разницы без прямого сравнения вы не заметите при просмотре.
Maevv
05.01.2024 16:39+7Использовал Audacity, потому что на мой взгляд, он больше всего подходит для подобного типа работ, ибо даёт быстрый доступ к базовым инструментам и лёгок в освоении.От этого выбора и последующего описания процесса подгонки немножко задергался глаз. Понимаю, что для автора это непрофильная задача, но рекомендацию по адекватному процессу дать захотелось.
Качаем Reaper. Он маленький и позволяет полноценно работать без покупки. Существует и в портативном варианте.
Смотрим на Ютубе, как пользоваться в нем стретчмаркерами. Процесс простой, интуитивный, тыкаем в любое место элемента на дорожке и жмем хоткей для создания в этом месте маркера. Маркеры можно независимо двигать, сжимая и растягивая произвольные сегменты. В принципе, для растягивания объектов целиком даже маркеров не нужно, достаточно потянуть за край элемента с зажатым альтом.
Закидываем оба файла — референс и рабочий — в Рипер на отдельные дорожки и подгоняем второй под первый, видя обе аудиоволны и их расхождения во времени. Это быстро, наглядно и по-человечески, в отличие от мучений в Аудасити.
В качестве опции можно поменять алгоритм таймстретча на более подходящий. Для этого дважды тыкаем в элемент на таймлайне и находим дропдаун Take pitch shift/time stretch mode. Как правило, для комплексного звука лучше всего подойдет какой-нибудь Эластик 3 Про в нормальном режиме. Но для других сценариев можно подобрать что-то еще. Например, для монофонических источников — речи или какой-нибудь скрипки — лучше подойдет Эластик Солоист в режимах Speech или Monophonic. Ну и никто не мешает при появлении артефактов порубить элемент на сегменты и применить к проблемным другой алгоритм. В любом случае, третий Эластик отработает лучше, чем Аудасити.
Spyman
05.01.2024 16:39Делал такое же для футурамы пару лет назад, но там были проблемы - у моих исходников было качество выше (без деформации) но перевод говно, а у всего других что нашел - деформирована картинка. Думал наложу норм перевод потом, а не тут то было - он нигде по таймингам не совпал)
Было бы здорово увидеть апскейленные симпсоны и футураму прямыми руками)
Olegsoft
05.01.2024 16:39Тоже все мечтаю прогнать через AI Бенни Хилла и Маски Шоу. Всё серии, но как представлю объем работы, руки опускаются...
voldemar_d
05.01.2024 16:39Имхо, такого же результата, как с рисованной анимацией, добиться не получится.
13werwolf13
05.01.2024 16:39Показал статью другу который тоже занимается апскейлом старого кинца. Он ответил ссылкой.. Не могу не поделиться: https://youtu.be/zxS-u4VhcxU?si=MHrhAzzRnUA_Zuft
anonymous
05.01.2024 16:39НЛО прилетело и опубликовало эту надпись здесь
Realife Автор
05.01.2024 16:39Была бы возможность, я это видео удалил из ютуба, примеры сделаны специально чтобы укрепить своё надуманное мнение, которое к тому же на данный момент уже более чем на 90% не актуально. Никакой здравомыслящий человек не будет заставлять нейросеть за него с нуля рисовать анимацию, как было показано в его примерах. Про разное количество сменяемых кадров тоже бред, потому что блин на паскале можно написать скрипт который будет определять их количество и говорить сколько дополнительных кадров нужно дорисовать.
David_Osipov
05.01.2024 16:39Имхо, я всю мультипликацию и фильмы смотрю в 60 fps - усиляет погружение в мир, заставляя в него верить. Не знаю, как у других людей, но именно погружения в мир я и жду от картин.
anonymous
05.01.2024 16:39НЛО прилетело и опубликовало эту надпись здесь
David_Osipov
05.01.2024 16:39В боевых сценах - да, артефакты мешают, но в обычных сценах чувствую погружение, будто верю в то, что творится на экране.
В нарисованных мультиках и 2D аниме малая частота кадров из-за экономии на ручном труде, в фильмах - экономия на длине ленты. А душа требует большего
EvgeniyIvanovhabr
05.01.2024 16:39+6Насколько мы все разные :) У меня абсолютно противоположный эффект - кино с высокой частотой кадров кажется неестественным, словно смотришь документальную съемку или что-то в таком духе. Кинематографический эффект погружения теряется попросту.в ноль.
nidalee
05.01.2024 16:39Из всего моего круга общения никто кроме меня не любит HFR кино :)
Я люблю, но недостаточно, чтобы терпеть артефакты. А чтобы кто-то снимал в HFR - не припомню с выхода Хоббита.
Anyuta1166
05.01.2024 16:39+2Автор молодец. Я вот тоже не люблю смотреть любой контент вне зависимости от его качества. Как раз недавно захотела пересмотреть старые мульты, и тоже не устроило качество исходников.
Правда у меня обработка и результат гораздо проще.
Меня вполне устраивает просто видео фильтр для удаления шума. Я старовер и не доверяю всем этим нейронкам. Я пользуюсь фильтром MCTD для Avisynth.
А дальше просто пережимаю в x265 с CRF 24 и сохраняю в коллекцию на NAS'е.
На трекеры не выкладываю, потому что по мнению рутрекера CRF 24 это слишком низкое качество. По-моему, для x264 действительно низковато, но для x265 вполне нормально. Даже по картинкам в этой статье видно, что заметные артефакты есть только на CRF 32. Качество получается нормальное, а размер очень маленький. Релиз даже на 60 гигов это по-моему многовато, я все просмотренное сохраняю в коллекцию на NAS'е, а с такими размерами даже 16 ТБ быстро кончается, никаких дисков не хватит потом все это хранить.
LavrentiiKolotushkin
05.01.2024 16:39+2К сожалению, при работе с Топазом результат получается очень "акварельным", это видно на примере многих линий. Хорошо, что Вы не прибегли к интерполяции, это усилило бы uncanny эффект от видеот
scorvus99
05.01.2024 16:39+1Чувак! Это колоссальная работа! Я знаю обо всех сервисах, в котором ты работал, я знаю какого искать в сети старую, запрещённую, удалённую информацию. Я тоже работаю над парой проектов, которые затянулись уже не на один год. И я тоже думал заняться этим мультфильмом, хотел сделать подобную работу)
Я хотел бы подкинуть тебе одну идею. Озвучка с помощью нейросети. Если ты хочешь создать хорошую единую озвучку для всего мультфильма. Я сейчас создаю озвучку старенькой игры Heretic II. При чем не обычным искусственным роботизированным голосом без интонации. В нейросеть можно загрузить оригинальный голос(на английском), которым она потом говорит любой текст(на русском). Если интересно, напиши мне, я расскажу подробнее.
Realife Автор
05.01.2024 16:39+1Я использовал в буквально паре моментов озвучку при помощи ИИ, но полностью переводить они пока не умеет на мой взгляд. Я конечно нейросеть от Яндекса ещё не тестировал, но остальное большинство могло не распознать голос или голос слишком натянутый, что очень сильно выделяет нейросеть. Так же в моём случае была проблема, что большая часть озвучки касается надписей на картинке. Именно в паре таких моментов я и использовал нейросеть от elevenlabs. Я бы этот момент упомянул, но забыл.
scorvus99
05.01.2024 16:39+2Да, я тоже использовал elevenlabs. Если есть хороший исходник - оригинал, то можно создать отдельный голос на его основе, которым уже озвучивать текст. Это лучше, чем просто кидать оригинальное видео/звук чтобы он его распознал, перевёл и озвучил.
Но и конечно же в данном мультсериале проблема в том, что в оригинале надписи не озвучиваются, так что исходника звука нет.
Если интересно посмотреть мой результат, оставлю ссылку: https://t.me/Heretic_II_repack
anonymous
05.01.2024 16:39НЛО прилетело и опубликовало эту надпись здесь
nidalee
05.01.2024 16:39Я не скажу за "мульт", а вот кучу фильмов у себя в коллекции я таки настянул до 4К Topaz-ом. А еще я не люблю пленочный шум, поэтому я его тоже прибил, так у меня файлы в 4К получились с битрейтом раза в 2 ниже, чем оригинал в 1080P :)
Я не айтишник, правда. С видео работаю профессионально.
kujoro
05.01.2024 16:39Я с удовольствием прочитал бы про лучшее сжатие на видеокартах amd под handbrake, а то все что есть в сети заточено под зеленых.
Пока на нвидии сидел, наруто сжал с 110 гигабайт до 25, практически без потерь в качестве
nidalee
05.01.2024 16:39Так видеокарты не про сжатие, а про скорость. Там управление энкодером порезано очень сильно. Сжатие - это CPU-only, к сожалению.
kujoro
05.01.2024 16:39nvenc - это разве процессор? когда наруто шакалил, только видеокарта и трудилась
Там управление энкодером порезано очень сильно
очень плохо! интересно почему амд режет это дело
nidalee
05.01.2024 16:39NVENC \ AMF - это железные энкодеры.
очень плохо! интересно почему амд режет это дело
Да и NVIDIA тоже. Просто железные ограничения.
bergentroll
05.01.2024 16:39скачиваем Adobe Premiere Pro
сижу на линуксе
Хочется порекомендовать присмотреться к Kdenlive.
Realife Автор
05.01.2024 16:39+2Там ужасная цветокоррекция, я сам часто пользуюсь kdenlive, но он вообще не по этой теме.
alpet_m
05.01.2024 16:39Обязательно заценю результат, как появится время. Самому интересно сделать ремастер сериалов Lexx и Bugs, из 90-ых, когда на пенсию выйду. Надеюсь к тому времени нейросети смогут восстановить увеличение угла обзора в некоторых сценах, и даже доснимать продожение :)
Moog_Prodigy
05.01.2024 16:39Они и сейчас могут, но очень трудозатратно по меркам одного человека. Реально впрочем. По сути нейросеть это тыща, миллион китайских художников-дегенератов- гениев которым ты главное обьясни, как работать - дальше сами. И главное бесплатно. Остальных специалистов они не заменят. Сценарий ГПТ может написать, но его надо во первых правильно сформулировать, а во вторых отсечь откровенную дичь. И сводить все сцены в одну все равно человек будет, хотя это автоматизируемо, если в изначальном сценарии раскадровка по секундам - это тоже думаю будет им вполне по силам.
oleg_rico
05.01.2024 16:39+3Даже не верится, какой огромный труд можно сделать в одиночку.
Безмерное уважение автору! И, конечно же, плюс в карму:)
asantat
05.01.2024 16:39+2Пример случая, когда автор не умеет (и не понимает, что, зачем и почему) обрабатывать видео и подробно разъясняет свой рабочий технический процесс. За усидчивость и целеустремленность громадный респект. Несколько базовых вещей, о которых хочется сказать: зерно аналоговой пленки - это не всегда тот вредный "шум", от которого нужно избавляться. Найдите примеры сканирования 8 мм пленки в 4k. Выглядит вполне достойно, учитывая, что это дело снималось на пленку с площадью кадра с половину ногтя мизинца лет так 50-70 назад. В киноиндустрии используется пленка большего размера, притом 16 мм даёт вполне пригодное качество и на ней снято много фильмов и сериалов с хорошей картинкой. Думаю, в этом случае тоже использовалась пленка 16 мм. Именно аналоговое зерно даёт нам возможность нормально воспринимать однородные пространства типа однотонной стены или неба. А без них такие области будут казаться пластилиновыми и неестественными. Давайте просто запомним, что детализация - не критерий качества видео. Если у изображения всё хорошо с другими параметрами - балансом белого, локальной контрастностью, постоянством цветовой схемы на протяжении видеоряда в пределах одной сцены и так далее, то детализация не привнесет много улучшений в изображение, а скорее может даже навредить, так как у нас есть априорные ожидания от изображения, и уровень детализации их несколько завышает (тогда как повлиять на остальные параметры Вы не в силах).
Ну и техническая ремарка - в процессе обработки видео принято использовать "промежуточные" технические кодеки. Если Вы планируете использовать несколько программ последовательно, это позволит Вам избежать потери информации, появления артефактов сжатия и сэкономит время, затраченное на перекодирование.
Ну и вопрос к концу: чем Вам не понравился Davinci Resolve для повышения разрешения и оптической интерполяции? Мне кажется, он очень неплох.
Realife Автор
05.01.2024 16:39+21) Вы так и не написали в чём именно состоит моё "непонимание работы с видео", так что здесь у меня как и у вас, комментариев по теме нет.
Аналоговое зерно там это что-то с чем-то, если не брать тот же самый пережатый в 480р формат. https://imgsli.com/MjI4NDk0/0/1 А на счёт шума - надо будет посмотреть и попробавать, насколько это реально меняет восприятие от картинки в данном случае. У всех "зловещие долины" самые разные. Один хочет чтобы вообще ничего не меняли, оставили как есть и растянули изображение до 1440р, другой ищет какой-то "эффект рисовки". Короче, сложная тема, угодить всем более чем невозможно.2) У меня было видео с битрейтом 24 мб/с, тут хоть 4 раза перекодируй - ничего плохого с ним не случится, учитывая до какого потом битрейта handbrake их сжал и никаких артефактов после не прослеживалось.
3) Не умею пользоваться. В примьере хоть примерное понимание было, а так по новой с нуля изучать программу - желания было никакого.
nidalee
05.01.2024 16:39+3У меня было видео с битрейтом 24 мб/с, тут хоть 4 раза перекодируй - ничего плохого с ним не случится, учитывая до какого потом битрейта handbrake их сжал и никаких артефактов после не прослеживалось.
Технически, это не так. Lossy энкодеры (и H.264 и H.265) "выкидывают" лишнюю информацию вне зависимости от целевого битрейта. Кроме того, они оперируют макроблоками. А у H.264 (который у вас скорее всего был промежуточным) и у H.265 они разного размера. То есть как минимум на границах этих самых макроблоков у вас повторное сжатие пошло с потерей качества.
Я вас понимаю, поскольку сам занимался подобной работой: сейчас уже не особо интересно слушать придирки к технической части, когда исправлять что-то уже поздно. Но повторного сжатия стоит стараться избегать в будущем.
Если нет места на реальные lossless кодеки (как я уже писал выше, там нужно много сотен гигабайт), типа FFV1 или раскадровки в PNG, приценитесь к ProRes 422 STD или LT.
Ну и кстати да. Lossless хоть и занимает черт знает сколько места, зато сжимается фактически в реалтайме. То есть на кодирование видео вы будете тратить время только на последнем этапе. Его же можно по возможности и желанию перенести на другой ПК.
Просто со стороны немного странно выглядит: вы с одной стороны теряете слегка в качестве на промежуточных энкодах, а в конце даете щедрый такой CRF, который даже я не ставлю на экспорт мастера из lossless. :)
pha
05.01.2024 16:392) У меня было видео с битрейтом 24 мб/с, тут хоть 4 раза перекодируй - ничего плохого с ним не случится
Можете проанализировать по vmaf или SSIM/PSNR и удивитесь, что потери есть, к тому же 24 мбит для такого разрешения - это не много.
ffmpeg -i result.mp4 -i reference.mp4 -lavfi libvmaf -f null -ffmpeg -i result.mp4 -i reference.mp4 -lavfi "ssim;[0:v][1:v]psnr" -f null -Если потерь нет, то SSIM будет > 0,999. А значение 0,97 рекомендовано для качественных рипов.
Vmaf при отсутствии потерь будет около 100
asantat
05.01.2024 16:39Я не хочу указывать Вам на недостатки. Вы большой молодец, идеально сделать ни у кого не получится. Здесь много людей указали, как правильно было бы поступить на том или ином этапе, а также привлекли внимание к нескольким важным фундаментальным вопросам. Это конструктив. А критиковать весь технический процесс в деталях, когда к нему есть множество вопросов - не самый лучший способ донести информацию до сведения собеседника.
Ну и на счет битрейта - практически ничего плохого с видео не получилось бы, если бы у Вас стояла дискретизация 4:2:2. Вы в любом случае теряее информацию, просто это может быть приемлемой жертвой, кроме того, потери скорее всего затронули область границ, потому что в мультфильме обилия градиентов (другой "уязвимой" для сжатия с потерями группы областей изображения) нет, и в первом случае потери информации сложнее обнаружить, а во втором случае отслеживать практически нечего.
Вы писали, что пробовали разные инструменты, но они Вас не удовлетворили. Интрига в том, что Вы не указали, какие именно (по крайней мере при одном из упоминаний об использовании других интрументов). Вот эта информация очень интересна. С Davinci Resolve Вы могли бы обойтись всего одним инструментом вместо 4 (а может быть, и вместо всех).
oleg_rico
05.01.2024 16:39Для того чтобы получить все плюсы фильма, снятого на плёнку, нужно иметь к ней доступ физический.
Realife Автор
05.01.2024 16:39+1Осталось откатить время на 20-30 лет назад) Она практически вся уже испаганена в труху.
oleg_rico
05.01.2024 16:39Вот о том и речь.
Недавно писал о мультфильме "перевал" по отличной книге Кирилла булычёва. Так невозможно нигде его нормально посмотреть, потому что то что на Ютюбе это ужас ужас. Там сама рисовка предполагает что смотреть нужно в очень хорошем качестве, а где теперь его взять если плёнки нет? Только надеяться на нейросеть.
Кстати, если вдруг у вас появится время и желание может быть займётесь этим мультом?
kl4tch
05.01.2024 16:39+1Спасибо тебе огромное за твою работу, но всё же оставить ссылку на донаты надо было. Или хотя бы крипто-кошельки если живёшь не в РФ
Alexander_Green
05.01.2024 16:39+2Проделан титанический труд. Сделать ремастер лучше оригинального ремастера это просто браво, маэстро. Повезло видеть сам процесс развития автора в этом деле, хоть сам не фанат нейрообработки но даже мне нравится как местами картинку просто спасли от океана шумов и артефактов. За работу над унификацией озвучки отдельная похлава, это такая рутинная задача но это было сделано.
Да, есть косяки, поэтому просьба к хабровчанам отнестись с пониманием и если уж критиковать, то по объективным причинам и с предложениями, тут есть куда расти автору и он будет
RM-HD
05.01.2024 16:39Том и Джерри. Мультсериал. исходник - BDRemux 1080p (Том и Джерри. Золотая коллекция: Том первый / Tom & Jerry Golden Collection: Volume One (Джозеф Барбера, Уильям Ханна / Joseph Barbera, William Hanna) [1940-1948, США, мультфильм, BDRemux 1080p] 2x MVO + 3x DVO + 2x AVO + VO + Eng + Sub) Первая серия, вот кусочек семпла в 4К: https://drive.google.com/file/d/1WuhJUOcQUvgPYN7sD_bZ3v4CgCtAz9aH/view?usp=sharing
Параметры в ТОПАЗ 2.6.4:
https://www.imagebam.com/view/MER86QK
дерзайте!
pha
05.01.2024 16:39+21)
постоянное качество - "RF: 12", переменная частота кадров, предустановка "ultrafast", настройки "animation"
За такое дилетанство вам на рутрекере набросают нехороших комментариев. Правильное решение использовать режим 2pass и как раз таки подбирать битрейт и смотреть вывод лога
Например, для x264 у них указаны рекомендуемые параметры
CABAC - включено
ReFrames (ref) - не менее 7
bframes - не менее 7
me - не хуже чем umh
subme - не менее 9
me_range - не менее 24
rc - 2 pass или crfПо x265 таких деталей не указано, но у вас в пресете ultrafast - "me=0 / subme=0"
2)
Видео: MPEG-4 8 bit 1920x1440 (4:3) 23.976fps 4000-1000Kbps (серии 2-80, 82-83, 87, 92-93, 95-96, 117-130, 132-143, 145-163)
Видео: MPEG-4 8 bit 2160x1440 (16:10) 23.976fps 4500-11500Kbps (серии 1, 81, 84-85, 90, 97-98, 104, 111, 114, 116)
Видео: MPEG-4 8 bit 2562x1440 (16:9) 23.976fps 7500-9500Kbps (серии 106, 130, 144)
Видео: MPEG-4 8 bit 3456x1440 (2.40:1) 23.976fps 5500-13500Kbps (серии 86, 88-89, 91, 94, 99-103, 105, Спайк и Тайк 2, 107-110, 113, 115)
Видео: MPEG-4 8 bit 2160x1440 (16:10) 29.97fps 9000Kbps (серия Спайк и Тайк 1)По опыту, вам придется подобрать примерно эти же 5 вариантов битрейта и кодировать ими, следя за тем чтобы в логах был приемлемый
Мои примеры над серией [1942.05.30] Tom And Jerry 006 Puss N' Toots (у вас битрейт ~7200):
x265 - битрейт 6000, пресет slow
x265 [info]: frame I: 87, Avg QP:14.60 kb/s: 17871.63
x265 [info]: frame P: 4017, Avg QP:16.43 kb/s: 10598.52
x265 [info]: frame B: 6675, Avg QP:20.22 kb/s: 3072.24
encoded 10779 frames in 583.70s (18.47 fps), 5996.50 kb/s, Avg QP:18.76x264 - битрейт 6000, пресет veryslow
x264 [info]: frame I:64 Avg QP:14.32 size:129023
x264 [info]: frame P:3959 Avg QP:17.16 size: 53530
x264 [info]: frame B:6756 Avg QP:18.88 size: 173233) Как уже сказали в тут - CRF12 оверкилл, рипы делают либо в 2-pass режиме, либо с crf 16-18
4) При создании вы делали как минимум 2 перекодирования (топаз -> премьер -> результат), уверен что промежуточные результаты были не в кодеках с минимумом потерь.
Например топаз может выводить в prores422, у премьер еще больший набор кодеков, а также есть плагин, о котором писал @nidalee
5) Также из-за кучи перекодирований закралась ошибка, например в той же серии "006 Puss N' Toots" у видео выставлен неправильный Aspect Ratio
Width : 1 920 pixels
Height : 1 440 pixels
Display aspect ratio : 1.025Из-за этого в нормальных проигрывателях видео узкое.
Да, видео по пикселям может быть одного соотношения, а выводится в другом. Но у вас DAR некорректный, должно быть 4:3
Realife Автор
05.01.2024 16:39Я 6 серию после топаза никак не трогал, кроме перекодирования с handbrake для сжатия. Как раз вот handbrake и дел натворил, я не знаю как образом он DAR считает, но это надо вручную поправлять. А промежуточных серий у меня ну совсем мизер. https://habr.com/ru/articles/784648/#comment_26342730
Realife Автор
Честно говоря, я уже достаточно много наобщался с теми кому картинка не понравилась. Уже желания эту тему поднимать нет, и другим не советую. Если вам нравится результат - хорошо, не надо трогать других "ценителей", в этом нет никакого смысла, у человека своё мнение, неважно ошибочное оно или нет. Вы можете потратить кучу времени на споры, однако ни одна из сторон своего не добьётся, такое чувство, что каждый выбирает либо белое, либо чёрное. Ни одного, ни другого не переубедить.