Использование глубокого обучения и обработки изображений для реставрации и сохранения произведений искусства.
Когда в 2005 году Карола-Бибиана Шёнлиб начала защищать докторскую диссертацию по математике, одним из ее первых проектов была помощь в реставрации средневековой фрески в Вене. Когда-то скрытые стенами старой квартиры, остатки росписи были испорчены белыми пятнами – следствие демонтажа стен за несколько лет до этого. Вместо краски, растворителей или смолы Шёнлиб использовала алгоритмы реставрации. «Были специалисты из Венского университета, которые начали физическую реставрацию», – говорит Шёнлиб. «Затем мы перешли к цифровой реставрации».
Сделав фотографии поврежденной фрески, Шёнлиб изучила алгоритмы, которые можно было бы использовать для заполнения недостающих, поврежденных фрагментов картины, создавая цифровой макет того, как могла бы выглядеть оригинальная фреска. В то время было немного работ, описывающих, как математики и реставраторы могут работать вместе для восстановления произведений искусства. Реставраторы и искусствоведы только начинали оцифровывать свои архивы, сохраняя картины, рукописи и керамику на компьютерах.
Шёнлиб, профессор прикладной математики Кембриджского университета, использует анализ и обработку изображений для реставрации и сохранения произведений искусства. В настоящее время она вместе с другими математиками и специалистами в области гуманитарных наук работает над проектом «Математика для применения в культурном наследии» (MACH). Этот проект объединяет опыт историков искусствоведов, реставраторов, археологов с опытом математиков для развития реставрации и изучения предметов искусства.
В своем текущем проекте «Раскрытие невидимого» команда MACH использует алгоритмы MATLAB для каталогизации римской керамики, анализа поперечных сечений красок, чтобы ученые могли увидеть новые взаимосвязи между артефактами, и в цифровом виде восстанавливать иллюминированные рукописи, слишком хрупкие для физической реставрации. Эти три центральные области проекта разрабатывались годами.
Восстановление рукописей
Работа над проектом MACH началась в 2013 году, когда Шёнлиб выступила в университете с докладом о цифровой реставрации изображений. Присутствовали сотрудники кембриджского музея Фицуильяма, где представлены произведения искусства с древнейших времен до наших дней. Они решили, что методы Шёнлиб можно применить в их работе.
Когда хранитель рукописей и печатных книг в Музее Фицуильяма услышала доклад Шёнлиб о реставрации изображений, она обратилась к ней и предложила им поработать вместе. Так родился проект MACH.
Когда реставраторы работают с поврежденными картинами и артефактами, они сталкиваются с большой дилеммой. У них есть возможность восстановить произведение, чтобы оно выглядело так, как могло бы выглядеть в своем первоначальном виде, хотя само повреждение может стать летописью истории предмета. Например, иллюминированные рукописи средневековых авторов, написанные от руки на пергаменте и украшенные росписью, часто включает драгоценные металлы, такие как золото или серебро. В некоторых случаях краска с рукописей могла быть намеренно удалена или добавлена, чтобы, например, скрыть оскорбительное изображение или надпись. Наличие таких исправлений дает дополнительную информацию историку об изменении нравов или политической ситуаций в той или иной период. Так что здесь возникает дилемма восстановить первоначальный облик предмета или сохранить информацию о пережитой истории данного артефакта.
«Что мы приобретаем, восстанавливая, и что мы теряем, восстанавливая?» – спрашивает Сюзанна Рейнольдс, куратор музея Фицуильяма в отделе рукописей и печатных книг. Рейнольдс является членом группы MACH и работает со средневековыми рукописями.
Красочные манускрипты особенно проблематичны, когда дело доходит до реставрации. Они редко подвергаются физическому восстановлению по сравнению с другими видами живописи. В сотрудничестве с Рейнольдсом, Шёнлиб и Симон Паризотто, научные сотрудники кафедры прикладной математики и теоретической физики Кембриджа и музея Фицуильяма, разрабатывают приложение для решения этих проблем в рамках более масштабного проекта «Раскрытие невидимого».
Приложение, предназначенное для реставраторов и разработанное с использованием MATLAB, использует методы обработки изображений для выявления повреждений и виртуальной реконструкции изображений в рукописях. Оно опирается на технологию inpainting – термин, который первоначально означал физическую реконструкцию картины. В математических кругах inpainting означает цифровое восстановление изображений.
Используя глубокое обучение и дифференциальные уравнения, программа MACH может заполнить пробелы в поврежденной рукописи и предсказать результаты различных способов реставрации. Пользователь обучает алгоритм на примерах из той же или смежной рукописи (рукописей) – чем больше, тем лучше – и затем алгоритм восстанавливает недостающую часть изображения.
«Использование виртуальных и математических методов позволяет сохранить объект таким, какой он есть, сохранить его историю, но при этом есть возможность воссоздать первозданную версию того, как он мог бы выглядеть», - говорит Рейнольдс. «Это дает возможность решить дилемму, которая возникает перед реставраторами».
Помимо реставрации, математические методы могут не только оцифровывать архивы, но и использовать искусственный интеллект, чтобы сделать архивные данные еще более полезными для реставраторов, искусствоведов и археологов.
Кластеризация римской керамики
Идея второго направления «Раскрытие невидимого» возникла в 2015 году, когда Алессандро Лаунаро – профессор из Кембриджа, пришел к Шёнлиб с проблемой. Будучи археологом, Лаунаро специализируется на римском периоде и занимается раскопками в западной Италии. Как это почти всегда бывает в таких случаях, он нашел большое количество керамики, которая использовалась для повседневных задач, таких как приготовление пищи, но перед ним стояла сложная задача проанализировать несколько тысяч форм керамики, кусочков, ободков горшков и оснований.
Обычно повседневная керамика составляет большую часть всей керамики, найденной на археологических раскопках. Однако, учитывая разнообразие форм, которые может принимать эта керамика, и огромное количество находок, выяснить взаимосвязи между различными типами керамики, найденной в разных местах, было непростой задачей.
«Поскольку посуда представляет собой предметы быта, она позволяет узнать больше о жизни древних народов, в отличие от статуй, мозаек или красивых расписных горшков, которые мы видим в музеях», – говорит Лаунаро. Создание каталога для регистрации этих предметов и их взаимоотношений друг с другом может дать дополнительные ценные сведения о повседневной жизни прошлых цивилизаций. «Но это не так просто сделать, особенно одному человеку», – говорит Лаунаро.
Шёнлиб и Паризотто решили, что могут помочь Лаунаро решить эту проблему. «Кто-то может просто перебрать все эти формы, но это очень долго и утомительно», – говорит Шёнлиб. «А поскольку мы, люди, склонны делать ошибки, мы иногда устаем и можем что-то упустить. Алгоритм не устает».
Паризотто и Шёнлиб обратились к MATLAB, чтобы создать каталог, который задумал Лаунаро. В 2016 году они опробовали систему, предназначенную для сопоставления рисунка гончарного изделия в профиль с аналогичным изображением в базе данных. Археологи классифицируют древнюю керамику по форме профиля и считают, что схожие формы указывают на хронологические и функциональные связи.
Но данный подход не очень хорошо сработал. Эталонные изображения керамики не были хорошо структурированы. Команде пришлось сделать шаг назад и заняться организацией данных самостоятельно. «Учитывая, что речь шла о тысячах уникальных форм керамики, нам пришлось задействовать более мощные вычислительные ресурсы», – говорит Лаунаро.
Чтобы заполнить и упорядочить собственную базу данных по керамике, команда добавила тысячи изображений, черно-белых профилей предметов обычной посуды. К концу 2020 года было уже включено около 6 000 профилей гончарных изделий. Паризотто использует алгоритмы глубокого обучения без учителя для группировки или кластеризации родственных гончарных форм. Программа создает иерархические дендрограммы, группируя черепки керамики, чтобы лучше видеть взаимосвязь между различными типами. «Идея заключается в том, чтобы извлечь соответствующие характеристики из имеющихся объектов, – говорит Паризотто, – и найти взаимосвязи, объединяющие различные характеристики».
Определив взаимосвязи между типами посуды, археологи смогут лучше отобразить их развитие и распространение в разных областях и эпохах. Эти взаимосвязи могут дать подсказки о важных изменениях в торговле, структуре поселений или привычках питания. Группа MACH все еще разрабатывает и тестирует приложение, но в итоге идея заключается в том, чтобы создать инструмент, который позволит археологам более эффективно интерпретировать места раскопок и исследований.
Уроки искусства из стружки краски
Касия Таргонска-Хадзибабич, научный сотрудник группы MACH и физик по образованию, работает над подпроектом «Раскрытие невидимого», который опирается на принципы, аналогичные базе данных римской керамики. Но вместо керамики Таргонска-Хадзибабич работает с Паризотто над созданием платформы для цифровых изображений поперечных сечений сколов краски, которая позволяет сортировать и сравнивать их.
При сохранении произведений искусства изучение поперечных сечений маленьких сколов с картины может показать, как художник создавал произведение. «Это дает информацию о технике, которую использовал художник, о том, как была написана картина», – говорит Таргонска-Хадзибабич.
Команда MACH также создает систему, которая может выявить связь между срезами стружки краски, взятыми с разных картин, художников и временных периодов и понять что могут значить сходства.
Традиционно реставраторы берут такие срезы, сохраняют их в смоле и рассматривают различные слои краски под микроскопом. Вблизи покрытый смолой обломок краски выглядит как красочный многослойный сэндвич. Коллега Таргонска-Хадзибабич по художественной реставрации оцифровывал свой собственный архив поперечных срезов сколов краски и хотел посмотреть, что еще, кроме техники отдельного художника, могут показать эти сколы краски.
Таргонска-Хадзибабич объединилась с Шёнлиб, чтобы создать систему, позволяющую выявлять связи между срезами разных картин, художников или периодов времени. Слои в срезе не однородны и различаются не только по цвету, но и по текстуре, смеси и консистенции. Как и в проекте с римской керамикой, команда использует методы машинного обучения в MATLAB для группировки более 10 000 цифровых изображений поперечных срезов в значимые классы на основе их особенностей.
По словам Таргонска-Хадзибабич, они еще не уверены в том, что могут показать эти алгоритмы. «Это итеративный процесс, который опирается на общение с реставраторами, чтобы найти сходства, важные с точки зрения истории искусства».
Но они надеются, что с помощью созданного ими приложения реставраторы смогут сравнивать слои в исходном сечении с аналогичными пятнами в других сечениях в базе данных. Пользователи приложения не только увидят эти результаты, но Таргонска-Хадзибабич работает над тем, чтобы консерваторы могли легко изменять результаты в соответствии со своими потребностями.
В полевых условиях
Отзывы экспертов в области археологии, реставрации и истории искусства сыграли решающую роль в руководстве этими проектами. «Только эксперты могут направить людей, занимающихся наукой о данных, по правильному пути», – говорит Паризотто.
Сотрудники MACH в Фицуильяме только начинают тестировать эти приложения, но цель состоит в том, чтобы обеспечить доступ к этим ресурсам для всех ученых, расширив их существующий инструментарий. Для Лаунаро справочный каталог керамики Commonware позволит более детально изучить ранее упускаемую из виду новую сторону археологии.
По словам Рейнольдса, цифровой инструмент MACH для реставрации рукописей не только поможет реставраторам, но и расширит возможности преподавания и привлечения общественности. «Есть надежда, что данный инструмент будет очень полезен для преподавания, поскольку позволит работать с изображениями объектов в их лучшем виде», – говорит Рейнольдс. Этот инструмент также может расширить виртуальные архивы музеев, показывая представителям общественности как реальный артефакт, так и цифровой "оригинал".
Таргонска-Хадзибабич говорит, что составление базы данных поперечных срезов красок, позволяющей выявить связи между образцами, может помочь экспертам определить новые методы живописи и выявить ранее неизвестные связи между художниками и произведениями искусства.
Однако ни один из этих инструментов не заменит работу специалистов-гуманитариев. «Есть уровень интерпретации, где нужен человек. Но есть и машинные алгоритмы, которые сделают нашу работу намного проще и понятнее».