Авторы: Сердюк Мария Сергеевна, Таратин Артём Андреевич, Пойкалайнен Александра Максимовна, Кочкаров Расул Ахматович

Введение

Современные технологии искусственного интеллекта уже получили широкое применение в различных сферах, включая гуманитарные науки и творчество. Отдельно следует выделить использование машинного и глубокого обучения в исторической науке, где получены результаты по поиску, распознаванию и переводу символов на археологических памятниках.

Исследование символов тюркской рунической письменности актуально, так как может помочь в понимании истории и культуры народов Евразийского ареала. Современные методы анализа данных и машинного обучения обладают большим потенциалом для автоматизации процесса детекции, классификации и распознавания рунических символов. Что может значительно ускорить и улучшить работу исследователей в области археологии.

Несмотря на значительные успешные проекты за рубежом, в России, где находится множество археологических памятников Евразии раннего средневековья с нерасшифрованными руническими надписями, подобные исследования пока не распространены. Данная тематика является крайне актуальной для отечественной науки.

База данных

Для применения моделей машинного обучения был выбран набор данных письменного археологического памятника «IRK BİTİG» [1] (Ирк Битиг), который имеет высокое качество разрешения. Особенно важным для исследования источника Ирк Битиг оказалось значительное количество страниц книги для формирования алфавита. Данный источник позволил собрать большой набор данных однотипных рунических символов, который впоследствии был использован для обучения модели. 

Ход исследования

На первом этапе необходимо было сформировать алфавит символов из всевозможного набора символов [2–11]. В результате анализа различных источников была составлена таблица из 40 классов символов рунического алфавита (рис.1).

Однако в ходе анализа символов были выявлены некоторые проблемы:

• дисбаланс классов (в некоторых классах оказалось мало символов);

• около 5–10% изображений не удалось однозначно отнести к конкретным классам.

Для решения этих проблем в дальнейшей работе планируется провести полноценный анализ письменных памятников одного региона в близкий временной период. Выделить несколько основных алфавитов, например, енисейский, орхонский, кубанский и др. Это позволит выбрать текст с большим количеством символов сначала определить алфавит и далее классифицировать их в рамках выбранного алфавита.

Для текущей работы был сформирован алфавит на основе письменного источника Ирк Битиг (рис. 2), состоящий из 38 символов, включая знаки пунктуации (037 — разделение символа, 038 — символ для нумерации страниц).

Далее необходимо было разметить символы на страницах документа. Для разметки изображений использовался облачный инструмент с открытым доступом — cvat.ai. Также его можно развернуть в локальной среде с использованием приложения Docker. В результате были сформированы тестовая и обучающая выборки, проаннотированные экспертами, фрагмент которых представлен на рис. 3.

На этапе выбора модели машинного обучения для распознавания символов был проведен анализ версий модели YOLOv8, в результате которого было принято решение остановиться на моделях YOLOv8m и YOLOv8l как потенциально оптимальных в условиях ограниченного набора данных.

На тренировку было выбрано 24 картинки, в то же время на тест попало 5 специально выбранных картинок, имевших 38 уникальных классов = 83/17% (рис. 4). После чего была проведена валидация и тестирование моделей на тестовой выборке. Сравнили результаты с аннотациями экспертов и метриками качества, а также проанализировали ошибки и неточности моделей, выявили сложные случаи. Так, например, модель не могла распознать некоторые классы символов в силу качества изображения.

Символы с классами 016 и 031 встречались очень редко, и из‑за низкого количества экземпляров модель yolov8m классифицирует руны, как фон; символ 025 был ошибочно найден на одной из страниц из‑за неправильной разметки 2-х символов; при распознавании символов 037 и 038 модель yolov8m демонстрирует трудности в различении их и фона.

После увеличения экземпляров набора данных до 82, стали заметны проблемы с разметкой: путаница и пропуски плохо пропечатанных символов.

Но модель стала лучше различать символы из‑за увеличения количества экземпляров. Метрики YOLOv8l с некоторыми изменениями параметров аугментации представлены на рис. 5 и 6.

Количество редких символов не сильно увеличилось, но это помогло модели их заметить (рис. 7).

Результаты работы модели на случайном скриншоте продемонстрировали ее способность к точному распознаванию рунических символов (рис. 8).

Однако модель все еще продолжает плохо различать классы 035–038. Потому разметка всего набора данных была повторно проверена и исправлена в целях повышения качества детекции символов.

Дополнительные задачи

Помимо обучения моделей распознавания, был разработан скрипта конвертации выходных данных YOLOv8 в текстовое представление, а именно в последовательность классов символов (рис. 9).

0 row: 037 024 019 002 004 014 004 002

1 row: 038 002 004 014 037 004 010 004 014

 2 row: 038 001 021 003 028 001 020 014

 3 row: 037 020 003 020 029 004 005 004

 4 row: 005 006 037 004 012 003 017 014

 5 row: 021 003 011 023 037 020 029 003

 6 row: 037 001 021 003 021 014 037 001

 7 row: 037 024 003 019 026 023 011 032

 8 row: 037 003 021 014 037 003 011 023

Текстовое представление позволит провести криптографический и статистический анализ рунических надписей.

Также была реализована обратная задача — визуализация символов Ирк Битиг по заданному набора классов символов. То есть, создана простая библиотека для визуализации рунических символов по их кодировке (рис. 10).

Заключение

В рамках данного исследования впервые в отечественной практике была предпринята попытка применения технологий искусственного интеллекта для распознавания письменных памятников рунической письменности Ирк Битиг. Несмотря на ряд технических и методологических сложностей, связанных с отсутствием стандартизированного алфавита и достаточного объема размеченных данных, удалось разработать работоспособную систему распознавания рунических символов на примере письменного археологического источника Ирк Битиг.

Дальнейшее развитие проекта предполагает:

• проведение полноценного анализа письменных памятников одного региона в близкий временной период для формирования унифицированного алфавита или перечня алфавитов;

• увеличение размера и качества набора данных путем тщательной разметки и валидации данных;

• доработку модели распознавания с учетом выявленных проблемных классов;

• реализацию полноценного инструмента для автоматической расшифровки рунических надписей;

Успешная реализация данного проекта позволит не только продвинуть отечественную историографию в области изучения древних письменных памятников, но и создать прикладной инструмент, востребованный в научно‑исследовательской работе, археологии и культурном наследии.