Не так давно мы рассказывали про то, как обучили модель-полиглот mGPT, которая говорит на 61 языке. Этим летом мы выложили большую мультиязычную модель (претрейн) mGPT-13B под открытой лицензией MIT.

Сегодня мы представляем вам семейство моделей-экспертов на основе оригинальной mGPT для языков СНГ и малых народов России. Оригинальная модель уже владела этими языками, но нам хотелось сделать максимально качественные отдельные моноязычные модельки, использовав доступные открытые сеты.

Из общего набора в 61 язык мы дообучили 23 модели на дополнительных данных под каждый язык стран СНГ и малых народов России. И в этой статье мы расскажем про то, как мы это сделали и насколько лучше каждый конкретный файнтьюн знает свой язык. А сами модели можете найти на Hugging Face.

Вот список языков для которых представлены улучшенные моноязычные модели:

• ???????? mGPT-1.3B Armenian — армянский

• ???????? mGPT-1.3B Azerbaijan — азербайджанский

• ???? mGPT-1.3B Bashkir — башкирский

• ???????? mGPT-1.3B Belorussian — белорусский

• ???????? mGPT-1.3B Bulgarian — болгарский

• ???? mGPT-1.3B Buryat — бурятский

• ???? mGPT-1.3B Chuvash — чувашский

• ???????? mGPT-1.3B Georgian — грузинский

• ???? mGPT-1.3B Kalmyk — калмыцкий

• ???????? mGPT-1.3B Kazakh — казахский

• ???????? mGPT-1.3B Kirgiz — киргизский

• ???? mGPT-1.3B Mari — марийский

• ???????? mGPT-1.3B Mongol — монгольский

• ???? mGPT-1.3B Ossetian — осетинский

• ???????? mGPT-1.3B Persian — персидский

• ???????? mGPT-1.3B Romanian — румынский

• ???????? mGPT-1.3B Tajik — таджикский

• ☕ mGPT-1.3B Tatar — татарский

• ???????? mGPT-1.3B Turkmen — туркменский

• ???? mGPT-1.3B Tuvan — тувинский

• ???????? mGPT-1.3B Ukranian — украинский

• ???????? mGPT-1.3B Uzbek — узбекский

• ???? mGPT-1.3B Yakut — якутский

Модели mGPT, mGPT-13B и моноязычные mGPT

Исходные версии моделей mGPT описаны в нашей академической статье на ArXiv, где доступны детали обучения, сравнения с предобученной моделью XGLM моделью и многое другое.

Напомним лишь, что модель содержит 1,3 млрд параметров, а версия mGPT-13B — 13 млрд. Мы учили модели, используя размер батча 2048 и контекстное окно размером 512 токенов для первых 400 000 шагов. После этого мы дополнительно доучивали на обновленной очищенной версии датасета на ещё 200 000 шагах, уже с контекстом 2048. Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей. Модели также доступны на российской платформе ML Space в хабе предобученных моделей. С этого лета обе модели доступны в HuggingFace под открытой лицензией MIT, мы рады наконец поделиться с ними сообществом.

Новые многоязычные версии моделей основаны на претрейне mGPT. В теории, даже самые малоресурсные языки, которые видела модель, всё равно должны поддерживаться и решать даун-стрим таски благодаря трансферу знаний с ресурсных языков. Однако, по факту пользоваться моделькой, обученой на конкретный язык, очевидно приятнее и имеет больший смысл, т. к. в таком случае мы получаем и знания от остальных языков, и текущего, на котором дообучаемся. Каждая модель была обучена на открытых и очищенных данных для своего языка, об этом ниже.

Данные для дообучения моделей

Самое интересное — это конечно данные =) Для того, чтобы дообучить модели на нужных нам языках, необходимо было собрать моноязычные корпуса. Для этого мы взяли подкорпуса на соответствующих языках из открытых источников:

• mC4

• OSCAR

• OpenSubtitles

• Wiki, Blogs, LibGen, Archive

и дополнили их специальными открытыми корпуса под каждый язык:

• EANC — [армянский] Восточноармянский национальный корпус (ВАНК) является справочно-информационной системой и огромным корпусом, в основе которого лежит обширная коллекция размеченных текстов на литературном варианте восточноармянского языка, государственного языка Республики Армения.

• TED talks (ted_talks_iwslt) — [азербайджанский, белорусский. грузинский, казахский, персидский, румынский, таджикский, татарский, украинский, узбекский] (CC BY-NC-ND 4.0) The Web Inventory Talk — это коллекция оригинальных транскриптов с TED talks и их переведенных на разные языки версий. Переводы доступны на более чем 109+ языках, хотя распределение неоднородное.

• minorlangs — [башкирский, бурятский, чувашский, калмыцкий, марийский, татарский, тувинский, якутский]. Коллекции текстов для малых языков России. На данном ресурсе представлена информация о том, какие языки представлены в интернете, а какие – нет, а также можно найти и скачать тексты на интересующем вас языке. Проект академический, реализован в рамках магистерской программы «Компьютерная лингвистика».

• Bashkir — [башкирский] (GPL-3.0 license) parallel-corpora 520K башкирско-русский и русско-башкирский параллельные корпуса (открытые книги, переведенные с русского материалы и многое другое).

  bashkir corpus – в открытом доступе представленная коллекция из 20 934 729 токенов чистых башкирских текстов.

• XNLI — [болгарский] (Attribution-NonCommercial 4.0 International) болгарская часть известного академического сета XNLI. XLNI представляет собой часть примеров из MNLI (задача textual entailment), переведенного на 14 различных языков.

• chuvash_parallel, chv_corpus — [чувашский] (CC0) чувашско-русский параллельный корпус, около одного миллиона предложений, выровненных вручную.

• oyrad_corpus — [калмыцкий] (MIT) открытый бесплатный лингвистический корпус калмыцкого и ойратского языков. Различные тексты для изучающих калмыцкий язык, литературу и культуру (стихи, фольклор, проза, религиозная литература)

• udhr — [монгольский] The Universal Declaration of Human Rights (UDHR). Набор данных включает в себя переводы документа на более чем 400 языках и диалектах.

• VOA Corpus и Kayhan Corpus [персидский] Персидско-арабский корпус, собранный за 2003–2008 годы, 7,9 миллионов слов, лицензия: public domain. И Kayhan корпус — данные за 2005, транслитерированный, 19 миллионов слов, лицензия: public domain.

Стоит отметить, что итоговые датасеты для разных языков получились не очень равнозначными, и для части малоресурсных языков количество текстов оказалось небольшим и из достаточно узкого круга доменов. Для сравнения, для персидского мы обучали модель на 54 079 874 текстах, в то время как для калмыцкого языка нашлось всего 9 181 текстов. При этом каждый текст содержит разное количество слов, в зависимости от его содержания, языка и домена. В среднем на один текст приходится тысяча слов. Для файнтюна каждый моноязычный датасет был разбит на шарды и отформатирован следующим образом:

«какой-то текст <|токен конца текста|>
ещё какой-то текст <|токен конца текста|>»

Спасибо всем коллегам, которые неравнодушны к малоресурсным языкам, занимаются развитием и созданием корпусов. Мы уверены, это далеко не весь список источников и инициатив. Мы открыты для коллаборации, если у вас есть данные, на которых вы бы хотели дообучить модель, или вы просто хотите поделиться ими с сообществом, напишите нам. Попробуем вместе собрать датасеты в едином месте и по возможности дообучить модельки на вашем языке.

Тюнинг моноязычных моделей

Вооружившись данными для файнтьюна, мы приступили к дообучению моноязычных моделей.

Каждую модель мы дообучали 250к шагов, что занимает около недели на суперкомпьютере Christofari на одной GPU A100 с 80Gb видеопамяти, делая промежуточный чекпоинт каждые 50к шагов. Для дообучения мы использовали следующую конфигурацию гиперпараметров:

model-parallel-size = 1
num-layers  = 24
hidden-size = 2048
num-attention-heads = 16
batch-size = 4
seq-length = 2048
max-position-embeddings = 2048
train-iters = 250000
distributed-backend  = nccl
lr = 0.00001
lr-decay-style = cosine
lr-decay-iters = 200000
min-lr = 0.000005
warmup = .001
fp16 = True

После этого мы проверяли, вышла ли моноязычная модель на плато по лоссу на обучающем корпусе. Если модель вышла на плато раньше заключительного шага, то мы брали лучший чекпоинт из имеющихся, оценивая качество уже на отложенной тестовой выборке. Если же этого количества шагов оказывалось недостаточно, и лосс модели на 250 тысячах шагов все еще продолжал падать (таких моделей оказалось 10 из 23), то мы продолжали ее дообучение до выхода на плато. Например, для армянского и белорусского на это потребовалось миллион шагов. Стоит, наверное, пояснить, что конечно лучше было бы ориентироваться лишь на метрики на отложенной выборке, но считать их в процессе обучения было слишком затратно, поэтому мы и прибегли к такой хитрости, провалидировав лишь отдельные чекпоинты. 

В качестве отложенной выборки мы использовали тестовый набор данных, который не пересекается с данными для дообучения, дополнительно профильтровав его и выкинув те примеры, которые вошли в обучающий корпус базовой модели mGPT.

Посмотрим, как выглядят кривые обучения, и как снижался лосс и перплексия при дообучении на разных языках. 

Мы видим, что кривые выглядят очень по-разному для разных языков.

Так например для армянского:

обучение изначально началось с очень низкой перплексии, но для полноценного выхода на плато потребовалось 500к шагов.

А вот для марийского график выглядит совершенно по-другому:

здесь обучение началось с очень большой перплексии, но всего за 5к шагов она вышла на плато на уровне единица. Для персидского мы видим промежуточный вариант, когда плато наступает за 200 тысяч шагов:

Но при этом мы видим, что для персидского график достаточно сильно «штормит». Такие различия в обучении скорее всего связаны с тем, что, как мы уже упоминали, обучающие корпуса для разных языков очень различаются как по объему, так и по количеству доменов. И в то же время как для персидского и армянского обучающие корпуса достаточно большие, данных для марийского крайне мало, и они скорее всего представлены достаточно ограниченным кругом доменов. Данный вопрос однако требует более детального изучения, и пока мы его оставим для будущих исследований.

Ниже представлена сводная таблица с результатами для чекпоинтов для всех языков.

Оценка модели: смотрим на результат

Моноязычные файнтьюны получены, осталось проверить, а есть ли от всей нашей деятельности практический результат. Стали ли модели реально лучше знать целевые языки? Вдруг исходная mGPT, которая знает аж 61 язык, понимала их так же хорошо, а все обучение было зря? Спойлер: сейчас мы убедимся, что, конечно, это было не зря.

Итак, для сравнения качества оригинальной mGPT и ее моноязычных файнтьюнов на целевом языке мы в первую очередь оценили лосс и перплексию обеих моделей на целевом языке на тестовой выборке. Как мы уже упоминали, данная выборка не входила ни в корпус для дообучения моноязычных чекпоинтов, ни в обучающий корпус оригинальной модели.

Ура! Мы видим явный прирост качества абсолютно для всех языков, а для многих языков перплексия снизилась в разы, а то и в десятки раз.

Помимо этого, мы также сравнили качество полученных моноязычных файнтьюнов с оригинальной моделью mGPT на задаче машинного перевода. Для этого мы взяли интересующие нас языки из FLORES-200 — параллельного корпуса для машинного перевода на 200 языков. Перевод осуществлялся с русского и английского языков на язык, соответствующей языку файнтьюна. Оценка модели проводилась в zero-shot и few-shot формате с использованием затравок (англ. prompts) на английском языке (en prompt) и языке файнтьюна (tgt prompt). Пример затравки на английском языке:

“Translate from SRC_LANG to TGT_LANG: SRC_TEXT ==> “,

где SRC_LANG — язык исходного текста, TGT_LANG — язык, на который осуществляется перевод, SRC_TEXT — исходный текст. Для few-shot формата мы использовали 1 и 4 примеров.

Качество мы оценивали с помощью стандартных метрик машинного обучения ROUGE и BLEU. В таблице ниже представлены результаты.

Мы видим, что для большого числа языков моноязычные модели показывают лучшее качество, чем оригинальная mGPT, причем зачастую превосходство проявляется в zero- и 4-shot формате, а для ряда языков (например, узбекского, туркменского и азербайджанского) моноязычный чекпоинт с английскими затравками превосходит оригинал во всех форматах. Однако, здесь нет такого единства, как при оценке перпрексии на отложенной выборке и, например, для болгарского, качество перевода после моноязычного дообучения даже снизилось. Это может быть связано с тем, что при моноязычном файнтьюне модель забывает язык оригинала, с которого идет перевод (в данном случае это английский и русский), поэтому данный эффект не может свидетельствовать об ухудшении знания целевого языка как такового. И для более глубокого изучения данного вопроса мы в дальнейшем планируем проанализировать способности моноязычных моделей на других прикладных (downstream) задачах на соответствующих языках.

Использование

Что ж, мы рассказали вам про новые моноязычные чекпоинты mGPT, теперь у вас есть возможность их использовать и тестировать на своих задачах.

Работа с моделью ничем не отличается от работы с обычной моделью mGPT. Ниже приведен базовый пример генерации, а еще больше примеров использования можно найти в репозитории mgpt.

Пример, для татарского языка с использованием библиотеки HuggingFace

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch
device = torch.device("cuda")
model.to(device)
tokenizer = GPT2Tokenizer.from_pretrained("ai-forever/mGPT-1.3B-tatar")
model = GPT2LMHeadModel.from_pretrained("ai-forever/mGPT-1.3B-tatar")
text = "Казан илдә урнашкан "
input_ids = tokenizer.encode(text, return_tensors="pt").cuda(device)
out = model.generate(
input_ids, 
        min_length=100,
max_length=100,
eos_token_id=5,
        pad_token=1,
        top_k=10,
        top_p=0.0,
        no_repeat_ngram_size=5
)
generated_text = list(map(tokenizer.decode, out))[0]
print(generated_text)
Казан илдә урнашкан һәм Татарстан Республикасының Кукмара районына керә.

Вместо заключения: мы открыты для новых горизонтов и новых языков

Итак, сегодня мы рассказали про 23 новые модели на основе mGPT, дообученные для языков стран СНГ и малых народов России. Мы открыты для коллаборации и готовы продолжать исследования в данной области и дообучение модели и на других языках. Если у вас есть идея, на каком языке еще стоит дообучить mGPT, есть данные, на которых её можно дообучать, и желание с нами коллаборировать, пишите, пожалуйста, нам в SaluteAI Community.

Полезные сcылки:

• Модель mGPT-XL на Hugging Face и академическая статья модели

• Статья про тестирование моделей от контент-менеджера "Модель-полиглот: как мы учили GPT-3 на 61 языке мира"

• Модель mGPT3-13B доступна в виде AI Service Cloud.

• Моноязычные модели в AI Service Cloud.

Команда разработчиков: SberDevices, AGI NLP
<3 Игорь Чурин @Gscraid, Маша Тихонова @mashkka_t, Настя Козлова @nkozlova, Таня Шаврина @Rybolos, Олег Шляжко, Сергей Аверкиев @averkij, Алёна Феногенова @alenusch, Влад Михайлов и co.