TL;DR. Я адаптировал открытую TTS-модель tiny-voca к русскому языку: обучил два голоса на открытом датасете Dialogs, собрал русский фонемайзер, добавил расстановку ударений и сделал голосового ассистента с веб-звонком и голосовыми сообщениями. Модель занимает около 21 МБ, работает офлайн на CPU и не требует облачной подписки. Демо: voice.lmchat.ru.
Зачем ещё одна русская TTS
Современные нейросетевые синтезаторы речи обычно дают высокое качество, но требуют заметных ресурсов: сотни мегабайт весов, GPU для комфортной задержки и, часто, облачный API. Для голосового ассистента это означает зависимость от внешнего сервиса, расходы на трафик и вопросы с передачей пользовательских данных.
Мне нужен был другой вариант: компактная русская модель, которая работает локально на обычном сервере, быстро отвечает на короткие реплики и может быть встроена в голосового бота. Когда я увидел tiny-voca — открытую модель на 4,5 млн параметров и 21 МБ ONNX-весов, — решил проверить, насколько реалистично сделать на её основе русскую речь.
Что получилось
В результате получилась русская версия tiny-voca:
Параметр |
Значение |
|---|---|
Параметры модели |
4,5 млн |
Размер ONNX |
около 21 МБ |
Частота дискретизации |
24 кГц |
Голоса |
M1 — женский, D1 — мужской |
Режим работы |
офлайн, CPU |
Лицензия модели и кода |
Apache-2.0 |
Данные обучения |
Dialogs, OpenRAIL |
Модель синтезирует короткие ответы за доли секунды на CPU. Этого достаточно для голосового ассистента, интерактивного демо и интеграции с телефонным ботом.
Демо доступно здесь: voice.lmchat.ru.
На странице можно:
послушать примеры русской речи;
ввести произвольный текст и получить озвучку;
выбрать голос и изменить скорость;
открыть голосовой чат с ботом;
отправить голосовое сообщение и получить голосовой ответ;
позвонить боту в браузере: после гудков он отвечает голосом, слушает и отвечает;
послушать запись реального разговора с телефонным ботом.
Это не просто страница с кнопкой «синтезировать». Это работающий голосовой сценарий: микрофон, распознавание речи, языковая модель, синтез и воспроизведение ответа, совершить телефонный звонок на базе локальной модели qwen3.5:9b.
Данные: Dialogs
Для обучения я взял открытый датасет Dialogs. В нём — студийные эмоциональные диалоги трёх актёров; для задачи подошли два голоса: женский M1 и мужской D1.
После фильтрации и подготовки осталось около 12 часов чистой речи. Часть записей была отбракована на этапе контроля качества: слабое выравнивание, низкая уверенность аннотатора, неизвестные фонемы, слишком длинные фонемы и другие артефакты.
Этап |
Объём |
|---|---|
Исходный датасет |
11 796 строк метаданных, 9 996 WAV, 17,42 часа |
Отобранные голоса M1 + D1 |
6 849 клипов, 13,31 часа |
После сплитов |
train 6 310, val 269, test 270 |
После фонемизации |
6 697 строк, 12,88 часа |
После аннотации |
около 12,1 часа |
Для контроля качества я прогнал 60 клипов через ASR: WER составил 3,3%. Это не гарантия идеальных данных, но достаточно хороший сигнал, что разметка и выравнивание не разваливаются.
Русский фронтенд
В tiny-voca уже была основа для языковых профилей, но русского профиля не было. Я добавил его и собрал отдельный русский путь обработки текста.
Основные компоненты:
eSpeak NG 1.51 — фонемизация;
ударения из Dialogs — для фраз, которые есть в корпусе;
RUAccent — для произвольного текста и разрешения омографов;
eSpeak fallback — если внешняя модель расстановки ударений недоступна;
wav2vec2-based aligner — для разметки длительностей фонем.
Принципиальный момент: текст фонемизируется предложениями, а не отдельными словами. Иначе служебные слова читаются неестественно: например, предлог «с» может прозвучать как отдельная буква, а не как часть фразы.
Для произвольного текста я подключил RUAccent. Он помогает с ударениями и омографами, но я не стал делать его единственной точкой отказа: при ошибке система возвращается к обычному eSpeak-пайплайну.
Например, фраза «выбор голоса» размечается как:
textв+ыбор г+олоса
в+ыбор г+олоса
То есть «вЫбор гОлоса», а не «выбор голОса».
Отдельно я добавил небольшой словарь исключений для слов, где важно сохранить стабильное произношение: название модели, названия сервисов, отдельные грамматические формы. Такой подход практичен: нейросетевая разметка покрывает общий случай, а словарь — критичные для продукта слова.
Обучение
Обучение выполнялось в Docker на Ubuntu 24.04, Python 3.12 и PyTorch 2.6.0+cu124. Модель обучалась с нуля на подготовленных русских данных.
Сначала я провёл пилот на 15 000 шагов, чтобы проверить, что русский язык вообще обучается и данные не содержат критических ошибок. Уже на этом этапе Whisper large-v3 распознавал контрольные фразы без ошибок, хотя просодия была ещё недостаточно живой.
После этого я запустил полный прогон на 100 000 шагов.
Железо и скорость
Обучение сначала шло на Tesla P40 24 ГБ, затем я перешёл на Tesla V100 32 ГБ.
Этап |
P40 |
V100 |
|---|---|---|
Pre-GAN |
1,12–1,40 шага/с |
около 6,0 шага/с |
GAN |
0,72–0,75 шага/с |
1,66–1,75 шага/с |
Пилот 15 000 шагов |
около 4,7 часа |
— |
Полный прогон 100 000 шагов |
около 35–38 часов |
около 12,5 часа GPU-времени |
V100 дала примерно 4–5-кратное ускорение на этапе до GAN и около 2,4-кратное на GAN-фазе. Для полного обучения это разница между полутора сутками и половиной суток.
Неожиданное наблюдение: power limit
Во время обучения на V100 я заметил неочевидную вещь: при снижении лимита мощности до 125 Вт скорость обучения оказалась выше, чем при 225–250 Вт.
Лимит |
Шагов/с |
Температура |
|---|---|---|
100 Вт |
2,09 |
66 °C |
125 Вт |
2,26 |
70 °C |
150 Вт |
1,96 |
71 °C |
175 Вт |
1,83 |
71 °C |
200 Вт |
1,76 |
73 °C |
225 Вт |
1,66 |
74 °C |
250 Вт |
1,74 |
75 °C |
Эффект повторялся в нескольких измерениях. На 125 Вт карта работала стабильнее, а пайплайн подготовки данных успевал за GPU. При высоком лимите производительность проседала, хотя формально карта могла работать быстрее.
Я не хочу представлять это как универсальный закон: в большинстве задач ограничение мощности снижает производительность. Но в конкретной связке «V100 + этот training pipeline» лимит 50% оказался удачным компромиссом по скорости, температуре и шуму.
Результат обучения
После 100 000 шагов модель синтезирует русскую речь с двумя голосами. Итоговые сэмплы автоматически сохраняются в каталоге оценки и проходят контроль через Whisper large-v3.
Метрика пилота 15k |
Значение |
|---|---|
Loss |
14,54 |
Validation mel |
0,8385 |
Duration ratio |
0,9408 |
Voicing accuracy |
0,9417 |
Pause accuracy |
0,9169 |
Pitch error |
3,07 полутона |
ASR-WER на контрольных фразах |
0,000 |
Важно не переоценивать WER: он показывает разборчивость на контрольных фразах, но не измеряет естественность, интонацию и качество пауз. На пилоте речь уже была понятной, но всё ещё недостаточно живой. Полный прогон нужен был именно для улучшения просодии и стабильности.
Голосовой ассистент
Отдельная часть проекта — не сама TTS, а превращение её в полезный продукт.
Я собрал демо-страницу voice.lmchat.ru, где можно:
синтезировать произвольный русский текст;
переключать голоса M1 и D1;
менять скорость речи;
слушать примеры диалогов;
общаться с ботом голосом;
отправлять голосовые сообщения;
слушать свои сообщения и ответы бота в формате, похожем на мессенджер;
совершать веб-звонок боту без телефонии.
В голосовом чате пользователь говорит в микрофон, а бот отвечает голосом. Текст распознавания и текстовый ответ не выводятся: коммуникация выглядит как обмен голосовыми сообщениями. Каждый ответ можно переслушать.
Есть и режим веб-звонка: после нажатия кнопки звучат гудки, затем бот «берёт трубку», здоровается и начинает диалог. Это не телефония через SIP и не звонок на реальный номер, а браузерный голосовой сценарий через HTTP.
Для телефонного бота используется другой путь: Asterisk принимает вызов, передаёт аудио в сервис распознавания, локальная LLM формирует ответ, а tiny-voca синтезирует речь. Такой бот можно позвонить по номеру и поговорить с ним голосом.
Архитектура демо
Упрощённо пайплайн выглядит так:
textПользователь ↓ микрофон ASR ↓ текст LLM ↓ ответ Русский фронтенд: нормализация, ударения, фонемы ↓ tiny-voca TTS ↓ Аудио в браузер или телефонную сеть
Пользователь ↓ микрофон ASR ↓ текст LLM ↓ ответ Русский фронтенд: нормализация, ударения, фонемы ↓ tiny-voca TTS ↓ Аудио в браузер или телефонную сеть
Для сайта используется HTTP-пайплайн: запись фразы, распознавание, генерация ответа, синтез и воспроизведение. Для телефонии — AudioSocket и Asterisk.
Локальная LLM работает через Ollama. Для демо я использую qwen3.5:9b; она формирует короткие ответы, подходящие для голосового диалога. Ollama предоставляет HTTP API для chat completions, включая non-streaming режим.
Ограничения
Проект не претендует на замену больших облачных TTS.
Качество речи ниже у крупных моделей, особенно на сложной интонации и длинных текстах.
Ударения в редких словах всё ещё могут ошибаться; RUAccent и словарь исключений снижают, но не устраняют проблему полностью.
Голоса M1 и D1 основаны на записях актёров Dialogs. Для коммерческого использования нужно отдельно учитывать условия OpenRAIL и не создавать рекламу или высказывания от их имени без соответствующих прав.
Модель оптимизирована для коротких реплик и диалоговых сценариев, а не для аудиокниг или длинного сторителлинга.
Вывод
Главный результат проекта — не рекорд качества синтеза, а доказательство, что голосовой ИИ может быть маленьким, локальным и доступным. Русская tiny-voca весит около 21 МБ, работает на CPU и не требует облачной подписки. Для коротких диалогов, голосовых уведомлений, интерактивных помощников и встроенных сценариев этого уже достаточно.
В оригинальной tiny-voca модель и вовсе способна работать прямо в браузере: пользователь вводит текст, а синтез происходит на его устройстве. Это хороший ориентир для того, куда может двигаться голосовой ИИ: не «отправить текст в облако и дождаться аудио», а запустить компактную модель рядом с пользователем.
Когда модели перестают занимать гигабайты, меняется сам подход к продукту. Голосового ассистента можно поставить не только на сервер, но и туда, где раньше ИИ казался избыточным: в кассу, терминал, автомобиль, умную колонку или бытовую технику.
И если однажды микроволновка спросит: «Разогреть как обычно?», а холодильник напомнит, что молоко заканчивается, — это не обязательно будет облачный сервис с подпиской. Возможно, внутри будет маленькая офлайн-модель вроде tiny-voca-ru: 21 мегабайт, который умеет говорить по-русски.
Демо: voice.lmchat.ru
Ссылки
Спасибо авторам tiny-voca за компактную открытую модель. 21 МБ, которые умеют говорить по-русски офлайн, — хороший аргумент в пользу локальных голосовых ассистентов.
Комментарии (2)

Tomasina
22.11.2026 11:32Скормил ему второй абзац этот статьи - много ошибок с ударениями, некириллические слова вообще пропускает.
Flux
Оригинальная и итальянская tiny-voca имеют открытые веса, код и запускаются прямо в браузере.
Я могу ошибаться, но у вас вроде нет ни того ни другого. Так-то прикольная демка, но в чем польза для сообщества?