У меня клавиатура Logitech MX Keys S, на ней есть отдельная кнопка диктовки. Какое-то время на нее был назначен OpenWhispr, а потом я сделал свою программу. Сценарий у нее простой: зажимаешь Ctrl+Shift+Space, говоришь, отпускаешь, и текст появляется там, где стоит курсор. В мессенджере, в почте, в браузере, в редакторе кода. Программа называется Voice Input, код открыт на GitHub, сейчас это версия 1.2.
С распознаванием все оказалось довольно предсказуемо. Есть облачная модель OpenAI, есть локальный GigaAM, который работает прямо на процессоре, есть вариант со своим сервером. Отдал звук, получил строку. А вот что делать со строкой дальше, я поначалу недооценил. Ее надо отдать чужой программе, которая про Voice Input ничего не знает и ничего ему не обещает. Пока модель думает, пользователь успевает переключить окно, скопировать что-то в буфер или передумать и нажать Esc. Про эти полсекунды и будет статья.
Код писали ИИ-агенты, я ставил задачи, проверял и принимал решения. Поэтому тестам я доверяю больше, чем своим ощущениям от кода, и ниже расскажу, как один тест летом обманул нас обоих.
Сначала запомнить, куда вставлять
Первое правило появилось в самой первой версии: окно, в которое пойдет текст, запоминается в момент нажатия клавиш, а не в момент, когда пришел ответ модели. Сохраняется дескриптор окна верхнего уровня (HWND) и идентификатор процесса. Только после этого на экране появляется оверлей с индикатором записи.
Оверлей при этом не должен забирать фокус. Окно создается со стилями WS_EX_NOACTIVATE, WS_EX_TOOLWINDOW и WS_EX_TRANSPARENT, двигается через SetWindowPos без активации. Иначе получилась бы смешная ситуация: программа запомнила окно, сама же у него отобрала фокус, а потом честно отказалась вставлять, потому что окно больше не активное.
Перед вставкой окно проверяется еще раз. Если пользователь ушел в другую программу, Voice Input ничего не вставляет и показывает короткое «Окно сменилось, текст не вставлен». Возвращать фокус насильно я не стал. Если человек переключился, значит, ему так было нужно, и вставить продиктованное письмо в чат с коллегой куда хуже, чем потерять одну фразу.
Два пути для текста
В самой первой версии текст печатался посимвольно через SendInput с флагом KEYEVENTF_UNICODE. Для проверки «программа вообще работает» этого хватало, тестовая фраза «Диктовка работает.» исправно появлялась в поле. Но посимвольная печать длинного текста идет через очередь ввода, и туда же попадают нажатия самого пользователя. В первом устанавливаемом релизе я от этого ушел, и с тех пор путей два.
Первый путь для классических полей ввода Windows. Через GetGUIThreadInfo программа узнает, какой элемент внутри окна сейчас в фокусе, и смотрит на имя его класса. Если это Edit, RichEdit* или что-то с .EDIT. внутри (так выглядят текстовые поля WinForms, например WindowsForms10.EDIT.app.0...), текст уходит одним сообщением EM_REPLACESEL. Отправляется оно через SendMessageTimeout с флагом SMTO_ABORTIFHUNG и пределом в одну секунду, чтобы зависшее чужое окно не повесило заодно и Voice Input. Буфер обмена в этом случае вообще не трогается.
Второй путь для всего остального, то есть для браузеров, Electron, Office и большинства современных программ. Там нет стандартного поля, которому можно отправить сообщение, поэтому текст идет через буфер обмена и Ctrl+V. И вот здесь начинается самое неприятное.
Буфер обмена не твой
Человек скопировал ссылку, потом надиктовал фразу, потом хочет вставить ссылку. Если программа после диктовки оставит в буфере свой текст, ссылка пропадет. Значит, буфер надо сохранить и потом вернуть. Звучит как три строчки кода.
Сначала программа снимает копию буфера, причем всех форматов, которые там лежат: текст, HTML, картинка, список файлов. Потом кладет туда продиктованный текст, посылает Ctrl+V четырьмя событиями клавиатуры, ждет 120 мс и возвращает старое содержимое.
Проблема в последнем шаге. За эти 120 мс пользователь вполне может нажать Ctrl+C сам. Если вслепую восстановить старую копию, его свежая копия молча исчезнет, и он даже не поймет, куда она делась. Поэтому вместе с текстом в буфер кладется еще один, свой формат VoiceInput.ClipboardGuard. Это просто метка. Восстановление происходит, только если метка все еще на месте:
finally { if (clipboardWritten && api.IsTemporaryClipboardCurrent()) { api.RestoreClipboard(snapshot); } }
Если метки нет, значит, буфер после нас кто-то перезаписал, и трогать его нельзя. Под это есть отдельный тест: подставной API во время паузы «теряет» метку, и тест проверяет, что восстановления не было.
[Fact] public async Task NewerUserClipboardContentIsNeverOverwritten() { var api = new FakeClipboardInsertionApi(Target.WindowHandle); var delay = new FakePasteDelay(() => { api.Trace.Add("delay"); api.TemporaryFormatPresent = false; }); var inserter = new WindowsClipboardTextInserter(api, delay); await inserter.InsertAsync(Target, "Текст", CancellationToken.None); Assert.Equal(["capture", "set:Текст", "paste", "delay"], api.Trace); }
Честно скажу, что это не транзакция. Проверка метки и восстановление идут двумя отдельными операциями, и теоретически между ними можно успеть что-то скопировать. Окно очень узкое, но оно есть. И 120 мс тоже не гарантия, это просто пауза на глаз. Она не подтверждает, что программа уже забрала текст. Медленный редактор может не успеть, и тогда он вставит уже восстановленное старое содержимое. Отдельно я это не измерял.
Еще одна мелочь, о которой узнаешь только на практике. Буфер обмена в Windows в любой момент может быть занят другим процессом, и тогда WPF бросает ExternalException. Обычно это какой-нибудь менеджер буфера обмена, который как раз читает новую копию. Поэтому чтение, запись и восстановление делают до восьми попыток с паузой 20 мс.
Фокус в этом пути проверяется дважды: до снятия копии и прямо перед Ctrl+V, уже после того, как текст лег в буфер. Если окно сменилось во втором месте, программа не вставляет текст и сразу возвращает буфер как был.
Esc от прошлой диктовки
Отмена через Esc сделана низкоуровневым хуком клавиатуры, который включается только на время диктовки. Решение «пропустить, поставить отмену в очередь или проглотить нажатие» хук принимает сразу, а сама отмена выполняется позже в UI-потоке. Иначе хук мог бы тормозить весь ввод в системе.
Из-за этой отложенности появилась гонка. Человек нажал Esc в самом конце одной диктовки, отмена встала в очередь, а пока очередь дошла, уже началась следующая диктовка. И отмена от старой сессии срывала новую. Чинится это счетчиком поколений: каждое начало и конец сессии увеличивают номер, и отмена из очереди срабатывает, только если ее номер совпадает с текущим.
public bool TryConsumeQueuedCancellation(long expectedGeneration) { lock (sync) { if (!armed || expectedGeneration != generation || queuedGeneration != expectedGeneration) { return false; } queuedGeneration = null; return true; } }
Похожая проверка стоит и в основном сценарии. Когда модель вернула текст, программа сначала смотрит, не отменили ли диктовку, и только потом переходит к вставке. А когда вставка уже началась, Esc больше не принимается. Отменить наполовину вставленный текст все равно нельзя.
Тест, который обвинял не того
Теперь про обещанный тест. Кроме модульных тестов у проекта есть настоящий сквозной тест на рабочем столе. Он открывает окно WinForms с текстовым полем, нажимает глобальную комбинацию, подсовывает записанную фразу, гоняет ее через настоящий GigaAM в отдельном процессе и проверяет, что в поле появился нужный текст.
В июле этот тест падал с пустым полем. Выглядело это как баг вставки: модель отработала, текст где-то потерялся. На деле продукт был ни при чем. Тест надеялся, что его окно само окажется на переднем плане. Когда рабочий стол был заблокирован или его занимало другое окно, комбинация клавиш уходила туда, Voice Input честно запоминал чужое окно, а поле теста оставалось пустым.
Исправление оказалось целиком в тесте. Он теперь привязывает свой поток к потоку текущего активного окна через AttachThreadInput, сам выводит окно вперед, ставит фокус в поле, печатает HWND активного окна и только потом нажимает клавиши. А если окно так и не стало активным, тест пишет E2E_PRECONDITION_FAIL и выходит с кодом 2, а не с обычной ошибкой. После этого тест прошел четыре раза подряд с одной и той же строкой «Это проверка локального распознавания русской речи.»
Код продукта в этом исправлении не менялся ни на строчку. Из всех багов этот, по-моему, самый поучительный, потому что он про честность самой проверки. Когда тест не может отличить «программа сломалась» от «у теста не сложились условия», он начинает врать, и ты идешь чинить то, что работает.
Чего Voice Input не умеет
Тут лучше сказать прямо, чтобы никто не рассчитывал на лишнее.
Программа запоминает окно, а не конкретное поле. Если внутри того же окна перейти в другое поле, текст попадет туда, где курсор сейчас. Я считаю это нормальным поведением, но кто-то может ожидать другого.
UI Automation не используется, поэтому программа не умеет определять поля паролей и не откажется вставить текст в такое поле. В окна программ, запущенных от администратора, вставить ничего нельзя: Windows этого не разрешает обычному процессу, и обходить это ограничение я не стал.
И самое важное. У меня нет полной таблицы совместимости. Установленную программу проверяли в Блокноте, сквозной тест работает с полем WinForms. Как поведут себя все версии Office, терминалы, редакторы с медленной вставкой и экзотические раскладки, я не знаю. Если у вас что-то не вставляется, буду рад issue на GitHub с названием программы.
Немного цифр
Сейчас в CI проходит 251 автоматический тест. Это модульные тесты и регрессии, они не заменяют проверку на живых программах. Сквозные тесты с рабочим столом, микрофоном и локальной моделью запускаются отдельно, в CI их нет, потому что облачной машине нечего сказать в микрофон.
Отдельная история случилась с исходниками версий 0.6–0.9. Они потерялись, и версию 1.0 пришлось восстанавливать из установленной у меня сборки 0.9.3, а потом заново покрывать тестами. Может быть, расскажу про это отдельно.
Репозиторий: https://github.com/pavel-logachev/voice-input
nerudo
А в консоль под рутом можно так же вставлять?
pavel-logachev Автор
В консоль, запущенную от администратора, нет. Windows не пускает ввод из обычного процесса в окно с более высоким уровнем целостности (UIPI), и вставка туда просто не доходит. Если запустить от администратора саму программу, вставлять сможет, но держать с админскими правами процесс, который слушает микрофон и глобальные горячие клавиши, мне не хочется.
Правильный путь – вариант с uiAccess: он умеет вводить текст в повышенные окна без прав администратора. Но для этого исполняемый файл должен быть подписан и лежать в защищенной папке вроде Program Files, а установщик у меня пока без подписи. Поэтому сейчас это честно записано в ограничения. Если таких запросов будет больше, займусь.