- Когда стало скучно нажимать на кнопку выключения компьютера.

Введение

Желание (лень) исполнять определенную инструкцию не только с помощью клавиатуры, но и голоса, побудили сделать устройство, которое выполняет голосовые команды.

Устройство должно эмулировать клавиатуру, что-то выполнять на компьютере после получения команды (какого-то слова или предложения), и иметь отклик (сигнал с зуммера и динамика).

Принципиальная схема устройства

Устройство состоит из следующих модулей:

1. Распознавание голоса (voice recognition module v3.1)

2. DFPlayer — A Mini MP3 Player

3. (Хотелось бы выделить в качестве модуля или отдельного фрагмента) эмулирование устройства ввода по USB с помощью библиотеки EasyHID.

Описание

Ссылки необходимы для прочтения, много информации, и чувствую то, что не имеет смысла дублировать ее здесь.

DFPlayer - используем для отклика устройства, оно будет реагировать на наши команды и отвечать нам приятным женским голосом (актриса дубляжа, которая озвучивала героиню Полину, из новеллы «Зайчик») Для этого необходим знакомый мне бот(телеграмм) -@silero_voice_bot.

Я подготовил для себя примерный список:

Так же обратите внимание (в описании к модулю это есть) как стоит наименовать каталоги и файлы во флеш-накопителе, после того как заготовите "ответы".

EasyHID - библиотека, с помощью нее будем, например: вводить компьютер в сон и выводить из сна компьютер.

Voice recognition module v3.1(далее VRM) - используется в качестве того кто будет записывать голосовые и команды распознавать их.

У модуля VRM я заменил микрофон (его родной) на CZN-15E (или +- похожий), он немного не подходит, но удачно совпадает с диаметром "посадочного" места для микрофона.

-Голосовые команды я записывал примерно так, 20-30 см от микрофона, но (комментарий 2) чем громче тем лучше (не кричать), четко и самое главное обычный (если можно так сказать стандартный) тембр и темп голоса.

Существенный недостаток модуля VRM, то что в «оперативной» своей памяти он держит только 7 голосовых команд, его скорость и «длинна» звуковой дорожки 1,5 сек.

В модуле памяти я записал(провел обучение) следующие команды, что-то на русском что-то на английском языке, рекомендую заострить внимание на этапе обучение модуля.

После сборки, имейте ввиду, что питание от USB компьютера будет не достаточно для устройства и будут "веселые ошибки" при загрузке скетча, я использую USB-HUB c отдельным питанием (на выход USB).

Алгоритм

Проработайте для себя Вашу систему "команда-ответ", какие голосовые команды Вы произносите, и что модуль отвечает и выполняет.

Проведите обучение Вашего модуля, пронумеруйте и запомните(например: по аналогии в программном коде). Рекомендую поэкспериментировать в Вашем помещении, Вы будете приятно разочарованы VRM, но главное работает.

Запишите через любой сервис голосовые ответы на флеш -накопителе (в mp3 формате), можете расположить в каталогах, или в одном, правда не забудьте запомнить номера, или используйте только зуммер.

Программный код частично подготовлен к добавлению нового функционала, необходимо дописать новую функцию (того что Вы хотите и добавьте в соответствующий исполнитель (switch).

void work_voice(){ 
/*...*/
// сравнение с массивом - massiv_my_command - в котором хранятся команды( номер соответсвует индексу)
switch(i){
  case 0: on_comp()     ;  break;   // Включить компьютер
  case 1: off_comp()    ;  break;   // Выключить компьютер
  case 2: hellow_comp() ;  break;   // Поздороваться 
  /*...*/
} flag_start_lesten_voice = false; break;}             // Сбросить флаг (общение прекращено)
/*...*/
}

Условное описание исполнения программного кода, в примерах выделены, как мне кажется, важные строчки при собственном написании программного кода.

1. В модуль VRM - загружены первые ключевые команды, из которых строится предложение (последовательность голосовых команд), другие голосовые команды будут распознаны, но проигнорированы, напомню что голосовая команда не более 1,5 секунды, а так же скорость распознавания модуля.

// пример:
// Выполняем здесь процесс ожидания ( таймер предварительно запущен)
ISR(TIMER1_A) { /*...*/}  

// рандомное воспроиведение из каталога "не могу выполнить"
DFPlayer.playFolder(4,random_number);                 // SD\02\001

//Если все звуковые файлы в одном каталоге (в корне)  // SD\MP3\0012
DFPlayer.play(12)  

2. Если пришла ключевая голосовая команда, запускается таймер ожидания, ждем следующую команду (которая участвует в той или иной комбинации предложения), так же в качестве отклика подает короткий сигнал зуммера (голосовая команда была распознана).

// пример:
// Выполняем здесь процесс ожидания ( таймер предварительно запущен)
ISR(TIMER1_A) { /*...*/}  

// рандомное воспроиведение из каталога "не могу выполнить"
DFPlayer.playFolder(4,random_number);                 // SD\02\001

//Если все звуковые файлы в одном каталоге (в корне)  // SD\MP3\0012
DFPlayer.play(12)  

3. Если в течении 10 секунд ничего не поступило или голосовые команды не были распознаны, то сообщим об этом и начнем сначала. Если поступили, сохранили комбинацию, сверили с тем, что ожидаем, если есть такая команда выполняем ее инструкцию, сопровождаем откликом соответствующей звуковой дорожкой и начинаем сначала.

// пример:
void setup() {
  /*...*/
  HID.begin();                // Инициализация USB
}

void loop() {
  /*...*/
  HID.tick();                 // Вызываем тикер не реже чем каждые 10 мс!
}

void do_something(){
  Keyboard.click(KEY_SLEEP);    // в сон
  Keyboard.click(KEY_WAKE);     // разбудить 
  Keyboard.println("hi");       // напечатать (там где выбрал курсор)
}

Обратите внимание! Какие голосовые команды загружены в оперативную память распознавателя, и помните какие необходимы во время произнесения команды (предложения), я выделил, для себя, универсальность загрузки цифр (1-7), соответственно и их произношение, но можно подгружать в процессе, то что необходимо, но не забудьте стирать старые, загрузка работает так: первый вошел — последний вышел.

После произнесение команды, мы посылаем в компьютер команду спать (хотел бы я так сказать, но по итогу мы нажали сочетание клавиш, которое отслеживаем специальной программой (предварительно настроили реакцию компьютера на рисунке 7).

Видео

Работу модуля продемонстрирую на видео:

Проблемы

1. С HID - подобными библиотеками которые реализованы, через эмулирование устройства ввода по USB, проблем и вопросов тьма, начиная с ppm 16MHz кварца, который стоит на борту каждой платы arduino nano (для поддержки стандарта USB).

2. Есть вопрос на который я не смог найти ответа. Почему windows 7 в режиме сна игнорирует устройства реализованные на HID - подобных библиотеках

Попытка решить

1. На первый вопрос, я решил (поленился) использовать arduino DUE, и его встроенный native USB, так же можно выбрать какой-нибудь UART-USB, а сам проект реализовать не на платформе arduino nano, например на той же arduino DUE,выбор свободный.

2. Вроде бы для счастья достаточно того факта, что windows в диспетчере видит наше устройства, как устройство ввода, но его все равно не устраивает. После поисков, остался ни с чем, предположительно дело в драйверах (надеюсь)

Итог

После сборки устройства подошел к философскому вопросу, действительно ли мне оно необходимо — голосовое управление ПК?

Не все поставленные задачи были решены, но в качестве игрушки VRM — модуль интересно себя показал, но к сожалению для чего‑то серьезного он не подойдет, не в связи с проблемой номер 2, а с его взаимодействием крайне щепетилен, распознавание голоса здесь — на уровне проходной, с отсутствием охраны и двери, табличка весит, но поймет слово от любого человека (почти).