14.05.2019 12:27
Syurmakov 7 727 Источник

Благодаря этой технологии немые люди смогут свободно и внятно произносить слова.

Исследователи из Калифорнийского Университета Сан-Франциско разработали алгоритм, который расшифровывает сигналы мозга, связанные с произношением слов, и переводит их в понятную речь без необходимости двигать мышцами, даже находящимися во рту. Такая технология в скором будущем должна позволить немым людям свободно и внятно произносить слова.

Прототип такого виртуального генератора голоса был протестирован на пятерых пациентах больницы, которые проходили обследование для лечения эпилепсии. Эти люди не имеют проблем с речью. Каждое из устройств было имплантировано с одним или двумя массивами электродов: специальными подушками, содержащими сотни крошечных электродов, которые были размещены на поверхности мозга.


Для перевода сигналов в речь исследователи разработали две нейронные сети: первая согласовывала сигналы мозга с движениями губ, а вторая превращала эти движения в синтезированную речь. Добровольцы действительно смогли повторить отрывки предложений — на записи можно легко распознать до 70% синтезированных слов.

Предыдущие системы связи на основе имплантатов производили около восьми слов в минуту. Новая программа генерирует около 150 слов в минуту. Эта технология может быть улучшена путем использования мозговых имплантатов с более плотным расположением электродов и более сложных алгоритмов машинного обучения.

Исследователи также обнаружили, что система, основанная на мозговой активности одного человека, может использоваться и адаптироваться для других. Это указывает на то, что в будущем станет возможным массовый выпуск разработки.

Команда исследователей планирует перейти к клиническим испытаниям для дальнейшего тестирования системы. Самой большой клинической проблемой может оказаться поиск подходящих пациентов. Например, инсульты, которые повреждают или полностью отключают речь человека, часто также повреждают или уничтожают участки мозга, которые поддерживают артикуляцию речи.

Комментарии (7)


  1. Bushman
    14.05.2019 15:30
    #20151804

    уже было: zen.yandex.ru/media/funscience/perevodim-aktivnost-neironov-v-chelovecheskuiu-rech-5cc18e22a7763100b2db024e


  1. kzhyg
    14.05.2019 15:30
    #20151806

    А как насчёт чтения мыслей?


    1. grayich
      14.05.2019 15:57
      #20151936

      Мысли могут выражаться в 2 вариантах
      1. образах, частичных (звук, ощущение, визуализация, вкус\запах и т.п.), ну и их комбинации, и полных, всё восприятие вместе взятое
      2. Произношение слов про себя

      по 2. варианту как раз «мысли» и «читаются», а вот по 1.… непростая задачка)

      з.ы.
      А зачем было датчики непосредственно к мозгу внедрять? Не хватает детализации при снятии показателей с внешней стороны черепа или чувствительности датчиков?


  1. ni-co
    14.05.2019 15:36
    #20151842
    -3

    «Нейросеть воспроизводит речь по губам».Так должна называться эта статья.
    Про сигналы мозга это очень голословно. ;)


    1. Syurmakov Автор
      14.05.2019 15:40
      #20151856

      алгоритм, который расшифровывает сигналы мозга, связанные с произношением слов, и переводит их в понятную речь без необходимости двигать мышцами

      читайте статью внимательнее


      1. ni-co
        14.05.2019 16:59
        #20152246

        Во первых, как Вам тут заметили «новости», в первоисточнике пошел уже третий год. Кто только не писал про пять эпилептиков с вживленными электродами? Та же статья здесь habr.com/ru/post/435904.
        Во вторых: «первая согласовывала сигналы мозга с движениями губ». Я так понимаю, в оригинале еще одна сеть сопоставляла их с произносимыми звуками? Что я неправильно прочел?
        И в до гонку, операция по вживлению, очень инвазивная. И полученный результат работает только с одним индивидуально обученным пациентом, который еще может говорить. То есть нельзя взять снять сенсоры вместе с обученной нейросетью и использовать на другом человеке.
        Пысы. Минусуйте сколько душе угодно, но меня не по детски бесят такие офигительно оптимистические заголовки. Я помню их по статьям «Науки и Жизни» восьмидесятых годов прошлого века.


  1. AVI-crak
    14.05.2019 15:55
    #20151928

    Кхм, раньше для этого достаточно было двух электродов, а сейчас нужен целый массив…
    И эта картинка…
    Я понимаю что для домохозяек рисовали, чтоб уж совсем всем понятно было. Но речевой центр находится совершенно в другом месте мозга!!! Там копать и резать нужно, пока до него доберешься. И не факт что травма мозга при этом будет оправдана.