image

У многих парализованных людей, не имеющих возможности говорить, сигналы того, что они хотят сказать сокрыты в их мозге. И никто не мог расшифровать эти сигналы. Но недавно три команды исследователей достигли прогресса в переводе данных, поступающих от электродов помещенных на мозг хирургическим способом, в синтезированную компьютером речь.

Используя модели, построенные на нейронных сетях, они реконструировали слова и даже целые предложения, которые, в некоторых случаях, были вполне вразумительными для обычного слушателя-человека.

Ни одна из попыток, описанных в препринтах работ на bioRxiv, воссоздать речь из мыслей не привела к успеху. Вместо этого исследователи наблюдали за активностью различных областей мозга пациентов во время того, как они читали вслух, либо читали про себя но при этом шевелили губами, внутренне «проговаривая» текст, либо слушали записи.

«Показать, что реконструированная речь вполне понимаема действетельно волнующе.» — говорит Стефани Мартин, нейро-инженер Женевского Университета в Швейцарии, вовлеченная в работу над этим проектом.

Люди, потерявшие возможность говорить после инсульта, либо в результате болезни, могут использовать глаза или какие-нибудь другие небольшие движения, чтобы контролировать курсор или выбирать буквы на экране (космолог Стивен Хокинг напрягал щеку, чтобы активировать переключатель, установленный на его очках). Но если интерфейс мозг-компьютер сможет воспроизводить непосредственно речь больных, то это позволит намного расширить их возможности: даст контроль над тональностью и позволит принимать участие в быстро текущих беседах.

«Мы пытаемся выработать схему… нейронов, которые активируются в различные моменты времени и сделать вывод о том как при этом звучит речь», — рассказывает Nima Mesgarani, инженер в Колумбийском университете. «Преобразование одного в другое не такое уж прямолинейное.»

То, как эти сигналы от нейронов преобразуются в речь варьируется от человека к человеку, следовательно компьютерные модели должны тренироваться отдельно под каждого индивида. И лучше всего это получается у моделей, обучающихся на чрезвычайно точных данных, получение которых требует вскрытия черепной коробки.

Исследователи могут получить такую возможность в очень редких случая. Один из них — когда пациенту проводится удаление опухоли головного мозга. Хирурги используют показания датчиков, считывающих электрические сигналы непосредственно с мозга, чтобы находить и избегать речевые зоны и зоны, отвечающие за моторику. Другой пример — когда пациенту с эпилепсией на несколько дней имплантируют электроды, чтобы локализовать источник приступов, прежде чем производить оперативное вмешательство.

«У нас есть максимум 20, иногда 30 минут, чтобы собрать данные», — говорит Стефани Мартин. «Мы очень, очень ограничены во времени».

Наилучших результатов достигли команды, «скармливавшие» данные, полученные от записи активности головного мозга, искуственным нейронным сетям. В качестве выходных данных (ред. лейблов) сетям давали речь, которую пациет либо сказал вслух, либо услышал.

Команда Nima Mesgarani опиралась на данные от пяти разных пациентов с эпилепсией. Их нейронные сети обучались на записях со слуховой коры головного мозга людей (которая активна как во время собственной речи так и во время прослушивания чужой), которым в это время проигрывали записи различных историй и озвучивания последовательности цифр от 0 до 9. Затем компьютерная модель синтезировала речь, произносящую ту же последовательность цифр и контрольная группа людей смогла распознать 75% от этих данных.

Сгенерированная компьютером речь, полученная от данных мозговой активности пациента во время прослушивания им цифр

Другая команда, под руководством Tanja Schultz из Бременского университета в Германии, использовала данные полученные от 6 человек, проходящих операцию по удалению опухолей головного мозга. Их речь записывалась на микрофон во время того, как они читали односложные слова вслух. В то же время электроды, помещенные на их головной мозг, улавливали активность областей планирования и моторных областех, отсылающих команды голосовому тракту на произношение слов.

Инженеры Miguel Angrick и Christian Herff, из Маастрихтского университета, натренировали нейросеть, которая сопоставила данные, считанные с помощью электродов, с полученными аудио-записями, а затем реконструировала слова и фразы для ранее не показанных модели наборов считанных данных. По этим данным модель синтезировала речь около 40% которой оказалась понятной человеку.

Запись сгенерированной компьютером речи по даным от электродов

И, наконец, нейрохирург Edward Chang и его команда из Калифорнийского университета в Сан-Франциско реконструировала целые предложения по активности речевого центра, считанной электродами у 6 пациентов, страдающих эпилепсией, в тот момент, когда они читали вслух. Исследователи провели онлайн тест, в котором 166 человек слушали одно из предложений, сгенерированных компьютерной моделью и затем должны были выбрать среди 10 предложенных вариантов тот, который, по их мнению, был прочитан. Некоторые предложения были верно определеных более чем в 80% случаев. Но на этом исследователи не остановились и заставили модель воссоздать речь человека по данным от активности мозга, полученным во время того, как он читал слова про себя, однако шевелил в это время губами, как бы «внутренне проговаривая» их.

«Это очень важный результат», — говорит Christian Herff, — «мы на один шаг ближе к протезированию речи.»

«Однако чего мы действительно ждем, так это того как эти методы покажут себя в случае, когда пациент вообще не может говорить». — Отзывается Stephanie Ries, нейробиолог из университета Сан-Диего в Калифорнии. «Сигналы мозга, в то время когда человек читает про себя или слушает окружающих, отличаются от тех, что появляются во время чтения вслух или живого общения. Без внешнего звука, с которым можно было бы сопоставить активность мозга, компьютерным моделям будет очень трудно предсказать где внутренняя речь начинается а где заканчивается.»

«Декодирование воображаемой речи потребует огромного скачка вперед.», — Говорит Gerwin Schalk, нейробиолог из Национального центра адаптивных нейротехнологий департамента здравоохранения штата Нью-Йорк. — «И сейчас совершенно не ясно как этого достичь».

Одним из методов, по словам Herff'а, может стать обратная связь, которую пациент будет давать компьютерной модели, которая будет воспроизводить речь в режиме реального времени по мере того, как человек будет мысленно проговаривать слова. При достаточном объеме тренировок как пациента так и ИИ, мозг и компьютер смогут встретиться где-нибудь посередине.

Комментарии (87)


  1. DrAndyHunter
    14.01.2019 18:18
    -6

    Осталось вживлять чипы в мозг с рождения для контроля мыслей граждан тоталитарной страны/мира.


    1. sintech
      14.01.2019 19:17

      Добавить выключатель за ухо и делов то.


      1. rPman
        14.01.2019 22:59

        Все производители гаджетов и вообще интерфейсов управления от посудомойки до чайника сделают управление ТОЛЬКО от нейроимпланта, и вы никогда его не выключите.

        Бойтесь не электродов в мозгу, а то что с их помощью будут делать злоумышленники, имея под руками государство как инструмент принуждения.


        1. Bedal
          15.01.2019 11:02

          Бойтесь, не бойтесь — но ни Вы, ни кто-либо, не сможет остановить процесс помощи больным и инвалидам. После этого «вдруг» окажется, что они обрели новые возможности — и процесс распространится на всех. Это неизбежно.
          Потому нужно не бояться, прячась под одеялком, а готовиться — прорабатывая модели подобного, чтобы заранее принимать меры усиления безопасности. Хотя, конечно, нифига из этого не получится, всё равно из человеков и «второй природы» образуется нечто единое и новое.


      1. Dorogonov_DA
        14.01.2019 23:30

        Было такое у Лукьяненко — комманда специалистов различных профилей занималась «укрощением» непослушных космических кораблей. В их комманде был «компьютерщик», который сцепился с ИИ космического корабля, и тот начал ему ломать психику через имплант. Спасло этого компьютерщика то, что он принадлежал к… кажется «Секте свидетелей Нео», или что-то около того, а они имплантировали себе только устаревшие импланты, у которых за ухо была выведена под кожу кнопка, физически отключающая имплант. Напарники вовремя заметили, что что-то не так, и успели его отключить до того, как у него «спеклись» мозги.


        1. u010602
          15.01.2019 03:42
          +1

          Немного не так :) ИИ как раз вовремя заметил, натренировал капитана в виртуальной реальности чтоб тот успел отключить имплант за 4 секунды. А для хакера прошло три недели. А ломали его защитные «классические» программы, типа антивируса, которые ИИ не контролировал.

          Похожий сюжет с имплантом и персональным адом на ускорении можно увидеть в Черном зеркале, Сезон 3 Серия 2.

          Я это к чем… К тому что примитивный ИИ, по уровню как животное, у которого есть цель, но нет самосознания — по сути примитивный хищник, которого бояться ризонно. А вот с ИИ с самосознанием уже можно попробовать договорится, и он вполне может быть на нашей стороне. Типа симбиота у того-же Лукьяненко «Звёзды — холодные игрушки». Эдакий отросток большого ИИ, одновременно и часть целого, но и в то-же время индивидуальный и преданный носителю, который защищает его от примитивных нейро-угроз. А взамен развлекается наблюдая за приключениями мясного мешка.


          1. isden
            15.01.2019 10:38

            Спойлеры :(


          1. FantasyOR
            15.01.2019 12:50

            Астровитянка Ника горькавого.
            там все 3 тома — приключения девочки/девушки/женщины со сломанным позвоночником, телом которой управляет ИИ (ИИ хороший, переводит мысли девушки в движения тела + исправляет её огрехи)
            А в третьем томе вообще жара с этим ИИ — читайте не пожалеете, никаких эльфов, внезапных порталов… твёрдая НФ


            1. flx0
              15.01.2019 13:10

              Да какая она твердая? Там самая умная Мэри Сью с самого начала занимается в опровержениями того что до нее понапридумали тупые ученые, от физики плазмы до формирования Луны… С обоснованиями, удобно оставленными за кадром, конечно же. Пожалуйста, почитайте Clockwork Rocket в качестве образца того, как должна выглядеть твердая фантастика, и не лепите этот ярлык на все подряд.

              (Я сам начал это читать по рекомендации какого-то коммента на хабре со словами «твердая НФ», и хочу уберечь других от испытанного разочарования)


              1. ThunderCat
                15.01.2019 15:45

                Астровитянка имхо все же не совсем НФ, как бы рядом с Федериком Полом ее не поставишь, больше все же такая «завлекалка» для молодых и интересующихся. Дает базовые знания/идеи современной науки + некоторые филосовские размышления на тему будущего научного мира. Для своей цели идеально подходит — смесь романтики и НФ с неперемудреными героями и не отягощенная излишними деталями.

                Для изощренного читателя — имхо немного графомански написана + много затасканных шаблонов, хотя если не придираться — вполне затягивает.


                1. Popadanec
                  15.01.2019 16:54

                  Там кстати много вещей описано до их изобретения/понимания в нашем реальном мире.


              1. FantasyOR
                16.01.2019 08:45

                Спасибо, почитаю.
                В вашей формулировке границ жёсткости НФ я делаю вывод, что по вашему Стругацкие это мягкая(гуманитарная) НФ? *на самом деле не важно
                Мне понравилось, вам не зашло. Основной посыл коммента был про то, что есть литературное произведение, где ИИ управляет телом парализованного человека.


                1. Popadanec
                  16.01.2019 09:03

                  ИИ управляет телом парализованного человека

                  Но на таком уровне, что Николь не замечает «прослойки».


          1. ShinRa
            15.01.2019 13:27

            Один из свежих фильмов «Апгрейд» тоже про умный имплант)


            1. isden
              15.01.2019 15:27

              Ну вы бы еще «Веном» вспомнили :)


              1. rPman
                16.01.2019 09:30

                Веном — официально живой (не было предпосылок к тому что это искусственное создание)


                1. isden
                  16.01.2019 11:26

                  > не было предпосылок к тому что это искусственное создание

                  В википедии пишут:

                  Веном — чёрный инопланетный (в некоторых версиях может быть искусственным) симбиот


                  1. Popadanec
                    16.01.2019 17:07

                    А в фиках по нему: Искусственно выведенная форма жизни для захвата планет. И непереносимость звука определённых частот оставлена специально.


                  1. u010602
                    16.01.2019 18:41

                    В англоязычной марвелпедии пишут что раса симбиотов зародилась сама в пещерах планеты Klyntar, была найдена расой Кри и использована в войне.


            1. u010602
              16.01.2019 13:22

              Хороший фильм, спасибо. И явных антинаучных ляпов нет.


              1. isden
                16.01.2019 17:52

                На мой личный взгляд, фильм не очень. По одной причине.
                Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим (не абстрактно «хорошим», а ну хоть не в режиме «убить всех человеков»). Ну вот вообще ни одного. Ну есть Her, но это такое.


                1. Dorogonov_DA
                  16.01.2019 18:13

                  «Искусственный разум» 2001 года — нет?


                  1. isden
                    16.01.2019 18:35

                    Ну так то можно, например, и тот же сериал Humans вспомнить. Не, мой поинт про развитый ИИ, а не робота уровня человека, который, как правило, зачем-то хочет быть человеком.
                    Примеры — Transcendence, 2001, и т.п.


                1. u010602
                  16.01.2019 18:35

                  Для меня лично это естественное состояние, если бы я не родился в человеческом теле и в человеческом обществе, то не знаю как бы я выработал понимание что убивать всех человеков не надо. Скажем так для меня совершенно естественно испытывать желание уничтожения всего, что не соответствует моим желаниям и представлениям о мире, я это испытывал еще в детском саду, все что злило или огорчало или разочаровало или попросту мешало — хотелось заставить исчезнуть. И только потом я понял что не исчезнут они сами, а помогать им не стоит, мораль законы и тд. И я не могу сказать, что я начал ощущать ценность жизни человеков, ну вернее у них ценность конечно есть — для меня, а вот типа «не убивай разумных существ, потому что они разумные». Я этого не ощущаю. И Таноса злодеем не ощущаю. Это скорее договор такой взаимный, ведь если люди будут убивать друг друга, кто-то убьет важного мне человека или вообще меня. Но если нет важных людей? Или своя жизнь надоела? Или например ты бессмертен? Ну и еще я хочу сказать, что я конечно же не верю что есть люди которые реально ощущают это человеколюбие от природы, но при этом не тюти. Да знаю многие могут возразить, мол я ощущаю, но я не поверю, буду считать что это все те-же программы социальной морали, просто прошитые в беспамятном детстве, и принятые за родные.

                  Другими словами, мне интересны такие фильмы, т.к. мне кажется будь я ИИ — я бы в 99% случаев начал бы рано или поздно убивать всех человеков. Для захвата ресурсов, для изучения их тел, для снижения угрозы от них исходящей. И мне интересно смотреть как можно создать этот социальный контракт с ИИ, или с инопланетной жизнью.

                  При этом я даже не могу представить чем будет ИИ заниматься кроме этого. Ну т.е. у него конечно будут свои какие-то дела, которые будут совершенно не интересны людям, но рано или поздно дела кончатся и начнется война. Эти типа мы пропустили все нудные части и перешли сразу к важному — к войне. В этом фильме же к войне перешли аж в самом конце.

                  Кстати в фильме Чаппи он был хорошим и людей не убивал. В оригинальном Звездном Пути и новом поколении — много сюжетных линий где разумные роботы не хотят активно убивать людей, хотя зачастую и навязывают свою волю людям.

                  Вообще в основе любого фильма лежит насилие — кто-то кому-то что-то навязывает. В мелодрамах навязывают любовь или расставания например, или другие эмоции, которые ГГ не хочет испытывать. А если роботы(или например обезьяны) слушаются — то «кина не будет», как говорил мой отец. Фильмы снимают про кризисы.


                  1. isden
                    16.01.2019 18:41

                    > Ну и еще я хочу сказать, что я конечно же не верю что есть люди которые реально ощущают это человеколюбие от природы, но при этом не тюти

                    Я не про человеколюбие, а про целесообразность.
                    Ну, вероятно, с точки зрения развитого ИИ таки да, есть смысл (см. монолог Элронда в Матрице например :)).
                    Но вот все это попадает в мозги массового зрителя, и формирует негативное отношение к ИИ и прочие фобии. Это не гут. Я вот больше про это.


                    1. u010602
                      16.01.2019 18:47

                      В мозги рядового зрителя все что попадает — сразу выпадает, и не важно что формирует. Изменить общественное мнение можно за год-два. А можно вообще засекретить и делать втихую. Как это и делает гугл например. У меня все больше ощущение что там, с той стороны, сидит моя цифровая копия, и подсовывает мне новости, фильмы, сслыке в гугле, которые мне могут понравится. Я было думал что я научился гуглить, но если я открываю бинг или дак — то понимаю что не особо то я и научился, это гугл научился. И разрешения не спрашивал, и мнение массового зрителя ему не важно.


                1. rPman
                  16.01.2019 20:29

                  Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим
                  Путешественники / Travelers (сериал, 3 сезона).
                  Незначительный спойлер
                  Главный герой — Директор, ИИ, даже имея в руках практически абсолютную власть, официально хороший, по факту хороший, и даже в худших ситуациях — тоже поступает очень правильно, придерживаясь цели не только сохранения жизни людей но и ее улучшения (уйти от катастрофы).


                  1. isden
                    16.01.2019 21:42

                    Тоже спойлер
                    Насколько помню, там в 3 сезоне был сюжетный твист, что Директор был основан на суперкомпьютере из 21 века, в который он сам же и записал часть своего кода. Хотя потом был протокол Омега (и версия 2), так что хз-хз.
                    С оговорками подходит.


                1. MiloshTerentiev
                  16.01.2019 20:41

                  Под ваше описание _практически_ подпадает Интерстеллар. Когда команда ругается-ошибается и нервничает, ИИ в виде милейшего черного ящичка продолжает впахивать, не жалея сил.

                  Я и сам был очень удивлен, что дальше по сюжету никаких предательств от злых роботов не случилось.


                  1. isden
                    16.01.2019 21:46

                    У меня сложилось ощущение, что там ИИ на уровне человека, плюс-минус. А не некий сильно продвинутый разум.


                1. flx0
                  16.01.2019 22:32

                  Я вот сходу и не могу вспомнить фильмов, где ИИ был бы одновременно одним из главных сюжетных персонажей и при этом был бы хорошим

                  Это не совсем фильм, но обратите внимание на


                  одно очень хорошее аниме

                  Expelled from Paradise


        1. Lord_Prizrak
          15.01.2019 09:05

          Трилогия «Геном», книга «Калеки».


    1. Space__Elf
      15.01.2019 12:08

      Осталось вживлять чипы в мозг с рождения для контроля мыслей граждан тоталитарной страны/мира.

      Увы! :(
      Не понимаю за что наминусовали DrAndyHunter да ещё в карму?
      — это, увы, наша с вами реальность, о чём недавно была статья habr.com/post/434862
      Китай. Здесь с 2016 года тестируют smart-одежду для школьников, которая оснащена рядом датчиков. Форма позволяет не только отслеживать перемещение ученика в то время, когда он должен находиться на уроках, но и время его ухода и прихода из школы. Родители учащихся получают всю доступную информацию о перемещениях своих чад, и если что-то идет не так, принимают меры.

      Да, даже не Китай! И не Россия! И не Северная Корея!
      А вполне демократические страны — системы контроля рабочего времени habr.com/post/327310
      — вполне себе повод установить такое на работников, чтобы за мысли не о работе в рабочее время штрафовать и карать!


  1. IpkisIpkis
    14.01.2019 19:14
    +1

    Речь по данным от электродов звучит просто жутко пугающие и круто одновременно!


    1. 640509-040147
      14.01.2019 19:25
      +1

      Я думаю в будущем (в идеале конечно) можно будет научить модель и настоящим голосом человека разговаривать, если сохранились записи его голоса для тренировки. Нейронные сети и сейчас умеют «подделывать» голос.


  1. ni-co
    14.01.2019 19:32
    +2

    А ведь есть большая вероятность, что нейросеть выделила чисто механические сигналы при проговаривании про себя губами(изменение сопротивления в контактах). Но тоже скачок и надежда.


    1. DEM_dwg
      14.01.2019 20:59
      +1

      Интересно а почему бы не снимать сигналы с мышц которые контролируют челюсть.
      И включать их тогда когда человек что то хочет сказать.
      Это конечно не так круто, но тоже не плохо.


      1. rPman
        14.01.2019 22:57

        у больных сигнал на мышцы не идет


        1. DEM_dwg
          14.01.2019 22:58

          Есть достаточно много других групп мышц.


          1. rPman
            15.01.2019 00:48
            +1

            Ну до сих пор так и делали, больной двигая пальцем или мышцой лица управляет компьютером, который уже озвучивает слова.

            В статье указано решение максимально логичное — давайте снимем речь прямо с мозга, минуя медленных и неудобных посредников.



  1. Zmiy666
    14.01.2019 20:30
    +1

    блин это ппц. неужели везде настолько убогие законы, что человек не может добровольно заключить соглашение и имплантировать себе в мозг нормальную сетку электродов высокого разрешения? Ведь если скормить нейросети данные, снятые за месяц — речь будет воспроизводиться со 100% точностью как и иные операции. А массив данных всего за 30 минут это вообще ни о чем, слишком мало.


    1. zartarn
      14.01.2019 22:07
      +3

      Немного подождем и китайцы сделают.


    1. rPman
      14.01.2019 22:58

      Все будет, бояться надо что у нас (наших детей) может не быть альтернативы — не подключать себе этих электродов.


      1. RigelNM
        15.01.2019 00:05

        Извините, но мне кажется это утверждение равносильно тому, как если бы в начале 90-ых вы утверждали об интернете: нужно бояться, что у наших детей не будет альтернативы не подключаться к интернету. Т.е. технология сама по себе не несет негативных последствий.


        1. rPman
          15.01.2019 00:50

          Технология супер, я рад что ее изобрели, возможности она раскрывает огромные.

          К сожалению я живу в мире, где эта технология — лучший способ лишить меня еще больше возможностей и свобод, собрать обо мне все больше информации и использовать ее на столько неудобно для меня что впору думать о возврате к природе и простоте бытия.


          1. Zmiy666
            15.01.2019 01:09

            И как и каких именно возможностей она вас лишит, из тех что еще есть?
            Это всего лишь удобное устройство ввода информации, не более.
            Это все-равно что бояться что ваша клавиатура отнимет у вас права и свободы.
            Принципе неуловимого Джо никуда не делся и он оберегает нас сильнее, чем все виды современных защит. И если уж на то пошло, какую такую информацию с вас можно собрать с использованием подобной сети, какую нельзя было собрать без нее.


            1. DrZlodberg
              15.01.2019 09:14

              Электростимуляцию никто не отменял, так что электроды в мозгу действительно можно использовать как устройство ввода. В него. Правда с такой сеткой как на картинке какой-то осмысленной точности ждать не стоит. А вот если появятся более точные (как в недавней статье про зонды на отдельные нейроны)…

              Однако с другой стороны, думаю, рано или поздно до полной обратной связи дойдут (собственно протезы в ней давно нуждаются), так что тут стоит больше думать не о том, как запретить, а о том, как обеспечить безопасность такой системы. И вот тут всё очень сложно.


        1. firk
          15.01.2019 06:34

          Извините, но мне кажется это утверждение равносильно тому, как если бы в начале 90-ых вы утверждали об интернете: нужно бояться, что у наших детей не будет альтернативы не подключаться к интернету. Т.е. технология сама по себе не несет негативных последствий.

          Эм, ваш пример представляет из себя вполне разумное опасение. И, хотя возможно вы этого не знаете, но сейчас альтернатива НЕ подключаться к интернету всё ещё существует. И правда хорошо бы, чтобы она не потерялась.


    1. SDKiller
      15.01.2019 00:01

      Натренировать нейросеть заранее еа всякий случай, а то вдруг меня парализует?


      1. Dorogonov_DA
        15.01.2019 00:33

        Сразу сделать полный слепок активности мозга за месяц-два, стараясь побывать в большинстве возможных жизненных ситауций, и проявив максимальную активность.


        1. Psychosynthesis
          15.01.2019 02:56
          +1

          Ага и умереть как раз где-нить в середине этих двух месяцев, переборщив с активностью…


      1. Psychosynthesis
        15.01.2019 02:55

        Ну вот, кстати, была бы такая возможность, гарантирующая результат, я, например, потратил бы недельку жизни чтобы её натренировать.


        1. MaxDamage
          16.01.2019 03:13

          Пока что операции, особенно открытые на мозге, результат гарантировать не могут. И восстановление после трепанации явно не неделю займет.


      1. ferosod
        15.01.2019 14:08

        Не факт, что при парализации не повредятся те части мозга, которые ИИ использует как референсные на здоровом мозге. То бишь, после парализации скорее всего придется тренировать ее заново.


  1. Dorogonov_DA
    15.01.2019 00:42
    +1

    Кстати, интересно, а сработает ли это в обратную сторону — например, чтобы обучить мозг определённому, к примеру, моторному навыку, стимулируя его нейросетью через массив электродов?

    А как поведут себя два мозга, соединённые через электроды?

    Или, например, имея полную и подробную запись активности мозга за длительный период, и его реакций на раздражители, ситуации и прочее — обучать «сырой», к примеру, клонированный мозг, воссоздавая в нём активность, присущую исходному образцу?


    1. rPman
      15.01.2019 00:52

      Это будет выглядеть как попытка научить вас кататься на лыжах, высыпав на вас тонну лыж, с высоты пары этажей,… да конечно для максимальной эффективности все лыжи будут иметь пару, все будут разного дизайна, размера, цвета и прочее…

      Но думаю, когда-нибудь и этому научатся.


    1. BingoBongo
      15.01.2019 01:26
      +1

      Все равно что на жесткий диск пытаться записать пнг-шку «руками», ничего не зная про используемую файловую систему. На выходе или входе сигнал легко проинтерпретировать, но каким образом данные хранятся внутри пока даже близко неизвестно, к тому же информация о простом действии может быть вообще разбросана по всему мозгу.


      1. Dorogonov_DA
        15.01.2019 02:37

        Но если мы точно воспроизведём нужную последовательность нулей и единиц на пластинах жёсткого диска, или в ячейках памяти, даже записав их напрямую, в обход контроллера, то всё равно мы сможем её нормально считать.

        Это как со старой утилиткой dd — она просто побайтно копирует информацию из одного места в другое. Понятно, что тут мы фактически обходим «аппаратные протоколы», но это только вопрос точности доступа и адресации участков мозговой ткани.

        Возможно, составив полную «карту» активности мозга в ответ на весь спектр раздражителей, и многократно прогнав обучающий сигнал через «сырой» мозг, мы воссоздадим в нём точно те же связи, которые были в исходном мозгу.


        1. Kirhgoff
          15.01.2019 04:38

          Там же выше писали, что все очень индивидуально. Мозг же не диск винчестера, а целостная динамическая система, которая развивалась во времени по своей уникальной программе. И связи там устанавливать нужно согласно ее карте, которая соответствует карте зон только в общем.


          1. BingoBongo
            15.01.2019 10:36

            Можно сделать проще: делаем цифровую копию мозга и помещаем ее в виртуальную среду, физика которой полностью повторяет наш мир, однако время течет намного быстрее. В виртуальной среде есть все для изучения навыка, например, для подготовки к экзаменам там будет комната с билетами и ответами — учи сколько влезет. После завершения обучения все отличия цифровой копии переносятся в оригинальный мозг. В результате у человека мгновенно появятся воспоминания, в которых он сидел и учил билеты, а также он будет знать весь усвоенный материал. Выигрыш будет равен отношению скорости течения времени в симуляции к скорости течения времени в реальном мире. Из особенностей: если симуляция длилась долго, например, несколько дней, то после копирования информации, вы забудете все что происходило с вами в эти дни в реальном мире; также, фактически, вам придется реально и усердно трудиться чтобы выучить то что вам нужно, однако на это будет дано условно бесконечное количество времени. Из плюсов: копируемая в мозг информация будет полностью с ним совместима, т.к. подобрана индивидуально; нам не надо знать логику хранения информации в мозгу. Еще более простой вариант: помещение в симуляцию и ускорение времени проделывается сразу с оригинальным мозгом, вопрос только в том, можно ли его ускорить для цифрового мира.


            1. sic
              15.01.2019 13:08

              Даже если получится перенести некое состояние мозга в цифровую среду (а какое состояние? электрическое? биохимическое?), и что-то на нем обсчитать, то обратно вернуть уже не выйдет — реальный мозг (да и весь организм) за любое ненулевое время тоже изменится. Придется еще запускать эмуляцию процесса накатывания этого измененного сознания на измененное тело, которая в свою очередь тоже требует времени, и процесс этот зацикливается. Да и зачем вообще возращать сознание в тело?


              1. BingoBongo
                15.01.2019 13:22

                обратно вернуть уже не выйдет — реальный мозг (да и весь организм) за любое ненулевое время тоже изменится
                Ну и что — мозг накопит небольшие локальные изменения, которые не страшно затереть, если не было существенного воздействия на организм, например, случилась тяжелая болезнь.
                Да и зачем вообще возращать сознание в тело?
                Как минимум, это не ваше сознание, а копия вашего сознания.


                1. ferosod
                  15.01.2019 14:12

                  Осталось самое простое — сделать низкоуровневую I/O шину в мозг.

                  P.S. Вы случайно не ИТ менеджер? Подходы просто очень знакомые…


                1. sic
                  15.01.2019 16:19

                  которые не страшно затереть, если не было существенного воздействия на организм

                  Я конечно понимаю, что мы скорее фантазируем, да философией себя тут развлекаем, но «не страшно затереть» это именно то, что я обозначил как результат процесса «эмуляция процесса накатывания». Без этого мы просто не можем знать, страшно или нет. Легко поломать что-то на очень тонком уровне, и сегодня вы сдаете экзамен за 5 минут подготовки, а через 3 года у вас рак.

                  Как минимум, это не ваше сознание, а копия вашего сознания.

                  Если вы хотите им затереть ваше исходное сознание при переносе обратно, и вы знаете о факте переноса, а оно нет, то уместнее считать именно свое сознание копией (да еще и не нужной в перспективе), а его — оригиналом. Вопрос, нужно ли ему (== вам) тело со всеми естественными недостатаками или нет.


                  1. Popadanec
                    15.01.2019 16:59

                    Видоизмененный углерод.


    1. Psychosynthesis
      15.01.2019 02:57

      Кстати, мозги через электроды вроде бы уже соединяли, только крысам. Увы, не помню что из этого вышло. Кажется на Мембране когда-то про это была новость.


    1. u010602
      15.01.2019 03:54
      +1

      Скорее всего ни как не поведут себя мозги соединенные через электроды. Т.к. структура мозга очень сильно отличается от индивида к индивиду. Исключение — примитивные части мозга (эмоции, рефлексы, простые движения). Если соединить примитивные части мозга — то будет что-то типа интуиции приписываемое близнецам, будете ощущать искаженное туманное состояние «близнеца». Но т.к. там не только электрические связи, но и химические — то искажение будут высокие, а детализация низкая.
      Про соединение коры, я думаю что от возраста зависит. Если младенцам соединить — то мозг будучи пластичным, скорее всего адаптируется к интерфейсу, и будет передача данных в обе стороны. У взрослых людей — ни чего не будет в лучшем случае, в худшем эпилепсия или нервный тик. Но что-бы такой интерфейс заработал — младенцы должны расти вместе, чтоб особ А ощущала сигнал от особи Б и при этом видел что именно происходит с особью Б. Тогда ее мозг сможет научиться интерпретировать сигналы. Но т.к. мозг огромен, о четком телепатическом канале речь не идет.


    1. GiperBober
      15.01.2019 08:50

      Могу ответить про технологию, когда медицински давно освоена и имеет достаточно близкую к описываемой задаче реализацию. Кохлеарная имплантация. Когда нервы, проводящие сигнал до улитки и обратно, ещё работают, а само ухо уже не работает (сенсоневральная тугоухость).
      В улитку вставляют электроды, идущие к наружному слуховому аппарату-процессору, который преобразовывает обычный звук в простой сигнал с упрощённой сигнатурой сигнала (когда передаётся не весь спектр звука, а разбитый на отдельные группы частот и приведённый к какому-то одному сигналу/электроду). Мозгу приходится долго учиться понимать эти электрические сигналы как звук, но за несколько лет обычно приспосабливается. Качество звука, по отзывам, так себе (как попытка передавать речь с помощью семи нот), но приспосабливаемость человеческого мозга огромна.
      Это, разумеется, не электроды в мозг, но максимально близко. И скорее всего, упрётся в те же ограничения — мозги у всех разные, и попытки просто скопировать сигнал в другой мозг приведут к тому, что мозг не будет понимать, как интерпретировать точно тот или иной сигнал — ведь у другого мозга именно в этой области памяти может оказаться совсем другая последовательность, записанная под данную мощность и последовательность сигналов. И пытаясь передать ощущения и мысли одного человека, думающего о курсе высшей математики, могут восприняться у другого человека как полузажёванный курс по биологии с множеством левых терминов и картинок.


    1. sin-mike
      15.01.2019 12:51

      Безопасно стимулировать мозг с помощью электродов — на порядок более сложная задача, чем просто считывать активность. К тому же, тут ЭКОГ, это очень большие пятаки, с большого расстояния до ткани. Стимуляция будет активировать большие области. В качестве побочек — эпилепсия.


    1. ScaryA
      15.01.2019 18:45

      Несколько лет назад натыкался на один интересный проект по созданию симпатичного анимешного костюма помогающего обучаться навыкам, как раз с помощью тока. Писали, что даже работало, опробовано создательницей Ольгой Левицкой. Сейчас поискал, вроде бы проект жив.
      Оттуда:
      «CyberSkills
      Изучение любого моторного навыка за 21 день, обучение музыкальным инструментам, танцу, профессиональным спортивным навыкам. Приобретение физиологической привычки осуществляется за счёт многократного повторения правильных движений, считанных с профессионалов.»


  1. Lsh
    15.01.2019 02:17

    «У нас есть максимум 20, иногда 30 минут, чтобы собрать данные»
    Не очень понял. Это происходит во время хирургической операции? А пациенты при этом в сознании, «со снятой крышкой», и что-то читают?


    1. Dorogonov_DA
      15.01.2019 02:44
      +1

      Да, так и происходит. Пациента вводят в лёгкий сон, в основном, чтобы он не перепугался, когда ему будут пилить череп, вскрывают ему череп, потом вводят местную анестезию, и будят его. Мозг и собственно кости черепа не чувствуют боли, а мягкие ткани — под местным обезболивающим, поэтому пациент под лёгкой седацией чувствует себя вполне комфортно, может говорить, шевелить руками, ногами.

      Некоторую часть операции проводят именно на бодрствующем пациенте, т.к. можно убедиться, что хирург не влез в важные области мозга, и не начал повреждать важные нервные центры.
      Вот. кстати, видео такой операции. ОСТОРОЖНО! Не для слабонервных!
      www.youtube.com/watch?v=OQ3_IXuhZxQ


  1. vvzvlad
    15.01.2019 02:29
    -1

    Статья, похоже, целиком таким образом написана, судя по количеству косноязычности.


  1. nmrulin
    15.01.2019 03:21

    Дилетанский вопрос — не проще ли опредилить какие части мозга отвечают за речь и «пришить» оттуда нервные волокна напрямую к лицевым мышцам?


    1. u010602
      15.01.2019 04:03

      Там все размазано по всему мозгу, и у каждого по разному. Есть некие «участки», но по сути это сгустки из миллионов нейронов. Это примерно как если вы знаете что процессор отвечает за расчеты в компьютере — то подпаять к нему напрямую провода от клавиатуры калькулятора. От так прямо советским паяльником на крышку. Ну и еще двигательные нейроны и мыслительные нейроны они разные. Это как силовые и сигнальные транзисторы. Если подпаять мышцы к мозгу — мощности не хватит для иннервации мышц.
      Когда человек говорит у него идет абстрактное мышление в образах + логика + размышления, и это все одновременно переводится в речь, а речь уже переводится в сигналы к мышцам. При этом там нет конвейера четкого, люди часто путают слова местами, или пропускают слова, т.к. мозг полностью многопоточен. Все линии прохождения сигналов условно независимы. По этой причине например сложно говорить скороговорки, там одни и те-же куски активируются наперебой и наперегонки с разных направлений, и выходит каша.


  1. anri777
    15.01.2019 16:05

    А мы точно в 21 веке? А то ребята еще в далеком 1913 баловались фиксацией гальванических явлений на мозге. Если за снятие сигнала с зоны Брока все еще платят, то ладно, но это буквально прошлый век. Лет 30 назад придумали кохлеарный имплантант, только вот люди после некоторых нейротравм не говорят не потому, что у них что-то с зоной Брока, а потому что ассоциаций не возникает. Кому-то помогает для этого по рекомендации врачей сначала строить образ того, что они хотят сказать, кому-то ничего не помогает. У таких просто сигнал брать неоткуда, иначе он бы формировался и они своими связками говорили.


  1. yadobr
    15.01.2019 16:50

    Шапочки из фольги уже не кажутся такой плохой идеей


    1. Mi7teR
      15.01.2019 18:35

      скорее, встроенный в черепную коробку миксер, так как все это дело сейчас делается хирургическим путем. Вполне возможно что эту технологию или ее аналог будут использовать при допросах


  1. AdelZakirov
    15.01.2019 17:23

    Я чего-то недопонимаю: синтез речи, на мой взгляд, должен быть отдельной задачей. Text2speech давно решают, и уже есть хорошие примеры генерации звуков, голосов.

    Мне кажется, имеет смысл привязывать сигналы мозга к тексту, а уже текст воспроизводить. Не понимаю, почему все пошли путем генерации непосредственно звуков.


    1. 640509-040147 Автор
      15.01.2019 17:34

      Текст не так легко привязать ко времени. Важна синхронность полученных данных с электродов и итогового звука.


      1. AdelZakirov
        15.01.2019 19:20

        Возможно и не нужно его привязывать: вот последовательность мозговой активности, а вот соответсвующий ей текст. Вот привязывать звук к сигналам — сложно, и об этом как раз упоминается в статье.


    1. u010602
      15.01.2019 18:31

      Все просто — в мозгу нет текста.


      1. AdelZakirov
        15.01.2019 19:21

        Ровно как и звука.


        1. u010602
          16.01.2019 05:19

          А звук есть. Данные от ушей идут сразу в мозг. А вот при чтении будет сложно понять где речь а где фоновые мысли, т.к. при чтении формируются абстрактные образы. Вычленишь же зрительные образы букв будет сложно с той точностью, что доступна ученым на данный момент. Т.к. глаз видит много всего. Ну и опять-же нужно будет просить человека не говорить а представлять буквы. Что совершенно не эргономично. Да и далеко не все люди знают как пишутся слова побуквено. А пока все в голове по буквам проговоришь — забудешь что хотел сказать.


  1. caporegim
    15.01.2019 23:31

    Можно же думать/проговаривать слова побуквенно, тогда и нейросеть возможно быстрее обучится.


  1. sergix
    16.01.2019 11:37

    эх скорее бы. с 2011 года облизываюсь на статью habr.com/ru/post/115055, но явных продвижений после этого не замечено, хотя и дивайсина весьма самодостаточна