Так выглядит аппарат фМРТ сканирования
Чтение мыслей — давнишняя мечта многих людей. Эта мечта отображена в огромном количестве научно-фантастических произведений, в фильмах и сказках. Но на самом деле чтение мыслей — сложная задача, для решения которой нужны современные технологии. И не только аппаратная часть, то есть «железо», но и программные платформы, а именно — нейросети.
Относительно недавно группа ученых научила нейросети определять, что видит человек по анализу фМРТ (Функциональная магнитно-резонансная томография) снимков. Это сложнейшая проблема, но, похоже, ученые из Китая ее успешно решили.
Сложная она потому, что необходимо по фМРТ снимкам, на которых много шумов, научиться определять, какие участки головного мозга работают и понимать, что за этим стоит. Сами изображения при использовании соответствующей аппаратуры сканирования трехмерные. И эту трехмерную картину активности определенных участков головного мозга нужно перевести в двухмерные изображения — те, что видел человек перед или во время сканирования.
Для получения фМРТ изображения обычно нужно учитывать тот факт, что активность одного вокселя (активного объема) мозга вызывается активностью других вокселей. Как результат — компьютеру для отображения относительно четкого изображения нужно игнорировать ряд активных вокселей. Все это усложняет задачу реконструкции того, что видит человек. В целом, эта проблема решена, медики научились «отделять зерна от плевел», да, но описанный выше процесс снижает качество распознавания изображения, видимого добровольцем, чей мозг сканируют.
На сегодняшний день функциональная магнитно-резонансная томография — один из самых активно развивающихся видов нейровизуализации. С начала 1990-х годов функциональная МРТ стала набирать популярность в такой области, как визуализации процессов головного мозга из-за своей сравнительно низкой инвазивности, отсутствия воздействия радиации и относительно широкой доступности. Сам метод основывается на том, что мозговой кровоток и активность нейронов связаны между собой. Когда какая-либо область мозга активна, приток крови к этой области также увеличивается
Ученые из Китая, которые работали в этом проекте, приняли решение найти новые способы анализа данных с фМРТ изображений. Специалисты из Пекинского исследовательского центра стали использовать еще и нейросети, которые стали последовательно обучать определять зависимость между тем, что видит человек и активностью его мозга, зафиксированной при помощи фМРТ.
Изначально добровольцев просили смотреть на простой объект, в ходе чего проводилось фМРТ сканирование мозга. Под простым объектом имеется в виду изображение цифры или буквы на рисунке. В результате ученые получали набор данных в виде скана мозга и изначального изображения. Постепенно задачу усложняли, нейросеть обучалась на самых разных изображениях. Всего в базу обучения вошло около 1800 оригинальных изображений и снимков активности головного мозга. Больше всего времени ученые потратили именно на обучение нейросети, а не на что-либо иное.
Результаты, показанные при использовании новой методики китайских специалистов и различных других методов, созданных другими командами ученых в разное время
Далее нейросеть постепенно училась восстанавливать исходное изображение, которое ей не показывали, по данным скана мозга человека. Для улучшения результатов нейросеть обучили различать шумы и полезные данные на снимках. В результате восстанавливаемые компьютером изображения, которые видел человек, стали более четкими и точными. Плюс ко всему, ученые давали нейросети сравнить исходное изображение, которое видел человек, и изображение, которое воспроизвел компьютер.
Результаты получились очень интересными. Нейросеть научилась воспроизводить изначальное изображение с высокой степенью точности. Во многих случаях эти изображения получались более четкими, чем в случае использования любых других техник, созданных ранее.
«Масштабные экспериментальные сравнения изображений показывают нам, что мы действительно можем восстанавливать образы, видимые человеком, с фМРТ снимков, и делать это более точно, чем раньше», — говорит руководитель проекта Чангде Дю (Changde Du).
По мнению специалистов, эта технология позволяет приблизиться к моменту создания нейроинтерфейсов для работы с машинами без промежуточных этапов. Возможно, в не столь уж отдаленном будущем человек сможет подключать к компьютерным сетям свою нервную систему, передавая данные и воспринимая зрительные образы. Это станет возможным не завтра, но, возможно, быстрее, чем считается.
arXiv:1704.07575
Комментарии (43)
tmbc
08.05.2017 12:25Как-то всё слишком хорошо.
Правильно-ли я понимаю, что для возможной работы этого нейроинтерфейса человеку придётся непрерывно находиться внутри аппарата МРТ?rechmp
10.05.2017 11:57Это не просто хорошо, это просто прекрасно, учитывая современные технологии.
Нет, вы представляете? Мысли же читать можно!
Главное — есть технология, а миниатюризация и допиливание это уже дело не столь далекого времени.
stalinets
08.05.2017 12:34+1Уже были подобные разработки, причём удавалось снимать практически видео-картинку с глаз человека реал-тайм, пусть и с низким fps. Всё это круто и удивительно.
Думаю, это уже позволяет записывать сны людей, или просто воображаемые зрительные образы.
В перспективе, если человек натренирует воображение, можно будет производить 3D-захват и оцифровку воображаемых образов (например, архитектуры здания из головы архитектора, или конструкции автоматики пулемёта из головы оружейника) с последующей детальной проработкой.
Часто интересные образы рождаются в нашей голове мимолётно и потом или забываются, или уже не воспроизводятся так чётко. А с такими технологиями всё это можно будет записать и потом доработать.
Я долго думал о каком-то предмете интерьера причудливой фирмы, например, о дизайнерском столике. Мысленно дорабатывал его. А потом включил прибор, напряг воображение, оцифровал свои мысли в 3D-модель, доработал её в редакторе и пустил на печать пластиком. Это ли не будущее?
EmmGold
08.05.2017 13:30+1Ещё лучше обратный вариант. Картинку с камер в мозг. Если раскурить протокол, то возможно всё.
DrZlodberg
08.05.2017 14:33+3С этим могут быть некоторые проблемы. Как правило мы не держим в голове весь объект целиком в подробностях. Как и обычное зрение — «внутренний» взгляд оперирует больше фрагментами (сужу по себе, могу и ошибаться). Фрагменты же не обязательно стыкуются в единую конструкцию, а просто по ходу взгляда последовательно подгоняются.
Это как во сне, когда мы можем что-то вроде бы видеть (здание например), ходить по нему и не чувствовать подвоха. Однако если вдумчиво присмотреться — это может оказаться странная неевклидова конструкция, которая в реальности невоспроизводима.
Но со сравнительно простыми формами может и прокатит.stalinets
08.05.2017 15:26Даже если воображаемый объект не цельный, а по частям — можно взять разные во времени «срезы» записанной активности мозга и потом в 3D-редакторе прилепить одну часть к другой.
Тут важнее не качество воспроизведения, а мимолётная идея, образ, конструкция, которую человек может забыть, но её запись другие поймут, оценят и принцип воспроизведут.
Sadler
08.05.2017 17:46В идеале, если заставить мозг обрабатывать необходимую задачу в рамках сна, но с учётом заранее заданных ограничений, может выйти весьма неплохо.
mwambanatanga
08.05.2017 13:35+2То, что "видит" конкретный человек, плохо коррелирует с тем, что ему "показывают".
--Доктор, откуда у вас такие картинки? ©
Hellsy22
08.05.2017 16:28+2А работает ли это с разными людьми или сеть нужно заново обучать под каждого конкретного человека?
rechmp
10.05.2017 12:00Некая калибровка, скорее всего, нужна под разные экземпляры мозга. Но это скорее уже по идее не сложный процесс по контрольным точкам определить нужные области.
Alex_ME
08.05.2017 20:03Если грубо:
- Человеку показывали простые изображения
- Нейросеть обучали сопоставлять изображения и активность мозга
Так что она распознает? "Изображение" со зрительной коры или общую активность, которая возникает в мозгу при узнавании цифры?
Будет ли работать с представляемыми образами? А если на изображении несколько, к примеру, цифр?
Jogger
08.05.2017 21:20То, что такие работы есть — это здорово. Но остаётся много вопросов. Если например нейросеть тренировали на определённом наборе простых символов — будет ли она столь же эффективна для других символов, в частности более сложных? Иначе говоря, сможет ли такая нейросеть эффективно восстановить изображение, которого она раньше не «видела»? Если не сможет — то полезность этого метода довольно ограничена.
VMichael
08.05.2017 22:39-2Если научаться читать мысли, это будет ужасно.
Придется точно покупать экранирующие шапочки.
Ну реально, представьте, что ваши мысли могут читать другие люди.rPman
08.05.2017 22:47+1Страшно не то что другие могут читать, страшно что читать будут 'избранные', с гарантированно злым (в направлении того у кого читают) умыслом.
VMichael
08.05.2017 23:18-1Да просто представьте, что ваши мысли могут читать ваши близкие люди.
Даже эта ситуация это, на мой взгляд жесть.
Можно простой безобидный пример: вы никогда не сможете сделать приятный сюрприз, о нем станет известно, до наступления дня «Икс».rPman
08.05.2017 23:37Для меня может и страшно, а вот для родившихся, когда эта технология станет повсеместной — нет.
И вообще не о том говорим — я показал страх гораздо более страшный чем ваш. Зла, в том виде что я описал, технология принесет больше чем пользы.
Наверняка у общества, где нет уединения в мыслях будут выработаны соответствующие меры приличия не читать мысли когда собеседник этого не желает, как сейчас, например, не заглядывать к вам в туалет… вы же можете туда заглянуть но не делаете этого из приличия и, возможно, брезгливости.
Так же наверняка будут нарабатываться техники сокрытия части своих мыслей, если это будет еще актуально.tunelix
09.05.2017 01:35лучше объединиться в один большой планетарный мозг и проблема приватности исчезнет сама собой.
isden
09.05.2017 09:49Да если только близкие (== те, кому я выдам персональное разрешение) — то никаких проблем. Давно мечтаю о подобной штуке, словами часто очень долго описывать то, что можно передать одним простым образом.
А если всякие нехорошие люди с нехорошими целями — тогда не ок.rPman
10.05.2017 01:23Чтобы вас понимали без формулировок, получатели должны обладать вашими знаниями, в той же самой форме… А так может получится, что мысленно формулировать может оказаться сложнее чем сказать/записать/показать руками.
В принципе если инструмент по обмену мыслями будет что то типа разумного посредника, обладающего знаниями получателя и передающего, то может быть даже получится.Sadler
10.05.2017 16:02Сенсорные данные должны храниться у разных людей похожим образом, потому самым логичным видится для начала научиться передавать аудиопоток. Ну и, если непосредственно «сшить» два мозга достаточно широким каналом, они самостоятельно выработают протокол взаимодействия, как в соответствующем эксперименте на мышах. Проблема в том, что никто не знает, к каким последствиям это приведёт для сознания.
rPman
12.05.2017 21:11Вот уж воистину будет 'моя твоя не понимай', мы же говорим не про понятия больно/холодно/сладко/.., основанные на физиологическом восприятии, да? а о знаниях и понятиях, приобретенных человеком во время воспитания и жизни, а у каждого они разные!
Да, вполне возможно, что два конкретных человека, соединены таким каналом в конце концов, со временем, научатся понимать друг друга и может даже разделять помыслы на свой/чужой, но на сам канал такой процесс никак не повлияет, и если мы захотим подобное повторить с другими людьми или боже упаси увеличить количество соединенных людей до 3 и более — учиться придется заново.Sadler
12.05.2017 21:15а у каждого они разные!
Это значит, что Вы не поняли мой комментарий, сожалею.rPman
12.05.2017 21:26Опс, извиняюсь, я недочитал, и находясь под влиянием текущей темы ветки комментариев ответил соответственно.
В тему вашего — а зачем вообще нужен аудиоканал мозг-мозг? нет, мест применения найти можно, но особой необходимости в нем я как то не вижу.
Нужен как раз метод подключения на уровне образов и понятий — это может значительно повысить скорость коммуникаций и возможно даже самого мышления, когда два или более мозга, или с подключенным компьютером, образуют единое мыслящее существо, на порядок превосходящее по возможностям свои части (один доступ просто к информации чего стоит, а если объединенное сознание сможет научиться 'держать в уме' более сложные конструкции, чем обычный мозг?).Sadler
12.05.2017 21:30В тему вашего — а зачем вообще нужен аудиоканал мозг-мозг?
Он нужен как способ опробовать наши силы. Мы не сможем сразу обеспечить эффективную полноценную коммуникацию, поэтому лично я вижу в качестве двух первых технологий проброс каких-то простых типов данных и подключение искусственных нейронных сетей к интересующим областям мозга (возможно, с заменой наборов данных в них в соответствии с запросом пользователя). Это уже даст массу возможностей в период, пока работа мозга будет подробнее изучаться. В качестве интересной фантазии было бы круто интегрировать типовой CPU в такую ИНС и дать мозгу простой API взаимодействия.
darthmaul
12.05.2017 21:56Появятся технологии, способные реально читать мысли — появится и защита. Любое электромагнитное излучение можно подавить шумом.
rPman
12.05.2017 22:28Есть куча способов заставить человека не закрываться таким образом, например те кто не открыл мысли не получат доступ к благам цивилизации, ни к каким. И это будет работать (два с половиной маргинала не в счет).
Чем дальше человечество развивается, тем сильнее становится зависимость людей от технологии, мы банально становимся слабее (организм все менее приспособлен к жизни в природе, отсутствие прямой селекции, так как цивилизация пытается лечить тех кто в природе умер плюс техногенные катастрофы и просто влияние технологии ослабляют наш организм) и глупее (с точки зрения выживания вне социума — мы теряем навыки и знания).
Так что с момента появления технологий прямого чтения мысли нам придется сильно измениться, со многим смириться, например с полным отсутствием такого понятия как свобода личности, возможно останется термин с совсем иной интерпретацией).
И да, у человечества останется еще меньше механизмов саморегуляции, в смысле выхода из безвыходных ситуаций, в которые заведет его развитие, т.е. к примеру никаких массовых революций с разрушением созданного и сменой пути развития.darthmaul
12.05.2017 22:49Есть куча способов заставить человека не закрываться таким образом
как заставить меня не носить маленькое, купленное в даркнете или на чёрном рынке устройство, подавляющее нужную частоту? Что-то поближе к голове, в виде крестика, например. Естественно, отключаемое.
Чем дальше человечество развивается, тем сильнее становится зависимость людей от технологии, мы банально становимся слабее
Эти процессы, конечно, существуют, но занимают тысячи лет. А такая технология может появится и в нашем столетии.
Так что с момента появления технологий прямого чтения мысли нам придется сильно измениться, со многим смириться, например с полным отсутствием такого понятия как свобода личности
опять же, как же это массово внедрить? И вообще, глупо связывать технологии и свободу личности — Сталин, к примеру, неплохо так эту свободу ограничил, имея из технологий лишь телеграф и наган.rPman
12.05.2017 23:04не понимаете да?
Вас заставят открывать свои мысли тем, что сделают способ взаимодействия с цивилизацией через эти мысли! т.е. либо вы закрываетесь и лишаетесь этого доступа, либо открыватесь и получаете все блага и минус свободу само собой.
Процессы влияния техногенного развития на здоровье уже видны, это какие то последние сотни лет! Плюс не забывайте, нельзя просто так решить уйти от цивилизации, будучи рожденным и воспитанным в обществе, будет очень сложно например принять очень простую истину — вне медицины и информации о ней, ваши дети и роженицы будут дохнуть с вероятностью в 50%, а после, без той же медицины, с трудом доживать до 40-тилетия, а после потихоньку разваливаться и гнить заживо. Как это было 100 и 1000 лет назад. А уж сколько проблем будет добавлено из-за тяжелых элементов в воздухе (из-за бензина конечно же), смога (вообще углеводороды) и радиоактивных загрязнений (дети и внуки пострадавших из-за Чернобыля уже страдают).
В то время как ваши несвободные товарищи, имея доступ ко всем благам и технологиям будут жить по 100-200 лет, рожать гарантированно совместимых, умных и красивых и умирать от старости без боли и страданий. И да, иметь развлечения, о которых сидя в лесу или копаясь в грядках и не мечтаешь.darthmaul
12.05.2017 23:09сделают способ взаимодействия с цивилизацией через эти мысли!
нужно взаимодействовать — отключаю глушилку. Остальное время пусть работает.
Плюс не забывайте, нельзя просто так решить уйти от цивилизации, будучи рожденным и воспитанным в обществе
зачем уходить в лес от цивилизации? Бороться изнутри с ограничениями свободы.rPman
13.05.2017 01:01В условиях тотального контроля борьба изнутри невозможна, особенно если есть контроль за мыслями, и не нужно думать, что если периодически 'отключаться' то вас не смогут контролировать — сейчас например совсем без мыслечтения контролируют неплохо, при этом полные бездари и неадекваты, а что будет когда за это возьмутся профессионалы?
в лес вас выгонят, за систематические нарушения правил использования устройств мыслеуправления :) или сами уйдете, так как вас не устроят эти правила.
а заметят с глушилкой — посадят в тюрьму, потому что вы мешаете другим…
глупо да? а сейчас садят за покупку флешки с диктофоном.darthmaul
13.05.2017 01:07Всегда будут разные государства. Плюс есть основания предполагать что крайне важным «активом» в руках государств будут образованные и талантливые люди. А они будут бежать в более свободные страны где нет обязательного контроля за мыслями. Может, когда — то случится ужасное и установится глобальное правительство, но ИМХО, к тому времени уже и на Марс можно будет свалить, или даже на другие планеты. У тех же, кто остался будут всяческие подпольные способы сопротивляться. Вполне возможно, будут Оруелловские автаркии с выездными визами и мыслепреступлениями (кстати, хорошая идея для киберпанка: государство, освоившее подобные технологии, но сохранившее «духовные скрепы» — наказание за греховные мысли и прочее) но они неизбежно будут отставать.
rPman
14.05.2017 12:43Разные государства заменяем на разные корпорации со всеми вытекающими от сюда нюансами. Бежать не придется/ не получится, потому что связь и виртуализация размоет границы по максимуму. Действительно талантливых потребуется очень мало, как и всегда, а условно умных можно будет использовать фрилансом вне зависимости от их владельцев.
Про бегство в другие страны вы точно не понимаете — если будет жратва и развлечения, никто никуда не побежит! Основная масса сейчас бежит исключительно ради существования! Жить хочется! Бегут потому что 'стреляют'. Это желание никак не коррелирует с такими возвышенными понятиями как свобода личности, личное пространство и мысли.
Про подпольные способы сопротивления — конечно будут, тщательно контролируемые и культивируемые… это уже проходили, а в будущем будет с более качественной реализацией.
Не забываем, что со временем существование человека все меньше будет зависеть от самого человека, а от технологий, т.е. уровень жизни будет относительно одинаков, вне зависимости от места или права принадлежать кому-либо.
Про Марс и другие внеземные места проживания — там будет все то же самое, с небольшим временным лагом и повышенными требованиями к ресурсам.
Hellsy22
13.05.2017 12:00Я сейчас взаимодействую с цивилизацией посредством компьютера, но я не только не обязан расшаривать свои личные файлы — мое право на неприкосновенность личной жизни охраняется законом. И в соц. сетях я тоже участвовать не обязан.
rPman
14.05.2017 12:56Вы уже не можете проконтролировать за слежением за тем, что вы посещаете, что и как покупаете. Вы уже не можете запретить тех, кто предоставляет вам тот или иной сервис, не передавать информацию о вас третьим лицам или пользоваться этой информацией против вас (например зная что вы хорошо платите, магазин может лично для вас выкатить персональную цену — подороже).
Законы что дышло, тем более их пытаются создать не совсем умные люди, с сильнейшим противодействием более умных и заинтересованных (лобби) с другой стороны, отличным примером являются такие высеры, такие как
* необходимость вебсайтам сообщать о том что они используют куки (бред, причина не в том что они их используют, а как и с какой целью, и что самое главное запретить это делать нет никакой возможности, кроме как слезно попросить, с последующим игнором)
* или пример с антимонопольным сражением с google, когда доступ к крупнейшему репозитарию программных продуктов android для производителя железа стоит подписания кабального и запретительного договора, блокирующих других производителей софта, а гугл выкатывает как решение 'окошко выбора поискового сервиса' (я знаю о том что в России гугл проиграл эту тяжбу, формулировка правда там как обычно размытая и дает корпорации-монополисту много свободы, но есть еще остальной мир)
blik13
08.05.2017 23:14Кстати, как я понял из художеств в самой статье, геометрические фигуры распознаются гораздо хуже цифр.
alex_vesna
09.05.2017 00:34Это всего лишь маленький шажок в дизассемблировании протокола хранения информации в мозге. Совсем крошечный и совсем ничего принципиально нового, ибо слои визуальной коры, это самая исследованная часть мозга.
Китайцы в этом очень напоминают японцев, — кто-то вертикально прорывается, а они в точке прорыва, рисуют горизонтальные карты. :)
Чтение мыслей и иже с ним это скорее всего будет побочным и не очень значимым последствием, по сравнению с гарантированным созданием дип-программы, после полного дизассемблирования.
Ведь по сути всё что нужно это эмулирование работы первых трёх слоёв визуальной коры, что бы компактными образами обмануть мозг на тему того что он видит. Предъявляя ему образы, сразу в готовом для работы виде. :)
xakep2011
Осталось увеличить разрешающую способность фМРТ и вычислительную мощность сетей и можно будет читать мысли =)