Слева — изображение лебедя, справа — изображение, пропущенное через сознание человека и отрисованное заново компьютером
Чтение мыслей, при помощи машин или телепатических способностей не раз описывалось во многих научно-фантастических произведениях, не говоря уже о фэнтези. Технологии сейчас развиваются очень бурными темпами, но чтение мыслей все еще далеко от реализации, хотя и ближе, чем, например, полвека назад.
Искусственный интеллект (слабая его форма) помогает приблизить желанный момент. Японские ученые смогли реализовать проект, в рамках которого разработана технология чтения активности мозга человека с визуализацией того, о чем он думает. Правда, мимолетные мысли проанализировать пока не получается. Речь идет о визуализации зрительных образов, появляющихся в результате концентрации внимания человека на изображении.
Результаты своего исследования ученые опубликовали в научной статье с названием «Глубокая реконструкция изображений путем анализа активности мозга». В течение 10 недель ученые отрабатывали методику визуализации изображений по результатам активности мозга человека, который в то же самое время смотрел на какую-то картинку или видео. Активность мозга анализировалась в режиме реального времени.
В ряде случаев после того, как человек внимательно смотрел на изображение, его просили представить себе увиденную картинку настолько ярко, насколько возможно. После обработки снятых специальной аппаратурой показателей активности мозга при помощи компьютера во многих случаях удавалось восстановить изображение, о котором идет речь выше. Конечно, его качество было не слишком хорошим, но понять, что видел человек, можно.
В ряде случаев восстановленные картинки были не слишком похожи на оригинал. Например, фотография совы, «расшифрованная компьютером», выглядит как существо из кошмарного сна. Но что поделать — технология еще далека от совершенства.
Обучение ИИ велось на основе многих тысяч примеров активности мозга человека, который смотрел на заранее известное компьютеру изображение. В результате искусственный интеллект научился определять, на что смотрит человек в конкретный момент времени. По большей части, нейросеть просто делает предположения, и строит изображение на их основе. Главное, что машина способна вести анализ в режиме реального времени.
Расшифровать в итоге можно как отдельные буквы, так и гораздо более сложные изображения, которые были показаны выше.
C течением времени ученые надеются доработать технологию таким образом, чтобы восстанавливаемые изображения были более качественными, и больше напоминали оригинал. Может быть, все это — начало большой работы, в ходе которой ученые научатся создавать системы, способные визуализировать образы, которые появляются в голове у человека (во сне или наяву). Причем эти образы будут уже мимолетными, а не устоявшимися.
Правда, для того, чтобы достичь этого, нужно проделать огромную работу. Сама работа ученых не слишком нова — например, схожие проекты осуществлялись в 2011, 2013 и других годах. Правда, качество реконструированного изображения сейчас получше, плюс оно цветное, а не черно-белое.
Для снятия сигнала в прежних работах использовался метод функциональной магнитно-резонансной томографии. Это разновидность магнитно-резонансной томографии, которая проводится с целью измерения изменений в характеристиках тока крови. Между нейронной активность и изменением кровотока есть небольшая задержка, что можно видеть на демонстрационном видео выше.
Как бы там ни было, но до реального чтения мыслей еще далеко. И, кстати, стоит подумать, если ученые действительно смогут научиться безошибочно реконструировать визуальные образы, которые появляются в голове человека, как это может повлиять на приватность. Личные данные будут уже ничем не защищены. Конечно, просто так не получится «снять» образы из головы проходящего мимо человека. Но с течением времени, наверное, и эта проблема будет решена. И тогда о защите собственных мыслей придется заботиться так же, как сегодня мы заботимся о защите наших данных в сети и на локальных ПК.
Комментарии (58)
tormozedison
14.01.2018 22:47Первые малострочные телевизионные системы обеспечивали изображение очень низкого разрешения, а теперь есть многомегапиксельные матрицы и прочее. Вот и эта технология сегодня делает первые шаги, а когда-нибудь позволит использовать глаза пользователя в качестве камер, по ряду параметров способных конкурировать со многими "железными".
pavelchavyr
15.01.2018 00:45Глаза пользователя — это настолько паршивый вид камеры, что к нему дополнением идет мощный программно-аппаратный комплекс для постобработки. Интересно, чем это они смогут конкурировать с современными «железными» камерами?
Sychuan
15.01.2018 01:33Например гораздо большим динамическим диапазоном, чем современные камеры. Очень быстрая автофокусировка по сравнению с камерами. Я думаю, преимуществ полно. Конечно, у специального оборудования есть свои плюсы.
avf1906
15.01.2018 08:21очень быстрая фокусировка — спорно. Классическое упражнение для глаз, когда фокус многократно переводится с близкого (15-20см) на дальний (10-30м) предмет позволяет это почувствовать, субъективно время 0,5-1с. Хотя наверное это тренируется. Динамический диапазон — тоже спорно, по крайней мере требуется значительное время для привыкания. может быть массовые камеры и проигрывают, но вот заточенные под это дело уже могут посоревноваться.
anprs
15.01.2018 11:29Динамический диапазон — это не про привыкание, это максимальная воспринимаемая разность яркости между ОДНОВРЕМЕННО наблюдаемыми объектами.
Вот видишь красивый закат и хочешь его запечатлеть.
А не получается. Экспонируешь по небу, цвета получаются насыщенные, а пейзаж под ним тупо чёрное пятно.
Экспонируешься по пейзажу: цвета яркие и насыщенные, а небо тупо белое.
Глаз такую картину воспринимает нормально, а для фотографий приходится ухищряться с брекетингом/склейкой HDRavf1906
15.01.2018 12:03Я знаю что такое динамический диапазон, много ночью против фар видно? Зато у камеры с hdr вполне приемлемая картинка получается. В общем дело времени. На приличных камерах iso за 200тыс ушло — это в темноте, диафрагму прикрыли — яркий объекты сняли, так что динамический диапазон — вопрос времени, пусть пока обходными путями через тот-же hdr
ARTamos85
16.01.2018 07:52Ну так экспонируйте разные части кадра по разному и всего делов.
anprs
16.01.2018 13:18+1А то что это уже сделано и результат приложен к комменту на который вы отвечаете — вас не смутило? :)
ARTamos85
17.01.2018 09:39Прошу прощения, я не верно выразился: я предлагаю уже на этапе получения сигнала с матрицы экспонировать каждый отдельный пиксель/группу пикселей на основании данных по их освещенности, чтобы сделать снимок за один проход. Принципиально, это примерно то же самое, что вы предложили, но техническая реализация другая — не требуется нескольких кадров.
RomanArzumanyan
15.01.2018 11:56Не слишком быстрая для широкоугольного объектива. Более того, нужно менять форму твердотельной линзы (хрусталика), а это заведомо проигрышный ход по сравнению с перемещением или использованием деформируемой жидкой линзы.
mukizu
15.01.2018 11:49>Глаза пользователя — это настолько паршивый вид камеры, что к нему дополнением идет мощный программно-аппаратный комплекс для постобработки.
В смартфонах тоже самое по сути. И тем не менее, даже с текущими ограничениями изображения послучаются весьма приемлемыми.
Так что с непрофессиональными камерами конкурировать точно можно будет. Заменить устройства типа нательных камер у полицейских — тем более.
red75prim
15.01.2018 12:04> Так что с непрофессиональными камерами конкурировать точно можно будет.
1 градус по центру — максимальная чёткость, остальное всё более и более размыто, цветов на периферии практически нет. Нет, не будет конкурировать.mukizu
15.01.2018 23:14>1 градус по центру — максимальная чёткость, остальное всё более и более размыто, цветов на периферии практически нет
Решается программно + импланты при желании.
Nekto_Habr
15.01.2018 14:00Глаза не нуждаются в электричестве.
SADKO
15.01.2018 17:02Ой-ли? (у нервной ткани, батарейки в комплект входят, вернее она сама по себе хитроделанная батарейка)
Электрохимия наше всё!
vassabi
15.01.2018 00:51там восстанавливают то, что представляет себе мозг, а не то, что видят глаза.
то есть — ваши сны и иллюзии с фантазиями. Это будет стоить гораздо дороже, чем банальное видео реальности…
halted
15.01.2018 06:59а еще они увидят, что думает человек в момент смерти и в состоянии комы
tretyakovpe
15.01.2018 09:22Засовывать умирающего человека в аппарат МРТ вместо оказания ему помощи, это уж слишком, как мне кажется.
halted
15.01.2018 09:25В хоспис помещают тех, кому медики не в силах помочь. Там же обычно проводят исследования на умирающих людях.
Alter2
15.01.2018 12:12Да ничего он не думает. Потеря сознания обычная. Сакрализация момента смерти происходит от верований в отделение души от тела и воспарения на небеса, а те в свою очередь от сильных эмоций, испытываемых родными и близкими в такие моменты.
Zidian
15.01.2018 15:14+1А ещё снимать то, что не видишь, но воображаешь. 3d-моделирование, компьютерные эффекты, дорогостоящая пиротехника и декорации? Зачем!
Грамотно обученный человек помедитировал часа два — и вуаля, художественный фильм готов.
Ну и после выход технологии на широкий рынок и множество «любительских» фантазий на youtube.
barbanel
15.01.2018 00:37Вопрос:
Если рассуждать логически, то топология связей в нейронах у разных людей будет разной, и соотв. картина активности участков мозга на микроуровне тоже будет различаться. Если это так, то значит ли это, что система работает только на одном человеке — на обучающем?
Система тренированная на одном человеке, будет ли работать на другом человеке так же хорошо?vassabi
15.01.2018 00:52ну вот для одного откалибровали, теперь будут пилить систему, которая сможет обучаться на других людях.
rkfg
15.01.2018 11:49Причём, всё для этого уже есть — цепляется GoPro на лоб, сканер на макушку и поехали. Подход к распознаванию тоже забавный: до этого были Generative Adversarial Networks, где генерирующая сеть пытается переиграть оценивающую. Теперь же генерирующая стала биологической. Так себе аналогия, конечно, но близко.
vassabi
15.01.2018 12:02фуфуфу, ходить по улице как какой-то фрик :«гопро на лоб»!
Это должны быть стильные очочки, такие как гугл-гласс или мс хололенс (и что там подтянут к тому времени амазон и эппл). И чтобы нейроинтейфес аля емотив был совмещен с наушниками с костной проводимостью.
И реклама «наконец-то у вас появился настоящий друг, который действительно вас понимает»
Hellsy22
15.01.2018 09:09Полагаю, что на других людях система работать не будет. Да и «оригинал» через некоторое время съедет.
vassabi
15.01.2018 11:58а почему съедет?
Там же не опросники надо заполнять, а сопоставляют активность мозга с изображением.
Если каждый день это отслеживать (например, повесить ковер на стену, и считывать активность мозга, когда на него смотрит — утром и вечером), то даже при возрастных изменениях — система будет автоматически перекалибровываться и подстраиваться.Hellsy22
15.01.2018 13:21Я имел в виду, что без регулярной рекалибровки все съедет. Что это не один раз и навсегда.
Zmiy666
15.01.2018 02:30Хм… очень надеюсь, что технология разовьется и можно будет записывать сны) Все же иногда снятся такие прикольные штуки…
evilrussian
15.01.2018 12:44Потом научаться внедрять что-то в сны, и вот мы имеем во сне рекламу светоскоростных шорт.
lightman
15.01.2018 07:36Крипотно, однако. Так и представляю, что после изобретения высококачественной визуализации, первый учёный, который решит посмотреть в выдачу собственного мозга, выбежит из лаборатории поседевшим и бесповоротно сошедшим с ума. Почему — решать вам.
vesper-bot
15.01.2018 10:13Положительная обратная связь по поступающим данным от доверенного источника, плюс достаточно короткий round trip, плюс обязательно пролезающая мыслишка с негативом будет усилена. Как следствие, замыкание в ужасе.
EvilArcher
15.01.2018 14:32Шел 2030 год. Джон проснулся и сразу же включил «визуализатор-3000». Сегодня ему опять приснился эротический сон и он хотел побыстрее его пересмотреть в 4К-качестве.
TheIncognito
15.01.2018 14:48А неплохой генератор монстров для игрушек может получиться.
Даём тестировщику картинку с животным или монстром — он пытается её представить — подсознание выдаёт ужастик — расшифровываем скан — моделируем и вставляем в игру!
Marsikus
15.01.2018 16:00Даём тестировщику картинку с животным или монстром
И получаете отчёт:
— у этого крокодила ножки короткие, не догонит;
— когти хлипкие, сломаются;
— в темноте видеть не будет;
— такого босса одним дуплетом из обреза положить можно.
Наверное вы все же имели в виду геймдизайнера? :)
mitasamodel
15.01.2018 18:32На видео распознавания лебедя (или кто это?) я отчётливо увидел лапы
картинка
DrZlodberg
15.01.2018 23:22На самом деле видео очень напоминает DeepDream заранее обученный на всяком разном. Например тут кроме ног правая часть по расцветке очень напоминает обычную утку (!?). И на других объектах тоже порой видно что-то совсем не похожее, но по теме. Есть подозрение, что оно не видит непосредственно картинку, а категорию объекта, которую пытается впихнуть в кадр чтобы было хоть как-то похоже.
TheIncognito
17.01.2018 00:55На чём расшифровщик-нейросеть обучали — то и проступает.
Если натренированную на животных натравить на цветок — получится весёлая наркомания.
Squoworode
18.01.2018 06:04А чуть раньше, на 0:16, утку явно брутфорсят по базе фотографий известных птиц.
Andy_Big
Это у кого же такое буйное сознание?...