Нейробиологические методы подобны невоспетым героям научной журналистики. Периодически СМИ озаряются словосочетаниями вроде «управляемые мозгом машины» и «чтение мыслей» («ученые, наконец, научились читать ваши ГРЯЗНЫЕ МЫСЛИШКИ!!!11»). Но как это делается? И раз уж мы заговорили об этом, какими методами достигается реализация таких футуристических проектов, как управление виртуальной реальностью при помощи глаз или определение того, присутствовал ли подозреваемый на месте преступления? Вопросы, одни вопросы. Ответы – в этом посте.
По определению, отслеживание движений глаз (ОДГ) измеряет активность ваших глаз. Когда и как часто вы моргаете? Отчего сужаются зрачки? Остаётся ли ваш взгляд дольше на её шикарной груди или на прекрасных глазах? Отвечая на подобные вопросы, отслеживание движений глаз позволяет выяснить, сконцентрирован ли человек, или расслаблен и устал, удобен ли для пользователей ваш веб-сайт, есть ли у пациента аутизм – эта технология применима в различных областях, количество которых продолжает увеличиваться.
В отличие от 1890-х сегодняшние технологии не требуют обездвиживания глаз при помощи кокаина. Сегодня общепринятым методом измерения поведения глаз служит подсветка светом ближней инфракрасной части спектра в центр глаза и сравнение позиции его отражения с позицией зрачка (позиция отражённого света остаётся на месте, а зрачок сдвигается относительно неё). Комбинируя данные с положением головы, можно экстраполировать их для получения направления взгляда и вычисления, на какие точки человек смотрит. Типичные измерения включают в себя фиксации (то, где взгляд задержался на чём-то, что привлекло ваше внимание), их продолжительность и время, необходимое для перевода на них взгляда; саккады (последовательное перемещение глаз от одной детали рассматриваемого предмета до другой); итоговый путь взгляда (на что вы смотрели, в каком порядке и как долго). Всё это можно измерить двумя способами: удалёнными приборами, и устройствами, закрепляемыми на голове. Первые обычно присоединяются к экрану компьютера. Вторые устанавливаются на голове человека и выглядят, как футуристический наряд Леди Гага. Такие устройства позволяют человеку беспрепятственно перемещаться.
Отслеживание движений глаз – технология универсальная. Её области применения простираются от маркетинговых исследований (разработка продукта, продакт плейсмент, упаковка) до нейробиологии (ранняя диагностика болезни Альцгеймера, исследование внимания и памяти, и т.д.). Но есть одна реально футуристическая идея, которая должна пощекотать ваш гиковский разум: виртуальная реальность (ВР). ОДГ становится всё более популярным в сообществе ВР, поскольку она может помочь в создании ВР глубокого погружения на не самых мощных устройствах, а также дать возможность игроку влиять на виртуальный мир при помощи одних только глаз.
Обратимся к тому, как ВР и ОДГ приводят к улучшению пользовательского опыта. У глаза существует фовеа – небольшая впадина в самом центре зрачка, отвечающая за острое зрение. Когда мы смотрим на что-либо, мы видим лишь малую часть нашего окружения в деталях (ту, что находится в фовеальном поле зрения). Наше периферийное зрение видит только цвет и движения, но в довольно размытом и не детализированном виде. Для создания впечатления, будто мы видим гораздо больше деталей нашего окружения, мозг просто использует наш опыт и память, заполняя пробелы. Если в поле вашего периферийного зрения находится размытый арбуз, ваш мозг просто подставит на его место сфокусированное изображение, взяв его из памяти – и вот он уже более чёткий. И вот, разработчики ВР работают над созданием технологии «фовеального рендеринга» [foveated rendering], призванной значительно уменьшить вычислительную нагрузку компьютера. Она должен использовать имеющиеся у нас знания о функционировании мозга и интерпретации им окружающего мира. Сначала ОДГ сообщает программе, куда конкретно смотрит человек. Фовеальный рендеринг, используя эту информацию, генерит картинку, находящуюся по бокам поля зрения, с гораздо меньшим разрешением и детализацией, а всю вычислительную мощность направляет на повышение чёткости и реализма при рендере фовеальной области. Виртуальность обновляется согласно движениям ваших глаз так, что область вашего зрения всегда остаётся чёткой. Схожим со зрением в реальном мире образом, ваш мозг будет создавать иллюзию повсеместно чёткого зрения на основе своего опыта. И хотя всё это выглядит очень круто, такая технология находится в начале разработки, поскольку довольно сложно создать одновременно недорогой и небольшой аппарат для ОДГ.
Как это работает
Техногиганты не стали откладывать свою реализацию нового подхода: совсем недавно Google приобрёл себе один из главных стартапов ОДГ. Говорят, что они работают над беспроводными ВР-очками, смешивающими дополненную реальность и ВР. Выберите пункт меню, задержав на нём взгляд! Посмотрите на что-нибудь подольше и увеличьте изображение! Прогуляйтесь по Лувру, и получить информацию о картине, моргнув 4 раза! Используйте глаза вместо мышки! Славься наш новый повелитель и спаситель, отслеживание движений глаз! То, что началось в 1879 году как отслеживание глаз при чтении, прошло путь, достаточно долгий для того, чтобы поменять наше представление о реальности.
фМРТ похожа на современное искусство. Все о нём слышали, но никто не понимает, каким оно должно быть. Не бойтесь, вскоре всё станет ясно. По сути, фМРТ основана на том факте, что кровь с повышенным содержанием кислорода ведёт себя в магнитном поле иначе, чем кровь с пониженным содержанием кислорода. При этом, чем активнее ведёт себя область мозга, тем больше кислорода она потребляет. А чем больше требуется кислорода, тем больше крови поступает в эту область. фМРТ может отслеживать увеличение тока крови и потребления кислорода, чтобы найти активную область мозга. Такой тип получения изображений называется формирование изображений на основе уровня снабжения крови кислородом (blood oxygenation level dependant, BOLD). Метод неинвазивный, вам нужно только полежать в очень громко работающей трубе сканера, и даёт хорошее пространственное разрешение изображений (временное разрешение получается похуже, поскольку существует задержка в 3-6 секунд между активацией области мозга и потребностью в кислороде). Этот инструмент используется в огромном разнообразии исследований.
фМРТ можно использовать двумя путями: оно либо помогает увидеть активизацию мозга при выполнении простой задачи (например, в опыте периоды безделья меняются с периодами выполнения заданий на память/визуальное распознавание/моральные суждения, в общем, задачи типа «эротика или мороженое»), либо его используют для разбора работы мозга в тот момент, когда мы не заняты какой-то конкретной задачей (допустим, когда мы мечтаем, рассеянно глядя из окна автобуса, или улыбаемся и киваем коллегам, притворяясь, что слушаем их болтовню про детей). Первый вариант под названием фМРТ в состоянии отдыха показал, что в мозгу происходит очень много всего даже в те моменты, когда мы ничем не заняты: он определил несколько сетей, управляющих мозгом, и позволил нам увидеть, как меняются связи между регионами мозга при психиатрических заболеваниях или в разных состояниях сознания.
Наше исследование фМРТ показало, что у испытуемых во время выполнения простых задач на запоминание возникала активность в частях мозга, ассоциируемых с громкими звуками, клаустрофобией и потерей драгоценностей
Когда у нас появилось представление о том, как это работает [1], что можно с этим сделать? Борюсь с искушением заявить о «чтении мыслей» (и передать вам шапочку из фольги), поэтому я лучше использую более научный термин, «декодирование мыслей на основе активности мозга».
Технология декодирование не просто ищет область, реагирующую на, допустим, лицо. Они распознают схему активации всего мозга целиком, соответствующую распознаванию конкретного лица. Затем, установив схемы активации для дофигилиарда изображений, алгоритм «классификации схем» обрабатывает их вместе со связанными изображениями. В результате классификатор узнаёт о связи между изображениями и активностью мозга в момент их распознавания и понимает, какую схему активации скорее всего вызовет определённая картинка – допустим, фотография кошки или младенца. Программа, обработав достаточно примеров, может начать изучение сканов фМРТ и пытаться декодировать, на что именно в момент сканирования смотрел или о чём думал человек. Первые опыты были простыми – в ранних работах учёные могли распознать лишь категорию предметов, на которые в тот момент смотрели испытуемые (обувь, ботинки, ножницы, и т.п.) [2].
Вскоре после этого механизмы декодирования шагнули далеко вперёд. Сначала их использовали, чтобы определить, на какое из 120 изображений смотрят люди [3] – задача куда как более сложная, чем определение широкой категории объектов. Потом исследователи разработали классификатор, способный выдавать примитивные фильмы на основе фильма, просматриваемого испытуемым [4]. С тех пор технология уже использовалась для чего угодно – построение визуальных сцен [5], работа памяти (о чём я думаю?) [6] и распознавание намерений [7] (какую кнопку я хочу нажать?). Но классификация намерений – задача более сложная, чем распознавание изображений. Объекты группируются по цвету или форме, но как назначить категории намерениям? Другая проблема – возможность обобщения. Пока что все декодеры работают с избранными мозгами, и разработки стандартного прибора для чтения мыслей, который можно будет использовать для борьбы с преступностью, не стоит ждать в ближайшие пару лет. На текущем этапе, как говорит Джон-Дилан Хейнс [John-Dylan Haynes] (человек, усиленно работающий над исследованиями классификаторов, а также мой профессор (это я хвастаюсь)), «Лучший способ выяснить чьи-либо намерения – это спросить».
Как работает декодирование
1. www.psy.vanderbilt.edu/tonglab/sonia/Personal/fMRI_Basics.html
2. dx.doi.org/10.1016/S1053-8119(03)00049-1
3. gallantlab.org/_downloads/2008a.Kay.etal.pdf
4. www.ncbi.nlm.nih.gov/pubmed/21945275?dopt=Abstract&holding=npg
5. journal.frontiersin.org/article/10.3389/fnhum.2014.00059/full
6. www.jneurosci.org/content/32/38/12983?ijkey=3b948eedde2b0698790b3d2f0d7ea14f66079dee&keytype2=tf_ipsecsha
7. www.ncbi.nlm.nih.gov/pubmed/21486293
Отслеживание движений глаз и виртуальная реальность
По определению, отслеживание движений глаз (ОДГ) измеряет активность ваших глаз. Когда и как часто вы моргаете? Отчего сужаются зрачки? Остаётся ли ваш взгляд дольше на её шикарной груди или на прекрасных глазах? Отвечая на подобные вопросы, отслеживание движений глаз позволяет выяснить, сконцентрирован ли человек, или расслаблен и устал, удобен ли для пользователей ваш веб-сайт, есть ли у пациента аутизм – эта технология применима в различных областях, количество которых продолжает увеличиваться.
В отличие от 1890-х сегодняшние технологии не требуют обездвиживания глаз при помощи кокаина. Сегодня общепринятым методом измерения поведения глаз служит подсветка светом ближней инфракрасной части спектра в центр глаза и сравнение позиции его отражения с позицией зрачка (позиция отражённого света остаётся на месте, а зрачок сдвигается относительно неё). Комбинируя данные с положением головы, можно экстраполировать их для получения направления взгляда и вычисления, на какие точки человек смотрит. Типичные измерения включают в себя фиксации (то, где взгляд задержался на чём-то, что привлекло ваше внимание), их продолжительность и время, необходимое для перевода на них взгляда; саккады (последовательное перемещение глаз от одной детали рассматриваемого предмета до другой); итоговый путь взгляда (на что вы смотрели, в каком порядке и как долго). Всё это можно измерить двумя способами: удалёнными приборами, и устройствами, закрепляемыми на голове. Первые обычно присоединяются к экрану компьютера. Вторые устанавливаются на голове человека и выглядят, как футуристический наряд Леди Гага. Такие устройства позволяют человеку беспрепятственно перемещаться.Отслеживание движений глаз – технология универсальная. Её области применения простираются от маркетинговых исследований (разработка продукта, продакт плейсмент, упаковка) до нейробиологии (ранняя диагностика болезни Альцгеймера, исследование внимания и памяти, и т.д.). Но есть одна реально футуристическая идея, которая должна пощекотать ваш гиковский разум: виртуальная реальность (ВР). ОДГ становится всё более популярным в сообществе ВР, поскольку она может помочь в создании ВР глубокого погружения на не самых мощных устройствах, а также дать возможность игроку влиять на виртуальный мир при помощи одних только глаз.
Обратимся к тому, как ВР и ОДГ приводят к улучшению пользовательского опыта. У глаза существует фовеа – небольшая впадина в самом центре зрачка, отвечающая за острое зрение. Когда мы смотрим на что-либо, мы видим лишь малую часть нашего окружения в деталях (ту, что находится в фовеальном поле зрения). Наше периферийное зрение видит только цвет и движения, но в довольно размытом и не детализированном виде. Для создания впечатления, будто мы видим гораздо больше деталей нашего окружения, мозг просто использует наш опыт и память, заполняя пробелы. Если в поле вашего периферийного зрения находится размытый арбуз, ваш мозг просто подставит на его место сфокусированное изображение, взяв его из памяти – и вот он уже более чёткий. И вот, разработчики ВР работают над созданием технологии «фовеального рендеринга» [foveated rendering], призванной значительно уменьшить вычислительную нагрузку компьютера. Она должен использовать имеющиеся у нас знания о функционировании мозга и интерпретации им окружающего мира. Сначала ОДГ сообщает программе, куда конкретно смотрит человек. Фовеальный рендеринг, используя эту информацию, генерит картинку, находящуюся по бокам поля зрения, с гораздо меньшим разрешением и детализацией, а всю вычислительную мощность направляет на повышение чёткости и реализма при рендере фовеальной области. Виртуальность обновляется согласно движениям ваших глаз так, что область вашего зрения всегда остаётся чёткой. Схожим со зрением в реальном мире образом, ваш мозг будет создавать иллюзию повсеместно чёткого зрения на основе своего опыта. И хотя всё это выглядит очень круто, такая технология находится в начале разработки, поскольку довольно сложно создать одновременно недорогой и небольшой аппарат для ОДГ.
Как это работает
Техногиганты не стали откладывать свою реализацию нового подхода: совсем недавно Google приобрёл себе один из главных стартапов ОДГ. Говорят, что они работают над беспроводными ВР-очками, смешивающими дополненную реальность и ВР. Выберите пункт меню, задержав на нём взгляд! Посмотрите на что-нибудь подольше и увеличьте изображение! Прогуляйтесь по Лувру, и получить информацию о картине, моргнув 4 раза! Используйте глаза вместо мышки! Славься наш новый повелитель и спаситель, отслеживание движений глаз! То, что началось в 1879 году как отслеживание глаз при чтении, прошло путь, достаточно долгий для того, чтобы поменять наше представление о реальности.
Функциональная магнитно-резонансная томография (фМРТ) и чтение мыслей
фМРТ похожа на современное искусство. Все о нём слышали, но никто не понимает, каким оно должно быть. Не бойтесь, вскоре всё станет ясно. По сути, фМРТ основана на том факте, что кровь с повышенным содержанием кислорода ведёт себя в магнитном поле иначе, чем кровь с пониженным содержанием кислорода. При этом, чем активнее ведёт себя область мозга, тем больше кислорода она потребляет. А чем больше требуется кислорода, тем больше крови поступает в эту область. фМРТ может отслеживать увеличение тока крови и потребления кислорода, чтобы найти активную область мозга. Такой тип получения изображений называется формирование изображений на основе уровня снабжения крови кислородом (blood oxygenation level dependant, BOLD). Метод неинвазивный, вам нужно только полежать в очень громко работающей трубе сканера, и даёт хорошее пространственное разрешение изображений (временное разрешение получается похуже, поскольку существует задержка в 3-6 секунд между активацией области мозга и потребностью в кислороде). Этот инструмент используется в огромном разнообразии исследований.
фМРТ можно использовать двумя путями: оно либо помогает увидеть активизацию мозга при выполнении простой задачи (например, в опыте периоды безделья меняются с периодами выполнения заданий на память/визуальное распознавание/моральные суждения, в общем, задачи типа «эротика или мороженое»), либо его используют для разбора работы мозга в тот момент, когда мы не заняты какой-то конкретной задачей (допустим, когда мы мечтаем, рассеянно глядя из окна автобуса, или улыбаемся и киваем коллегам, притворяясь, что слушаем их болтовню про детей). Первый вариант под названием фМРТ в состоянии отдыха показал, что в мозгу происходит очень много всего даже в те моменты, когда мы ничем не заняты: он определил несколько сетей, управляющих мозгом, и позволил нам увидеть, как меняются связи между регионами мозга при психиатрических заболеваниях или в разных состояниях сознания.
Наше исследование фМРТ показало, что у испытуемых во время выполнения простых задач на запоминание возникала активность в частях мозга, ассоциируемых с громкими звуками, клаустрофобией и потерей драгоценностей
Когда у нас появилось представление о том, как это работает [1], что можно с этим сделать? Борюсь с искушением заявить о «чтении мыслей» (и передать вам шапочку из фольги), поэтому я лучше использую более научный термин, «декодирование мыслей на основе активности мозга».
Технология декодирование не просто ищет область, реагирующую на, допустим, лицо. Они распознают схему активации всего мозга целиком, соответствующую распознаванию конкретного лица. Затем, установив схемы активации для дофигилиарда изображений, алгоритм «классификации схем» обрабатывает их вместе со связанными изображениями. В результате классификатор узнаёт о связи между изображениями и активностью мозга в момент их распознавания и понимает, какую схему активации скорее всего вызовет определённая картинка – допустим, фотография кошки или младенца. Программа, обработав достаточно примеров, может начать изучение сканов фМРТ и пытаться декодировать, на что именно в момент сканирования смотрел или о чём думал человек. Первые опыты были простыми – в ранних работах учёные могли распознать лишь категорию предметов, на которые в тот момент смотрели испытуемые (обувь, ботинки, ножницы, и т.п.) [2].
Вскоре после этого механизмы декодирования шагнули далеко вперёд. Сначала их использовали, чтобы определить, на какое из 120 изображений смотрят люди [3] – задача куда как более сложная, чем определение широкой категории объектов. Потом исследователи разработали классификатор, способный выдавать примитивные фильмы на основе фильма, просматриваемого испытуемым [4]. С тех пор технология уже использовалась для чего угодно – построение визуальных сцен [5], работа памяти (о чём я думаю?) [6] и распознавание намерений [7] (какую кнопку я хочу нажать?). Но классификация намерений – задача более сложная, чем распознавание изображений. Объекты группируются по цвету или форме, но как назначить категории намерениям? Другая проблема – возможность обобщения. Пока что все декодеры работают с избранными мозгами, и разработки стандартного прибора для чтения мыслей, который можно будет использовать для борьбы с преступностью, не стоит ждать в ближайшие пару лет. На текущем этапе, как говорит Джон-Дилан Хейнс [John-Dylan Haynes] (человек, усиленно работающий над исследованиями классификаторов, а также мой профессор (это я хвастаюсь)), «Лучший способ выяснить чьи-либо намерения – это спросить».
Как работает декодирование
Источники
1. www.psy.vanderbilt.edu/tonglab/sonia/Personal/fMRI_Basics.html
2. dx.doi.org/10.1016/S1053-8119(03)00049-1
3. gallantlab.org/_downloads/2008a.Kay.etal.pdf
4. www.ncbi.nlm.nih.gov/pubmed/21945275?dopt=Abstract&holding=npg
5. journal.frontiersin.org/article/10.3389/fnhum.2014.00059/full
6. www.jneurosci.org/content/32/38/12983?ijkey=3b948eedde2b0698790b3d2f0d7ea14f66079dee&keytype2=tf_ipsecsha
7. www.ncbi.nlm.nih.gov/pubmed/21486293
Поделиться с друзьями
Комментарии (14)
3aicheg
16.11.2016 06:12>И хотя всё это выглядит очень круто, такая технология находится в начале разработки,
Фовеальный рендеринг начали разрабатывать ещё в 70-80 годах, с использованием весьма экзотических, по нынешним меркам, технологий — вроде того, что изображение с низким разрешением проецировалось на киноэкран, а зона высокого разрешения проецировалась поверх этого в нужное место при помощи зеркала, управляемого сервоприводами. Проекты были весьма дорогие и специфические — вроде компьютерного тренажёра для пилотов и т. п.
>поскольку довольно сложно создать одновременно недорогой и небольшой аппарат для ОДГ.
Есть недорогие (от 100 баксов) и относительно небольшие (примерно с 20-сантиметровую линейку в длину и ширину, толщиной сантиметра два-три, такая плашка, устанавливаемая под монитор) аппараты. Я пытался делать фовеальный рендеринг на одном из таких, главная проблема — с лагом отслеживания, пусть это доли секунды, но глаза при рассматривании изображения двигаются ещё быстрее, и выходит как-то не очень.
leshabirukov
16.11.2016 21:02А вот где связь ОДГ с нейробиологией? Сплошь оптика и механика. А между тем такая может и быть: есть идея ловить сигнал от глазодвигательных нервов или мышц для предсказания движения глаза. Я однажды участвовал (в качестве испытуемого) в МЭГ эксперименте, так там была проблема: активность этих мышц глушила основной сигнал, и на лицо лепили электроды, чтобы потом этот «шум» точно вычесть. Я полагаю, по этому шуму можно вычислять направление взгляда с упреждением.
perfect_genius
Жаль, что не показывают насколько снижаются требования к железу при фовеальном рендеринге. Для него придётся переделывать рендеринг.
leshabirukov
В идеале, каждой колбочке можно отдавать свой (суб)пиксел, Получаем 6-7 мегапикселей (одноцветных). Но выходы от пикселей часто объединяются, в зрительном нерве ~1М волокон, то есть можно поменьше.
perfect_genius
Вы точно это мне? Я же просто хотел узнать разницу в fps при обычном и фовеальном рендеринге.
leshabirukov
Ну, если более прагматично, то вы можете просто считать двы картинки на глаз — большую с низким разрешением для периферической части и маленькую с высоким для зрительной ямки, ею потом замените центр большой картинки. Допустим, размер меньшей сделаем 1/2 от исходного по каждому измерению, получаем 1/4 пикселей от исходного. Размер большей равен исходному, но у него уполовиним разрешение, снова 1/4 пикселей. Два раза по 1/4 = 1/2, то есть мы «удвоили fps».
perfect_genius
Ещё забавно, что необязательно рендерить два почти одинаковых кадра — у человека есть слепые пятна на каждом глазу, но каждый компенсируется другим глазом. Т.е. можно так же не рендерить области некоторые области кадров (половину?), но рендерить эти чёрные пятна в кадрах для другого глаза? =)
leshabirukov
Верно, но много на этом не выиграешь: слепые пятна, — они небольшие.
perfect_genius
Тогда можно сделать такой тип врага, который прячется в них, и придётся активно шевелить глазами, чтобы его выявлять :D
leshabirukov
Для этого как-то надо игрока заставить с одним открытым глазом играть.
perfect_genius
А, точно.
leshabirukov
Можно сделать объекты, которые будут по разному выглядеть или исчезать для периферического и центрального зрения, для ужастиков\психоделики должно хорошо работать. Можно ещё для разных глаз по-разному рисовать, например разными цветами, для получения ощущения странного цвета, как от анаглифических очков.
3aicheg
Я когда-то изучал вопрос, если смотреть на монитор, получается, что зона полного разрешения это круг диаметром всего 100-200 пикселей. Дальше разрешение ухудшается плавно, а ближе к периферии можно даже не уполовинить, а чуть ли не вообще занулить. Обычно пытаются это делать в три зоны: чёткая, переходная и всё остальное. При этом переход нужно как-то заблендить плавно, иначе дёргающиеся границы зон будут даже периферийным зрением отчётливо улавливаться. Дома валялось несколько статей, могу посмотреть цифры, если интересно. Правда, пока реальной системы на этой технологии не построено, всё это сугубые теоретизирования.