В Техасском университете в Остине создали нейросеть для чтения мыслей, которая сканирует и распознает паттерны активности мозга и преобразовывает их в текст. Система, названная семантическим декодером, способна вернуть речь людям, пережившим инсульт.
Этот новый интерфейс мозг-компьютер отличается от других технологий «чтения и подавления мыслей», поскольку его не нужно имплантировать. Исследователи из UT Austin сделали неинвазивные снимки активности мозга, используя функциональную магнитно-резонансную томографию (фМРТ). Материал использовался, чтобы реконструировать воспринимаемые человеком или воображаемые им стимулы, и прогнать их через семантический декодер.
МРТ дает изображения отличного качества, но измеряемый сигнал зависит от уровня кислорода в крови. Импульс нейронной активности вызывает повышение и понижение уровня кислорода в крови в течение примерно 10 секунд, что очень медленно. Поскольку в естественном разговорном английском языке используется более двух слов в секунду, изображение мозга может «содержать в себе» более 20 слов.
Вот тут-то и появляется семантический декодер. Он использует модель кодирования, аналогичную той, что используется в ChatGPT от Open AI и Bard от Google. Эта же модель может предсказать, как мозг человека будет реагировать на естественную речь. Чтобы «обучить» декодер, исследователи записали реакцию мозга трех человек, пока те слушали 16 часов устных историй.В результате, декодер смог с достаточной точностью предсказать, как мозг человека отреагирует на конкретную последовательность слов.
Для неинвазивного метода это настоящий рывок вперед по сравнению с тем, что происходило раньше, когда человек мог «продумывать» только отдельные слова или короткие предложения.
Александр Хут, один из соавторов исследования.
Результат нейросети не отвечает стимулу слово в слово. Правильнее сказать, что декодер улавливает суть сказанного. Он не идеален, но примерно в половине случаев он создавал текст, который был близок к оригиналу, а иногда и в точности ему соответствовал.
Прогнозы декодера на основе записей мозга, собранных во время прослушивания пользователем четырех историй. Примеры сегментов были выбраны вручную и дополнены аннотациями, чтобы продемонстрировать типичное поведение декодера. Декодер точно воспроизводит некоторые слова и фразы и улавливает суть многих других.
Джерри Танг. Техасский университет в Остине
Когда участники исследования активно слушали одну историю и игнорировали другую, которая воспроизводилась одновременно, декодер мог уловить суть именно той истории, которую участники активно слушали.
Помимо того, что участников просили внимательно слушать и думать над историями, их попросили посмотреть четыре коротких видео без звука, пока мозг сканировался с помощью МРТ. Семантический кодировщик переводил активность мозга в точные описания определенных событий, полученных из просмотренных видео.
Исследователи обнаружили, что ключевая часть процесса — добровольное участие. Те, кто отвлекались или сопротивлялись во время обучения кодировщика, например, думали о чем-то своем, генерировали бесполезные результаты.
При всем этом, команда UT Austin осознает возможность злонамеренного неправомерного использования неточности в полученных результатах и важность защиты и неприкосновенности частной жизни.
Мы очень серьезно относимся к рискам того, что это может быть использовано во вред человеку, и работаем над тем, чтобы этого избежать. Мы хотим убедиться, что люди будут использовать этот тип технологий только во благо себе.
Джерри Танг, ведущий автор исследования.
В настоящее время декодер нельзя использовать за пределами лаборатории из-за его зависимости от фМРТ. Есть надежда, что эту технологию можно будет адаптировать для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).
Более подробно о природе работы мозга и способах улучшить запоминаемость, читайте в нашем паблике mind_rise в Телеграме. Присоединяйтесь, чтобы первыми получать самые интересные материалы про мозг и особенности его работы.