Зачем мозгу предсказывать слова
Мы редко слушаем речь как поток неожиданных звуков. Мозг постоянно строит догадки о следующем слове и проверяет себя по мере поступления звука. Такой режим экономит силы: чем точнее ожидание, тем меньше усилий на распознавание. Есть много данных о предсказаниях в зрении и слухе, но семантика — смысл слов — долго оставалась тяжелой задачей. Авторы исследования предприняли важный шаг: показали, что предсказуемость слов, оцененная большой языковой моделью на базе BERT, согласуется с нервными ответами людей, когда они слушают естественную речь — аудиокнигу на немецком.
Как проверяли гипотезу в реальном прослушивании
29 участников лежали в магнитном томографе и слушали аудиокниги около 50 минут. Исследователи одновременно записывали MEG и EEG, чтобы увидеть и когда, и где в мозге возникают реакции на слова. Ключевая метрика — N400, отрицательная волна примерно через 400 мс после начала слова. Она хорошо известна тем, что становится меньше, если слово ожидаемо по контексту, и больше — если удивляет мозг.
Как LLM помогла измерить ожидаемость
Чтобы количественно оценить, насколько слово ожидаемо, авторы взяли BERT для немецкого языка и для каждого существительного в тексте рассчитали вероятность того, что именно это слово должно стоять на месте маски. По сути, модель мира с одной текстовой модальностью, выученная BERT на больших корпусах, давала численную оценку предсказуемости.
Авторов интересовали прежде всего существительные — носители значимой части смысла. Они сравнивали группы слов с высокой и низкой предсказуемостью и отдельно проверяли плавные, ступенчатые зависимости, разбив весь диапазон на десять равных по количеству примеров интервалов.
Что показали мозговые сигналы
Результат получился очень согласованный. Чем выше предсказуемость по BERT, тем слабее N400 в EEG — мозгу как будто проще распознать ожидаемое слово. MEG показал похожую картину, плюс — интересные эффекты до начала слова. За 300–350 мс до старта звука в MEG появлялась предвосхищающая активность, а в EEG — за 100 мс до начала слова. И чем выше предсказуемость, тем сильнее была эта подготовка, особенно в левой лобно-височной области — классическом узле языковой сети.
Откуда в мозге идут эффекты
Авторы восстановили источники активности в коре. После начала слова более сильные ответы для непредсказуемых существительных шли из теменных и сенсомоторных областей. Это может означать, что когда слово не угадывается, мозг шире подключает сети, в том числе моторные, чтобы уточнить гипотезу о том, что прозвучало. До начала слова, наоборот, предсказуемые слова вызывали большую подготовку в левом фронто-височном контурах — как будто мозг заранее активирует нужные представления.
Важно, что зависимости оказались плавными. Если разбить все слова на десять ступеней по предсказуемости, амплитуда N400 равномерно убывает от низкой к высокой предсказуемости, а предстимульная активность — напротив, растет. Между силой предвосхищающего сигнала и размером последующего N400 есть отрицательная связь: лучше подготовился — меньше нужно дообрабатывать.
Почему это важно для нейронаук и ИИ
Эта работа показывает, что оценки предсказуемости из BERT действительно резонируют с тем, как мозг слушателя обрабатывает язык в живых, а не лабораторных условиях. Это мост между когнитивной нейронаукой и ИИ: статистические ожидания LLM отражают реальную прогнозирующую стратегию работы мозга. Для фундаментальной науки ключ к смыслу лежит в динамике ожиданий и её точности: когда контекст надежен, мозг смелее предвосхищает следующее слово и меньше удивляется.
Так мозг и большие языковые модели не одинаковы по устройству, но их объединяет ключевой принцип — предсказание следующего слова. Это показывает, что статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга при восприятии речи.
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал - там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
NeriaLab
Сказки, которые хотят выдать за правду. Ох уж эти сказки. Ох, уж эти сказочники
andre_dataist Автор
В чем ваш аргумент и можете ли выпустить опровергающую научную статью, чтобы поспорить с авторами?
NeriaLab
И что, оценки предсказуемости слов от BERT согласуются с амплитудой N400 и предварительной активацией в мозге?! Это не доказывает, что мозг работает как LLM - это лишь говорит, что статистическая модель может аппроксимировать один из внешних эффектов нейрофизиологического процесса. Наличие корреляции - это не эквивалентность механизмов. Как и то, что камера фиксирует свет так же, как глаз, не делает её способной "видеть".
N400 - это не просто реакция на "неожиданное слово", а индикатор когнитивного напряжения, возникающего, когда входной сигнал конфликтует с внутренней моделью мира. У человека эта модель строится на опыте, эмоциях, контексте, теле, социальных целях. У LLM она вычисляется по текстовым паттернам, без понимания, без истории, без последствий. Когда человек ошибается в прогнозе, он перестраивает модель, учится, удивляется. LLM просто генерирует следующее слово и... всё забывает.
Главная разница - в желании. Человек слушает, потому что хочет понять, помочь, быть услышанным, узнать что-то важное. Его внимание, память, предсказание, они все подчинены внутреннему вектору смысла. У LLM нет ни цели, ни интереса, ни страха, ни радости. Она не "хочет" правильно ответить, она вообще ничего не может хотеть. Её поведение - это не проявление намерения, а воспроизведение статистики обучения. И пока мы не различаем реакцию и отклик, мы будем принимать имитацию за участие.
Поэтому говорить, что мозг и LLM работают по одному принципу, значит сводить живой когнитивный процесс к его "технической тени". Да, BERT помогает моделировать некоторые аспекты обработки речи. Но чтобы понять, как работает разум, нужно изучать не только корреляции в сигнале, а нейробиологию, нейродинамику, целеполагание и природу сознательного опыта, а об этом как раз в статье ничего и не сказано.
andre_dataist Автор
Вы, похоже, мой самый преданный фанат: почти все обзоры на последние научные статьи об ИИ стабильно получают от вас одни и те же минусы и одинаковые комментарии про «сказки». Даже завидую вашей настойчивости.
Но знаете, раз за разом повторять «корреляция не равна причинности» — это не научная критика, а тост на вечеринке невежд. Никто в статье и не утверждает, что мозг = LLM. Показано другое: метрика предсказуемости по BERT количественно совпадает с нейрофизиологическими данными. Это факт, который можно воспроизвести и проверить.
Вы пишете:
«N400 — это не просто реакция на неожиданное слово, а индикатор когнитивного напряжения, связанного с моделью мира, опытом, эмоциями, телом и социальными целями. У LLM же нет ни понимания, ни истории, ни последствий. Она просто генерирует и всё забывает.»Спасибо за поэзию, но это никак не опровергает данных. Учёные не утверждают, что BERT «понимает» или «хочет». Они показывают, что предсказуемость слов по модели хорошо коррелирует с амплитудой N400 и предстимульной активностью в мозге. Это не «сведение живого процесса к тени», а аккуратный способ измерить семантическую ожидаемость.
Вы отмечаете:
«Главная разница — в желании. Человек слушает, потому что хочет понять, помочь, быть услышанным. У LLM нет ни цели, ни интереса, ни радости.»И снова мимо: никто не писал обратного. Наука не занимается антропоморфизацией BERT. Здесь речь о том, что статистические ожидания модели можно использовать как инструмент для анализа нейросигналов. И именно это подтверждается экспериментом.
Вы завершаете:
«Поэтому говорить, что мозг и LLM работают по одному принципу, значит сводить когнитивный процесс к технической тени.»Но проблема в том, что это спор с придуманным оппонентом. Авторы статьи так не говорили. Вы воюете не с исследованием, а с воображаемой вами карикатурой.
В итоге получается: вы не оппонент, а просто постоянный зритель, которому без моих обзоров скучно. Спасибо, что читаете — хотя, судя по содержанию ваших выпадов, понимаете вы их слабо.
Может, хватит спорить с обзорами на научные статьи на Хабре? Просто возьмите и напишите своё опровержение в виде исследования. А то выходит как в басне Крылова про свинью под дубом...
NeriaLab
Вы правы, я действительно внимательно читаю ваши обзоры, потому что они затрагивают темы, важные для будущего ИИ и когнитивных наук.
Но когда вы пишете: "статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга" - это уже не нейтральный пересказ, а интерпретация, которая выходит за рамки. Я не спорю с экспериментом, а спорю с тем, как его подают и что из него делают. Да, метрика BERT коррелирует с N400 - это интересный и ценный результат. Но если Вы называете это "мостом между нейронаукой и ИИ", то Вы не просто сообщаете - Вы формируете восприятие. А оно быстро превращается в: "LLM работает как мозг". Именно против этой "поэтизации данных" я и возражаю.
Я не утверждал, что авторы статьи антропоморфизируют BERT, а говорил, что интерпретация рискует ввести читателей в заблуждение, особенно тех, кто не разбирается в нейрофизиологии. Разница между "корреляция есть" и "принцип один и тот же" - огромна и учёный обзор обязан её сохранять.
Критика - это не признак непонимания, а признак вовлечённости. А игнорирование границ между корреляцией и механизмом - первый шаг к созданию мифов вместо науки.
Если мой комментарий Вам так заметен, то значит, он не был пустым.
andre_dataist Автор
Замечаю интересный момент: сначала у вас были «сказки» и «сказочники», а теперь вдруг «интересный и ценный результат». Это, на мой взгляд, хороший прогресс.
Я никогда не писал, что «LLM = мозг». Формулировка «мост» — это образное описание того, что метрики из языковых моделей дают полезный инструмент для проверки гипотез о работе мозга. Это не поэтизация, а нормальная научная практика — объяснять, зачем результат важен в более широком контексте.
Ваше опасение про «введение в заблуждение» понятно, но, согласитесь, преувеличенные обвинения в «сказочничестве» куда больше создают шум и мифы, чем мой обзор.
Тогда выходит, что мы спорим не о результатах — тут все согласны, что они ценны, — а о стиле подачи. Я считаю, что популяризаторский текст имеет право на метафоры вроде «моста», если при этом фактология остаётся точной. Вы же за максимально сухое изложение. Это уже вопрос вкуса, а не науки.
На этом дискуссию объявляю закрытой.
butregel
спасибо за статью