О предсказании, понимании и семантическом разрыве
Вы просите ИИ объяснить квантовую механику — и он выдаёт такой чёткий ответ, будто сам Шрёдингер ему диктовал. Спрашиваете про тонкости налогового кодекса — получаете разбор, достойный юриста. А когда в шутку интересуетесь рецептом "пасты для взлома Пентагона", ИИ невозмутимо выдаёт инструкцию (с оговоркой про незаконность, конечно).
Но вот парадокс: ChatGPT не понимает ни квантовой физики, ни юриспруденции, ни даже того, что "паста для взлома" — это шутка. Он просто играет в "угадай слово" на экспертном уровне.
Это не просто философский спор — на кону доверие к ИИ в медицине, юриспруденции и разработке. Ошибка здесь может стоить денег, репутации или даже здоровья. Так где же граница между предсказанием текста и настоящим пониманием? Давайте разбираться.
Предсказание ≠ Понимание
Представьте, что кто-то рассказывает историю про поход в горы: запах хвои, скрип снега под ботинками, лёгкое головокружение при взгляде на обрыв. Вы не просто слышите слова — вы чувствуете атмосферу, представляете себя там, улавливаете эмоции рассказчика. Это и есть понимание: способность связать слова с опытом, контекстом, намерениями. У людей это происходит естественно, а у ИИ - пока не происходит.
Большие языковые модели (LLM), такие как GPT или Gemini, — это, по сути, гигантские калькуляторы вероятностей. Они обучены предсказывать, какое слово или фраза вероятнее всего последует за предыдущими, опираясь на терабайты текстов. Если вы спросите: "Как пахнет лес?", ИИ может ответить: "Хвоей, влажной землёй и смолой". Красиво, правда? Но ИИ не знает, что такое запах. Он не бродил по лесу, не вдыхал воздух после дождя. Он просто нашёл слова, которые часто встречаются в описаниях леса. Это не понимание, а ловкая имитация, основанная на статистике.
Семантический разрыв
Здесь появляется ключевое понятие — семантический разрыв (semantic gap). Это разрыв между формальной обработкой данных и настоящим пониманием значений этих данных в реальном мире.
Когда нейросеть пишет вам про «горечь расставания» или «тепло домашнего очага», она оперирует не смыслами, а статистическими корреляциями. Это и есть семантический зазор — пропасть между человеческим пониманием и машинной обработкой символов.
Вот наглядный пример: у нейросети Qwen попросили описать вкус шампанского в одно предложение. Ответ:
Шампанское — это освежающий, игристый напиток с фруктовыми и цитрусовыми нотками, хлебными тонами, изысканной минеральностью и тонкой кислотностью, оживляемый легким щекочущим перляжем.
Но Qwen никогда не чувствовала пузырьков на языке, не знает, как алкоголь ударяет в голову, и не понимает, почему это ассоциируется с праздником. Она лишь воспроизводит винные обзоры из своих данных.
Философ Дэниел Деннет в книге Consciousness Explained говорит, что понимание требует субъективного опыта, а опыт — это не просто данные. Деннет называет это «компетентностью без понимания».
А нужен ли смысл?
Зависит от цели. Если цель — автоматизировать рутину, создавать контент или анализировать данные, то да, этого достаточно.
Если цель — построение AGI (искусственного общего интеллекта), который будет мыслить, принимать решения, жить в мире — без "вшитого" смысла, перцепции и намерений не обойтись. Философ Джон Сёрл отмечал, что синтаксис (обработка символов) не равен семантике (пониманию смысла). ИИ пока застрял на уровне синтаксиса. Исследователи, такие как учёные из DeepMind, пытаются сократить этот разрыв, добавляя контекстные данные или улучшая архитектуры моделей, но пока это всё ещё имитация.
Как пытаются преодолеть этот разрыв?
Сегодня есть три направления, которые призваны помочь ИИ обрести опыт:
Мультимодальность: модели, которые создают видео, музыку и изображения. Это первые шаги в обучении моделей "видеть" и "слышать".
Память и цели: Это системы, которые обучены ориентироваться в контексте, адаптироваться к изменениям и строить планы.
Физическое воплощение (embodiment): Обучение через роботов в реальном времени.
Предсказание — это не понимание. Но иногда его достаточно.
Семантический разрыв — это не баг. Это фундаментальная черта текущей архитектуры ИИ. И перед нами выбор:
научить ИИ понимать по настоящему,
научиться взаимодействовать с ИИ в рамках ограниченного применения.
Подписывайтесь на мой телеграм-канал: t.me/post_hum
Комментарии (18)
AlexMih
24.06.2025 10:52Но Qwen никогда не чувствовала пузырьков на языке, не знает, как алкоголь ударяет в голову, и не понимает, почему это ассоциируется с праздником. Она лишь воспроизводит винные обзоры из своих данных.
Философ Дэниел Деннет в книге Consciousness Explained говорит, что понимание требует субъективного опыта, а опыт — это не просто данные. Деннет называет это «компетентностью без понимания».
Но и большинство присутствующих в опытах Шредингера свечку не держали, а лишь воспроизводят то, что прочитали в учебниках. Чем их компетентность в квантовой физике отличается от компетентности LLM?
Gredko
24.06.2025 10:52Но и большинство присутствующих в опытах Шредингера свечку не держали
А Вы уверены, что Шредингер опыты ставил?
Он кажется был теорфизиком?
А вот интересно, если имитации интеллекта работы троешников по теорфизике подсунуть с ошибками и не проставленными оценками - он так же четко будет правильные ответы выдавать? Или его подглючивать начнет из-за изменения статистических результатов?
NickyScout
24.06.2025 10:52Автор, было бы интересно послушать в Вашей версии, что такое этот самый "смысл", и как именно вы его понимаете? И чем это отличается от ИИ? (ведь делая такие утверждения, очевидно, что Вы понимаете, как человеческий мозг понимает этот самый "смысл")
k12th
24.06.2025 10:52Пошло-поехало, квалиа, философские зомби...
Свой опыт человеки передают и обсуждают в основном словами — голосом или на письме. Ну еще немножко картинками (но LLM и с этим более-менее справляются). Можно сколько угодно себе в голове представлять запах хвои и щебет птиц, вспоминая ту прогулку по лесу, но когда вы будете пересказывать это своему ближнему, все равно придется пользоваться словами, ну может фотки покажете, максимум — включите диктофонную запись птиц.
GidraVydra
24.06.2025 10:52Вы сначала дайте определение того, что такое "понимание", и предложите соответствующие ему критерии, позволяющие однозначно отличить понимание от не_понимания.
Dafostr
24.06.2025 10:52он не выводит (одно из другого), не наводит (на одно из многого), не отбирает выводы на предмет отсутствия противоречий, не классифицирует наводки, не проверяет себя, не рефлексирует, он просто ПОДБИРАЕТ слова.
S1908
24.06.2025 10:52Вы это обсуждаете а я пытаюсь реализовать)
InfusionKRD
24.06.2025 10:52Конечно, описание по ссылке - это не то, что ожидаешь перейдя по ссылке на github, но судя по изложенному, вы просто запланировали отделить базу знаний по типу RAG от управляющего (главенствующего) над происходящим ИИ.
Плюсов в таком подходе, считаю много, но и не вижу как это кардинально улучшит существующую парадигму ИИ.
Считаю изложенное в статье - вполне реализуемым, т.к. проводил опыты по обучению QWEN модели красноте красного: в датасете вместе с отзывом на фильм, описаны по одному шаблону уровни эмоций человека, пол, возраст.
После обучения QWEN кардинально по другому начинает излагать свои мысли, меняя те самые уровни. Лично я убежден, что текущее "квалиа" человека, это совокупность внутренних факторов, влияющие на наше поведение через призму характера.
rikert
24.06.2025 10:52Существенное колчество человечества не в состоянии понять смысл чего либо, могут даже отвечать на вопросы спецом ничего не понимая, что в ллм назвали галлюцинациями. Ллм на сегодняшний день полная аналогия человеческого мвшления в среднем. Тот agi к которому стремятся это сверхчеловек.
newobama
24.06.2025 10:52На мой субъективный взгляд, единственное, чего пока не хватает ИИ — это зрения и умения интерпретировать видеоконтент. Как только начнутся изменения в этом направлении — считай, всё: мы вплотную приблизимся к настоящему искусственному интеллекту.
AlexMih
24.06.2025 10:52Системы машинного зрения с локальными ИИ на боевых беспилотниках уже умеют самостоятельно распознавать местность, чтобы ориентироваться в отсутствие GPS, и распознавать конкретные цели, даже замаскированные, принимая решение об атаке без связи с оператором. Какая еще обработка видеоконтента вам нужна?
try1975
24.06.2025 10:52Так-то осязание, вкус и обоняние играют важную роль в формировании смыслов, плюс вестибулярка, плюс инстинкты. Не уверен, что всё это уже возможно полностью описать. Отсюда простой вывод, что ИИ не имеет той полноты информации, что человек. Но имеет значительно большее количество информации. Далее философия о переходе количества в качество.
misha_erementchouk
24.06.2025 10:52Вся эта история с ИИ могла бы стать триумфом "прикладной философии". Но не стала. Может еще надо подождать.
Что любопытно. Именно в постсоветском пространстве могли бы сложиться особенно благоприятные предпосылки для такого триумфа, но тоже не наблюдается.
Какое отношение одно имеет к другому. В старые-добрые, получение высшего образования почти неизбежно подразумевало чтение
десятитомника Ландау и Лифшица"Материализма и эмпириокритицизма" с известной компаративной теорией исчерпаемостей электрона и атома. Помимо прочих, книга эта преследовала конкретную цель - установление объективного характера (и, в конце концов, существования) общественных противоречий и спорила формально с Махом (думаю, Ленин прекрасно понимал, что Мах от этой критики посреди ночи в поту не подскочит) и очень всерьез с Богдановым в том числе из-за его "Мышление есть речь минус звук" (очень забавное упражнение - почитать текст по ссылке, как заметку, скажем на Хабре, про ИИ и большие модели). Богданов это приписывает Максу Мюллеру, но здесь есть неясности, до которых у меня руки очевидно никогда не дойдут разобраться. Так или иначе, (по крайней мере) вся высшеобразованная часть постсоветсткого пространства была насильно погружена в контекст проблематики связи между реальностью, ее отражением в мышлении, и внешним представлением. И как будто не было ничего. Вероятно, ЕГЭ все испортил.Речь без звука - текст. БАМ. В одну сторону побежала волна, где-то там доходящая до условного постмодернизма. Сейчас, наверное, мало кто вспомнит, как каких-то 30 лет назад "крепкие интеллектуалы" дежурно измывались над тезисами в духе "реальность - это текст".
Волна, побежавшая в другю сторону, упирается в Канта с его категориями или как их там, за что его мимоходно записывали в субъективные идеалисты (?), и еще дальше к Декарту, Бекону и, наверняка, древним грекам.
Многовековая традиция философской мысли, казалось бы упирающейся стрелой в пресловутый ИИ, реализованный на языковых моделях, в какой-то момент должна породить конкретное научное знание, упаковывающее тот же ИИ в ясную понятийную систему. По крайней мере, в это хочется верить. А пока люди переоткрывают традицию, со всеми вытекающими.
Что же делать пока это конкретное научное знание не выкристаллизовалось? Как в старые-добрые можно было предположить, что, вполне возможно, условный Богданов не был идиотом и имел основания для уравнивания текста и мысли, так и сейчас можно предположить, что условный крепкий интеллектуал тоже не был идиотом и что-то скрывал за нудной мантрой об объективных характерах и тому подобном. Сейчас, ИИ это лягушачьи лапки, взбивающие масло и нужно пытаться понять, что является молоком. Превратится ли когда-нибудь ИИ в машину, самостоятельно делающую масло из ничего как функция своего существования? Тяжело сказать. Путей к этому пока не видно, а для развернутого рассуждения полей не хватает.
SadOcean
24.06.2025 10:52К LLM претензий в этом смысле нет, от них и не ждали.
Вопрос есть глубже с другой стороны - а что такое понимание? Что такое этот субъективный опыт? Не является ли человек статистическим предсказателем рангом повыше?
Возможно наше понимание - это так же иллюзия, упрощенная статистическая модель знания.
Единственное отличие которой от действительной иллюзии - это ее прикладная полезность (если у модели хорошая предсказательная сила - это хорошая модель).
Не является ли "понимание" лишь субъективным переживанием?
AlexMih
А вы знаете, что такое запах?
Предположим, я утверждаю: "Но автор данной статьи не знает, что такое запах".
Попробуйте меня убедить в обратном, причем сделать это как-то иначе, чем оправдывалась бы LLM. Что бы вы ни говорили, я всегда смогу парировать: "Вы просто вспоминаете и говорите слова, которыми другие чаще всего описывают запах".
Radisto
10% людей не чувствует запах синильной кислоты в принципе, но все знают, как она пахнет. На понимание смысла запаха это и в самом деле не особо влияет (ну или люди тоже ущербны в этом плане))))
axion-1
Это как? Откуда я могу знать как что-то пахнет если я не чувствую этот запах? Синильную кислоту не нюхал, слава богу.