В августе выходит моя книга по эпистемологии и философии науки “Пролегомены ко всякому знанию”. В книге представлен новая концепция конструктивизма, в которой разрешается его основная проблема - как внутренние конструкции ума согласованы с тем, что мы называем реальностью. Для этого мной описывается новая концепция интеллекта как способ создания согласованных моделей реальности. И по-новому интерпретируются такие функции интеллекта как аналогия, восприятие, мышление, память. Показывается, что базовой функцией интеллекта является многовариантный предикат как способ обнаружения изменений. И далее, как из многовариантных предикатов мы получаем схемы и целые модели, которые помогают распознавать что есть, предсказывать что может быть, а также отвечает на вопросы как мы познаем новое, будучи “слепыми” (ментально замкнутыми) и т.п. Все это описано в главах 3-5 и может быть интересно "строителям интеллекта". Книгу можно сказать по ссылке .

В своих постах здесь я хочу дать комментарии к тем тезисам, которые как мне кажется будут интересны читателям Хабра. Начнем с первой главы.

Тезис

1.3.1. То, что на время написания этой книги называется искусственным интеллектом, таковым не является. Это не более чем вычислительная имитация за счет колоссального объема данных на все случаи, о которых может спросить обычный человек, с небольшой аппроксимацией между примерами. Но даже такая имитация не может нарисовать лошадь с пятью конечностями, что может даже шестилетний ребенок. Потому что даже в таких объемах данных нет всех вариантов композиции, к которой способен естественный интеллект. В основе нейронных сетей нет никакой теории знания.

Комментарий:

Этому вопросу по сути посвящен пост «Почему LLM не мыслят как люди». А пример с лошадью – это то, что Франсу Шолле (François Chollet), автор бенча LLM ARC-2, называет композиционностью. Это то, на что нацелен ARC-2, который LLM проходят максимум на 5%. Потому что в обучающих примерах не было ни одного животного с 4 конечностями. И небольшой аппроксимации, к которой способна LLM не хватает, чтобы ее нарисовать. Но еще интереснее, что LLM не могут пройти простые игры, где требуется понимание правил с первых примеров. Это такие игры как судоку, где лучшая модель в игре 6х6 показала … 0%! Или VideoGameBench — тест, где ИИ пытается пройти популярные видеоигры, полагаясь только на изображение экрана, то есть так как играют в нее люди. И ни одна модель не смогла пройти даже 1,6% игры полностью самостоятельно с паузами на размышление.

В тоже время AlphaGo обыграла человека в куда более сложную модель, скажете вы. Правильно, но для этого ей пришлось сыграть миллионы с RL, чтобы набрать в параметры все возможные варианты игры. При этом стоит чуть изменить доску для игры и AlphaGo проваливается. А человек может на нескольких примерах понять правила и далее уже применять их для игры во всех вариантах этой поля игры, если правила не меняются. Вот на основании такой разницы и способа достижения способностей нейросетей и выводится представленное в тезисе заключение – это имитация, так как она может вести себя интеллектуально, только собрав как можно больше примеров нашей интеллектуальной деятельности, делая неглубокую апроксимацию между ними. Но не приобретая правил. Что такое правила? Это метасхема для управления схемами игры в конкретных ситуациях. О том, что это такое и как формируется, можно прочитать в главе 4 книги.

Тезис.

1.3.2. Ошибка нейросетевого подхода заключается в том, что он построен в парадигме обработки информации от входного слоя, как изначально было представлено в перцептроне. Именно поэтому ответ нейросети так зависит от входной последовательности. В книге будет показано, что интеллект не просто обрабатывает входную информацию, а активно конструирует ее из имеющихся схем, подбирает модель для наилучшего соответствия входу, чтобы не зависеть при этом от случайного его сочетания.

Комментарий:

По мнению некоторых исследователей, нейросети повторяют функционал первичных перцептивных зон. Они хорошо запоминают паттерны одновременности признаков (на этом построен эмбединг), благодаря чему возможен семантический поиск как поиск похожих слов с запросом, наиболее вероятно встречаемых совместно (слово за словом). Есть предположение, что так работает только первичная кора, вторичная и тем более третичная работают похоже иначе. Они не распознают паттерны, они их генерируют из имеющихся (путь up down). И предактивируют первичную. Поэтому нам не мешает поверхностный шум как llm, которые меняют ответ даже из-за лишнего пробела или двоеточия, а также из-за наклеек на дорожных знаках.

Откуда берутся этим паттерны, или модели? В старой парадигме, по которой построены и нейросети, все определяется от входа, в нем все данные для создания моделей. И никого не смущает, что по данным нейропсихологии ментальные образы гораздо информативнее перцепции, например, по цветности (мы вашим картинки для себя полностью цветными, хотя глаз воспринимает цвет только в узкой фокальной зоне). Гипотеза конструктивизма, которую я развиваю в книге, заключается в том, что мы сами конструируем модели из того, что приобрели ранее (простые модели) и сопоставляем их с паттернами первичной перцепции. Подходит - применяется, не подходит (не согласуется все признаки перцепции между собой в модели) - происходит поиск другой модели и уточнение перцепции. Нейросети не строят новые модели перцепции из того, что уже знают. Они все строят из первичных данных. Это важное различие в том числе в обучении – мы можем поэтому учиться на ходу, а нейросети нет, так как им недостаточно одного-трех примеров, а надо тысячи как указано в комментариях к предыдущему тезису.

1.3.3. Ошибка символьного подхода заключается в том, что он исходил из поверхностной последовательности символов, только подразумевая, но не эксплицируя, не разворачивая их значение как связи символов со схемами его значения, соединяющихся в общую многовариантную модель ситуации, на которую только указывает поверхностная последовательность, и которая намного более шире, чем выраженная в последовательности символов.

Комментарий:

Этот тезис трудно пояснить тем, кто не прочитал главу 3 книги. Поэтому кратко скажу, что символьный подход, как и онтологический, не может быть верным в принципе, даже если символьная структура знаний выведена из текстов автоматически как делают некоторые современные авторы (например, Антон Колонин). Мы подразумеваем гораздо больше чем говорим. Если я говорю, что яблоко зеленое, я уже подразумеваю, что оно может быть желтое или красное, когда созреет. И все эти возможные предикаты сразу же активируются и создают невероятные цепи ассоциаций, актуальных в данном контексте. Это принципиально динамическая структура, генерируемая «под ситуацию», а не существующая раз и на всегда приколоченной в «графе знаний». Знание постоянно меняется – наверняка многие читали как меняется значение слов со временем. В прошлом веке те же слова значили совсем иное. Значение смещается как говорят лингвисты по дистрибутивным (статистическим) законам, а не по графу. Символьный подход ограничен, потому что не содержит и не может учитывать все возможные варианты, коннотации, аллюзии, метафоры и омонимии слов в динамике их использования.

P.S. Прошу не ругаться на очень философский, а не технический текст. Это попытка осмыслить и сначала найти верный путь, а программировать пустоту.