Введение.

В 1980 году в журнале «The Behavioral and Brain Sciences» была опубликована статья философа Джона Сёрла[i] (John Searle) «Minds, Brains, and Programs», содержащая описание мысленного эксперимента «Китайская комната»[ii], критику этого эксперимента различными исследователями, а также ответы Сёрла на эту критику.

Аргумент «Китайской комнаты» оказался одним из самых обсуждаемых в когнитивистике.

Эта статья показывает очевидную ошибочность этого аргумента.

Возражение настолько простое, что мне сложно поверить, что оно не появилось раньше. Гораздо вероятнее, что этот велосипед до меня был изобретён уже много раз. Если это в самом деле так, я буду искренне признателен тем, кто найдёт и покажет мне это опровержение.

Китайская комната.

Сёрл пытается доказать, что даже проходящий тест Тьюринга[iii] компьютер на самом деле не способен понимать тексты, он способен только качественно притворяться, что понимает их.

Для этого Сёрл предлагает мысленный эксперимент с запуском программы, проходящей тест Тьюринга, не на компьютере, а с человеком в качестве исполнителя.

Предположим, что у нас есть компьютер, работающий под управлением программы, способной пройти тест Тьюринга на китайском языке. Переведём эту программу на английский язык.
Поместим в комнату человека, знающего английский, но не знающего китайский. Снабдим его книгой инструкций, написанной на английском и поэтому понятной ему; канцелярскими принадлежностями (карандашами, бумагой, ластиками); бумажной системой хранения. Под дверь комнаты просовываются тексты на китайском, написанные иероглифами. Человек читает книгу инструкций, пошагово выполняет инструкции, в результате он пишет на бумаге какие-то другие китайские иероглифы и отправляет их назад под дверь.

С точки зрения стороннего наблюдателя комната общается на китайском, понимая его. Если программа, работающая на компьютере, проходит тест Тьюринга, то его пройдёт и человек-исполнитель, выполняющий ту же самую программу без компьютера.

Сёрл заявляет, что никакой существенной разницы между ролью компьютера и исполнителя нет. И компьютер, и исполнитель следуют программе, которая и создаёт поведение, выглядящее пониманием.

Но исполнитель на самом деле не понимает китайского и не имеет ни малейшего понятия о содержании разговора. Значит, и компьютер, выполняющий ту же роль, тоже не понимает китайского и тоже не имеет ни малейшего понятия о содержании разговора.

Итак, способность компьютера пройти тест Тьюринга совершенно не означает способность понимать язык. По Сёрлу, для понимания необходим мозг, и без него понимание возникнуть не может.

Шахматная комната.

Давайте поймём, что рассуждение Сёрла ошибочно. Для этого применим процедуру Сёрла не к гипотетической программе, способной пройти тест Тьюринга на китайском языке, а к реальной шахматной программе, например, Stockfish[iv].

В качестве исполнителя для нашего мысленного эксперимента выберем человека, не просто совершенно не умеющего играть в шахматы, но даже не знающего о существовании такой игры вообще.

Переведём Stockfish в формат инструкций на знакомом человеку языке, не раскрывая смысл инструкций. Переведём на бумагу шахматные базы данных, но опять-таки не понятными для человека диаграммами, а в алгоритмическом формате.

Запустим Stockfish на субстрате человеческого мозга.

Человек в комнате получает последовательность символов. Она на самом деле обозначает шахматный ход или предложение («давайте сыграем, у вас белые», «предлагаю ничью»), но человек не знает смысла этой последовательности. Он проводит вычисления по алгоритму и выдаёт ответную последовательность символов, обозначающую ответный ход или реакцию на предложение.

Совершенно очевидно, что с точки зрения стороннего наблюдателя комната умеет играть в шахматы с силой Stockfish. Однако наш исполнитель по-прежнему не умеет играть в шахматы и даже не знает, что такая игра существует. А поскольку, следуя Сёрлу, мы считаем, что исполнитель ничем принципиально не отличается от компьютера, мы, следуя Сёрлу, должны сделать вывод, что и компьютер не умеет играть в шахматы.

Вот только он это умеет.

Итак, последовательное применение рассуждений Сёрла приводит нас к абсурдному выводу. Значит, эти рассуждения ошибочны. Значит, отсутствие некоторого качества у исполнителя программы нельзя переносить на всю компьютерную систему.

Неужели никто этого не понял раньше?

Разумеется, поняли. Прямо в исходной статье первым же контраргументом приведено совершенно верное опровержение.

The systems reply (Berkeley). While it is true that the individual person who is locked in the room does not understand the story, the fact is that he is merely part of a whole system, and the system does understand the story. The person has a large ledger in front of him in which are written the rules, he has a lot of scratch paper and pencils for doing calculations, he has 'data banks' of sets of Chinese symbols. Now, understanding is not being ascribed to the mere individual; rather it is being ascribed to this whole system of which he is a part.

Системный контраргумент (Беркли). Участник эксперимента, находящийся в комнате, в самом деле не понимает по-китайски, но он представляет собой не аналог компьютера, а часть системы. Китайский понимает только вся система в целом. У человека есть книга инструкций, у него есть карандаши и бумага для вычислений, у него есть «базы данных» в виде наборов китайских символов. Понимание достигается не на уровне человека-исполнителя, а на уровне всей системы, частью которой он является.

Да, это именно так. Снова посмотрим на шахматную программу. Очевидно, что компьютер сам по себе в самом деле не умеет играть в шахматы. Он «учится» этому, когда запускается шахматная программа. В процессе игры компьютер обращается к банкам данных, а также производит множество вычислений, сохраняя их результаты в памяти. Система из компьютера, шахматной программы, банков данных и оперативной памяти умеет играть в шахматы.

Сёрл, разумеется, ответил на этот контраргумент. Мы, проверив на шахматах, уже знаем, что ответ Сёрла ошибочен, и поэтому не будем разбирать его тщательно, удовлетворившись только тем, что покажем ошибку.

My response to the systems theory is quite simple: let the individual internalize all of these elements of the system. He memorizes the rules in the ledger and the data banks of Chinese symbols, and he does all the calculations in his head. The individual then incorporates the entire system. There isn't anything at all to the system that he does not encompass. We can even get rid of the room and suppose he works outdoors. All the same, he understands nothing of the Chinese…

Ответ на системный контраргумент: давайте все элементы системы инкапсулируем внутри человека. Он выучил наизусть книгу инструкций и все базы данных, а все вычисления он производит в уме. Теперь человек объединяет в себе всю систему, снаружи ничего не осталось. Можно и от комнаты избавиться, пусть он работает на открытом воздухе. И он всё ещё совершенно не понимает по-китайски…

Ну что же, давайте проделаем ту же операцию с шахматной программой. Здесь возникает серьёзная техническая проблема: человек принципиально не в состоянии ни заучивать требуемые объёмы инструкций, ни умещать в кратковременной памяти нужные для выполнения промежуточных операций объёмы информации, ни выполнять эти операции с удовлетворительной скоростью. Но мы всё-таки имеем дело с мысленным экспериментом и поэтому вполне можем представить, что «спим с открытыми глазами и поём».

Пусть наш герой выучит наизусть всю инструкцию Stockfish и все базы данных, а все вычисления проводит в уме. Теперь он способен запустить всю процедуру…

…и становится очевидно, что теперь он умеет играть в шахматы с силой Stockfish. Он по-прежнему не знает ни названий фигур, ни правил взятия на проходе или рокировки, ни принципов развития – но с ним можно сыграть, а это значит, что он умеет играть. Просто играет он совершенно нечеловеческим способом, абсолютно не так, как делают это люди.

С исходным человеком из мысленного эксперимента Сёрла совершенно та же история. Ему в голову инсталлируют систему, которая понимает китайский, но делает это совершенно не по-человечески, принципиально иным способом. Собственный «языковой модуль» носителя системы, то есть часть его мозга, отвечающая за процессы восприятия/формирования речи, не имеет доступа к смыслу китайского текста, этот смысл доступен только для обработки выученным алгоритмом. Если человек забудет алгоритм, его способность понимать китайский пропадёт. Если он потеряет возможность запоминать промежуточные результаты, она также исчезнет.

Поэтому возражение Сёрла неверно. Сёрл не распознаёт нечеловеческое, алгоритмическое понимание и ошибочно считает, что после такой операции человек по-прежнему не понимает китайский. Человеческим способом – не понимает, но теперь в его мозгу располагается система, понимающая китайский.

Что есть понимание?

Полезно вообще разобраться, что именно мы имеем в виду, говоря, что понимаем что-то, и как именно осуществляется это понимание. Как писал Михаил Леонович Гаспаров, понять стихотворение — значит, быть в состоянии пересказать его своими словами[v]. Это очень хороший критерий, допускающий расширение и за пределы стихосложения.

Понимание достигается, когда человек строит в своём сознании модель ситуации, с которой дальше может работать: может смотреть на неё с разных сторон, оценивать, анализировать и так далее. В частности, может самостоятельно описать эту модель текстом, то есть «пересказать своими словами».

Что именно означает «в своём сознании»? Сознание человека — это совокупность процессов в лобных долях его мозга, и построение модели происходит на том же самом субстрате. Когда мы понимаем что-то, в нашем мозгу активизируются определённые нейронные цепи. Что будет, а что не будет включено в эти цепи, определяется нашим жизненным опытом, записанным в нашей памяти, которая тоже локализована в мозгу. Необходимые воспоминания для правильного соединения нейронов в этих цепях подтягиваются в кратковременную память из долговременной, и возникает динамическая структура мозговых процессов и содержимого кратковременной памяти.

Именно с этой динамической структурой мозг и работает, именно она названа выше моделью ситуации в сознании.

Модель не обеспечивает понимание, она является пониманием. Степень адекватности этой модели определяет уровень понимания. Можно не понять ничего (модель не получилось построить вообще), можно понять некоторую часть сообщения от «почти ничего» до «почти всё», а можно что-то понять неправильно, то есть построить модель, соответствующую другой ситуации.

Компьютер понимать естественный язык может только аналогичным способом: тоже через построение модели и работу с ней, но его модель устроена иначе. Компьютерная модель — динамическая структура, состоящая из данных в памяти и процессов программы, обрабатывающей эти данные. Инженеры компании ABBYY пытались формализовать и явно описать построение такой модели и даже до некоторой степени преуспели, но в полной мере задача оказалась им не по зубам[vi]. Существующие статистические системы NLP строят эту модель в нечитаемом для человека виде, например, в виде матрицы коэффициентов весов нейронной сети. Однако и в этом случае модель является пониманием, и степень адекватности модели определяет уровень понимания.

Ключевая часть Китайской комнаты — вовсе не книга с инструкциями и не человек, который этим инструкциям следует. Модель-понимание языковой ситуации возникает не в книге инструкций, не в банках данных и даже большей частью не в мозгу исполнителя, а в записях, которые исполнитель ведёт в процессе следования инструкциям. Она существует на субстрате канцелярских принадлежностей, которые исполнитель использует, чтобы вручную выполнять алгоритм из книги.

Перенос этой модели в голову человека запутывает, потому что человеческая модель-понимание строится совершенно иначе. И разумеется, инсталляция в мозг компьютерной модели-понимания не приводит к появлению там человеческой модели. Как совершенно верно отметил Марвин Мински, на субстрате человеческого мозга рядом с обычным человеческим сознанием, не знающим китайского, возникает виртуальное сознание, знающее китайский[vii].

Заключение.

Убеждающая сила аргумента Китайской комнаты целиком зиждется на убедительности ошибочной процедуры Сёрла. Эта ошибочность оказывается замаскирована тем, что люди, во-первых, в основной своей массе не очень представляют, что такое «понимание»; во-вторых, им очень трудно представить себе программу, способную пройти тест Тьюринга на китайском, и ещё труднее подробно представить работоспособную Китайскую комнату; в-третьих же – напротив, представить себе человека, не знающего китайский очень легко, у большинства из нас такой человек прямо под руками. Именно этот контраст и приводит к тому, что человек особенно ярко воспринимает именно ключевое для довода Сёрла неумение говорить по-китайски.

Однако ошибочность процедуры становится очевидной, если применить эту процедуру к существующей программе. Сам Сёрл, разумеется, этого не сделал. Если бы он это сделал, знаменитая статья не появилась бы, и человечество не тратило бы громадные ресурсы на обсуждение этого заблуждения.

Разумеется, эта работа не доказывает, что взгляды Сёрла на сильный искусственный интеллект ошибочны; она доказывает лишь то, что эти взгляды не обоснованы. Из того, что компьютер без программы не способен понимать естественный язык, совершенно не следует, что на это не способен и компьютер, работающий под управлением какой бы то ни было программы.


[i] https://en.wikipedia.org/wiki/John_Searle

[ii] https://en.wikipedia.org/wiki/Chinese_room

[iii] https://en.wikipedia.org/wiki/Turing_test

[iv] https://stockfishchess.org/

[v] https://rus.1sept.ru/article.php?ID=200204301

[vi] https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proigrali-poslednjuju-bitvu-za-nlp/

[vii] https://en.wikipedia.org/wiki/Chinese_room#Virtual_mind_reply

Комментарии (59)


  1. KreoShow
    06.11.2024 07:35

    Изначально странно делать выводы используя человека в доводах для доказательств что ИИ что-то не может потому что человек не может


    1. Yggaz Автор
      06.11.2024 07:35

      Логика у Сёрла именно такая. Человек в китайской комнате играет роль компьютера - человек не понимает китайский - значит, и компьютер не понимает китайский, несмотря на то, что всё выглядит так, будто понимает.
      Проблема именно в том, что человек в китайской комнате эквивалентен не компьютеру в целом, а только процессору, без программы и данных.

      А если и программу, и данные поместить внутрь человека, то уже нельзя будет однозначно сказать, что он не понимает китайский.


      1. DrZlodberg
        06.11.2024 07:35

        Вообще человек, начинающий учить чужой язык обычно так и работает. Есть инструкция о значении и порядке слов, и есть какие-то правила ответа. И человек в уме по этим правилам работает.


      1. VBDUnit
        06.11.2024 07:35

        Ох уж эта китайская комната!

        человек не понимает китайский — значит, и компьютер не понимает китайский

        Это логическая ошибка. Если часть системы не может X, это не значит, что вся система не может X. Это как утверждать, что раз один транзистор не умеет выполнять ассемблер, значит весь процессор не может. А он может. Потому что эмерджентность. Система из элементов обретает свойства, не отсутствующие у её элементов.

        Система «человек‑в‑комнате‑с‑книгой» знает китайский и даёт осмысленные ответы. А её составляющие нет. Вот и всё.


    1. Kergan88
      06.11.2024 07:35

      Наоборот - без человека у вас заведомо ни чего не получится, ведь обсуждаемые понятия априорно определены только для человека. Вот Серл и построил систему в которой мы можем априорно заявить об отсутствии у человека понимания/знаний. Мы точно знаем что человек в китайской комнате китайского не понимает и не знает - но при этом он выглядит так будто понимает и знает. А значит, выглядеть понимающим и знающим само по себе недостаточно, чтобы быть понимающим и знающим.

      Из этого мы можем сделать вывод - если стокфиш выглядит так, будто понимает и знает как играть в шахматы, это не значит, что она в действительности понимает и знает, как играть в шахматы.

      @Yggaz

      >Понимание невозможно качественно изобразить, если его на самом деле нет

      Ну вот Серл и приводит пример системы, которая с одной стороны понимание изображает, но с другой стороны им не обладает. В этом и есть смысл китайской комнаты - это конструктивное доказательство существования таких систем.


  1. garwall
    06.11.2024 07:35

    Вы как тот человек, который апорию "Стрела" опровергает тем, что походил туда-сюда. (как минимум вы, что на мой взгляд не бесспорно, ставите равно между операциональным владением и пониманием.)


    1. Yggaz Автор
      06.11.2024 07:35

      Нет. Я вообще не атакую утверждение Сёрла, я атакую его метод доказательства.

      Сёрл: запустим "разговор по-китайски" на субстрате человеческого разума. Человек при этом полностью аналогичен компьютеру и не знает китайский. Значит, и компьютер не знает китайский.
      Я: запустим Stockfish на субстрате человеческого разума. Человек при этом полностью аналогичен компьютеру и не умеет играть в шахматы. Значит, и компьютер не умеет играть в шахматы.

      А он, надо же, умеет.


      1. garwall
        06.11.2024 07:35

        что такое "умение играть в шахматы" в данном контексте? Я уверен, что компьютер не "умеет" играть в шахматы. максимум сверяться базой этюдов и эндшпилей, и придавать весы эффективности тем или иным ходам. играть в шахматы он "умеет" примерно так же, как подсчитывать число символов в тексте, делать рендер арчвайла или считать пи до любого знака до запятой. в любой этот процесс компьютером вложено совершенно одинаковое количество "умения" и "понимания" - ноль.


        1. Yggaz Автор
          06.11.2024 07:35

          Умение играть в шахматы "в данном контексте" - это умение играть в шахматы. С компьютером можно сыграть, и мы с вами ему ещё и гарантированно проиграем. Последняя победа гроссмейстера над топ-программой была почти 19 лет назад, 21 ноября 2005, Пономарёв выиграл у Фритц.


          1. garwall
            06.11.2024 07:35

            Как прокомментировали ниже, там нет "умения" играть в шахматы, а только простейшие логические и арифметические операции. И на основе этих элементарных операций можно составить математическую модель, которая с базой данных этюдов и эндшпилей буде иметь неплохой индекс ФИДЕ. Есть ли в этой математической модели "умение"? Немного другая математическая модель даст нам бота для корнтерстрайка - но "умеет" ли этот бот играть? И проигрыш гроссмейстеров - здесь примерно того же рода, что вы и я проиграем калькулятору в скорости умножения десятизначных чисел.

            Вообще вы достаточно фривольно обращаетесь с терминологией в данной статье, поэтому приходится вкладывать собственное понимание термина в ваши понятия "умения", "понимания"(хехе) и т.д. (и мне кажется, приписываете математической машине некоторую внутреннюю сущностность)


            1. Yggaz Автор
              06.11.2024 07:35

              Как прокомментировали ниже, там нет "умения" играть в шахматы...

              Я это уже писал. "Это фальшивые ёлочные игрушки, они выглядят как настоящие, но радости от них никакой".
              Если бы там не было умения, никто бы не стал запрещать компьютеры на турнирах.

              здесь примерно того же рода, что вы и я проиграем калькулятору в скорости умножения десятизначных чисел...

              А в чём вы и я компьютеру не проиграем? В snake and ladders?

              которая с базой данных этюдов и эндшпилей буде иметь неплохой индекс ФИДЕ

              Это такой способ обесценивания :).

              Вариантов шахматных партий астрономическое количество, никакой "базой данных этюдов" невозможно покрыть даже сотую их долю. Попробуйте начать каким-нибудь нетипичным дебютом - и вас размажут точными ходами. Ключевой прогресс в шахматных алгоритмах - умение оценивать позиции, строить планы и предвидеть планы соперника. Программы умеют это всё.

              Вообще вы достаточно фривольно обращаетесь с терминологией в данной статье...

              Это у вас выясняется, что компьютер вовсе и не умеет играть в шахматы. Я не совсем представляю, как умение можно определить так, чтобы получилось, что у компьютера умения играть в шахматы нет.

              и мне кажется, приписываете математической машине некоторую внутреннюю сущностность...

              Наш с вами мозг состоит из элементов куда меньшего быстродействия, а вы посмотрите, какую громадную внутреннюю сущность поддерживает.


            1. DrZlodberg
              06.11.2024 07:35

              А комп на базе НС? Вроде как последние программы что шахматные, что ГО, что для всего остального, основаны не на базе. Хотя под капотом там "только простейшие логические и арифметические операции". Играют? Играют. Выигрывают? Так кожаных давно порвали. Так где критерий? Даже если где-то ошибутся - так все ошибаются.

              По факту снаружи действительно невозможно понять, есть там понимание или нет. По сути человек, когда только начинает играть, точно так же работает тупо по правилам без какого-то понимания. А уже потом выстраивает свои собственные правила на основании опыта. Что мы обычно и называем пониманием.


        1. SadOcean
          06.11.2024 07:35

          Вопрос интересный на самом деле.
          Если он может победить чемпионов, может правильно понимать диспозицию и моделировать будущие ходы, то почему мы не считаем это пониманием?
          Да, это не наша форма понимания, он не знает названий фигур и истории шахмат, но в шахматном пространстве это понимание весьма велико.
          Собственно эти весы и алгоритмы и есть понимание, в данном случае зашитое разработчиками.
          Оно может быть даже выше, чем у разработчиков, ведь, к примеру, веса фигур найдены статистически за множество партий, что отличается от субъективного опыта мясных чемпионов.


          1. victor_1212
            06.11.2024 07:35

            согласен, вопрос интересный, но не могу согласиться, что весы+алгоритмы=понимание, по той простой причине, что пока никто не знает и не может хорошо определить, что именно означает слово "понимание", даже не знаем понимание в шахматах и понимание в других областях - это одно и то же или нет,

            простой пример - школьник решает трудную задачу, предположим на мат. одимпиаде, решает 10 мин, 20 мин, час, вдруг говорит наконец понял, как эту задачу решить, минуту назад не знал, а сейчас понял, что именно произошло в голове школьника, не думаю, что это можно определить в терминах весов и алгоритмов, человек таки не машина, а что происходит в голове математика работающего над проблемой год, другой, и внезапно (возможно даже во сне) - эврика, нашел решение, т.е. понимание проблемы,

            замечу что вероятно понимание связано с возможностью интерпретации мнформации , типа нет понимания, если не можете интерпретировать, как именно связано объяснить не берусь, просто самому до конца не понятно, или (по Вашей терминологии) типа коэффициенты не могу пока подобрать подходящие :)


            1. Felan
              06.11.2024 07:35

              Я в этом комментарии основную идею пытался сформулировать. Думаю если следовать этой логике то в голове у школьника нашлась цепочка предсказаний результатов действий из начальных условий и до требуемого результата задачи. Тут как получается обратная задача. Есть начальные условия и конечный результат. Если это самое "понимание" уже есть, то это в некотром роде спуск по дереву до нужного результата. А если его еще нет, то надо сначало это дерево восстановить. Вот он его восстановил = понял.


              1. victor_1212
                06.11.2024 07:35

                Андрей, проблема что такое творчество не тривиальна, и к спуску по дереву не сводима, говоря Вам как бывший участник олимпиад на приличном уровне, типа подход очень разный к разным задачам, была такая книжка Пойа Д. "Как решать задачу", посмотрите при случае, автор был довольно известный в свое время, типа приезжал в Принстон, обсуждал это дело с Эйнштейном, и т.д. , стоит взглянуть,

                в общем чтобы предметно разговаривать желательно иметь личный опыт, если можно опишите как именно у Вас голова работает над сложной задачкой, припоминаю что когда писал дипломную работу на мехмате, сделал что требуется примерно за два часа, когда показал своему руководителю, он удивился, типа слишком быстро, хотя при этом думал что мне потребовалась неделя, как именно это произошло толком сам не понял, но точно про деревья ничего не знал тогда, программированием чуть позже заинтересовался :)


                1. Felan
                  06.11.2024 07:35

                  А творчество то тут причем? Мы же про то, что такое "понимание" говорим. Лично у меня к некоторому "творчеству" очень большие вопросы возникают. И стихи аля Незнайка мы будем относить к творчеству?

                  Или вы про что?

                  А решение задачи вполне себе сводится к спуску подереву если решение известно. Типа дан треугольник - можем проверси биссектрисы или медианы. Провели медианы - застряли, провели биссектрисы, теперь можем найти центр вписанной окружности и т.д. и т.п.

                  Так оно у всех и работает. И у меня так же как и у всех. Я человек простой и не склонен искать божью искру где попало. Машина человек или нет - вопрос филосовский, но сон не означает, что мозг не работает.

                  Ладно, ваш вариант, что у школьника появилось, когда он понял?


                  1. victor_1212
                    06.11.2024 07:35

                    Чтобы варианты предлагать, надо иметь ответы, у меня их нет, к сожалению. Есть только личный опыт, и слегка известен опыт других. Но и Ваше объяснение "понимания" кажется неубедительным, т.е. так не работает по жизни как Вы описываете.

                    К творчеству это имеет отношение прямое, решение задачи тоже есть творчество основанное на понимании, маленькой задачи - детское, большой задачи - взрослое творчество. Перебором можно ключ подобрать, если он существует, или шахматную позицию проанализировать, не более, собственно творчества в этом мало. Думаю что творчество основано на понимании чего-то, что другие предположим не видят, т.е. сводится именно к пониманию нового, для которого пока нет ключа.

                    Про стихи Незнайки это в сторону, про стихоплетство отдельная тема, к творчеству не относится :)

                    Я тоже человек простой, претензий на абсолютное знание примерно ноль.


                    1. Felan
                      06.11.2024 07:35

                      Чтобы варианты предлагать, надо иметь ответы, у меня их нет, к сожалению. Есть только личный опыт, и слегка известен опыт других. Но и Ваше объяснение "понимания" кажется неубедительным, т.е. так не работает по жизни как Вы описываете.

                      Из моего оригинального комментария не очень понятно. Я никаких объяснений не давал. Я не знаю, что такое "понимание". Я выдвинул гипотезу. Привел как смог аргументы в ее пользу. А вы мне говорите, что я не прав потому, что вы думаете что я не прав на основании вашего личного опыта... Не знаю че тут можно сказать.

                      Хотелось бы услышать другую гипотезу и хоть какие нибудь аргументы.

                      Мне казалось тут про понимание, все таки а не про творчество. И творчество не имеет никакого отношения к решению задач. И я не говорю, как работает по жизни, я всего лишь предложил некоторое объяснение термина "понимание" в рамках дискуссии исходя из собственных знаний и опыта.

                      А вы утверждаете что это не так потому, что вы так не думаете... Ну ок. А вашу гипотезу и аргументы можно все-таки?

                      Про стихи Незнайки это в сторону, про стихоплетство отдельная тема, к творчеству не относится :)

                      Это про качество его стихов с рифмой типа "палка-селедка" и темами вида "Торопыжка был голодный - проглотил утюг холодный". Вы видимо не читали Незнайку. Стихоплетство как раз относится к творчеству, и уж точно не относится к решению задач. Даже не понятно как их понимать. Вон Торопыжка обиделся, а мог просто посмеяться.

                      Я тоже человек простой, претензий на абсолютное знание примерно ноль.

                      Таки мой тезис: "Понимание" это представление совокупности возможных результатов и их вероятностей после различных последовательностей действий.

                      Стокфиш это делает узко и в изолированной области, поэтому ему хватает кодировки позиции и небольшого набора коэффициентов для предсказаний. У человека сложно изолировать одну область и неизвестно как представлена "позиция" и сколько "коэффициентов" используется.

                      Поэтому можно сказать, что стокфиш понимает как играть в шахматы, просто делает это не антропоморфно. И похоже обезличенно.

                      Тут кстати, еще нам тогда не мешает определиться, о каком понимании мы говорим. О понимании какого-то устройства или принципа, т.е. объяснении чего-то, тогда по моему мой вариант вполне подходит. А как вы говорите о понимании "чего-то нового" тогда надо определиться что значит в данном случае новое. Ну или хотя бы какими критериями обладает нечто, что можно называть "новым"


                      1. victor_1212
                        06.11.2024 07:35

                        верно не помешает определиться, только это вероятно невозможно, нет четкого определения "понимания", т.е. вообще не встречал, именно об этом речь,

                        Вы типа предлагаете тезис, (упрощая) если есть утверждение чтобы его понять надо взять определения отдельных слов например из словаря, собрать вместе и перебрать возможные комбинации пока не получится (без разницы на каком языке, например китайском), но с самого начала пытаюсь Вам объяснить, что это годится только для тривиальных случаев типа "маша ела кашу", и никакое движение по дереву здесь не поможет, ровно как и подбор коэффициентов, вот и все,

                        кстати про вероятности результатов - откуда их вообще можно взять, имитацию понимания Вы таки получите при должном обучении, но ничего нового, просто усложненный вариант "маша ела кашу", для создания рекламы возможно годится, для пропаганды и замыливания мозгов тоже, call centers можно автоматизировать, и пр.,

                        короче суть дела в том, что никто пока толком вообще не знает как работает мозг, что такое сознание, и тем более что есть понимание на более-менее серьезном уровне, именно об этом речь, если Вас устраивает то объяснение, что Вы предлагаете, то нет проблем, типа дело Ваше, меня такое определение не устраивает, хотя тема супер интересная, и много думал об этом, типа искал ответа на тот же вопрос,

                        почему не устраивает пытался Вам показать на примере понимания школьником как решить задачу, или вообще новую тему например по математике, вот человек не понимал - и вдруг эврика, понял наконец, не знаю как еще проще объяснить, типа наблюдаемое не соответсвует Вашей гипотезе


            1. SadOcean
              06.11.2024 07:35

              Ну а теперь представьте, что мы имеем более сложную нейросеть, которая не только предобучена на входящих данных, но и может динамически менять свою топологию, скажем, у нее под управлением сеть поменьше, которую можно переобучать.
              И ее архитектура дополнена дополнительными механизмами - проектировщиком обучения, виртуальной лабораторией и всякими примочками для синтеза.
              И вот, столкнувшись с незнакомой задачей она начинает предпринимать доп действия - попытаться найти, какие части будут считаться решением задачи, какие параметры будут оптимальны и на какие данные опираться, обучить несколько вариантов подсетей, если надо, несколько раз бросить кости и переобучить с рандомом.
              Потом выбрать лучшую и попытаться решить эту задачу снова, перемешать, повторить, не взбалтывать.
              Вполне может быть что такие улучшения архитектуры - и есть та грань, которая отделяет нас от разумного ИИ (пусть и не антропоморфно разумного).

              Проблема не только в том, что нейросети - статистическая машинка по воспроизведению фигни. Проблема в том, что большая часть нашего мозга может быть статистической машинкой по воспроизведению фигни и мы отличаемся только ее мощностью и парочкой хаков, которые позволяют лучше работать с обратной связью.

              Так как мы не знаем, как оно работает целиком, это не самая бесполезная теория.

              Быть может, количество параметров действительно делает врум врум.


            1. SadOcean
              06.11.2024 07:35

              Мой гет не столько в том, что машины обязательно могут найти понимание.
              Быть может и наше понимание - это иллюзия.
              Ведь реальный мир не доступен, мы живем в виртуальной реальности, воспроизводимой для нашего мозга.
              Иллюзия мозга, живущего в иллюзорном мире чувств, решающая иллюзорные задачи, с иллюзией знания, памяти и понимания.

              Единственное, что отличает это от полного солипсизма - полезность иллюзий и обратная связь с реальным миром.
              Иллюзорной геометрии пространства и "зрения" хватает, чтобы ходить и не биться о дверные косяки.
              Иллюзии восприятия реального мира хватает, чтобы кушать вовремя, ловить перепелок (в прошлом) или ходить на работу и в магазин (сейчас).
              Иллюзии себя хватает, чтобы прикидывать, что о тебе подумают соседи
              Иллюзии знания хватает, чтобы напрягшись и погуглив, восстановить контекст достаточный для решения задачи и таки построить самолет, автомобиль или компьютер, пусть со скрипом, специализацией, долго и тяжело.


              В таком разрезе современные модели отличаются от живого мозга не концептуально, а архитектурно - нужно просто решить по отдельности задачи переобучения на новых данных, виртуальной окружающей среды и механизма обратной связи, фасилитации данных для обучения и результатов обучения и проч.

              Еще интересный вопрос, возможна ли цифровая симуляция мозга живого и будет ли отличаться результат.


      1. cdrw3
        06.11.2024 07:35

        Это вам, как стороннему наблюдателю, кажется, что умеет. А сам компьютер не знает ни про шахматы, ни про шашки, просто перекладывает нули с единицами.


        1. Yggaz Автор
          06.11.2024 07:35

          Ну ничего себе "кажется". Всему миру показалось, что Каспаров проиграл Deep Blue. На всех шахматных турнирах компьютеры запрещены - всё потому, что всем без исключения наблюдателям кажется, что компьютеры играют в шахматы сильнее людей.

          Если такое кажется всем - так это, наверное, уже нельзя называть словом "кажется".

          Знает или не знает - дело десятое. Но играть несомненно умеет.


        1. Felan
          06.11.2024 07:35

          Ну так можно (и справедливости ради нужно) дойти до того, что и у человека это просто какие-то химические реакции...

          Вот интересно, можно ли попробовать инвертировать ситуацию. Скажем какая-нибудь нейросеть сгенерит правила некоторой игры. Дальше взять вторую копию этой нейронки и немного побучать чему-нибудь еще, ну просто что бы она не была полной копией. Получится что у нас есть две условно разные нейронки которые способны играть в только им известную игру.
          Как мы как человеки можем разобраться в ней? Ну наверное можем, если это не фантасмагиря типа драконего покера... А мы будем ее понимать или просто правила заучим?


        1. SadOcean
          06.11.2024 07:35

          Ну быть может и вам кажется, что человек что то знает, умеет и сознает)

          А на самом деле нейрончики делают бжж-бжж сигналами друг другу, их оптом ускоряют/усиливают нейромедиаторы, а архитектура соединений меняется наполовину рандомно через перекоммутацию аксонов.

          А любую возьми - просто клетка, никакого понимания и нет.

          И если в одной группе клеток прошел сигнал "Эврика" - быть может они на самом деле и не имеют никакой эврики, это просто удачная иллюзия, поддержанная внезапными воспоминаниями в другой части головы.


  1. AdrianoVisoccini
    06.11.2024 07:35

    считаю, что у вас тут заложена весьма очевидная ошибка - вы заявляете тождественность между "понимать" и "уметь исполнять инструкции". То, что компьютер способен играть в шахматы не означает что он понимает шахматы, он просто исполняет инструкции. Для него шах, мат, партия, "добрый день давайте сыграем" не более чем набор инструкций, это не понимание шахмат, а лишь умение выдать правильную инструкцию в ответ на конкретные введенные данные, буквально как заявлено в "Китайской комнате".

    Машина в шахматах как раз таки и способна " только качественно притворяться, что понимает" правила игры или суть игры, для нее ни парадигма игры, ни удовольствие от процесса, ни радость от победы ничего не значат. Заявление что "Stockfish" понимает шахматы равнозначно заявлению "Боксерская груша понимает бокс". Это просто тренажер который исполняет инструкции, заявление того что он что-то "понимает" на столько экстраординарно, что требует экстраординарного доказательства


    1. Yggaz Автор
      06.11.2024 07:35

       вы заявляете тождественность между "понимать" и "уметь исполнять инструкции"

      Вас не затруднит указать, в каком именно месте я это заявляю?

      То, что компьютер способен играть в шахматы не означает что он понимает шахматы, он просто исполняет инструкции

      А я не говорю, что компьютер понимает шахматы. Я говорю, что компьютер умеет играть в шахматы, несмотря на то, что гипотетический человек, выполняющий шахматную программу вручную, играть в них не умеет.

      Следовательно, свойство исполнителя "не умеет играть в шахматы" нельзя переносить на всю систему, частью которой исполнитель является.

      Следовательно, нельзя делать выводы о наличии или отсутствии некоторого свойства у системы на основании наличия или отсутствия этого свойства у исполнителя.

      Следовательно, и отсутствие понимания у исполнителя нельзя переносить на всю систему, частью которой исполнитель является. Вполне возможна ситуация, когда у исполнителя понимания нет, а у системы оно есть.

      Следовательно, то, что утверждает Сёрл, нельзя доказывать тем способом, которым он это делает. Из того, что у человека-исполнителя понимания нет, ещё не следует, что понимания нет и у системы, частью которой исполнитель является.

      Может быть, и в самом деле понимания нет - но "китайская комната" это не доказывает.


    1. SadOcean
      06.11.2024 07:35

      Вы неявно хорошо сформулировали вопрос к ИИ.
      Начинаешь ли ты понимать, если ты достаточно хорошо притворяешься, что понимаешь?
      Становится ли механизм притворства механизмом понимания, ведь он буквально делает то, что является пониманием - определяет объекты и связи между ними и позволяет синтезировать полезные результаты, совпадающие с реальностью, на основе модели


      1. Yggaz Автор
        06.11.2024 07:35

        Я лично считаю, что "невозможно притвориться не идиотом" :). Понимание невозможно качественно изобразить, если его на самом деле нет. Модель реальности в моём представлении есть не продукт какого-то отдельного понимания, а само понимание как таковое, другого нам не завезли.

        Но этот мой взгляд можно и не разделять. Люди вон спокойно считают, что сознание есть продукт деятельности мозга, и ничего, ещё никто не умер от этого.
        (На самом деле, разумеется, некоторые процессы в мозгу не производят сознание, а сами по себе являются сознанием, то есть сознание есть определённая деятельность мозга, а отнюдь не продукт какой-либо его деятельности).

        Однако провести процедуру Сёрла на шахматной программе, получить абсурдные результаты и понять, что из этого следует, что процедура некорректна, можно и без полного принятия моих взглядов :).


        1. SadOcean
          06.11.2024 07:35

          Ну это вопрос терминов и абстракций.
          Я согласен с вами по поводу "притворяться в пределе = не притворяться"
          Но мне кажется противоречий в смысле мозга тут нет.
          Мозг (физический орган) осуществляет процессы, один из этих процессов - сознание.
          Он продукт деятельности в том смысле, что мозг - не процесс, мозг - это куча клеток.

          Это как музыка на пластинке. Пластинка - не музыка, музыка - это извлечение и воспроизведение мелодии с пластинки.


        1. SadOcean
          06.11.2024 07:35

          Точнее даже не так.
          Я слышал про другую вариацию китайской комнаты - как просто библиотеки со всеми вариациями возможных ответов.
          Человек получает карточку и идет в картотеку.
          Находит полку с такими символами, находит карточку с точно такими символами и приносит ее как ответ.
          В этом случае, если библиотека достаточно большая, то она может содержать достаточно ответов для Тьюринг теста, но разумной не будет.
          Разумным будет создатель библиотеки, это его замороженный опыт.

          Но если там есть более гибкий механизм, какие то специальные инструкции, "если Х, то иди к полке Х и соедини материалы с результатами полки Y", то в этом случае система из инструкций и полок может быть разумной и сознательной.

          Потому что для этой работы нужны промежуточные карточки, некие расчеты посередине, хранение карточек контекста + большая предобученная картотека.
          Вот эта система и будет сознанием.


          1. Yggaz Автор
            06.11.2024 07:35

            В этом случае, если библиотека достаточно большая, то она может содержать достаточно ответов для Тьюринг теста, но разумной не будет.

            Лем, кажется, такую систему называл "граммофон". Но понятно, что для прохождения теста Тьюринга нужно будет хранить не просто все варианты фраз, но и все варианты диалогов - и я что-то не уверен, что их конечное число, то есть что эта идея хотя бы принципиально разрешима.

            Правда, человек тоже вполне может не блистать разумом.

            Но если там есть более гибкий механизм...

            Мне, кстати, кажется, что он должен быть не просто более гибким, что он должен быть ещё и недетерминированным. Наше сознание, во всяком случае, именно таково. Бывает, например, что мы подбираем слово - и в конце концов "выпускаем в продакшен" не совсем подходящее, понимая, что оно не совсем подходит, просто потому, что не сумели найти более точное слово за нужное время, и вот это ощущение "нужного времени" задано нестрого, то есть содержит элемент случайности. Бывают вообще оговорки - "Мы постараемся сделать всё, чтобы этот полёт стал для вас последним" вместо "приятным". Мне кажется, что какая-то случайность необходима :).


    1. DrZlodberg
      06.11.2024 07:35

      То есть если играть без радости и удовольствия - то ты перестаёшь понимать? Странный подход.


  1. grokinn
    06.11.2024 07:35

    На мой взгляд автор просто переопределил термин "понимание". Сёрл имел ввиду понимание как квалиа, аналогичное тому, что возникает у человека. Автор статьи предложил расценивать понимание как свойство другого объекта, которое может быть продемонстрировано.

    С одной стороны квалиа непозноваемо, поэтому кажется, что нет смысла требовать его наличия от компьютера. С другой стороны, человеческое общение основано на таком понимании языка, которое сопровождается человеческими квалиа. Так человек способен сочинить, рассчитывая на понимание, и понять текст типа:

    "Варкалось. Хливкие шорьки

    Пырялись по наве" ...

    Компьютер может быть обучен подобному пониманию, но это обучение вряд ли может быть универсальным, поскольку квалиа понимания текста человеческого типа слишком сложное и, повторюсь, непознаваемое явление, чтобы на 100% обучить алгоритм. Поэтому, добиться от AGI человеческого типа понимания было бы желательно.

    А для отличия одного типа понимания от другого и была придумана китайская комната.


    1. Yggaz Автор
      06.11.2024 07:35

      На мой взгляд автор просто переопределил термин "понимание"

      Нет. Автор просто показал, что приписывать свойства элемента всей системе нельзя. Компьютер умеет играть в шахматы, несмотря на то, что гипотетический человек, выполняющий шахматную программу вручную, играть в них не умеет.

      Я не утверждаю, что компьютер, проходящий тест Тьюринга, на самом деле будет понимать естественный язык. Я только утверждаю, что рассуждение "китайская комната" совершенно не доказывает, что не будет.


      1. grokinn
        06.11.2024 07:35

        Компьютер умеет играть в шахматы

        Это я и называю переопределение термина. Согласно вашему определению компьютер умеет играть в шахматы, потому что показывает такое умение. И это правда.

        Но при этом одновременно, согласно иному определению, компьютер не умеет играть в шахматы (так же как человек), потому что у него, скорее всего, отсутствует такое же как у человека квалиа при игре в шахматы.

        Рассуждение "китайская комната" позволяет отличить одно от другого.


        1. axion-1
          06.11.2024 07:35

          Вполне возможно что разница между "пониманием" и "имитацией понимания" всего лишь в сложности алгоритма. Аргумент Сёрла по сути постулирует утверждение что "понимание" существующее в человеческом мозгу не может быть создано никаким набором инструкций. Но это ниоткуда не следует.

          Не исключено что искусственный мозг работающий по алгоритму, будет также иметь квалиа, по крайней мере никто пока не доказал обратное.


          1. grokinn
            06.11.2024 07:35

            Это правда. Более того, если естественный мозг может быть создан (и создается каждый день вагонами), то и искусственный мозг может быть создан и будет иметь такое же квалиа. Вопрос только в том, будет ли это алгоритм, или понадобится иной путь.


        1. Yggaz Автор
          06.11.2024 07:35

          1. Здесь нет "переопределения". Компьютер умеет играть в шахматы просто потому, что он это умеет.

          2. Вот как раз для того, чтобы заявить, что компьютер не умеет играть в шахматы, некоторое переопределение потребуется. "Эти ёлочные игрушки фальшивые: они, конечно, выглядят совсем как настоящие, но радости от них никакой".

          3. Рассуждение "китайская комната" ничего ни от чего не позволяет отличить хотя бы просто потому, что отличить наличие квалиа от отсутствия квалиа для внешнего объекта принципиально невозможно, уж такая это концепция. Совсем не случайно вы пишете "...у него, скорее всего, отсутствует...": вы никак не сможете доказать, что квалиа у компьютера в самом деле отсутствует. Да чего уж там, вы никакому оппоненту не сможете доказать даже то, что у вас лично квалиа в наличии. Философские зомби могут быть где-то рядом постоянно.

          4. Само рассуждение основано на некорректном перенесении свойства исполнителя на всю системы. Так делать нельзя.


          1. grokinn
            06.11.2024 07:35

            Есть внешнее свойство "умеет", "понимает". Есть имманентное свойство "умеет", "понимает". Они различаются. Следовательно подмена одного на другое есть переопределение. Если на экране компьютера написано "этот компьютер любит тебя", можно сказать о его внешнем свойстве - этот компьютер любит меня, но одновременно можно сказать - этот компьютер не любит меня, а просто вывел текст на экран, говоря об имманентном свойстве этого компьютера.

            Определить наличие квалиа у конкретного субъекта действительно невозможно. Но представить себе субъекта, у которого квалиа отсутствует возможно, философские зомби такие субъекты, и китайские комнаты тоже. Следовательно можно понять чем такие субъекты будут отличаться.

            И хотя внешний наблюдатель не сможет различить кто есть кто, нам все равно важно понимать это отличие, на то есть и правовые (дать ли ему права) и технические (следует ли стремиться к достижению имманентного понимания) и эмоциональные причины. Китайская комната позволяет нам улучшить свое понимание в этом вопросе.


            1. Yggaz Автор
              06.11.2024 07:35

              Но представить себе субъекта, у которого квалиа отсутствует возможно, философские зомби такие субъекты, и китайские комнаты тоже.

              Философские зомби таковы по определению, а с китайскими комнатами всё хуже. Доказательство того, что перед нами сущность без квалиа, ошибочно, потому что основано на некорректном переносе свойства исполнителя на систему.

              Следовательно можно понять чем такие субъекты будут отличаться.

              Ничем. Они по определению квалиа для нас не будут отличаться ничем, и поэтому "понимание отличия" нас никуда не приведёт. Например, мы не можем решать, предоставлять ли субъекту права на основании наличия квалиа, потому что никак не можем установить наличие квалиа. Поэтому "понимание в этом вопросе" одновременно и совершенно недостижимо, и совершенно не нужно на практике. Совершенная концепция.

              И в довершение ко всему - "китайская комната" не помогает нам в этом понимании. Из того, что квалиа нет у исполнителя, нельзя делать вывод, что их нет и у системы, потому что свойства исполнителя нельзя переносить на систему. У меня приведён конкретный пример свойства исполнителя, которое на систему не переносится.


              1. grokinn
                06.11.2024 07:35

                По поводу аргумента о переносе свойства исполнителя на систему ещё вот что подумал:

                Действительно некорректно огульно переносить свойства исполнителя на всю систему. Так можно придумать мысленный эксперимент "антикитайская комната" в котором единый нейрон в мозгу китайца ничего не знает о китайском языке, а только участвует в процессе, в результате которого рождается китайская речь, что однако не означает, что мозг китайца не обладает пониманием.

                Отличие нейрона в мозге китайца, от человека в китайской комнате, на мой взгляд, в том, что за счет высокой скорости обмена и большой скученности нейроны мозга создают синергию, которую мы называем сознанием. А в китайской комнате передача данных такая медленная, отдельные узлы настолько обособленны, и настолько различны (человек и база данных и книга с правилами), что синергии там по всей видимости достичь невозможно.

                И поэтому хотя " мы не можем решать, предоставлять ли субъекту права на основании наличия квалиа", решать то все равно придется, пусть даже мы не будем уверены на 100%, хоть что то, дающее хоть какой то процент уверенности нам нужно, вот тогда на практике нам и понадобится все описанное.


                1. Yggaz Автор
                  06.11.2024 07:35

                  за счет высокой скорости обмена и большой скученности нейроны мозга создают синергию, которую мы называем сознанием. А в китайской комнате передача данных такая медленная, отдельные узлы настолько обособленны, и настолько различны (человек и база данных и книга с правилами), что синергии там по всей видимости достичь невозможно.

                  Что вы понимаете под "синергией"? Появление какого-то нового качества целого в результате взаимодействия частей? А почему для этого нового качества оказывается важна скорость этого взаимодействия? То есть понятно, что всё будет плохо, если состояния "портятся" с течением времени, но если нет, то чему может помешать относительно медленный обмен?


                  1. grokinn
                    06.11.2024 07:35

                    Я бы предположил, что медленный обмен будет неадекватен скорости окружающего мира. В теоретическом медленном мире это было бы норм, а в реальном мире, в котором образование и разрушение связей между нейронами происходит в результате обучения, т.е. реакции на входящие сигналы, достичь нужной сложности при медленном обмене наверное будет невозможно (или почему грибницы до сих пор не обрели разум:). Но это предположения и спекуляции, т.к. я не нейробиолог.


                1. adeshere
                  06.11.2024 07:35

                  Прошу прощения за оффтопик

                  но огромное спасибо и за статью, и за обсуждение! Очень интересно и познавательно - во всяком случае для не слишком продвинутого в философском отношении слушателя (хотя и вполне знакомого как с китайской комнатой, так и квалиа). Надеюсь на продолжение ;-)


          1. SadOcean
            06.11.2024 07:35

            Более того, есть нехилый шанс, что и в человеке никакого квалиа нет, а так - полезная иллюзия на гребне работы мозга)


  1. SadOcean
    06.11.2024 07:35

    В целом Я согласен с вашей статьей.

    Я бы даже сказал, что похожим образом решается концепция "философского зомби".
    Пусть ты не имеешь сознания или разума, но имеешь механизм его имитации.
    Если механизм достаточно совершенен, чтобы имитировать эти процессы, он должен иметь некие механизмы памяти, обратной связи и реакций.
    И эти механизмы и являются сознанием на самом деле.

    Соответственно если ты создашь идеального философского зомби - пустую куклу с совершенным механизмом имитации сознания, то сознание будет в этом механизме.
    При исполнении этой полезной модели и образуется квалиа - моделирование моделью самой себя.


  1. Felan
    06.11.2024 07:35

    Про "понимание" че-то зацепило. Я не спец так что в порядке размышления или бреда...

    Понимаю ли я, что сейчас сижу за компом и пишу на Хабр? Ну я бы сказал очевидно да.

    Это наверное можно разделить на некое множество действий, которые можно группировать и ранжировать, ну типа, двинуть одним пальцем, двинуть другим пальцем, что можно сложить в напечатать слово, и т.д. и т.п. Тут вроде все механистически, не о чем говорить и "понимание" сюда не притянешь.

    Дальше я определенно имею некотоыре предположения о будущем. Ну что в конце концов, когда все действия из первого пункта закончатся, через какое-то время я смогу провести другой набор действий и проверить, что получилось в результате моих действий. Ну прочитать ответный комментарий (если кто-нибудь ответит). Тут так же можно декомпозировать все до совсем примитивных дейсвий и результатов, типа двинуть пальцем, оценить возбуждение колбочки...

    Мотивацию трогать не будем, ее вроде не было изначально в топике.

    Мне кажется что понимание в данном примере будет как раз где-то во второй части. Т.е. это ожидание определенного результата и его вероятность - предсказание.

    У людей множество одновременно производимых действий и оценочных предсказаний. Я не только печатаю сейчас это, но и кофе пью. Два совершенно не связанных процесса. Вероятнотные исходы варьируются от "все штатно, я сделаю пост и допью кофе" и до "уронил кофе на лаптоп и не сделал пост". Совокупность предсказания подобных исходов - понимание.

    У стокфиша только одно предназначение. Он очевидно оперирует некоторыми действиями типа изменить положение фигуры (что бы ни значило "положение" и "фигура", это можно декомпозировать до цифр и алгоритмов, это не важно) и предсказывает некторые результаты, пусть даже и в виде числа - оценки позиции.

    Думаю можно скзать что Стокфиш понимает как играть в шахматы. Просто это все что он поинмает.

    А изолировать понимание человека довольно сложно. В примере с кофе и печанием поста слишком много абстракций и очень глубоко до элемантарных действий и предсказаний. Через какое-то время докомпозиция доберется до атомов и полей...

    Ну и конечно же нужна общая база. У человека и стокфиша ее можно сказать нет. Есть небольшой мостик в виде математики и алгоритмов, но это все. Получается как с Солярисом, он же создавал всякие обеъекты на станции, так же как и ученые создавали всякое на его поверхности. Но ни ученые не понимали, что означает для Соляриса то, что они делают, ни Солярис не понимал, что для людей означает то, что он создает.


    1. Yggaz Автор
      06.11.2024 07:35

      Думаю можно скзать что Стокфиш понимает как играть в шахматы. Просто это все что он поинмает.

      Сам по себе Стокфиш не понимает вообще ничего, ему нечем. И компьютер без программы не понимает вообще ничего. А вот компьютер под управлением Стокфиш - уже понимает, как играть в шахматы.
      Изобретённый велосипед, кстати, именно в этом. В мысленном эксперименте Сёрла человек не знает китайский и книга не знает китайский, а вот человек под управлением книги уже знает китайский. Но Сёрл этого не желает видеть, он считает, что человек под управлением книги - это всё тот же самый человек, который китайского по-прежнему не знает.


      1. Felan
        06.11.2024 07:35

        Сам по себе Стокфиш не понимает вообще ничего, ему нечем. И компьютер без программы не понимает вообще ничего. А вот компьютер под управлением Стокфиш - уже понимает, как играть в шахматы.

        Ну давайте не будем уже сваливаться в демогогию. Ну понятно, что речь идет о функционирующем шахматном движке. Понятно, что там нужен компьютер, електричество, пространсто, материя и еще куча всего. Какую-то адекватность надо в дискуссии соблюдать все-таки :)

        В мысленном эксперименте Сёрла человек не знает китайский и книга не знает китайский, а вот человек под управлением книги уже знает китайский. Но Сёрл этого не желает видеть, он считает, что человек под управлением книги - это всё тот же самый человек, который китайского по-прежнему не знает.

        Так я согласен с этим. Согласен, что это вопрос где провести границу. Тут может быть еще интереснее. А если вместо книги будет другой человек, который знает китайски? И первый просто передает картинки туда сюда. Вся магия сразу исчезает. Мы сразу же скажем что это просто принисиподайка. А с другой стороны, система из двух челвоек уже знает китайский :)


  1. DenSigma
    06.11.2024 07:35

    Во всей этой "комнате" ошибка. Комната - целое. Человек-исполнитель, БД с инструкциями - это все составные части целого. Нельзя переносить отношение к целому на часть.

    Если часть целого не удовлетворяет требованиям к целому, это не значит, что целое не удовлетворяет требованиям. Если человек-исполнитель не понимает китайского, то это не значит, что комната не понимает китайский.

    Процессор не умеет играть в шахматы. Программа не умеет играть в шахматы. Но компьютер, состоящий из всех необходимых компонентов - процессора, программы и прочего - умеет играть в шахматы.

    Поэтому и комната, снабженная человеком-исполнителем и программой, понимает китайский. Поэтому и компьютер, снабженный процессором и программой, понимает китайский.

    Серл, при всем уважении, ошибается в своих рассуждениях уже на самом начале страшно. Он ставит равенство между человеком-исполнителем в комнате и компьютером. Человек-исполнитель не равен компьютеру (в этом эксперименте), он равен процессору. В этом эксперименте комната является эквивалентом компьютеру.

    Комната понимает китайский. Вы задаете вопрос - она отвечает. Компьютер понимает китайский. Вы задаете вопрос - он отвечает. Понимает ли компьютер китайский? Ну он же ответил тебе на вопрос, "Чего тебе еще надо, собака?".


    1. Yggaz Автор
      06.11.2024 07:35

      Процессор не умеет играть в шахматы. Программа не умеет играть в шахматы. Но компьютер, состоящий из всех необходимых компонентов - процессора, программы и прочего - умеет играть в шахматы.

      Да, именно так. Но у Сёрла получился уж очень запоминающийся образ, и поэтому на эту тему уже несколько сотен статей написано. При том, что правильное возражение было первым же пунктом.
      То, что я пытаюсь сделать - придумать образ схожего уровня понятности. Но, вероятно, в голове звенит и прорывается наружу собственная философия, загрязняя идею :).


  1. Haitaks
    06.11.2024 07:35

    "Совершенно очевидно, что с точки зрения стороннего наблюдателя комната умеет играть в шахматы с силой Stockfish. Однако наш исполнитель по-прежнему не умеет играть в шахматы и даже не знает, что такая игра существует. А поскольку, следуя Сёрлу, мы считаем, что исполнитель ничем принципиально не отличается от компьютера, мы, следуя Сёрлу, должны сделать вывод, что и компьютер не умеет играть в шахматы.

    Вот только он это умеет."

    По мнению Сёрла, Вы сами и есть сторонний наблюдатель, которому кажется, что Stockfish умеет играть в шахматы. Есть 8 миллиардов сторонних наблюдателей, которым кажется, что Stockfish умеет играть в шахматы, какая разница?

    Если Вы хотите оспорить этот тезис, необходимо дать определение слову "уметь".

    Я не возьмусь за дачу определения, но в моем понимании попугай умеет говорить примерно так же, как Stockfish умеет играть в шахматы.

    Если говорить об искусственном интеллекте в шахматах - Stockfish просто неудачный пример. Куда ближе к умению играть в шахматы AlphaZero. Принципиально разные подходы к игре, обучению и умению.


    1. Yggaz Автор
      06.11.2024 07:35

      Я не возьмусь за дачу определения, но в моем понимании попугай умеет говорить примерно так же, как Stockfish умеет играть в шахматы.

      То есть попугай умеет говорить много лучше, чем любой человек? У современной Stockfish приблизительный рейтинг улетает за 3750.
      https://computerchess.org.uk/ccrl/404/

      Есть 8 миллиардов сторонних наблюдателей, которым кажется, что Stockfish умеет играть в шахматы, какая разница?

      Сыграть с ней можно? Да запросто. Вы ещё и гарантированно проиграете, как и я, кстати - даже если от этого будет зависеть ваша собственная жизнь. То есть вы хотите сказать, что вам будет просто казаться, что вы играете в шахматы? А всему миру показалось, что Каспаров проиграл Deep Blue?

      Если говорить об искусственном интеллекте в шахматах - Stockfish просто неудачный пример

      Для того, чтобы понять, в чём проблема в процедуре Сёрла, не нужно говорить об искусственном интеллекте. От шахматной программы не требуется понимания или переживаний.


    1. Felan
      06.11.2024 07:35

      Если говорить об искусственном интеллекте в шахматах - Stockfish просто неудачный пример. Куда ближе к умению играть в шахматы AlphaZero. Принципиально разные подходы к игре, обучению и умению

      А в чем принципиальная разница? И то и то алгоритм. Просто они оба не антропоморфны и грубо говоря алгоритм альфазеро не стокфишоморфный и наоборт.


  1. qw1
    06.11.2024 07:35

    Пусть наш герой выучит наизусть всю инструкцию Stockfish и все базы данных, а все вычисления проводит в уме.
    …и становится очевидно, что теперь он умеет играть в шахматы с силой Stockfish

    Не сможет, потому что он даже не поймёт, что владеет алгоритмом игры в шахматы. Например, на вход алгорита поступает вектор из пар (код фигуры, положение на доске - число от 1 до 64). Алгоритм выдаёт два числа, с какой клетки ходить - на какую.

    Если человека посадить за реальную шахматную доску, он не сможет играть. Ну, или ему придётся заново учиться. Или "взламывать" свой заученный алгоритм, но это уже не совсем чистый эксперимент.

    Аналогично с китайским. На вход поступает последовательность в utf-8, программа свободно переводит туда/обратно. Но если человек не знает таблицы Unicode, он не сможет даже в письменный китайский - у него нет информации о начертаниях иероглифов, ни тем более в разговорный.


    1. Yggaz Автор
      06.11.2024 07:35

      Не сможет, потому что он даже не поймёт, что владеет алгоритмом игры в шахматы

      Он уже умеет играть, он только не знает, что умеет именно это. С ним можно сыграть - он только не поймёт, что именно происходит.

      Если человека посадить за реальную шахматную доску, он не сможет играть. Ну, или ему придётся заново учиться. Или "взламывать" свой заученный алгоритм, но это уже не совсем чистый эксперимент.

      Или ему кто-то скажет, что именно означает то, что ему подают на вход, как это декодируется. И тут он внезапно поймёт, что умеет играть и за доской - хотя по-прежнему ничего не знает ни о правилах, ни о стратегии, ни о тактике.

      С китайским много хуже: китайский знает не он сам, а его виртуальная личность, а к ней так просто не обратиться. У него нет доступа к памяти этой личности, а у неё нет доступа к его памяти.


      1. qw1
        06.11.2024 07:35

        Или ему кто-то скажет, что именно означает то, что ему подают на вход

        А это уже внешняя информация, которой не было в исходной задаче.
        Могут подсказать, а могут и не подсказать. Значит, априори - "не умеет играть".

        С китайским много хуже: китайский знает не он сам, а его виртуальная личность, а к ней так просто не обратиться

        Может, согласимся, что и с шахматами та же ситуация? Потому что исходной постановке задачи было "понимание", а слепое выполнение алгоритма не даст понимания весов фигур, способов решения типичных эндшпилей и т.п. Человек может это всё постичь реверсом выученного алгоритма, но это мало отличается от обучения по книге.