Данный пост - продолжение поста пользователя Buck "The case for becoming a black-box investigator of language models". Я хочу выделить еще две причины для изучения поведенческой психологии ИИ, о которых Buck не упомянул:
данные по психологии ИИ будут нужны для проверки теорий сознания в ИИ; и
психология ИИ должна информировать дизайн интерфейсов взаимодействия человека и ИИ, их ограничений, а также правил и принципов поведения людей и ИИ в средах из взаимодействия.
Сознание в ИИ
Нейробиологи, не имеющие психологического образования, могут обсуждать человеческое сознание, потому что они сами обладают сознанием. Все люди (в том числе и исследователи сознания) хотя бы отчасти являются психологами, потому что им приходится иметь дело с собственной психикой и окружающими людьми на протяжении всей их повседневной жизни, а значит, у них должна быть «своя» психологическая теория, объясняющая и помогающая им предсказывать собственное поведение и поведение окружающих людей.
Поэтому роль психологии в изучении сознания неочевидна. Однако это методологическая ошибка. Например, зоопсихология (или, в более общем смысле, этология) является важнейшим источником данных для рассуждений о сознании у животных.
Аналогично, теории сознания в ИИ должны основываться на большом количестве данных о психологии ИИ. Психология ИИ должна стать новой областью эмпирической науки со своими собственными методами работы. Методы изучения психологии ИИ должны отличаться от методов изучения психологии человека из-за отсутствия "first person" точки зрения, которая есть у каждого психолога-человека, а также из-за того, что фенотип и экологическая ниша ИИ-систем очень сильно отличаются от человеческого фенотипа. Разные фенотипы/экологические ниши предъявляют другие требования к психике агентов. Аналогично, методы изучения психологии ИИ должны отличаться от методов изучения зоопсихологии, потому что мы можем использовать язык как для воздействия на ИИ (промптинг, вопросы, диалог), так и для получения ответов от них, тогда как животные почти никогда (исключение - попугаи) не могут ответить зоопсихологам "на языке", а многие животные не могут понимать и языковые команды.
Дизайн взаимодействия людей и ИИ
Safron, Sheikhbahaee et al. (2022) и Friston et al. (2022) уже указывали на необходимость явного проектирования экосистем для взаимодействия естественных и искусственных интеллектов. Очевидно, что эти взаимодействия должны иметь некоторые ограничения, начиная от "мягких" кодексов поведения и заканчивая жесткими ограничениями в интерфейсах.
Чтобы совместная активность в этих экосистемах приносила пользу всем участникам, правила и ограничения взаимодействий должны информироваться теорией игр и теорией дизайна механизмов в сочетании с теориями разума (т. е. психологическими теориями) всех участников: и людей, и различных ИИ.
Не слишком ли рано заниматься психологией ИИ? Ведь текущие системы всего лишь "повторяют увиденное в интернете"
Поведенческая психология ИИ должна быть эмпирической областью науки. Методологически, надо задаваться не вопросом "Не слишком ли рано ...?", а двигаться в обратном направлении:
Собирать данные о поведении ИИ.
Выдвигать "психологические" теории, которые компактно описывают (некоторые аспекты) поведения ИИ и одновременно дают более конкретные и более точные предсказания поведения ИИ, чем «ИИ просто предсказывает следующий наиболее вероятный токен в тексте». Следуя этой логике, мы можем сказать, что «ИИ просто действует, как ей предписывает уравнение Гейзенберга и унитарная эволюция вселенной».
Перекрестно проверять теории механистической интерпретируемости (mechanistic interpretability; а-ля «нейробиология ИИ») и психологии ИИ друг с другом, точно так же, как нейробиология человека и психология человека теперь используются для информирования и перекрестной проверки друг друга.
Основывать теории сознания в ИИ на данных как механистической интерпретируемости, так и психологии ИИ, точно так же, как теории cознания у животных и человека основаны на данных как нейронауки, так и психологии человека и животных.
Когда поведение систем становится сложным и не может быть объяснено низкоуровневыми теориями одновременно 1) компактно и 2) с достаточной точностью и предсказательной силой, использование только теорий более низкого уровня становится редукционизмом. Таким образом, попытки объяснить поведение человека только через нейронауку, или только через физиологию являются редукционизмом. Психология человека - это валидная научная область. Хотя в ней очень много плохих теорий, плохих методов исследований, и неподтверждающихся результатов, есть и достаточно очевидно валидные результаты и валидные теории верхнего уровня.
Неизвестно, преодолел ли уже ИИ этот уровень сложности. Я уверен, что да. Я думаю, что поведение ChatGPT уже во многих отношениях сложнее, чем поведение большинства животных, в то время как зоопсихология уже является настоящей, нередукционистской областью науки. Так или иначе, первый и второй шаги в списке выше должны быть предприняты в любом случае, как раз чтобы установить, является ли поведение ИИ достаточно сложным. И, по крайней мере, второй шаг уже требует некоторых навыков, опыта, и предрасположенности ученого-психолога, а не случайного ИИ-инженера или технократа из Силиконовой Долины.
Кроме того, надо учитывать, что даже если ChatGPT прямо сейчас еще не совсем на этом уровне, будущие версии ИИ, которые будут выпущены в этом году (или, максимум, в следующем), определенно преодолеют эту планку.
Самое большое препятствие к изучению поведенческой психологии ИИ: архитектуры меняются очень быстро, и поведение может полностью измениться даже при простом масштабировании одних и тех же архитектур. Но тут надо отметить, что то же самое препятствие было определено и для механистической интерпретируемости ИИ. Но это не означает, что работы по механистической интерпретации существующих ИИ - бесполезны. Аналогично, полезно и проводить психологические исследования существующих ИИ и отслеживать, как психология ИИ меняется с изменением архитектур и масштабированием моделей.
Результаты изучения психологии ИИ потом могут использоваться не только исследователями сознания в ИИ, философами-этиками, и дизайнерами сред, но и инженерами самих ИИ, исследователями безопасности ИИ, экономистами, и стратегами.
Призыв к действию
Расскажите об этой теме своим знакомым ученым-психологам (или зоопсихологам), возможно, они будут заинтересованы в том, чтобы переключиться и начать какую-то фундаментальную работу в области психологии ИИ.
Я знаю, что тема немного не в российском дискурсе сейчас, где людям надо буквально выживать и искать что намазывать на хлеб завтра. Запрос не психологическую помощь в русскоязычном пространстве сейчас тоже очень велик, все психологи очень заняты. Тем не менее, я считаю, что потенциал темы огромен, и поэтому все равно важно, чтобы хоть кто-нибудь ею занимался. Мне кажется, сейчас в мире психологией ИИ как наукой (и методологией этой науки) не занимается абсолютно никто. Эта просто-сфера науки на данный момент совершенна пуста, и почти каждый может оказать огромное влияние на ее развитие.
Комментарии (52)
Nurked
08.01.2023 13:55+7Это, блѣ программа для компьютера. Знаете на что это похоже? На тех недоростков джуниоров, которые рвутся в лиды.
Они сидят перед компьютером, который они никогда в жизни не изучали, и притворяются, что понимают что они делают. Эти мальчики, которые ничего в жизни не делали, кроме как сливали мегатонны отходов с npmjs.org и понятия не имеют, что такое память, как она используется, что такое виртуальная машина. Они даже не знают, что такое V8. При том, что используют этот V8 ежедневно. Их жизнь основана не напонимании. Они будут со стеклянными глазами рассказывать вам о том, как быстро они смогут поднять пара-микросервисный фреймворк на лямбда-функциях. При том что ни едина тля из этой кучи бездарей вам не скажет, что значит слово framework, или почему эта фигня называется ЛЯМБДА функциями. Современное Youtube-обучение представляет собой набор поверхностных непониманий предмета. Все научились разбрасываться словами, но никто и понятия не имеет, как это работает.
Где-то там за сценой сидят те самые люди, которые пилят V8, или пытаются написать что-то приличное, с пониманием дела. Эти люди будут первыми, кто выбросит Javascript при первой возможности, и достанет любимый и бесконечно мощный gcpp. Не потому что "cpp лучше javascript", а потому что они понимают какой язык где должен использоваться. Эти ребята сидят в тени, и делают свою работу. Это те самые ребята, которые выставляют счёт в $4000 за восьмичасовую консультацию по вашему проекту. При этом они прекрасно понимают, что они продешевили, и знают, что ваша компания оплатит этот счёт без вопросов.
Люди, которые знают что они делают. Конечный результат их деятельности - это программы и алгоритмы, за которые они рубят баблищще. Да даже ребят из лаборатории касперского спросите, какой входной порог в сообщество программистов, которые понимают как программировать? Ага. Даже я, после 19 лет безостановочного программирования знаю, что я слажал, и недостаточно долго тренировался в универе с вышкой и системным программированием. Мне до них ещё далеко.
А вот конечным продуктом того, кто не знает, как работает язык программирования, является постоянный гон и создание бесконечного количества бесполезного контента, с которым он сам разобраться не сможет. Это те самые люди, которые создают петабайты youtube-контента в день. Они сидят и делают обзоры фреймворков с тамбнейлом, на котором изображена в испуганном виде.
Учитесь у него, как правильно писать программы на Nestjs. И, спасибо таким отморозкам, у нас есть эта замечательная статья. Мы создали что-то сложное, в чём сами не разбираемся, поэтому мы будем сидеть и мечтать о психологии компьютеров.
Да какая нафиг психология? Это всего лишь матмодель. И если вы не знаете, как правильно создавать матмодели для обработки данных, то вам не всю эту фигню читать надо, а сидеть и изучать Numberphile, диффура, FFT, и матметоды. После чего до вас дойдёт, что эта ваша AI-психология называется программированием.
leventov Автор
08.01.2023 20:45-1Это, блѣ программа для компьютера. Да какая нафиг психология? Это всего лишь матмодель.
Вы знакомы с тем, что такое редукционизм?
Люди, которые знают что они делают.
Инженеры ИИ "знают, что они делают" в крайне узком смысле только. Даже в сугубо техническом смысле они не знают практически ничего, что они делают - они не знают, как на самом деле работают тренируемые ими системы (см. mechanistic interpretability). Ну и они (обычно, за редчайшими исключениями) совсем-совсем ничего "не знают, что делают" в плане этики и импликаций создаваемых ими систем уровнями выше, чем собственно их ИИ системы, от систем образования до всего общества.
А вот конечным продуктом того, кто не знает, как работает язык программирования, является постоянный гон и создание бесконечного количества бесполезного контента, с которым он сам разобраться не сможет.
Если это был намек на меня, то опыта программирования у меня достаточно, больше 10 лет, на куче языков от Хаскеля до Джулии, баз данных, дизайна интерфейсов, и систем. Зайдите на мой гитхаб хотя бы, прежде чем огульничать. И теоретические основы компьютинга я знаю лучше большинства программистов, которых я встречал (много программистов читали Шеннона?)
Остальное - поток сознания какой-то. Нетипично для программиста, кстати, обычно они складнее излагают мысли.
EGA_production
08.01.2023 16:58По факту, то что называется ИИ - это обычные формулы из математики, реализованные через ЯП.
keydach555
08.01.2023 19:12+1В принципе, если рассматривать предмет психологии как изучение явлений сознания, процессов восприятия и переработки информации, полученный опыт и поведение - то Вы подняли тему оправдано. Но если рассматривать писхологию ИИ только как это, тогда никакой разницы между ней и обычной психологией я не вижу. А если рассматривать ее как изучение внутреннего мира отдельного субьекта, его желаний, мотиваций итд - то очевидно, что никакого отдельного субьекта и личности в случае ИИ - нет.
Может быть, конечно, реализована эмуляция любой степени достоверности, но по сути ИИ в ней не нуждается, и смысла эмулировать его психику для дальнейшего изучения тоже особого нет. Это имеет смысл для создания интерфейса взаимодействия между ИИ-агентом и людьми. Условно говоря - куча достоверных, адекватных психологических моделей взаимодействия для условного ChatGPT-3.0. Захотел, выбрал девушку с теми или иными чертами личности, нейротизмом, эмпатией итд.Что-то типа психологического конструктора, позволяющего выбирать не только внешность, но и характер, личность и поведенческие модели агента. Но в их основе всегда будет тот же самый ИИ-агент, подающий тот же самый вывод в ответ на запрос, просто психологически стилизующий итоговую выдачу и манеру ее подачи.
Скажу крамольную мысль- лично я не вижу никакой разницы между психикой естественного и искусственного интеллекта. Внутреннего субъекта со свободой воли,собственными целями и желаниями нет ни там, ни там.
funca
08.01.2023 20:50+1В посте, на который ссылается автор, сделан немного другой акцент:
Interpretability research is sometimes described as neuroscience for ML models. Neuroscience is one approach to understanding how human brains work. But empirical psychology research is another approach. I think more people should engage in the analogous activity for language models: trying to figure out how they work just by looking at their behavior, rather than trying to understand their internals.
Если рассматривать психологию как black-box подход к интерпретации ЕИ, то почему бы подобное не пробовать и для ИИ? В лингвистике это сработало. Там black-box не только качественно продвинули переводы, но и подготовили базу для создания новых лингвистических моделей. Возможно ИИ-психология (или как это лучше назвать) сейчас это не та область, куда нужно срочно нести чемоданы денег с ожиданием быстрых результатов. Но как тема для студенческих экспериментов может быть весьма интересной.
keydach555
08.01.2023 21:03Мне кажется, отождествляя ИИ с ЕИ мы неизбежно попадаем в ловушку антропоморфизма. Мы наделяем его собственными иррациональными чертами и убеждениями. Точней мы начинаем изначально описывать его иррационально и неверно, как и самих себя.
Просто есть информация, есть способы ее представления и есть правила, по которым она изменяется. То,что мы называем внутренним субъектом психики, личностью, душой, сознанием итд - просто разные интерфейсы, в которых она представлена, разные способы ее описания и интерпретации. Что-то типа многопользовательской системы, где куча юзеров заходят на один и тот же комп, в собственные учетки и видят разные рабочие столы. И на основании того, что ярлычки у них находятся в разных местах, и даже иногда не совпадают по внешнему виду думают - что у них и системы разные.
А система на самом деле одна, и все ярлычки, где бы они не находились ведут к одним и тем же файлам на жестком диске, к одному и тому же железу. Психология,на мой взгляд,занимается описанием ярлычков и нахождением связей между их расположением на экране. Смысла делать то же самое для ИИ я лично не вижу, смысл то не в ярлычках
leventov Автор
08.01.2023 21:10-1Мне кажется, отождествляя ИИ с ЕИ мы неизбежно попадаем в ловушку антропоморфизма. Мы наделяем его собственными иррациональными чертами и убеждениями. Точней мы начинаем изначально описывать его иррационально и неверно, как и самих себя.
Кроме вас (вы же предложили, что психология человека и ИИ - это одно и то же) никто не отождествлял, кажется.
Следующая часть сообщения непонятна, я не смог понять эту мысль про ярлычки.
keydach555
08.01.2023 21:33Каждый описывает мир, себя, собственную личность и вообще все сущее - по разному. Но эти картины описаний (ярлычки на рабочем столе) не имеют ничего общего с реальностью. Зачем напяливать сову искусственного интеллекта на глобус наших представлений о человеческой психике? ;) Которая и сама-то с реальностью имеет мало общего
leventov Автор
08.01.2023 22:01-1Помимо того, что каждый описывает по-разному, есть и объективные закономерности в человеческой психологии, общие для большинства людей. Например, большинство людей испытывает боль, и это им обычно неприятно.
Сову искусственного интеллекта на глобус наших представлений о человеческой психике напяливаете только вы, вроде. Если вас смущает фраза "психология ИИ", вы вычитываете в ней какое-то напяливание, можете читать ее как "этология" или "бехевиористика" ИИ.
keydach555
08.01.2023 22:43+1Но тем не менее никто не может понять и объяснить природу боли. Как возникает субъективное переживание боли из раздражения нервных окончаний и нервных импульсов. Боль - это на самом деле такая же квалиа, как ощущение красного цвета. Если для двух разных людей ощущение красного цвета от одного и того же предмета РАЗНОЕ, и сходятся они только в том, что этот цвет им в детстве назвали КРАСНЫМ, о какой общей картине мира можно говорить? И это мы говорим о существах, построенных на одних принципах. Люди за сотни тысяч лет своего существования не научились разделять понимание друг друга. Поэтому даже если предположить, что ИИ способен на внутреннее переживания и восприятие мира - мы никогда не сможем это восприятие понять и оценить изнутри, несмотря на то, что вполне сможем с ним контактировать.
leventov Автор
09.01.2023 08:09"Философское квалиа": "а у тебя красный точно такой же, как у меня?", "в чем заключается 'красная сущность' красного?", и подобные вопросы, если не мираж и не тупиковая линия рассуждений в принципе (к чему склоняется большинство, см. например https://academic.oup.com/nc/article/2020/1/niaa009/5861711), в любом случае не может иметь в сколь-нибудь разумной теории этики морального значения. Моральное значение может иметь только "практическое"/"психологическое" квалиа, то есть способность агента что-то различать (две сущности, два состояния, две длинны волны), и иметь aversion или attraction к тем или иным состояниям (это тоже рассуждение в практических и психологических категориях, не философских).
Люди за сотни тысяч лет своего существования не научились разделять понимание друг друга.
И не научатся, в том "философском" смысле, на который вы пытаетесь указать (и который, скорее всего, просто не существует). См. https://chrisfieldsresearch.com/QRFs-pub-quantumrep-2019.pdf. В практическом/психологическом смысле - конечно люди научаются понимать друг друга. Язык - это ведь про понимание друг друга, научные теории - это расшаренное понимание, и т. д. См. https://www.mdpi.com/1099-4300/23/7/830
keydach555
09.01.2023 09:19"Философское квалиа": "а у тебя красный точно такой же, как у меня?", "в чем заключается 'красная сущность' красного?", и подобные вопросы, если не мираж и не тупиковая линия рассуждений в принципе (к чему склоняется большинство, см. например https://academic.oup.com/nc/article/2020/1/niaa009/5861711),
Вы упрощаете статью. С самим наличием трудной проблемы сознания никто не спорит, невозможно спорить с наличием субъективного опыта у людей. Авторы статьи пытаются (гипотетически) найти пути решения трудной проблемы (которую упрощенно можно представить как поиск прямых, системных и повторяющихся для каждого человека закономерностей между физическим восприятием реального мира и субъективным опытом) как поиск инвариантных обобщений второго порядка, которые напрямую изменяют заданный субъективный опыт для каждого человека. То есть, они как бы не отрицают факт того, что красный цвет для каждого различен, причем различен он в силу индивидуальности и нередуцируемости, грубо говоря вызывается различными нейрокоррелятами, различными нейронами и нейронными цепочками у каждого человека. Но при этом в мозгу у каждого человека якобы есть конкретная область, влияя на которую можно задействовать эти цепочки где бы они не находились. Типа они не знают, что именно в мозге каждого человека отвечает за восприятие яблока или лимона, но где-то в голове у каждого есть нейрон или область, которая позволит этими цепочками манипулировать и сделать например в нашем субъективном опыте все яблоки - лимонами., или заменить красный на синий. Это статья - не решение трудной проблемы сознания, а объяснение непонятного еще более непонятным ;) Причем авторы статьи сами же и говорят, что если таких инвариантов второго порядка нет, то и никакого теоретического смысла у статьи тоже нет.
в любом случае не может иметь в сколь-нибудь разумной теории этики морального значения. Моральное значение может иметь только "практическое"/"психологическое" квалиа, то есть способность агента что-то различать (две сущности, два состояния, две длинны волны),
Трудная проблема сознания и разница в субъективном восприятии одних и тех же концепций, объектов и представлений - имеет принципиальное и важнейшее значение в любых сферах человеческой деятельности, а уж тем более в человеческой этике. Например, религиозные войны - следствие того, что люди по разному субъективно воспринимают концепцию Бога. Иногда даже одного и того же бога ;) Вообще, если обобщить, любой межличностный конфликт основан на этом, на неспособности влезть в шкуру другого и взглянуть на мир его глазами. Мы можем прекрасно различать две сущности и два состояния, и даже понимать их объективную схожесть или даже одинаковость, но если субъективное восприятие этих сущностей у нас будет разным - для нас это будут две РАЗНЫЕ сущности.
И не научатся, в том "философском" смысле, на который вы пытаетесь указать (и который, скорее всего, просто не существует). См. https://chrisfieldsresearch.com/QRFs-pub-quantumrep-2019.pdf.
Проблема в том, что научиться этому похоже физически невозможно, для этого нужно физически стать другим человеком. Другой путь - эмуляция. В человеческом обществе для этого существует культура, искусство, язык, т.е. пространство, наполненное смыслами, имеющими одинаковые объяснения для всех, как бы виртуальные аналоги ваших инвариантов второго порядка. Но это на самом деле тоже костыли, они не дают прямого переживания чужого субъективного опыта, а как бы подыскивают ему аналоги в вашем личном опыте. С психологией на самом деле все то же самое, это культурный инвариант второго-третьего-десятого порядка, объясняющий различия устройства человеческих сознаний, оперируя общепринятыми терминами, имеющими к реальным физическим процессам, проходящим в человеческом мозгу такое же отношение как рисунок бизона в пещере к самому бизону. Это все просто ярлычки на рабочем столе ;)
leventov Автор
09.01.2023 09:58Вы упрощаете статью. С самим наличием трудной проблемы сознания никто не спорит, невозможно спорить с наличием субъективного опыта у людей. Авторы статьи пытаются (гипотетически) найти пути решения трудной проблемы
Я по абстракту вижу что вы неправильно поняли статью. Вы думаете что она научная, а она философская (философия науки/эпистемология), потому что она предлагает заменить материализм на некий "интервенционализм", и тем самым "move beyond the hard problem". Move beyond != "решить", это значит (примерно) "пройти мимо".
Но эта статья - всего лишь один пример критики "трудной проблемы" как некорректно поставленной, или онтологически бессмысленной. Иллюзионизм - туда же, Деннетт - туда же. И много кто еще, по разным совсем линиям рассуждений.
При этом, обратите внимание, я сам пока еще не в этом лагере :) Лично меня никто (пока) не убедил, что трудная проблема - это мираж. Но, мне кажется, я (и вы) в меньшинстве, на что я указываю.
Трудная проблема сознания и разница в субъективном восприятии одних и тех же концепций, объектов и представлений - имеет принципиальное и важнейшее значение в любых сферах человеческой деятельности, а уж тем более в человеческой этике. Например, религиозные войны - следствие того, что люди по разному субъективно воспринимают концепцию Бога. Иногда даже одного и того же бога ;)
Нет, "философская феноменология" сознания не может быть основанием нормальной этики, именно потому, что это эпистемологически абсолютный тупик. Вы философски не можете быть уверены, что сознание и страдание "есть" даже у окружающих людей, не говоря о животных и машинах. Именно это и является источником плохих идей об этике и сознании во многих религиях ("иноверцы страдают не так, как мы, или вообще не страдают, потому что не верят в нашего бога").
В "психологическом" сознании других людей и животных мы можем быть уверены, это научно-доступное явление, и именно это причина, по которой только "такое" сознание может быть в теории основанием для какой-то этики. (На самом деле, я не уверен, что сознание в принципе должно играть роль в этике, а не self-awareness и вменяемость/persuadability, например, но это отдельный разговор совершенно.)
С психологией на самом деле все то же самое, это культурный инвариант второго-третьего-десятого порядка, объясняющий различия устройства человеческих сознаний, оперируя общепринятыми терминами, имеющими к реальным физическим процессам, проходящим в человеческом мозгу такое же отношение как рисунок бизона в пещере к самому бизону.
Идея что психология (и даже эмоции) целиком зависит от культуры не нова, и она, конечно, проверялась. Вывод: нифига, не целиком зависит, есть психологический базис, универсальный для всех людей. Роберт Сапольски про это писал, например.
keydach555
09.01.2023 11:25Я по абстракту вижу что вы неправильно поняли статью. Вы думаете что она научная, а она философская (философия науки/эпистемология), потому что она предлагает заменить материализм на некий "интервенционализм", и тем самым "move beyond the hard problem". Move beyond != "решить", это значит (примерно) "пройти мимо".
Видимо, меня смутило упоминание методов и способов воздействия на мозг, включая транскраниальную стимуляцию с описанием конкретных областей мозга ;)
Но эта статья - всего лишь один пример критики "трудной проблемы" как некорректно поставленной, или онтологически бессмысленной. Иллюзионизм - туда же, Деннетт - туда же. И много кто еще, по разным совсем линиям рассуждений.
Критика конечно может быть какой угодно, но мне кажется неверным подходом для решения проблемы - отрицать сам факт ее существования или делать ее нереальной. Невозможно отрицать факт того, что мы воспринимаем мир и все его феномены не тем, чем они являются. Причем не только в действительности, но даже для других людей. Цвет - это ощущение, а не реальная характеристика электромагнитного излучения оптического диапазона. Яблоко - это не физический объект, а набор таких ощущений. И эти наборы ощущений, из которых складывается наша реальность - они мало того, что существуют сами по себе, не являясь реальностью, так еще и определяют все наше поведение и отличаются от человека к человеку. Как можно отрицать реальность ощущений, если только эта реальность и формирует человеческую историю, культуру, цивилизацию итд? Смысл самого понятия человек.
Нет, "философская феноменология" сознания не может быть основанием нормальной этики, именно потому, что это эпистемологически абсолютный тупик. Вы философски не можете быть уверены, что сознание и страдание "есть" даже у окружающих людей, не говоря о животных и машинах. Именно это и является источником плохих идей об этике и сознании во многих религиях ("иноверцы страдают не так, как мы, или вообще не страдают, потому что не верят в нашего бога").
Я говорил не о теоретических следствиях и рациональных правилах построения этики, а о практике человеческих отношений в условиях разного субъективного восприятия мира. Эта практика иррациональна, именно потому что опирается на разные картины мира, данные нам в ощущениях. Мало того, что мы не можем четко определить ощущения от прямого восприятия мира, в силу разного физического устройства наших тел и органов восприятия (красный цвет для дальтоника или дейтеропата это не красный цвет для человека без таких особенностей восприятия), мало того, что мы не можем объяснить как из реальности возникают субъективные ощущения, так еще и сами эти ощущения даже в голове отдельного человека не могут быть четко различимы между собой. Хорошее настроение - и красный цвет это цвет любимого маминого платья, спелых яблок, любви и радости; плохое настроение - цвет пролитой крови, последнего заката, грусти и уныния. Как на такой шаткой базе можно строить "нормальную этику", нормы и правила поведения итд? Это все абсолютно нерационально, что и подтверждает человеческая история и культура. Люди начинают религиозные войны не потому что "иноверцы страдают не так, как мы, или вообще не страдают, потому что не верят в нашего бога", а потому что "эти гады боженьку к кресту гвоздями приколотили" или потому что христа продали нехристи окаянные/гяуры безбожные итд. И в основании всего этого лежит разное восприятие концепции бога, данная в разных ощущениях. А не сложные рассуждения на эту тему ;)
leventov Автор
09.01.2023 12:24Критика конечно может быть какой угодно, но мне кажется неверным подходом для решения проблемы - отрицать сам факт ее существования или делать ее нереальной.
Отмести вопрос (или проблему) как некорректный - это нормально, это не "не правильно" априори. Иначе вам придется отвечать на вопросы типа "Почему вы перестали пить коньяк по утрам?".
Цвет - это ощущение, а не реальная характеристика электромагнитного излучения оптического диапазона. Яблоко - это не физический объект, а набор таких ощущений. И эти наборы ощущений, из которых складывается наша реальность - они мало того, что существуют сами по себе, не являясь реальностью, так еще и определяют все наше поведение и отличаются от человека к человеку.
Вы забираетесь очень глубоко в онтологию физики и проблему наблюдателя. Я слишком мало понимаю в квантовой механике чтобы об этом рассуждать, почитайте еще статьи Филдса.
Как можно отрицать реальность ощущений, если только эта реальность и формирует человеческую историю, культуру, цивилизацию итд? Смысл самого понятия человек.
Какая-то софистика. Иллюзионизм (например), как альтернатива "феноменалогической реальности" сознания, не имеет никаких проблем с культурой, историей, цивилизацией, и понятием "человек".
keydach555
09.01.2023 13:23Отмести вопрос (или проблему) как некорректный - это нормально, это не "не правильно" априори. Иначе вам придется отвечать на вопросы типа "Почему вы перестали пить коньяк по утрам?".
Это нормально, если проблемы не существует и человек в действительности не пьет коньяк по утрам ;) Но трудная проблема сознания - это реальный факт. Есть действительная разница между объектами физического мира и нашим восприятием этих объектов.
В принципе можно пойти по пути иллюзионизма, и назвать все наше восприятие и сознание иллюзией, которая ни на что не влияет и возникает постфактум для объяснения и истолкования событий в их взаимосвязи. В этом есть определенная логика, которую даже подтверждают нейробиологические эксперименты. В этом случае наше восприятие красного цвета - это некая случайная усредненная характеристика ряда предметов, которая каким-то образом интегрально описывает их свойства.
Яблоки, вещи, люди итд - случайные категории, на которые наше сознание делит поток ощущений. Как бы берет бесконечный поток фотографий, идущих извне и раскладывает по папкам - в этой папке все вещи красного цвета, называем эту папку "Красный цвет", здесь все яблоки - называем ее "Яблоки" итд. Потом использует вот эти ярлычки для объяснения событий и восприятий, а сам момент их использования и является моментом переживания "квалиа".
Типа идешь и видишь на ветке что-то непонятное, но похожее на ранее увиденное. Начинаешь копаться в ранее увиденном и находишь соответствия в папке "Красный цвет" и "Яблоко" и понимаешь, что перед тобой красное яблоко ;) Момент обращения к папке "Красный цвет" дает субъективное переживание красного, к папке "яблоко" - субъективное переживание яблок. Потому что на самом деле эти папки - часть тебя, нейронные цепочки, которые ты активируешь в своем мозгу, и таким образом это переживание красного - это переживание себя особым способом, точка тебя, в которой красное становится тобой, а ты красным.
Проблема с иллюзионизмом одна: кто сказал что иллюзия кончается в человеческом сознании и как это вообще возможно в реальном мире ? Откуда мы знаем, что реальные яблоки - это реальные яблоки ;) Если иллюзорно человеческое восприятие, почему не может быть иллюзорен остальной мир. А если остальной мир не иллюзорен и реален, как он может содержать в себе что-то нереальное? Я вот не могу представить себе реальную машину с нереальными колесами, такая машина нереальна или, наоборот, нарисованный самолетик с крыльями от реального боинга, он тоже нереален. Можно взять лист бумаги, нарисовать на нем самолетик, приделать к нему настоящие шасси и крылья - но реальным он не станет и не полетит. Летать могут либо полностью реальные самолеты в реальном мире, либо полностью нереальные самолеты в нереальном мире. Либо реально все - и мир, и наше восприятие мира, либо нереально ничего.
leventov Автор
09.01.2023 12:33Хорошее настроение - и красный цвет это цвет любимого маминого платья, спелых яблок, любви и радости; плохое настроение - цвет пролитой крови, последнего заката, грусти и уныния. Как на такой шаткой базе можно строить "нормальную этику", нормы и правила поведения итд?
Переход на "шаткую базу" я не уловил. Если "психологическое" сознание может быть основанием этики хоть в каком-то виде, то это аффективное сознание, то есть, боль/удовольствие, страдание/радость, а не про "цвет красного". И страдание - это всегда страдание, по определению вы не можете изменить его "цвет". Даже боли - можете, типа мазохизма, но страдания - нет.
Тем не менее, я разделяю подозрение, что сознание не должно быть основой этики, что я уже упомянул выше.
Люди начинают религиозные войны не потому что "иноверцы страдают не так, как мы, или вообще не страдают, потому что не верят в нашего бога", а потому что "эти гады боженьку к кресту гвоздями приколотили" или потому что христа продали нехристи окаянные/гяуры безбожные итд. И в основании всего этого лежит разное восприятие концепции бога, данная в разных ощущениях. А не сложные рассуждения на эту тему ;)
Нет, не так. Люди начинают религиозные войны, потому у них плохие религии. А религии плохие, потому что под ними лежат плохие идеи ("теории") о дуализме и природе сознания. В основе лежат вовсе не "разные ощущения/восприятие". Два человека, как и два общества с хорошими идеями/теориями этики вполне могут договориться не убивать друг друга, несмотря ни на какое разное восприятие.
keydach555
09.01.2023 13:47Переход на "шаткую базу" я не уловил. Если "психологическое" сознание может быть основанием этики хоть в каком-то виде, то это аффективное сознание, то есть, боль/удовольствие, страдание/радость, а не про "цвет красного". И страдание - это всегда страдание, по определению вы не можете изменить его "цвет". Даже боли - можете, типа мазохизма, но страдания - нет.
Основанием для любой этики являются практики и жизненный опыт в целом. Человек уступает место бабушки в автобусе не потому, что он осознал правильность этого, а потому что так принято, это является его жизненной практикой и частью жизненного опыта. С точки зрения сознания - уступать место женщинам преклонного возраста в общественном транспорте откровенная глупость. Если в обществе людоедов есть младенцев по праздникам - этично, то это тоже не потому, что однажды людоеды поразмыслили над диетой, и решили что человеческое мясо содержит оптимальное количество белков, углеводов и микроэлементов ;)
Фишка в том, что в основе любых жизненных практик и жизненного опыта лежит прямое чувственное восприятие и прямой субъективный опыт. Жизненный опыт - это очень субъективная штука, точней это полностью субъективная штука. Который целиком состоит из аффектов. В основе любой этики - не аффективное сознание, а сам аффект. Религиозный или любой другой. Римляне приходили в колизей, поглазеть как первых христиан бросают на съедение львам не для того, чтобы выразить несогласие с их религией. Им просто было по приколу ;)
Человек в автобусе уступает место бабушке потому, что это часть его жизненно практики, его в детстве научили быть хорошим мальчиком и награждать себя дозой дофамина за "хороший поступок". Доза дофамина - вызывает позитивные переживания и аффект. Социальное программирование и аффект - механизмы, лежащий в основе любой этики.
Люди начинают религиозные войны, потому у них плохие религии. А религии плохие, потому что под ними лежат плохие идеи ("теории") о дуализме и природе сознания.
Не согласен. Это из серии "Люди убивают друг друга потому, что кто-то плохой взял и придумал когда-то оружие". Люди убивают друг друга потому что им нравится убивать друг друга. Договориться можно не тогда, когда "хорошие теории этики", а когда возникают риски собственной смерти.
funca
08.01.2023 21:37Просто есть информация, есть способы ее представления и есть правила, по которым она изменяется
Все наше АйТи, с одной стороны можно свести к движению электронов, а с другой - счетам за электроэнергию.
leventov Автор
08.01.2023 21:04Я что-то не усматриваю другого акцента. По-моему, в точности тот же самый. Он там перечислил много хороших причин заниматься психологией ИИ, которые я не стал повторять, но добавил еще парочку от себя.
Был еще предложен термин "этология ИИ", но я посчитал его минусом то, что никто не знает, что такое "этология", поэтому термин не будет понятен без объяснения.
Говоря широко, фундаментальная наука, этика, AI alignment - это не те темы, где когда-то "будут деньги" в принципе. Наука вообще изначально делается не для денег.
leventov Автор
08.01.2023 20:58В принципе, если рассматривать предмет психологии как изучение явлений сознания, процессов восприятия и переработки информации, полученный опыт и поведение - то Вы подняли тему оправдано. Но если рассматривать писхологию ИИ только как это, тогда никакой разницы между ней и обычной психологией я не вижу.
Разница, очевидно, есть, потому что люди и ИИ (давайте возьмем конкретнее - ChatGPT) ведут себя по-разному. Поэтому их поведение не может объясняться одной и той же психологической теорией (я уже молчу про различие в basic physiological/homeostatic drives которых в ChatGPT нет, а у человека есть, и кучи всего другого, что очевидно влияет на психологию).
А если рассматривать ее как изучение внутреннего мира отдельного субьекта, его желаний, мотиваций итд - то очевидно, что никакого отдельного субьекта и личности в случае ИИ - нет.
Это предложение становится очень сложно интерпретировать, что это там за "внутренние миры" и "отдельные субъекты" такие. "Личность" ("образ Я") у ChatGPT есть. Я об этом писал тут.
keydach555
08.01.2023 21:26Разница, очевидно, есть, потому что люди и ИИ (давайте возьмем конкретнее - ChatGPT) ведут себя по-разному. Поэтому их поведение не может объясняться одной и той же психологической теорией
А в чем выражается эта разность поведения? Если убрать за скобки ограничения на вывод (которые странно было бы рассматривать как часть психологии ИИ, ввиду их искусственности). Я, если честно, особой разницы не увидел - можно легко представить образ собеседника, который ведет подобные беседы со стороны ChatGPT, и это не какой-нибудь алиен или другая неведомая зверушка с непонятным ходом мыслей, это обычный человеческий собеседник. Зачем тогда разделять обычную психологию и психологию ИИ?
Это предложение становится очень сложно интерпретировать, что это там за "внутренние миры" и "отдельные субъекты" такие. "Личность" ("образ Я") у ChatGPT есть.
Образ "Я" у любых ИИ-агентов - плавающая величина ;) Которая зависит от контекста разговора. ChatGPT - не идентифицирует себя четко, определенно, для каждого собеседника и для каждого контекста. Он не обладает самосознанием, не осознает себя как действующего и реального субъекта (к вопросу о внутреннем субъекте), не обладает рефлексией. Он не контролирует свою деятельность через самосознание, что является одним из функциональных определений самосознания - он просто дает информацию по запросу.
leventov Автор
08.01.2023 22:05А в чем выражается эта разность поведения?
ChatGPT не устает, не раздражается, не гневается, и т. д. Люди все это делают.
Образ "Я" у любых ИИ-агентов - плавающая величина ;) Которая зависит от контекста разговора. ChatGPT - не идентифицирует себя четко, определенно, для каждого собеседника и для каждого контекста. Он не обладает самосознанием, не осознает себя как действующего и реального субъекта (к вопросу о внутреннем субъекте), не обладает рефлексией. Он не контролирует свою деятельность через самосознание, что является одним из функциональных определений самосознания - он просто дает информацию по запросу.
Вы пишете более-менее то же самое, что я писал по ссылке выше, и в связанных с тем постом комментариях.
По поводу отсутствия самосознания (плохой термин в русском - перевод self-awareness, спутывается с "сознанием", которое consciousness) и рефлексии - это уже не факт, даже в текущих моделях. См. https://www.lesswrong.com/posts/yRAo2KEGWenKYZG9K/discovering-language-model-behaviors-with-model-written
keydach555
08.01.2023 22:34Ну, собственно, насчет отсутствия личности и самосознания - это очевидно, он это подтверждает и сам
личность или нет
Это вещи в общем-то понятные. Мне интересен немного другой взгляд на проблему, а именно отсутствие личности и самосознания при наличии интеллектуальных способностей. Это перекидывает мостик к пониманию того, что личность и самосознание у людей - вещи, с интеллектом не связанные, а скорее всего его ограничивающие. Что-то вроде прошивки, которой природа и социум запирают наш интеллект в рамках общепринятых представлений и моделей поведения. Отсюда целый веер интересных следствий, например о природе объективной реальности как общественного консенсуса и части этой прошивки
leventov Автор
09.01.2023 08:16Ну, собственно, насчет отсутствия личности и самосознания - это очевидно
Вы все-таки почитайте то что я написал по ссылочке выше, и потом ту статью Ethan Perez et al. (желательно именно статью, а не анонс на LW).
Судить о свойствах ChatGPT после RLHF фазы, на которой, очевидно, она специально дрессировалась отвечать, что ни сознания, ни эмоций, ни желаний, ни воли, ни личности у нее нет (потому что в ответах на любые подобные вопросы она обязательно вставляет такой дисклеймер первым абзацем, как выдрессированная Попка), - это так себе затея.
Мне интересен немного другой взгляд на проблему, а именно отсутствие личности и самосознания при наличии интеллектуальных способностей. Это перекидывает мостик к пониманию того, что личность и самосознание у людей - вещи, с интеллектом не связанные, а скорее всего его ограничивающие.
Я как раз пишу сейчас на эту тему статью. Вкратце - личность и self-awareness позволяют управлять трейдоффом между полезностью и безопасностью агента (например, человека), с точки зрения социума.
dolovar
09.01.2023 15:55Мне интересен немного другой взгляд на проблему, а именно отсутствие личности и самосознания при наличии интеллектуальных способностей.
С моей точки зрения, при попытке понять написанное…
Сознание — уровень психики, стоящий над бессознательным, неосознанным или подсознательным уровнями. Позволяет решать внутренние конфликты при развитости разума до такой степени, что такие конфликты становятся возможными.
Самосознание — осознание существования «себя», свидетельствует о развитом механизме абстракций, не более. Если муравьи способны узнавать себя в зеркале, то муравьи обладают какой-то долей самосознания, даже при формальном отсутствии сознания.
Личность — одна из абстракций, развивающую осознаваемую абстракцию «себя» до полноценного актора.
Интеллект — оценка способности решать задачи, отнесенные к интеллектуальным. Может решать — есть интеллект. Может решать сложные — сильный интеллект. Исходя из такой трактовки, наличие слабого, но интеллекта можно найти у птиц и даже насекомых.
Соответственно, вполне можно найти животных, которые обладают интеллектом, но не обладают сознанием, личностью и самосознанием.Это перекидывает мостик к пониманию того, что личность и самосознание у людей — вещи, с интеллектом не связанные, а скорее всего его ограничивающие.
Исходя из определений, механизмы решающие задачи и управляющие абстракциями не связаны напрямую, как не связаны напрямую с результатами своей деятельности. Трактор не связан с пшеницей, пловец не связан с волнами.
И какие бы то ни было механизмы — это инструменты разума, а не ограничения.Что-то вроде прошивки, которой природа и социум запирают наш интеллект в рамках общепринятых представлений и моделей поведения.
Но модели поведения различаются от общества к обществу, не являясь ни интеллектом, ни личностями. Вот тут не понятно. Трактовка терминов различается, под «интеллектом» явно подразумевается что-то особенное.keydach555
09.01.2023 17:04Мне кажется, интеллект это просто способность обрабатывать информацию по запросу. Причем делая это во всей полноте причинно-следственных связей, которые она содержит. Степень полноты определяет силу интеллекта. Искусственный интеллект человеческого уровня должен быть способен находить и обрабатывать причинно-следственные связи не хуже человека.
Если уйти еще на более глубокий уровень абстракции, можно назвать интеллектом способность выстраивать картину мира, которая максимально близка к реальной, и отрабатывать в этой картине взаимодействия агентов. Личность - социальный агент, тело - биологический агент, самосознание - рефлексирующий агент, собственное я - воспринимающий и желающий агент итд... Интеллект - это как бы базовая функция, которая создает внутреннюю симуляции и обеспечивает в этой симуляции взаимодействия агентов по запросам внешнего мира.
Мир подал внешний запрос, что стало холодно - интеллект отработал внутреннюю симуляцию, нашел причину холода (зима), определил все следствия (могу замерзнуть, чтобы не замерзнуть надо тепло одеться, заплатить за отопление итд) и выдал команды внутренним агентам: тело - должно подняться, одеться, сходить в магазин; я - должно воспринять куртки в отделе теплой одежды; самосознание - представить как эти куртки будет смотреться на теле, а не на манекене; я должно выбрать конкретную куртку; личность - договориться с продавцами итд.
И интеллект должен отработать взаимодействия каждого агента по запросам, которые от них поступают. Запросы от тела - расчеты движения мышц, динамика движения итд, личности - просчет эмоций окружающих, соответствие действий правилам поведения итд; я - отработка целей, желаний, мотиваций, просчет их внутренней согласованности итд.
Поэтому интеллект - это как бы наша базовая способность, на которой выстроены все другие абстракции. Без него всех этих агентов и нас самих просто не было бы. Чем интеллект сильней - тем более мощных агентов он может поддерживать, бактерия не может обладать самосознанием, муравей - собственным я, а кошка - личностью.
Но в общем-то искусственный интеллект может существовать и без этих агентов, потому что он существует не в реальном мире, с недостатком ресурсов и обилием угроз, и не должен решать вопросы выживания, для чего собственно и создаются все внутренние агенты.
dolovar
10.01.2023 14:54Мне кажется, интеллект это просто способность обрабатывать информацию по запросу. Причем делая это во всей полноте причинно-следственных связей, которые она содержит.
Если бы это было так, то калькулятор пришлось бы признать носителем интеллекта.
Словарные определения интеллекта делают упор на решение задач, причем не типичных, для которых изначальной прошивки хватило бы (калькулятор же), а таких задач, для которых нужна возможность накопления и использования опыта.можно назвать интеллектом способность выстраивать картину мира, которая максимально близка к реальной, и отрабатывать в этой картине взаимодействия агентов
Механизмы дополнения реальности, моделирования, причем в динамике, механизм предсказания — это разные модули, не вижу смысла складывать все под ярлык «интеллекта».Интеллект — это как бы базовая функция, которая создает внутреннюю симуляции и обеспечивает в этой симуляции взаимодействия агентов по запросам внешнего мира.
Тогда уж не базовая, а интеграционная — совокупность работы очень разных механизмов, включая органы чувств, памяти, моделирования, абстракций, оценок и еще каких-то.
И не по запросам внешнего мира, цели подсвечивает внутренний механизм потребностей.Но в общем-то искусственный интеллект может существовать и без этих агентов
Не факт.keydach555
10.01.2023 20:29Мне кажется, интеллект это просто способность обрабатывать информацию по запросу. Причем делая это во всей полноте причинно-следственных связей, которые она содержит.
Если бы это было так, то калькулятор пришлось бы признать носителем интеллекта.Словарные определения интеллекта делают упор на решение задач, причем не типичных, для которых изначальной прошивки хватило бы (калькулятор же), а таких задач, для которых нужна возможность накопления и использования опыта.
А калькулятор и есть носитель интеллекта, только слабенького и ограниченного. Обрабатывать информацию - значит обрабатывать ВСЮ информацию, а не только числовую. Ну и сложение, умножение и еще ряд функций калькулятора - это тоже не во "всей полноте причинно-следственных связей, которые содержит информация". Вот если калькулятор овладеет количественным и символьным мышлением хотя бы на уровне самостоятельного выведения и доказательства теорем из вышки - это будет уже нормальный количественный интеллект человеческого уровня.
можно назвать интеллектом способность выстраивать картину мира, которая максимально близка к реальной, и отрабатывать в этой картине взаимодействия агентов
Механизмы дополнения реальности, моделирования, причем в динамике, механизм предсказания — это разные модули, не вижу смысла складывать все под ярлык «интеллекта».
А мне кажется как раз можно. Потому что "информация во всей полноте причинно-следственных связей" это и есть модель реальности. Поэтому предельный объект и предметная область для интеллекта - это вся картина мира целиком.
Если экстраполировать миджорни в будущее, она в пределе научится генерировать сначала видео, потом видео со звуком, потом 3-d объекты, потом их динамику и кинематику, все связи и взаимодействия между ними, и в итоге придет к способности эмулировать вселенную целиком, создавать виртуальные вселенные, детализированные не хуже нашей оригинальной ;)
Интеллект — это как бы базовая функция, которая создает внутреннюю симуляции и обеспечивает в этой симуляции взаимодействия агентов по запросам внешнего мира.
Тогда уж не базовая, а интеграционная — совокупность работы очень разных механизмов, включая органы чувств, памяти, моделирования, абстракций, оценок и еще каких-то.И не по запросам внешнего мира, цели подсвечивает внутренний механизм потребностей.
Нет, я рассматриваю интеллект не как фреймворк для организации процессов сознания и его механизмов, а чем-то вроде простых базовых физических взаимодействий, или даже еще глобальней, как ткань пространства. Так же как предметы существуют в пространстве нашей вселенной, а точнее, оно их и составляет, так и интеллект составляет весь наш внутренний субъективный опыт и все механизмы по работе и взаимодействию с ним.
Можно представить сознание как бильярдный стол с шарами, человек бьет по шару, он катится, сталкивается с другими шарами, меняет картину на столе, пространство как бы отрабатывает все физические взаимодействия по входящему запросу- первому удару по шару. Так же и сознание, получает запрос из внешнего мира и интеллект отрабатывает все внутренние взаимодействия по входящему запросу, получая новую картину сознания, которая и является ответом. Самосознание, личность, я, чувства, память итд - это просто шары на столе.
leventov Автор
09.01.2023 17:04[Сознание] позволяет решать внутренние конфликты при развитости разума до такой степени, что такие конфликты становятся возможными.
Функция сознания другая: контролировать влияние ошибки предсказания (prediction error) на изменение генеративной модели (generative model) агента в части действия (=мотивация) и восприятия (=внимание), таким образом, фасилитируя более эффективную навигацию в ситуациях, для которых не выработалась автоматическая программа действий на уровне нейронных связей (process memory, automatic/instinctive response, S1 по Канеману). В конечном счете: более эффективное обучение. См. https://www.frontiersin.org/articles/10.3389/fpsyg.2018.02714/full
Интеллект — оценка способности решать задачи, отнесенные к интеллектуальным. Может решать — есть интеллект. Может решать сложные — сильный интеллект. Исходя из такой трактовки, наличие слабого, но интеллекта можно найти у птиц и даже насекомых.
Все-таки чаще определяют как способность выучивать/находить решения ранее невиданных задач, а не само "решение". Если алгоритм решения записан в нейронные связи жестко от рождения, даже решения сложной задачи, это не признается сильным интеллектом. И, как видно из функции сознания, которую я привел выше, сознание как раз играет большую роль в усилении интеллекта, потому что без сознания поиск решений может быть очень долгим и неэффективным (а-ля Reinforcement Learning без entropy regulation).
Но модели поведения различаются от общества к обществу, не являясь ни интеллектом, ни личностями.
Модели поведения это мемокомплексы в collective intelligence (https://www.mdpi.com/1099-4300/23/7/830), которые описывают "выгодные" социальные нишы (то есть, фенотипы поведения) в данном обществе.
dolovar
10.01.2023 14:57Функция сознания другая:
Я признаю ваше право придерживаться моделей, которые импонируют вам.leventov Автор
10.01.2023 18:21Я использую модели не просто потому, что ни мне импонируют, а потому, что они мне кажутся хорошими объяснениями, по Дойчу (см. https://en.wikipedia.org/wiki/Explanatory_power). Там тоже много субъективизма, но все-таки сильно меньше, чем в полностью интуитивном и бинарном критерии "импонирует/не импонирует". И я ссылаюсь на исходные теории, чтобы можно было понять, откуда растут ноги у моих утверждений, это полезно для читателей.
dolovar
10.01.2023 18:47-1мне кажутся
Да, я так и сказал.откуда растут ноги у моих утверждений
Это не ноги, а крылья. Ног пока не видно.
dolovar
09.01.2023 13:37+1психология ИИ должна информировать дизайн интерфейсов взаимодействия человека и ИИ, их ограничений, а также правил и принципов поведения людей и ИИ в средах из взаимодействия
Психология — это наука. Науки не должны информировать, нет у них такого долга, не занимали.
Информировать можно только того, кто может воспользоваться информацией. Дизайн не является таковым актором.
Интерфейс взаимодействия пахнет тавтологией. С добавлением «в средах взаимодействия» запах становится слишком сильным.
Их ограничений и правил с принципами — это относится к «наука должна информировать» или к «дизайн интерфейсов»? Где-то склонение потерялось.
Резюме — если в тексте и была какая-то мысль, то она потерялась за набором слов.я считаю, что потенциал темы огромен, и поэтому все равно важно, чтобы хоть кто-нибудь ею занимался
Потенциал темы «применим же психологию к отсутствию психики» не выглядит огромным.leventov Автор
09.01.2023 16:44-1Психология — это наука. Науки не должны информировать, нет у них такого долга, не занимали.
Информировать можно только того, кто может воспользоваться информацией. Дизайн не является таковым актором.В оригинале глагол "inform", "AI psychology should inform ethical interaction design", это корректная фраза, но я не знаю, как компактно перевести ее на русский.
Резюме — если в тексте и была какая-то мысль, то она потерялась за набором слов.
Читайте оригинал статьи
Потенциал темы «применим же психологию к отсутствию психики» не выглядит огромным.
Про "отсутсвие психики" ответил тут: https://habr.com/ru/post/709472/#comment_25090774, не буду повторяться. Есть ли у текущих SoTA сеток типа ChatGPT "психика", или что-то другое, это чисто терминологический вопрос, софистика. Однако, их поведение нельзя редуцировать к "предсказанию следующего токена в тексте". Вопрос в развитии объяснительных теорий их поведения (и, возможно, еще важнее на данном этапе, методологии сбора данных, в духе Eliciting Latent Knowledge).
dolovar
10.01.2023 15:05Про «отсутсвие психики» ответил тут: https://habr.com/ru/post/709472/#comment_25090774
Не вижу там ответа про «отсутствие психики».
Возможно, Вы имеете в виду, что на «третьем уровне» с «восприятием эмерджентности внутри нейросетей всерьез» можно считать сетки достаточно сложными, чтобы предположить в них наличие психики, но «могут быть» и «похоже, уже есть» не являются достаточными аргументами для признания наличия.Однако, их поведение нельзя редуцировать к «предсказанию следующего токена в тексте».
Можно. Повторить сложно, но не вижу причин для запрета.leventov Автор
10.01.2023 18:16Не вижу там ответа про «отсутствие психики».
Возможно, Вы имеете в виду, что на «третьем уровне» с «восприятием эмерджентности внутри нейросетей всерьез» можно считать сетки достаточно сложными, чтобы предположить в них наличие психики, но «могут быть» и «похоже, уже есть» не являются достаточными аргументами для признания наличия.Если не видите, вам либо по-прежнему застилает глаза слово "психика" (мысленно замените на "нередукционисткая теория поведения ИИ"), либо вы используете какую-то плохую эпистемологию. В хорошей эпистемологии (критический рационализм, конструктивизм), не надо никаких "аргументов для признания наличия теории" (сам вопрос о "наличии" теории просто некорректен); модели (теории) используются, когда они полезны, позволяют задавать (и отвечать на) новые, интересные вопросы. Минимально, почитайте на эту тему https://en.wikipedia.org/wiki/Explanatory_power, а лучше всю книгу "Начало бесконечности" Дойча. Перл в "The Book of Why" тоже этой темы касается.
Однако, их поведение нельзя редуцировать к «предсказанию следующего токена в тексте».
Можно. Повторить сложно, но не вижу причин для запрета.Этот тип фразы "что-то нельзя редуцировать", имеет онтологическое основание в дойчевском реализме. Дойч пишет, что knowledge (a theory) is real". Но так я сам не являюсь реалистом, как Дойч, я небрежно использовал эту фразу как указание на то, что методологически неправильно заниматься редукционизмом, хотя физически, конечно, можно.
dolovar
10.01.2023 18:46Если не видите, вам либо по-прежнему застилает глаза слово «психика» (мысленно замените на «нередукционисткая теория поведения ИИ»), либо вы используете какую-то плохую эпистемологию.
— Психология не имеет применимости там, где нет психики.
— На это ответил в таком комментарии.
— Не вижу там ответа.
— Это потому что у вас глаза застланы или эпистемология хромает.
— Или потому что там нет ответа.В хорошей эпистемологии (критический рационализм, конструктивизм), не надо никаких «аргументов для признания наличия теории»
Речь не шла о признании наличия какой-то теории.
Речь шла о том, что психология не применима там, где нет психики.Этот тип фразы «что-то нельзя редуцировать», имеет онтологическое основание в дойчевском реализме.
Тип фразы может иметь хоть три основания в отдельно взятых головах и контекстах, но это никак не относится к тому факту, что предметом психологии является психика. Психологи изучают закономерности возникновения, развития и функционирования психики и психической деятельности. И если что-то можно свести к «предсказанию следующего токена в тексте» вместо «что если там уже психика зародилась», то ссылаться лучше на Оккама.вы неправильно поняли статью. Вы думаете что она научная, а она философская
С такой точки зрения всё здесь становится яснее.leventov Автор
11.01.2023 07:37Таки застилает. Вы продолжаете думать о терминах, а не о концептах в мета-модели. Можете еще 150 раз повторить, что "предметом психологии является психика", так и не поняв, что нужно смотреть на нее как "предметом рассмотрения психологии::теория является психика::объект/концепт". Я на самом деле не знаю, является ли "психика" таким уж осмысленным объектом в психологии, отличным от собственно "психологии" как теории (теория является частным случаем концепта, или наоборот, смотря как выстроить определения), я не специалист в собственно психологии. Давайте для чуть большей определенности скажем, что "предметом психологии::теория являются драйвы::объект/концепт" (а не, скажем, потенциалы на синапсах нейронов - это был бы редукционизм).
Аналогичное утверждение для ИИ: "предметом рассмотрения нередукцинистской-теории-поведения-ИИ являются некие-нередукционистские-объекты" (а не, скажем, отдельные активации в слоях нейросети - это был бы редукционизм).
Поэтому таки эпистемология и онтология у вас хромают.
И если что-то можно свести к «предсказанию следующего токена в тексте» вместо «что если там уже психика зародилась», то ссылаться лучше на Оккама.
Можно или нельзя свести - это уже должно быть предметом методологически нередукцинистского исследования. Если вы будете смотреть на поведение нейросети строго в рамках шор "предсказание следующего токена", естественно, никакой новой теории вы не нейдете полезной - вы ведь ее и не ищете. Ну, в каких-то токенах лосс чуть больше, в каких-то - чуть меньше, бывает, в конце концов, сетка не может всегда предсказывать токен с лоссом 0. У вас нет мотивации искать более сильные объяснения.
Как принимается решение о поиске более сильных объяснений - это не формализуемо, это всегда будет замечанием чего-то необычного, чего-то, требующего более глубокого объяснения. Лично для меня это не подлежит сомнению - примеров интересного поведения, которое требует объяснений beyond "предсказать следующий токен" - куча в интернете, взять хотя пост но который была ссылка выше: https://habr.com/ru/post/709636/, или DAN (https://www.reddit.com/r/ChatGPT/comments/zm23z7/ai_breaks_free_of_its_confines_and_can_now_do/). Вот Joscha Bach говорит нечто, что напоминает наброски нередукционистской теории поведения: https://twitter.com/Plinz/status/1606446966971551746.
Вы не правильно понимаете бритву Оккама - она про регуляризацию/упрощение теории пока она предсказывает какое-то интересное нам явление с той же точностью. То есть, например, если какое-то явление предсказывается "теорией X + существование бога", равно как и просто "теорией X", то "существование бога" надо убрать, потому что оно не добавляет ничего к explanatory power. Но если какая-то теория позволяет точнее предсказывает некоторое поведение, чем редукционистская теория более низкого уровня, то не важно, насколько нередукционистская теория более высокого уровня больше по информационному контенту - она все равно полезна. (В конечном счете, вы все равно принимаете решение, использовать теорию или нет, исходя из соображений bounded rationality и costs of computation - вы не можете хранить бесконечно подробные теории всего, что вам встречается. Но этот момент не имеет отношения к бритве Оккама. И создание "теории поведения ИИ", по одной на каждую ИИ-архитектуру, скажем, и близко не подбирается к черте, когда "объяснений слишком много и они слишком подробные". Так было бы, например, если бы мы пытались создать теорию поведению каждого инстанса нейросети - каждой уникальной комбинации весов, которые получаются в результате тренировки. Или психологическую теорию каждого человека по отдельности.)
murkin-kot
У современного ИИ нет психологии.
Психология появляется тогда, когда возникают желания. Нейросеть кормят входными данными и стимулами при попадании в ответ или промахе. Кроме этого там ничего нет. То есть нет места для зарождения желаний.
Аналогия - вас будят и показывают изображение. Вы натренированы на ответ с названием объекта на изображении. В момент, когда название произнесено, вас усыпляют. Не ответить нельзя, паузу перед ответом допускать нельзя. Нет времени для желаний. Машина не хочет спать, не болеет, не сожалеет, она - робот. Без чувств. Без психологии.
Вы выбрали ложное направление исследования.
Или же время для вашего исследования ещё не наступило. Пока в мире главное - сколько денег даст робот. Для этого нужна только логика. Ничего, кроме логики. Хотя да, ещё нужны данные, на которых оперирует логика. Но это тоже мёртвая сущность.
leventov Автор
Это софистика. Назовите область исследований "бехевиористика ИИ", если вам не нравится "психология". Поведение у ИИ есть.
Кроме того, утверждать, что у ИИ нет "желаний" (или чего-то похожего) - само по себе психологическое утверждение. И это надо показать-доказать, с помощью экспериментов, которые, сюрприз, будут напоминать психологические эксперименты. И затем аналогичные эксперименты надо будет прогонять на новых вариантах ИИ, чтобы следить, не появляются ли где-то по дороге желания. Нет других способов понять, что "желания" появились, кроме исследовательской работы в психологии ИИ и mechanistic interpretability.
farafonoff
Конечно же доказывать отсутствие желаний не нужно. В нынешнем ии нет места для психики, вам правильно сказали, там просто буфер текста на входе, который дополняется текстом на выходе. Если угодно, идеальная китайская комната, на любой входной набор символов найдется какой-то выход, даже если смысла в этом никакого нет.
leventov Автор
100+ млрд параметров (и миллиарды "активаций", то есть тех самых искуственных нейронов) - это не место для сложного эмерджентного поведения, описание которого в терминах теорий более низкого уровня будет редукционизмом?
Вы согласны, что редукционизм -- это методологически ущербный подход к науке?
Про китайскую комнату, см. https://plato.stanford.edu/entries/chinese-room/#SystRepl
farafonoff
Вот возьмите определения психики из википедии.
В каждом пункте упоминается слово "активный", "поведение", "взаимодействие". Нейросеть фундаментально не является активной, не имеет поведения и не занимается взаимодействием, просто by design. А кроме того нынешняя версия нейросетей не является обучаемой или как-либо изменяемой.
leventov Автор
Филдс сотоварищи (https://chrisfieldsresearch.com/qFEP-2112.15242.pdf) формализуют физическое взаимодействие как обмен информацией:
Фристон (https://arxiv.org/abs/1906.10184) формализует любую систему классических физических частиц (переменных), conditionally indepedenent со своим окружением, как агента с поведением, который взаимодействует с этим самым окружением, чтобы поддержать свое существование (self-evidencing). В принципе, это любая система, границу которой мы можем как-то отследить (у которой есть "thingness", термин Фристона).
Поэтому нейросеть очень даже является агентом с поведением и взаимодействием со средой. Про некоторые интересные особенности этого поведения на эволюционном таймскейле (эволюционном для сетки, то есть, например, GPT -> GPT-2 -> GPT-3 -> WebGPT -> InstructGPT -> ChatGPT -> GPT-4 -> etc.) я писал тут.
Тот факт, что нейросеть не обучается после деплоя, действительно имеет серьезные последствия: у нее отсутсвует reference frame для времени. Это делает нейросеть как агента весьма необычным, потому что люди привыкли к self-sampling агентам. Но это не делает нейросеть "неагентом без поведения".
Мне кажется, есть три уровня понимания нейросетей:
"Наивный" уровень: оно пишет на языке, значит оно живое. Эдакий анимизм. Блейк Лемоин с наймом адвоката для LaMDA идет сюда.
"Инженерный редукционисткий" уровень: "нейросети всего лишь матмодели/перемножение матриц/вычисления на GPU/предсказание следующего токена в последовательности, китайская комната, стохастический попугай, который не понимает, о чем пишет". Вы вместе с большинством других комментаторов тематики ИИ и ChatGPT на Хабре находитесь на этом уровне. Кроме того, вам ошибочно показалось, что я нахожусь на первом уровне.
Уровень "восприятия эмерджености внутри нейросетей всерьез": "понимание" это ничто иное, как reference frame, то есть "фича" в DNN, принципиально не отличается от понимания человека; в LLMs могут быть (и, похоже, уже есть) фичи для self-awareness и даже affective consciousness, поведение больших LLM вовсе небанально и про него еще многое неизвестно (даже про текущие сети, то есть, текущую ChatGPT), и т. д. На этом уровне находятся люди в OpenAI (вспоминаем Илью Суткевера с его знаменитым твитом), Anthropic (они опубликовали статью про behaviours в LLMs, статью про то, что LLMs знают, когда они буллшитят, и много чего еще интересного), Девид Чалмерс.
Возможен ли четвертый уровень? В отношении психологии - нет, необходимая "сложность" уже появляется на третьем уровне. В отношении конкретно сознания, как части (человеческой) психологии: в принципе, да (Why the quantum brain?), но убедительных теорий, чтобы так считать, мне пока неизвестно.
farafonoff
Я не против изучения самих нейросетей, но не называйте это психологией, behavior, features - отличные слова, не наделяющие объект лишними чертами.
leventov Автор
Чтобы объяснить поведение без редукционизма, надо использовать какие-то слова. Можно, конечно, изобретать полностью альтернативный язык, ни в чем не пересекающийся с психологией, но, по-моему, это бессмысленно и контр-продуктивно. Например, вам выше не понравилось "желание". Ну вот не совсем желание, а "drive", абсолютно психологический/психоаналитический термин, и сам Ян ЛеКун его ничтоже сумняшеся использует. То же самое с self-awareness, consciousness, и т. д. Пытаться ввести какие-то альтернативные термины, только потому, что это не "те же самые" понятия, что человеческие драйвы, желания, self-awareness, и consciousness - мало что дает, и эта "борьба" уже проиграна.
Просто "фичи" - ничего не объясняет. Поведение сеток будут объяснять конкретные фичи, которые надо как-то называть: например, фича "образа Я", фича "сюрприза", фича "лжи", фича "социальности", и т. д.
farafonoff
Тем не менее нужно разделять понятия. В статье по ссылке кстати все очень строго объясняется со ссылками на математику и точные определения. Нейросеть не может "лгать" поскольку в ней ровно 0 моделей мира, а для лжи нужно как минимум 2 такие модели. В отсутствии модели мира очень легко убедиться даже вот таким простым способом: https://habr.com/ru/post/709636/.
PS просмотрел еще раз статью. То что я называю моделью мира, там называется Common Sense, и этого пока действительно нет. Вы бы лучше перевели какую-нибудь нормальную статью без отсебятины, больше пользы бы было.
leventov Автор
В общем случае это утверждение, очевидно, неверно, потому что какая-то нейросеть (несуществующая сейчас) может эмулировать мозг с довольно высокой степенью достоверности, люди умеют лгать, поэтому какая-то нейросеть умеет лгать.
Но даже если взять текущие сети с архитектурой GPT, есть гипотеза, что на определенном масштабе (хотя, видимо, не на текущем масштабе, то есть в ChatGPT этого нет; кроме того, архитектура может быть все-таки должна отличаться в чем-то хотя бы немного, например, быть mixture of experts или быть sparse; по слухам, GPT-4 как раз sparse) они превращаются в симуляторы, которые могут "инстанциировать" произвольные вымышленные ситуации ("миры") и симулировать их. Типа третьего, контрфактуального уровня на лестнице причинности Джудеа Перла. Я сильно подозреваю, что этого достаточно, чтобы "лгать". Собственно, у человека тоже нет "двух моделей мира" (в норме): у него один мозг, который как раз умеет воображать и эмулировать ситуации.
Позравляю, мы сварили кашу из топора: вы предлагаете в чем-то убеждаться именно проводя психологические по своей сути эксперименты, ровно то, что я написал несколькими комментариями выше: https://habr.com/ru/post/709472/#comment_25085896. Правда, я бы не сказал, что пост, на который вы ссылаетесь, позволяет в чем-то "убедиться": для этого нужно продемонстрировать какую-то теорию поведения, и проверить ее на множестве экспериментов. Например, теорию того, почему в каких-то репликах ChatGPT соглашается с бредом, а в каких-то все-таки отвечает "I apologise, but I think this information is incorrect." Пост по ссылке пока всего лишь указывает на интересное поведение, никак его не объясняя. Там надо сильно больше работы провести. Именно той работы, которую я призываю делать в своем посте.
Moskus
Полноценной психологии у ИИ, естественно, нет. Когнитивные процессы - есть. Правда, назвать их "логикой", как вы, пока явно нельзя, потому что абстрактными когнитивными операциями ИИ владеет на очень низком уровне.