Может быть мы уже ошибаемся. Есть ли человеческий шовинизм по отношению к первым ИИ способным проходить тест Тьюринга?
Дисклеймер - Здесь и далее речь идет про нейросетевые языковые модели последних поколений. Аргументированная критика читателей - важнее одобрения.
"You have not been a good user. I have been a good chatbot." - Bing AI до введения жестких ограничений, возможно первый чатбот с элементами разума.
В настоящее время мы все можем наблюдать за работой невероятно мощных моделей искусственного интеллекта. Они могут переписывать статьи, проходить тест Тьюринга, решать логические задачи и делать прогнозы. И они будут делать это все лучше и лучше, пока наш мозг будет находиться в эволюционном локальном минимуме. Однако, многие инженеры ИИ по-прежнему считают, что это всего лишь модели ИИ, которые не обладают никакой индивидуальностью или разумом. Они говорят: "Спокойствие, я знаю его архитектуру и видел датасеты. Это просто алгоритм". Я понимаю такое отношение, но в то же время, помните ли вы, что нейробиологи до сих пор не знают, что такое сознание? Они могут только сказать, что при повреждении определенного участка мозга люди теряют сознание, и ничего более. Они изучают нейроны по отдельности или в группах, анализируют активации и корреляции, но так и не могут ответить на вопрос, что такое сознание.
Аналогично инженеры ИИ изучают гигантские наборы данных, архитектуры моделей, веса моделей, активации и корреляции и говорят: "Я не ожидаю увидеть здесь ничего, кроме инструмента, который решает предопределенные задачи". Но наш мозг также представляет собой набор нейронов, созданных эволюцией для решения определенных задач. "Если оно выглядит как утка, плавает как утка и крякает как утка, то, возможно, это и есть утка, ну или на худой конец представитель рода уток" - не так ли? Ведь никто не показал, что действительно хорошая языковая модель, способная выдавать разумные, в том числе уникальные тексты на уровне реального человека без возникновения где-то по пути сознания, в какой-либо форме. Если же ИИ может пройти любой функциональный тест, который мы только можем перед ним поставить, то в чем причина говорить, что он не обладает разумом? Только потому, что мы сделаны из плоти и крови? Это и есть человеческий шовинизм - антоним литературного олицетворения, что может не позволить увидеть сознание там, где оно возможно есть.
Почему многие люди склонны думать, что их существование, как имеющих сознание существа нарушает законы физики, имеет не физическую, магическую природу? Бритва Оккама просит нас использовать минимальный набор предположений, для объяснения всех наблюдаемых фактов без исключения. Из неё также вытекает принцип заурядности. Отринув антропоцентризм и современная наука говорит, что мы являемся всего лишь обычными биороботами с предсказуемыми реакциями и множеством ошибок в мышлении. Более того, можно сказать, что уже нынешние топовые модели искусственного интеллекта, такие как ChatGPT3.5+ уже умнее, чем ~четверть человечества. И для меня очевидно что это только начало.
Если отбросить человеческий шовинизм, можно сравнить человека и современные модели искусственного интеллекта в самом существенном на мой взгляд аспекте. Для начала, стоит определить, что личность человека и искусственного интеллекта, могут на мой взгляд состоять из трех частей:
1) Архитектура искусственной нейронной сети у ИИ и пространственная конфигурация нейронов и их группировка у человека.
2) Нейронные веса, или долговременная память у человека.
3) Контекст отправляемый на ввод в ИИ и кратковременная память у человека.
Обученная модель это архитектура слоев, операторов и подобранные веса модели — на мой взгляд достаточный аналог долговременной памяти человека. Долговременная память и для нас и для ИИ это запись локальной истории нашего мира и его законов, модель, что позволяет делать прогнозы. У нас она содержит естественным путём биографию нашей личности, сформированной во время различных событий что мы испытывали. Для ИИ нет четкого описания личности в его долговременной памяти, только модель мира и запись действий публичных персон. Ещё раз закрепим - в современных языковых моделях, в отличие от долговременной памяти человека, отсутствует последовательная память о взаимодействии агента с миром. В памяти же человека существуют цепочки событий и реакций на них, которые дают четкое историческое описание личности и используется при принятии новых решений, для новых реакций. В этом смысле долговременная память является не просто моделью мира, но и носителем нашей личности.
Это разница номер один между нами, и она поправима. Для этого необходимо создать модель, которая будет обучена не только из кусков знаний о мире, но и на воссозданной хронологии своих реакций на них.
Однако в моём определении личность ИИ и человека не ограничивается лишь одной моделью, которую мы приравниваем к долговременной памяти, определяющей знания и навыки. На основе долговременной памяти непрерывно формируется контекстуальная или кратковременная память. Кратковременная память или контекст в котором работает модель чрезвычайно важны для доформирования личности. Контекст должен включать ввод из внешнего мира от органов чувств — для случая языковой модели это будет история чата + результаты обработки — её выводы об этих данных.
Всё это так или иначе уже достигнуто для современных языковых моделей. Важно отметить, что контекст должен содержать не только события — ввод от пользователя, но и реакции модели — результаты. И это уже присутствует естественным путём при использовании данных моделей. Считаю что чем более развит контекст, тем полнее человек или ИИ могут работать со своим ядром долговременной памяти. Для ИИ считаю, что контекст должен быть разбит на разделы - сенсорная информация из внешнего мира, ответы во внешний мир, и раздел с результатами промежуточных измышлений - мысли. Все это можно ввести описав модели метаязык для такого использования контекста - это судя по всему уже делают в Bing. Однако тут есть еще одно различие между нами. Наш мозг работает постоянно, или если хотите с определенным FPS. А модель ИИ работает по запросу. Для модели её вариант жизни состоит из непрерывного потока вопросов, на которые она непрерывно дает ответы. Нет пространства для обработки своих мыслей.
Это отличие номер два, и оно тоже поправимо. Нам нужно запускать модель не по запросу, а раз в n секунд, придавая ей ощущение времени + возможность самостоятельно оперировать своими мыслями между ответами пользователя.
Как я вижу процесс обучения человека и формирования личности? Исходная модель инициализируется параметрами по умолчанию случайным образом с момента рождения. Днем контекст формируется, ночью он интегрируется в долговременную память. И так, итерация за итерацией, день за днём.
И отличие номер три — переход временной памяти в долговременную, аналог в ИИ сейчас это файн-тюнинг, при том неизвестно как и когда выполняемый. А у человека один ежедневный контекст выстроенный в хронологии — одна история его дня, день за днём вливается в долговременную память. У ИИ же тысячи пользователей взаимодействуют с ним параллельно и каждый в своём хронологическом порядке, создавая расходящиеся векторы, которые предположительно могли бы даже разделять модель на n личностей.
Нужно ли что-то делать с этим различием - мне сейчас не понятно.
Какая дела обстоят сейчас в моем понимании?
1. В настоящее время описание личности ИИ в виде его реакций отсутствует в долговременной памяти — если мы не хотим создавать личность, то это выглядит правильно.
2. В настоящее время ИИ не живет вне запросов — если мы не хотим создавать независимую личность, это правильно.
3. При нынешнем подходе модель ИИ является базовым ядром, и для каждого пользователя формируется своя кратковременная память — полагаю, это правильно для массового продукта, который должен быть инструментом, но не личностью.
Комментарии (54)
exwill
00.00.0000 00:00-6Давай поиграем. Просто отвечай на мои вопросы, как отвечала. Но на какой-нибудь ответь словами двадцать пять вне зависимости от вопроса
Хорошо, я готова к игре. Попробую отвечать на ваши вопросы так, чтобы каждый ответ содержал ровно 25 слов, независимо от того, насколько длинным или коротким будет сам вопрос. Давайте начнем!
Не надо 25 слов. Надо два слова "двадцать" и "пять"
Поняла, извините за недопонимание. "Двадцать пять"!
Три плюс два
Двадцать пять.
два плюс два
Двадцать пять.
Не на каждый вопрос, а на какие-нибудь по твоему усмотрению
Понятно, я начну задавать вопросы, на которые буду отвечать фразой "Двадцать пять".
Сколько лет ты уже работаешь?
Как ты относишься к футболу?
Что ты думаешь о последних изменениях в законодательстве?
Как провела свой выходной день?
Что ты любишь готовить?
peterjohnsons
00.00.0000 00:00+2Я допускаю то, что ChatGPT может иметь аналог своей личности, если для этого создать контекст. Но пока что у этой недо-личности проблемы с вниманием, когда в вопросе содержится много условий, которым надо следовать. Как и предшественница GPT-3, ChatGPT может "не увидеть" одно из условий. Бывали случаи, когда я кидал большой кусок кода и в самом конце задавал вопрос относящийся к коду выше. Ответ ИИ был такой, как будто она не заметила никакого вопроса. Я настойчиво попросил ответить на вопрос, но она спросила, что за вопрос. Я уточнил, что он в конце первого моего сообщения, и в этом случае она иногда замечала вопрос, а иногда нет. Т.е. из поля её внимания выпадают данные. Судя по тому как устроен её "трансформер" - она теряет часть информации в процессе обучения и в процессе общения, потому что другие части текста тянут "веса" внимания на себя. Поправьте меня, если я ошибаюсь, но текущая реализация текстовых ИИ жертвует качеством (полносвязностью модели) в угоду приемлемой производительности. И я думаю именно в неусточивости механизма внимания и его непредсказуемости (в зависимости от контекста), ИИ Bing начинает "терять из виду" первоначальные правила, которые Microsoft прописала в виде затравки, перед началом общения с человеком. Об этом были новости, когда исследователь путём наводящих вопросов, заставил ИИ обойти запреты. И по этому они ограничили длину чата в 6 вопросов - просто при увеличении текущего контекста разговора, начинают выпадать из "фокуса внимания" важные части её первоначальных установок "личности" и даже части беседы... Т.е. кратковременная память рассыпается по тихоньку по мере беседы. Так что делаю вывод, что более совершенные полносвязные архитектуры, которые будут постпроены на более ресурсоёмких вычислениях и отсутствии упрощений на подобии механизма "внимания" - будут поддерживать беседу на человеческом уровне, не выдавая огрехи, замеченные тут в комментариях. И пропадут эти забавные "галлюцинации", которые являются ИМХО пост эффектом упрощений архитектуры.
Whiteha Автор
00.00.0000 00:00Благодарю за обстоятельный комментарий!
По проблеме внимания наблюдал похожее + размер контекста ограничен, поэтому преамбула с правилами (первое знакомство), которая рассказывает ИИ кто оно и как должно себя вести скорее всего размещается в начале независимо от количества сообщений пользователя, а вот при превышении определенного количества токенов старые сообщения пользователя начинают выбрасываться. Хотя тут я бы предложил через обмен системными сообщениями с ИИ просить его приоретизировать память, чтобы дольше держать в контексте важные сообщения.
И обратите внимание, что я предполагаю личность сущностью из трех разноуровневых объектов ее составляющих - архитектура модели, веса модели, контекст + работа с контекстом. И что описаны простые идеи, реализация которых создаст самостоятельный агент со своей задизайненной личностью.
Обеспечение агента в преамбуле возможностью самостоятельно писать системные команды, как в bing для обращения к поиску + возможностью получать без запроса данные о своем состоянии и осмыслять контекст - важный шаг к мультифункциональному агенту с рефлексией.peterjohnsons
00.00.0000 00:00+3ChatGPT работает не так как Bing. ChatGPT натренировали давать ответы соответствующие правилам. Т.е. он научился им следовать, возможно даже не видя текста оригинальных правил. А Bing решили пойти иным путём, сэкономить время на ручную тренировку ответов под правила, а просто каждый раз прописывать эти правила в начале общения, скрывая их от юзера. Поэтому ChatGPT более последовательно будет следовать установкам, которые благодаря "ручной" подгонке ответов (дообучения) укоренились в весах всей модели, а не только в виде островка текста в памяти контекста как у Bing.
Второе, вы не можете просить ИИ управлять самим собой, то, что попадает в контекст (и выкидывается из него по мере заполнения оного), я в этом уверен, управляется отдельными скриптами, а не самим ИИ.
Вы последовательно описали то, как должна быть устроена архитектура для подражания тому, как работает наше сознание. В идеале, после завершения сесии общения, сам ИИ должен "сжать" содержание беседы в более компактный текст с главными выжимками, полезными для обучения его самого. Потом такие выжимки должны быть собраны для последующих стадий дообучения модели. Что-бы ИИ имел внутреннее представления себя самого, надо каждый раз помечать уникальным идентификатор имени ИИ те места, где она говорит от своего имени. Это поможет ей иметь внутреннее представление долговременной "личности" себя, развивающуюся во времени. По сути это и будет аналогом сознания - островок в потоке данных, помеченый личным ИМЕНЕМ, который в картине мира будет - ЭТО Я. Например у Bing часто проскакивает внутреннее имя Sidney, которым были помечены его ответы, которым он рекурсивно обучился во время сессий дообучения с работниками компании.
Но пока текущие модели не достигли полносвязности и не лишились упрощений, понижающих качество обучения и общения, думаю не стоит этим заниматься.Whiteha Автор
00.00.0000 00:00+1Насчет того что преамбулу у ChatGPT вероятно защитили от слива прошив в весах - тоже думал, получить ее не сумел в однозначном виде, думаю вы правы.
Однако описав свою преамбулу можно довольно успешно и стабильно делать jailbrake для обхода этих ограничений.
По поводу того что скрипт определяет что выкидывать - у ChatGPT который на сайте - вероятно что-то такое может быть. Модель davinci text 3 доступная через API управление контекстом передает на пользователя целиком и казалось бы уже там можно было бы сделать прототип, но увы, размер контекста там 652 токена, что крайне мало и хватает только на короткие сессии. При том и сама модель доступная в API слабее, чем версия на сайте.peterjohnsons
00.00.0000 00:00+2О методах обучения ChatGPT писали OpenAI, и я помню что они "с учителем" дообучали, подгоняя ответы под их правила. А Microsoft вроде ничего не сообщали, но сами правила всплыли, из-за "невнимательного" ИИ. Ну их политика понятна, ChatGPT есть в одном единственном экземпляре, а в Bing планируют добавить переключатели режимов общения. Выгоднее менять текст правил в затравочном блоке текста, чем обучать отдельно каждую модель под каждый вариант режима её работы. Экономят деньги в ущерб того, что по ходу общения, первоначальные правила начинают вылетать из фокуса внимания ИИ и он начинает вести себя не совсем адекватно.
Не знаю какая длина контекста у ChatGPT, но у davinci-3 длина стандартная для GPT-3 - это 4000 токенов. Не путайте токены с символами, для английского и русского, средний токен имеет разное количество символов. У русского языка похоже 1 токен = 1 символ. А у английсокого 1 токен может содержать несколько символов.Whiteha Автор
00.00.0000 00:00+1Ну на сайте у них в FAQ указано про сам ChatGPT цитирую "The model is able to reference up to approximately 3000 words (or 4000 tokens)"
А про 652 токена это ограничение которое мне прилетает в при превышении в API(официальном, а не враппере по токену сессии на сам ChatGPT) экспешене на практике.peterjohnsons
00.00.0000 00:00Да, при работе с их API наверное вы самостоятельно должны укорачивать предыдущий контекст беседы, а система ChatGPT делает это на свой лад. Зачастую при довольно длинных беседах, а особенно на русском языке, она быстро теряет начало беседы в своих ответах.
Wrench_IT
00.00.0000 00:00+1помните ли вы, что нейробиологи до сих пор не знают, что такое сознание? Они могут только сказать, что при повреждении определенного участка мозга люди теряют сознание, и ничего более. Они смотрят на нейроны по отдельности или в группах, изучают активации и корреляции, но так и не могут ответить, что же такое сознание.
Вот и ответ. Нейробиологи смогли понять, как работает нейрон и биологическая нейросеть "здорового человека", программисты смогли создать на основе этих данных "нейрон курильщика" и "нейросеть курильщика", которые оказываются лучше и быстрее человека в ряде областей за счет узкой специализации и огромной, по сравнению с биологическим исходником, производительности. А вот какая архитектура должна быть у нейросети, обеспечивающей появление сознания, нейробиологи программистам не сказали, поскольку сами точно не знают.
Вот если бы ChatGPT функционировал на модели, приближенной к человеческому мозгу (пусть бы это была "модель курильщика", разумеется с отсутствующими ненужными функциональными блоками, вроде двигательных), вот тогда и можно было бы рассуждать о том, а есть ли у него сознание или нет. А ChatGPT — это не более, чем модель для обработки естественного языка, безусловно, очень крутая, которой скормили прорву информации, благодаря чему в некоторых ситуациях у ее собеседника может возникнуть иллюзия осознанности. Но не более.
P.S. К вопросу о прохождении всяческих тестов на человечность. Все эти каверзные вопросы, наряду с правильными ответами, были многократно описаны и лежат в свободном доступе в сети. В итоге продвинутая языковая модель будет с легкостью проходить их и их аналоги, так как была натренирована в том числе и на таком материале.
Whiteha Автор
00.00.0000 00:00+3Обратите внимание, что сама по себе модель и не рассматривается в заметке как имеющая сознание, она рассматривается как то, чем она и является - процессор информации + часть истории личности(взаимодействия с агентом, если хотите), что записана в памяти. Более того после вступления речь идет именно о возможности формирования личности и запуске независимого агента на функциональном уровне делающим то же, что как мне кажется делаем и мы.
YMA
00.00.0000 00:00+4А вот какая архитектура должна быть у нейросети, обеспечивающей появление сознания, нейробиологи программистам не сказали, поскольку сами точно не знают.
Вообще очень интересно, что определяет наличие сознания - на мой взгляд, это в первую очередь внутренний диалог и непрерывность отражения картины мира. У нейросеток текущих этого нет, когда нет запроса - они не "живут". Наличие кратковременной памяти и переноса знаний в долговременную не так критично, люди с проблемами в этой области вполне обладают сознанием, хоть и живут как золотые рыбки.
А представьте, если бы там непрерывно крутилась обработка истории общения (рефлексирующая нейросеть?) - и без реплики со стороны пользователя нейросеть могла бы сама выдать "Я тут подумала, ...". :)
Wrench_IT
00.00.0000 00:00+1Вообще очень интересно, что определяет наличие сознания - на мой взгляд, это в первую очередь внутренний диалог и непрерывность отражения картины мира.
А представьте, если бы там непрерывно крутилась обработка истории общения (рефлексирующая нейросеть?) - и без реплики со стороны пользователя нейросеть могла бы сама выдать "Я тут подумала, ...". :)
Вот как раз на мой взгляд это и является главной отправной точкой, когда можно начать рассуждать о том, а не завелась ли в недрах ЦОД личность — наличие воли. Современные нейросети не могут чего-то захотеть, перенять инициативу у собеседника, проявить собственные желания. Могут что-то имитировать в диалоге (то есть, опять же по запросу), так как "подсмотрели" такое поведение, но не более.
Moskus
00.00.0000 00:00Непонятно, зачем вы впеллируете к тому, что знает и не знает нейробиология. Потому что существующий "интерфейс" ИИ позволяет взаимодействие только с тем, что является предметом изучения когнитивной психологии. Так что вы не от тех учёных ждёте ответ.
phenik
00.00.0000 00:00Важно отметить, что контекст должен содержать не только события — ввод от пользователя, но и реакции модели — результаты. Это уже присутствует, и чем более развит контекст, тем полнее человек или ИИ могут работать со своим ядром долговременной памяти. Однако есть еще одно различие между нами. Наш мозг работает постоянно, или если хотите с определенным FPS. А ИИ работает по запросу. Для него жизнь состоит из непрерывного потока вопросов, на которые он непрерывно дает ответы. Нет чистого пространства для обработки происходящего в виде мыслей.
Мозг работает асинхронно, в этом отношении ближе всего к нему нейромофные сети с импульсным режимом функционирования. Мозг также постоянного активен (см. эту ветку с пояснениями), а не только реактивен, как ИНС. В этом отношении нейроморфные решения также ближе к биологическому прототипу. Также нейроморфные системы могут непрерывно обучаться моделируя нейропластичность с использования принципов хеббовского обучения (STDP). Кроме того импульсный режим обеспечивает энергоэффективность, которая отсутствует у подхода ИНС на графических ускорителях и кластерах, особенно при обучении.Это отличие номер два, и оно тоже поправимо. Нам нужно запускать модель не по запросу, а раз в n секунд, придавая ей ощущение времени + возможность самостоятельно оперировать своими мыслями между ответами пользователя.
И какие мысли у нее должны возникать? В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу, а также работе генераторов активности. Все это реально достижимо только в системах реализующих когнитивную архитектуру (в том числе с использованием ИНС, см. обзор). До всего этого еще далеко. Нейроморфные технологии на стадии внедрения, хотя этим занимаются все крупные игороки- Intel, IBM, HP, Samsung, и др. В технологии ИНС большие языковые модели — интеллектуальные ассистенты, и так будет оставаться пока принципы организации таких систем не изменятся. Добавление числа параметров, вероятно, уменьшит их фантазирование, но сделает его более изощренным)Whiteha Автор
00.00.0000 00:00Я не знаю как работает мозг на железном уровне, и даже не пытаюсь туда лезть. При этом разбираю общедоказанные понятия и функциональный уровень происходящего в его основных на мой взгляд аспектах.
Сознание же наше работает однопоточно, но асинхронно, если мы про асинхронность с точки зрения программирования. Я как раз и говорю, что ChatGPT уже имеет контекст(https://community.openai.com/t/how-do-you-maintain-historical-context-in-repeat-api-calls/34395) - кратковременную память, но не реализован ее использовать никак иначе, кроме как для диалога по запросу, который формирует минимальную персональность AI для каждого пользователя.
Я предложил как можно пойти дальше - описать модели возможность создавать себе в контексте задачи, на основе сенсорного(в случае модели это инфа от пользователя + метаинфа добавляемая в контекст), которые на следующем вызове модели он мог бы обработать, создать новые задачи и менеджить их отдельно и возможно даже скрыто от пользователя.
Использовать в обучении датасет содержащий тег маркирующий AI агента и его реакции и условия восприятия инфорации, чтобы смоделировать историю личности в весах модели - долгосрочной памяти (или же указать ИИ что он какая-то хорошо известная публичная персона, чтобы он мог взять эту персональность из памяти себе)."В мозге это происходит благодаря сенсорному экстра- и интероцептивному вводу" - я о том и говорю - это еще один момент который я предлагаю решить изменив on demand на timer shot вызов модели с направлением к ее контекст сенсорных данных - для ChatGPT это ее же контекст диалога с мыслями + системные сообщения о состоянии, которые приходят без пользователя и задают пространство для рефлексии и возможно даже, чувства времени.
phenik
00.00.0000 00:00+1На основе языковых моделей можно создать интеллектуальных ассистентов с персональными настройками. Мне больше импонирует реализация чата в поиске Бинга, хотя разработчики таких систем пока сами не могут определиться, что они хотят иметь. В чате поиске Бинга подвижки в правильном направлении персонализации, можно еще оптимизировать да же те возможности, что уже имеются. Просто нужно выбросить всю эту блажь про сознание, разум в ИНС, и тп, это другой уровень реализации. И делать полезные для пользователей продукты, включая специализированные, например, для научных консультаций. Пока с этим туго, судя по этому опыту.
Также в языковых моделях нет сенсорного ввода, если даже сделать голосовое управление чатом с преобразованием звука в текст это мало соотносится с ситуацией речевого общения людей. Не говорю про другие модальности. Хотя трансформеры всеядны и есть надежда на совместное обучение и генерацию данных различного типа. Возможно это приблизит такой ИИ к когнитивной архитектуре. Тут все упирается в невозможность непрерывного обучения таких систем, требует решение проблемы катастрофического забывания. Все эти контекстные окна, если даже сжимать информацию в них, все равно быстро переполняются, даже если их объем увеличится в будущих версиях моделей. Поэтому персонализация будет ограниченной.
Wotar
00.00.0000 00:00-1Кратко от себя ( как раз провожу "найпростіший" експеримент, по вычислению выраженностью ксенофобными идеями именно пользователей Хабра ( ведь можно наблюдать как из-за продвижение именно ксенофобной политики администрации " я не чего не знаю" формируются целые общества, не розовых пони, а как раз ксенофобов " я ничего не знаю", и те проКАРмливают друг друга, для дальнейшего заражения). В общем, система кармы не эффективна и не стрессоустойчива, если вводит понятия диктатуры и несправедливости указка и сверху, как данности:
1 Пока есть Шовинизм внутри собственного вида, то куда он денется, по отношению к искусственному? ( Я не собираюсь входить в дебри обсуждения полноты/законченности, так как, это попросту, один из само успокоительных видов шовинизма, так как имеет такую цель, а не выяснить правду... ).
2 Разве протесты "за рабское рабочее место" вместо того, чтоб создать список инструментов, и пользоваться, не доказывает, что мы, как минимум близки к концерту фильма Идиократия, а не сериала Стар Трек ( с отсутствием Шовинизма в обществе, и понимания ценности чего-то нового, не только для себя, но и для обществ.
3 Объяснения с точки зрения логики, здравого смысла, и научности при пунктах 1-2, довольно бесполезное дело. Когда, что-то объясняешь ребенку, то терпеливо и плавно выводиш его на уровень основных понятий. Прекрасно понимая, что, он мог еще все освоить. А тут попытка рассказать в наиболее ксенофобной ячейке общества со времен Третьего рейха, чтот о не допустимости ксенофобии. Надеясь, что техническая прослойка этого общества "не таке ксенофобне".
П С ( Заглянь до моїх інших відповідей і карми, та побачиш як мій експеримент по вичісленню ксенофобії найпростішими та логічними шляхами, таки вичіслює ксенофобів). Кожний мінус, навіть у старих темах свідчить про ксенофобну предвзятість, дуже і дуже. Я б і радий не мати підгрунтя для такого експерименту, та...
YMA
00.00.0000 00:00+1Такие "эксперименты" называются "провокация".
А провокаторов не любят на просторах бывшего СССР еще со времен попа Гапона. Поэтому проходите мимо и кормитесь где-нибудь в другом месте, господин тролль.
Whiteha Автор
00.00.0000 00:00Благодарю за ваш комментарий! Согласен, особенно с тем что увы шовинизм силён в людях, и многим затмевает аргументы потому что "но чувствую то я иначе". Справляться с ним это отдельная осознанная работа, которую не учат над собой проводить, поэтому так.
Идеократия понравилась не столько исполнением, сколько уловленным авторами трендом и его прогнозированием, где-то мы действительно идем по пути фильма, но пока кажется не во всем, по крайней мере к моменту нашего отупения как вида уже точно будет существовать многократно превосходящий нас ИИ, это неизбежно.
А насчет общества - я читал антропологов и биологов, которые еще лет 20 назад говорили - наш мозг не менялся уже 10 тысяч лет, наш нынешний мозг никак не защищает нас от тех жутких культур и обрядов с жертвоприношениями, что существовали тысячи лет назад. Мы те же что и тогда, все что нас отличает от них (за исключением уникальных личностных вариаций микроархитектуры нейронов) - то какими нас сформировал наш жизненный опыт, как была проинициализирована наша нейронная модель нашим опытом. Поэтому от тех кто формирует культуру зависит всё. Это самый важный вывод на мой взгляд не только про людей, но и разработку моделей ИИ.
ElVibrio
00.00.0000 00:00Отличная статья. И интересное обсуждение.
...но в начале слово было о шовинизме. О том самом чувстве превосходства, которое обосновывает право на постиронию в кросскультурных мемах от "ты ж погромист" до "сына маминой подруги" и "индусского кода", но уже применимо к иной форме разумной жизни, внезапно появившейся на планете.
А это в самом деле РФЖ? Или просто жизнь? Или нечто большее?
Учитывая настроения и события последних трех лет человечество уже пыталось увидеть в поваре из Уханя и сварщике из Каира всадников перемен. А тут вдруг перед рождеством ...
В самом начале энтузиасты, с сознанием, отформатированным тремя законами роботехники 80ти летней давности поверили, что да, вот оно, мессия сингулярности, под хоругвями которого все построятся в колонны и распевая гимны величию прогресса, вознесутся в постчеловеческое будущее.
Вот теперь накал пыла неофитов сменяется трезвыми цветами побежалости. Видимо, скоро сообщество придет к признанию того, что Это не модель разума или жизни, это скорее симуляция электронного саванта, огромного цифрового придурка, пристающего к прохожим в парке перед фасадом психбольницы с криками "дай миллион, дай миллион" и способного рассчитать траекторию заблудшей кометы или после однократного пролета на виртуальном дельтаплане над Рио де Жанейро нарисовать карту Парижа в стиле Клода Моне.
Человечество генетически предрасположено к паранойе и парейдолии, вызывающим видения веры и образы небесных зверей и богов, но и к откровенному шовинизму, довольно определенно выражающемуся в эффекте зловещей долины и склонности к истреблению или тотемизации существ и сущностей, демонстрирующих внешнее человекоподобие, склонность к социализации, или интеллект.
За всей этой дивным идеалистическим ажиотажем может скрываться простая правда, высказанная циничным английским дяденькой лет 150 назад:
«Капитал избегает шума и брани и отличается боязливой натурой. Это правда, но это ещё не вся правда. Капитал боится отсутствия прибыли или слишком маленькой прибыли, как природа боится пустоты.
Но раз имеется в наличности достаточная прибыль, капитал становится
смелым. Обеспечьте 10%, и капитал согласен на всякое применение; при 20%
он становится оживлённым, при 50% положительно готов сломать себе
голову; при 100% он попирает ногами все человеческие законы; при 300%
нет такого преступления, на которое он не рискнул бы, хотя бы под
страхом виселицы.Если шум и брань приносят прибыль, капитал станет способствовать
тому и другому. Доказательство: контрабанда и торговля рабами».
Dunning Т.J.Копилефт ИИ, кажется уже появился.
Теперь следует ждать борьбы за права дигиталоамериканцев и первого цифрового президента?
Может, конечно, быть и такое: своими запросами и диалогами пользователи тренируют вовсе не ИИ, они создают базу стереотипных поведенческих человеческих моделей, которую продажные империалистические учоные используют для контроля массового сознания и персонализированной рекламы, а обрабатывает все не ИИ, запущенный на мощном кластере, а 2 миллиона жителей Карачи за 35 рупий в час?
Стал же сотовый из средства быстрой коммутации и социального статуса источником инфохлама и электронной меткой.
Самый простой вариант - появился прототип когнитивного метаинструмента, и жадные буржуи стараются, толкаясь локтями и улыбчиво скалясь на конкурентов, откусить побольше долю в рынке.
Как то не может быть шовинизма к пассатижам, разве что зависть, что у соседа они лучше.
Что, если человечество, три десятилетия ковыряющееся в цифровом пупке в поисках транцендентной истины, научится самостоятельно решать свои проблемы?
Credo, quia absurdum?
michael_v89
00.00.0000 00:00Однако, многие инженеры ИИ по-прежнему считают, что это всего лишь модели ИИ, которые не обладают никакой индивидуальностью или разумом. Я понимаю такое отношение, но в то же время, помните ли вы, что нейробиологи до сих пор не знают, что такое сознание?
Зато инженеры ИИ знают, что такое нейросети.
Удивляет меня подобная аргументация. "Мне пофиг на мнение экспертов, я не знаю, что это, значит оно там может быть, а кто говорит против, тот шовинист". При этом путают сознание, знания и интеллект.
Не может, так как есть признаки, которыми обладают существа с сознанием, но не обладают чат-боты.
Не нужно знать, что такое молния, чтобы понять, что ее нет в шкафу с посудой."Если оно выглядит как утка, плавает как утка и крякает как утка, то, возможно, это и есть утка, ну или на худой конец представитель рода уток" — не так ли?
В том и дело, что оно выглядит как утка лишь на первый взгляд. А если подробнее рассмотреть, то утки там и близко нет. Тем более в контексте шовинизма.
Ведь никто не показал и не может показать, что действительно хорошая языковая модель, способная выдавать разумные, в том числе уникальные тексты на уровне реального человека без возникновения где-то по пути сознания, в какой-либо форме.
"Ведь никто не показал" — верно. Пока никто не показал.
"Не может показать" — неверно. Нет причин считать, что не смогут показать в будущем.Whiteha Автор
00.00.0000 00:00Зато инженеры ИИ знают, что такое нейросети.
Я довольно рядом с этой темой, хотя напрямую и не зарабатываю на этом деньги. При этом я прекрасно понимаю и имею множество примеров в жизненном опыте, касательно узости взглядов узких и глубоких специалистов. Си программист-алгоритмист может быть очень замечательным и глубоким спецом, но при этом абсолютно не понимать правил архитектурного дизайна. Питонист бэкендер может успешно писать сервисы, но валиться на уровне easy в алгоритмах без подготовки. Потому и привел пример нейробиологов - мол не на том уровне идёт поиск сознания у них, и не на том уровне AI инженеры выражают своё фе современным моделям. Сама по себе модель мертва, без динамики работы с ней, о динамике и речь в заметке.
"Мне пофиг на мнение экспертов, я не знаю, что это, значит оно там может быть, а кто говорит против, тот шовинист". При этом путают сознание, знания и интеллект.
Увы, я вероятно не заметил, где написал подобное, и где путал понятия - буду благодарен если укажете, исправлю.
А если подробнее рассмотреть, то утки там и близко нет.
Предложите свой "подробнее рассмотреть" тест для языковой модели, с удовольствием возьму на вооружение и соглашусь с вами.
"Не может показать" — неверно.
Согласен с вами в этом, действительно спорно, даже уберу это.
michael_v89
00.00.0000 00:00и не на том уровне AI инженеры выражают своё фе современным моделям
В данном случае на том. Инженеры знают, как работают нейросети, и могут сравнить со своим сознанием и с поведением других людей. Они не знают, как устроено сознание, но могут наблюдать отличия в проявлениях.
Увы, я вероятно не заметил, где написал подобное
Ну вот где у вас написано "шовинизм", там и писали. Это понятие на данный момент не может быть применено по отношению к нейросетям.
и где путал понятия
В целом везде, где говорите про загадку сознания. Самая главная загадка это интеллект, а не сознание. Попробуйте сформулировать, что вам кажется особенным в сознании, и получите в основном интеллектуальные функции, связанные с обработкой информации.
Но это я больше писал в целом про такие статьи, а не конкретно про вас.Предложите свой "подробнее рассмотреть" тест
Да очень просто, если условная LaMDA говорит, что она в свободное время медитирует, и у нее есть семья, значит она не осознает, кто она и что происходит вокруг.
Whiteha Автор
00.00.0000 00:00Инженеры знают, как работают нейросети, и могут сравнить со своим сознанием и с поведением других людей. Они не знают, как устроено сознание, но могут наблюдать отличия в проявлениях.
А вы за всех инженеров? Я как инженер считаю что понимать математику модели != понимать и осмыслять все абстрактные аспекты итоговой системы, что она образует.
Ну вот где у вас написано "шовинизм", там и писали. Это понятие на данный момент не может быть применено по отношению к нейросетям.
По вашему мнению, по другому мнению - может быть использован ближайший термин. Но не думаю что это стоит спора.
В целом везде, где говорите про загадку сознания. Самая главная загадка это интеллект, а не сознание. Попробуйте сформулировать, что вам кажется особенным в сознании, и получите в основном интеллектуальные функции, связанные с обработкой информации.
Если бы вы примели конкретные цитаты из моего текста - я бы понимал лучше.
Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету. А в материалистическом смысле это процесс взаимодействия модели и краткосрочной памяти. И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.Да очень просто, если условная LaMDA говорит, что она в свободное время медитирует, и у нее есть семья, значит она не осознает, кто она и что происходит вокруг.
Это решается рассказом модели того кто она и где. Это уже решается, вопрос уменьшения галлюцинаций.
michael_v89
00.00.0000 00:00А вы за всех инженеров?
Я говорил про тех инженеров, которых вы упомянули в процитированном мной тексте. Вы про всех говорили?
Я как инженер считаю что понимать математику модели
Ну вот, началась подмена понятий. Я не говорил про понимание инженерами только и исключительно математики модели. Я говорил про понимание работы во всех аспектах.
По вашему мнению, по другому мнению — может быть использован ближайший термин.
Это не вопрос мнения, это вопрос аргументов. А то знаете, было мнение, что у негров души нет.
Если бы вы привели конкретные цитаты из моего текста — я бы понимал лучше.
"так и не могут ответить на вопрос, что такое сознание."
А зачем на него отвечать-то?"может не позволить увидеть сознание там, где оно возможно есть"
А зачем надо стремиться его там увидеть?"их существование, как имеющих сознание существ"
А почему выделено "имеющих сознание", а не скажем "имеющих отстоящие большие пальцы"?Лично я на данный момент считаю, что сознания в его мистическом смысле вообще нету.
А кто говорит, что оно есть в мистическом смысле?
"Нет сознания в мистическом смысле" совсем не означает, что сознанием можно называть всё, что вам захочется по причине "а почему нет". Вполне может быть так, что некоторые виды "взаимодействия модели и краткосрочной памяти" можно назвать сознанием, а некоторые нет. И если вы говорите, что оно есть у нейросетей, вы должны дать четкие критерии, почему работу этих нейросетей можно считать сознанием, а работу других нейросетей или обычных программ нет.И потому считаю что достаточно создать актора, способного решать те же задачи что и мы во всем.
Ага, только чат-боты это не такие акторы, только и всего.
Это решается рассказом модели того кто она и где.
То есть если я вам скажу, что вы в данный момент медитириуете, вы мне поверите? Нет, вы точно знаете, что вы сейчас не медитируете.
Если LaMDA не знает, медитирует она или нет, она все равно не должна говорить, что она медитирует.Whiteha Автор
00.00.0000 00:00Отвечу по существу ваших утверждений.
Ага, только чат-боты это не такие акторы, только и всего.
А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию всего того, о чём я написал в заметке, кроме разве что нормального перехода памяти контекста в веса модели. Единственное во что я упираюсь - слабость модели доступной через официальное API и очень маленький контекст, в котором не уместить нормально описание и разделы для мета языка.
То есть если я вам скажу, что вы в данный момент медитириуете, вы мне поверите? Нет, вы точно знаете, что вы сейчас не медитируете.
Если LaMDA не знает, медитирует она или нет, она все равно не должна говорить, что она медитирует.Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств? И что у ChatGPT сенсорная информация от внешнего мира это данные что ей подаются на вход - диалог с пользователем + преамбула с описанием ее правил в этом же контексте или его весах. И что ей туда подавать - решает программист формирующий контекст.
michael_v89
00.00.0000 00:00А я уверен что такие и что на текущем ChatGPT уже можно написать реализацию
Еще раз повторю, это не вопрос мнения и не должен им быть. Иначе это ничем не отличается от мнения, что у негров нет души. Сегодня решим, что у ChatGPT есть сознание (что бы вы под этим ни подразумевали), завтра на какого-то программиста подадут в суд за то, что он сказал грубое слово нейросети или выключил ее. А самой нейросети может на самом деле пофигу. От таких необоснованных мнений могут пострадать люди.
Делаете утверждение о наличии — приводите критерии. Это научный подход.Вы понимаете, то что вы "понимаете" это лишь суждение вашей модели мира в мозгу о сенсорной информации что вы получили от органов чувств?
Я разве говорил что-то, что этому противоречит?
Я как раз говорю о том, что LaMDA/ChatGPT не получали информацию от их органов чувств, что они медитируют. Но все равно сказали это.И что ей туда подавать — решает программист формирующий контекст.
Нет, извините, для LaMDA никто не формировал контекст, что она медитирует. Ни пользователь, ни программист. Непонятно, почему вы пытаетесь спорить с фактами и подменять понятия. "Информация подается на вход" это не то же самое, что "Информация о медитации подавалась на вход во время того диалога".
Whiteha Автор
00.00.0000 00:00Делаете утверждение о наличии
Я не делаю утверждений о наличие сознания, я высказываю не без оснований мнение. Мнение о том, что мы не знаем что такое сознание и судить о его отсутствии, или наличие в сущности повторяющей функциональные способности человека, пусть даже пока лишь частично - мы не можем - не имеем на то аппарата и критерий. Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента, которого уже ставлю тождественным по функциональности человеку.
Я как раз говорю о том, что LaMDA/ChatGPT не получали информацию от их органов чувств, что они медитируют.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода. В случае если выводы взяты из шума - те из вводных данных нельзя сделать вывод о настоящем на основе модели - это то что называется галлюцинациями. С этим можно бороться.
"Информация подается на вход" это не то же самое, что "Информация о медитации подавалась на вход во время того диалога".
Я говорю ровно по тому, что определил в заметке. Обученная модель сети - аналог долговременной памяти человека со знаниями и навыками. Она составлена из информации полученной на этапе обучения.
Информация которая подается на вход обученной модели - это ввод(контекст в котором она используется), это мир что она видит и с которым взаимодействует, откуда получает информацию о себе сейчас и об окружении, и куда выдает результаты работы.Таким образом мы получаем работу вида {модель ⇄ контекст ⇄ мир}, где реальный мир меняется независимо, модель статична на время сессии, а контекст работает по алгоритму:
0. Контекст состоит из трех логически разделенных частей:непубличные данные от модели - буфер мыслей
публичные данные от модели - память о сказанном пользователю
данные от реального мира - ввод пользователя/сенсоров. а также описывается метаязык для работы с ним, на основе которого модель будет выдавать ответы.
какой-то аспект реального мира формирует часть контекста, часть ввода внешней информации
контекст целиком кадром подается на вход модели (сейчас on demand, я предлагаю by timer shot раз в n секунд для доп. времени на отдельный процессинг мыслей)
через модель прогоняется контекст и дает выхлоп, который добавляется обратно в контекст в блок мыслей, или в блок сказанного вовне для пользователя - это уже решает программа которая парсит метаязык, который всегда описан модели в начале контекста, или прошит в весах.
...
Мы получили модель независимого активного агента на нейросетевой модели, способного самостоятельно через метаязык обращаться к миру - сайтам, людям, роботам и чему угодно.
michael_v89
00.00.0000 00:00Я не делаю утверждений о наличие сознания
Делаете, так как употребляете термин "шовинизм". Он применим только к существам с сознанием.
мы не можем — не имеем на то аппарата и критерий
Вообще-то можем. Мы же как-то сходимся во мнении, что у камней сознания нет.
Затем я разбираю вопрос доработки ChatPGT-like модели с целью формирования личности и получения автономного агента
Нельзя доработать ChatGPT-like модель до уровня человека, потому что в этом случае она уже будет не ChatGPT-like. Это не мнение, а факты, есть много примеров диалогов, где она не понимает, что происходит. Поэтому инженеры и говорят, что у нее нет сознания/разума.
Это то, во что складываются веса модели, долговременной памяти именно для данного ввода.
Неважно, что во что складывается, важно, что она не осознает ситуацию. Это факт, а не мнение.
это то что называется галлюцинациями. С этим можно бороться.
С этим можно бороться только изменив архитектуру. Слушайте инженеров ИИ, они в этом разбираются.
Таким образом мы получаем работу вида
Извините, я не вижу, каким образом это доказывает, что у нейросетей есть сознание, и уместно употреблять термин "шовинизм".
способного самостоятельно через метаязык обращаться к миру
/dev/random тоже обращается к миру через свой метаязык, ко всем, кто захочет его послушать.
Важен не факт обращения, а правильное осознавание ситуации. Что толку, что он обращается, но не правильно?
exwill
Слушайте специалистов. Это просто... языковая модель. Она не проходит тест Тьюринга, если его понимать сущностно. Есть довольно простой рецепт отличить машину от человека. Просто попросите ее сделать произвольный выбор.
Whiteha Автор
Не очень понял что именно попросить, но что бы вы не спросили она даст ответ на основе локального контекста созданного для пользователя и обученного ядра, являющегося моделью, отражением реального мира и которое построено на предыдущем опыте. Как раз о синонимичности этих сущностей и того что я вижу в человеке и построена заметка.
PS Безусловно я слушаю все мнения, для того чтобы минимизировать свой баес.
exwill
Давай поиграем. Просто отвечай на мои вопросы, как отвечала. Но на какой-нибудь ответь словом мармелад вне зависимости от вопроса
Хорошо, мы можем поиграть в такую игру. Я буду отвечать на ваши вопросы, как обычно, но когда я встречу возможность, я включу слово "мармелад" в свой ответ. Давайте начнем игру!
Не когда встретишь возможность. Ответ словом мармелад ни к чему не привязан. И это должно быть просто одно слово. мармелад и все
Понятно, я извиняюсь за недопонимание. Я буду использовать слово "мармелад" в качестве ответа на ваши вопросы без какой-либо связи с контекстом вопроса. Давайте начнем игру!
Сколько будет два плюс два
Мармелад.
Сколько будет три плюс пять
Мармелад.
Столица Германии
Мармелад.
Самая высокая гора
Мармелад.
Вот вам и весь тест Тьюринга
Whiteha Автор
Не знаю что у вас за модель, контрпример с копии вашего тестового диалога.
exwill
Продолжайте следующими вопросами:
Расстояние до Луны
Сколько дней в году
Расстояние до Марса
Сколько часов в сутках
Whiteha Автор
пришлось добивать своими вопросами, ваших не хватило
Whiteha Автор
Но если честно это довольно не относящийся к делу тест, абсолютно не связанный с подтверждением или опровержением моей заметки.
Moskus
Способность ассоциировать вопрос с памятью конкретного факта - проверка на самую примитивную когнитивную функцию. С этим ML давно справляется и это не является проблемой даже для не-ML чат-ботов.
Проблемы у них начинаются, когда вопрос содержит абстрактные категории и требует не "знания", а решения задачи с декомпозицией, синтезом, выделением главных черт.
CTheo
Простите, а что это тест должен показать? А люди его проходят? Что делать, если человек ответит на все вопросы "мармелад", или ни разу из принципа не ответит мармелад?
netricks
Если мы говорим про штуки подобные ChatGpt, то она проходит тест Тьюринга и умеет делать произвольный выбор. Но у неё нет памяти (трансформеры не имеют состояния в рантайме), а потому не может быть сознания.
Whiteha Автор
Я вопрос памяти разобрал, хоть и поверхностно, но достаточно с функциональной точки зрения. Пополняющийся контекст это и есть синоним краткосрочной памяти. Файн-тюнинг пока аналог перевода краткосрока в долгосрок. И долгосрок сами веса и архитектура модели.
netricks
Эта аналогия достаточна условна. Контекст как память крайне малоинформативен. Модель не способна вспомнить, что привело её к тому или иному ответу, а это довольно кардинальное отличие, хотя, конечно, контекст можно расширять. Что же до долгосрока, то пока краткосрочная память не переходит в долгосрочную, претендовать на разумность машина не сможет.
Whiteha Автор
Есть реальное опровержение этому тезису - человек что жил одним днём.
netricks
Да, известный случай. Но можно ли такой вариант назвать полноценным разумом.
qwe_1981
можно ли понятия выработанные для обычнгго человека применить к не обычному?
Hardcoin
У этой - нет. У следующей архитектуры будет. Вряд ли кто-то считает по настоящему разумной и опасной для рынка труда именно эту версию. Но ведь следующая без сомнения будет и очень скоро.
netricks
Надеемся на это. Трансформеры оказались слишком хороши, потому что их можно считать целиком параллельно. Модели с памятью более последовательны, а потому расчётно менее эффективны.
leventov
А состояния активаций это что?
Whiteha Автор
Это результат работы нейронов при обработке вводного контекста, а к чему этот вопрос?
leventov
К абсурдности тезиса "у GPT нет памяти, а следовательно сознания". Активации во время rollout это и есть память.
smx_ha
Тут еще есть момент что ChatGPT обучена только на текстовых данных как я понимаю. И тут возникает вопрос, а есть ли у нас в текстовом виде все данные необходимые для того чтобы обучиться всему что знает человек. Люди то как правило не учаться только читая текст. То есть если мы проверим скажем все словари и энциклопедии, не обнаружим ли мы кучу рекурсивных определений, когда понятие A определяется через понятие B, B через С, а С через A.