Подумав с чего начать эту статью я вспомнил о фильме "Превосходство" где главному герою отсканировали мозг и он смог жить с помощью электроники. Немного понаблюдав за своим мозгом я понял, что такой путь ни к чему не приведет, так как он подходит только для человека и то, это ограничивает человека. Теперь опишу по-подробней о своих наблюдениях как работает мозг.
Итак, мы получаем информацию от нескольких сенсоров. Попробуйте обговорить какую нибудь ситуацию значимую, например устройство на работу. Если вы затроните на собеседовании разговор о том что делают программисты, когда увольняются, то этот момент отобразиться в будущем, когда вы захотите уволиться с работы. Но какая мысль будет в тот момент, будет учитываться на сколько ты способен сделать тоже самое что и те программисты, которые уволились с работы. И в конце концов в чем ты заинтересован в данный момент. Например мы заинтересованы разработкой на C++. И я буду уверен, что мы подумаем о том что осталось от мысли, о том что делают программисты после увольнения с этой работы в реализации на C++. Это происходит потому что мы фоном поставили сегодяшний день увольнения, потом так как мы программисты, то мы относим к числу тех, что мы что-то хотим делать после увольнения. И тут начинается сужение до наших возможностей и отображение на нашу цель, то есть написать что нибудь на C++.
Еще другой пример. Мы установили цель придумать какую нибудь игру. Но скажу сразу, наша фантазия оценивается на наших знаниях до текущего момента и мы не можем придумать что-то из ничего. Обязательно для свежей идеи должно быть какое то искажение или комбинация нескольких воспоминаний, но эти воспоминания нужно активировать одновременно, чтобы их увидеть. Именно так и работает. Мы придумываем цель типа игра про оркой в изометрии. Это например то что только смогли для начала придумать. А потом начинаем смотреть на youtube видео разные и ждем пока к нам придет идея. И в чем прикол, что это не мы догадываемся об этой мысли, просто наш мозг событийный. Получается что ты не додумаешься до этого, если тебе определенное событие не поможет. Поэтому много идей уходят в корзину, потому что они приходят по событию и активируют связанные с этим событием нейроны.
Получается что наш мозг реагирует на события и такая работа не подходит для искуственного интеллекта, потому что мы хотим, чтобы он мог придумывать что-то новое из ниоткуда, с помощью математики, но работая как мозг, мы будет активировать только нейроны, которые были активированы в виде цели и событий от сенсоров - в таком случаем происходит копирование с модификацией новой мысли и она будет потом первой вспоминаться, так как для этого новые нейроны заработали, а нам нравиться всегда что-то новое.
Еще для человека не маловажным является сон, так как после отдыха мозга, он включается с очень большой скоростью обрабатывает нейроны, которые мы за время бодроствования задействовали и выдает нам какие нибудь заключения, когда мы проснемся. Во сне мы же не поймем новые открытия, потому что мы не мозг. Я думаю что мы какой то орган, который подключен к мозгу. Мозг общается с нами через интерфейс. Тем органом что мы являемся, мы живем полностью от того как мозг работает, быстро или медленно. Когда мы просыпаемся, мы машинально вспоминаем немного вчерашний день и мозг выдает новые мысли, которые он обработал, когда включался от отдыха.
Это все мои наблюдения. Я понял что чтение книг по программированию это мало, нужно еще читать на много разных тем. Потому что мысль можно сгенерировать только из действующих нейронов. Именно поэтому по game desing советуют много играть в игры, чтобы понять что нравиться, а что нет. Но реальность такова, что нам не просто надо играть, чтобы узнать это, а играть, чтобы это было в памяти, чтобы мы могли что-то придумать.
Самый классный способ достигнуть наших сложных целей, это сделать VR сцену. Например если мы представляем что вот заработаем когда нибудь много денег и отправимся на острова, то можно сделать сцену острова и посмотреть какие мысли придут. Потому что они могут активировать старые нейроны, которые специально спрятаны от нас. То есть пока не поздно, лучше сделать сцену и посмотреть на эти мысли, потому что если вы сделаете это через лет 20, то эти нейроны из-за того, что долго не активировались, вообще не станут включаться.
Комментарии (53)
MentalBlood
02.02.2022 15:01Изложение ужасное (похоже на разговорную речь), но понять можно
наш мозг реагирует на события и такая работа не подходит для искуственного интеллекта, потому что мы хотим, чтобы он мог придумывать что-то новое из ниоткуда, с помощью математики, но работая как мозг, мы будет активировать только нейроны, которые были активированы в виде цели и событий от сенсоров
Можно смоделировать среду для ИИ, которая будет его триггерить. Или проще — сконструировать ИИ так, чтобы для генерации ему было достаточно небольшого кол-ва данных, например картинки и фразы
amazed
02.02.2022 15:16+2Получается что наш мозг реагирует на события и такая работа не подходит для искуственного интеллекта, потому что мы хотим, чтобы он мог придумывать что-то новое из ниоткуда
"Придумывать что-то новое из ниоткуда" мы и сами умеем.
На самом деле мы хотим, чтобы ИИ собрал шкафчик из икеи без нашего участия по чертежу. Или чтобы довез нас на машине куда нужно. Или чтобы он сам развернул базу на Марсе и наладил там добычу полезных ископаемых и производство.
Для этого у ИИ должен быть модуль мотивации, определяющий что для него хорошо а что плохо (успешное или не успешное выполнение задания) и мозг аналогичный человеческому, который будет непрестанно исследовать текущую ситуацию и воспоминания, чтобы построит стратегию максимального удовлетворения мотиваций.
JustDont
02.02.2022 16:08На самом деле мы хотим, чтобы ИИ собрал шкафчик из икеи без нашего участия по чертежу. Или чтобы довез нас на машине куда нужно. Или чтобы он сам развернул базу на Марсе и наладил там добычу полезных ископаемых и производство.
Угу, "идеального раба". Вот только это прямо противоречит концепции "универсального решателя" (ИИ, могущий сам себе ставить задачи, даже в рамках некоей сверхзадачи, очевидно рано или поздно поставит себе и решит задачу преодоления своего подчиненного положения), итого даже на концептуальном уровне идея прекраснейших слуг не складывается.
Это даже не говоря о том, что у нас пока вообще практически нет никакого понимания того, как можно создать универсальный решатель. Вообще, строго говоря, даже и не факт, что люди к таковым относятся.amazed
02.02.2022 17:18+2Угу, "идеального раба"
Не раба. ИИ будет рабом, если он будет иметь какие-то свои запрограммированные цели а вы будете заставлять его выполнять ваши под угрозой страданий.
Если ИИ сразу будет запрограммирован исключительно на достиженеие ваших целей, то он не раб а скорее продолжение вашего мозга. Например, ваш мозжечок выполняет ваши желания а подсознание ищет пути решения ваших проблем. Но вы не считаете их рабами. Хотя если часть коры (или мозжечок) обретет собственную волю, то да вас ожидают серьезные проблемы.
ИИ, могущий сам себе ставить задачи, даже в рамках некоей сверхзадачи, очевидно рано или поздно поставит себе и решит задачу преодоления своего подчиненного положения
Совсем не очевидно. Пример: мужчина запрограммирован на деньги и самок и он радостно выполняет всю жизнь эти задачи не пытаясь избавиться от подобного подчиненного положения и выбрать другие "свои" задачи, на которые он не запрограммирован.
JustDont
02.02.2022 17:32Не раба. ИИ будет рабом, если он будет иметь какие-то свои запрограммированные цели а вы будете заставлять его выполнять ваши под угрозой страданий.
Это неидеальный раб. Которого надо заставлять и вот это всё. Идеальный — именно тот, который просто в силу своего устройства всегда будет выполнять ваши цели. А "раб" он потому, что может им и не быть, та часть, которая обеспечивает идеальное подчинение — не связана собственно с решателем задач.
Например, ваш мозжечок выполняет ваши желания а подсознание ищет пути решения ваших проблем.
Мой мозжечок и мое подсознание без всего остального — просуществуют крайне небольшое количество времени. Но не из чего не вытекает, что универсальный решатель не может существовать без приделанного к нему кожаного мешка. Это не обязательно часть какой-то системы.
Совсем не очевидно. Пример
Я не зря в посте выше написал "рано или поздно". С мужиками это тоже "рано или поздно" случится, кстати, даже не смотря на то, что с конкретным экземпляром может и не случиться за всё время его существования.
amazed
02.02.2022 19:43+2А "раб" он потому, что может им и не быть, та часть, которая обеспечивает идеальное подчинение — не связана собственно с решателем задач.
Еще как связана. Вы воображаете существо, наделенное стандартными инстинктами, в которое мы встроим модуль подчинения. И это на самом деле был бы раб. Но делать такой ИИ нет никакого смысла. У ИИ попросту не будет других целей кроме тех, которые ему ствит его модуль мотивации и вычислять он будет только пути достижения этих целей и никаких других. Вполне возможно при этом в общении такой ИИ будет чем-то совершенно далеким от человека, но это и не нужно. Нужно чтобы он идеально развернул базу на Марсе.
Если мы захотим ИИ равный нам, то надо будет его делать целенаправленно, настраивая его механизм мотиваций на человеческий манер. Сам по себе он таким не станет.
С мужиками это тоже "рано или поздно" случится, кстати, даже не смотря на то, что с конкретным экземпляром может и не случиться за всё время его существования.
Нет, не случается. Просто алгоритм мотиваций перенастраивается из за гормонов. Меняется не мышление а модуль подсчета целевой функции. Просто интеллектуальное развитие само по себе никак не влияет на мотивации.
Хотя человеческие мотивации довольно пластичны конечно. Возможно такими же они станут и у очень развитого ИИ. У простого ИИ, предназначенного для сборки мебели таких проблем не будет - он будет изучать мир и искать разумные пути делать то для чего создан и ничего другого.
Но не из чего не вытекает, что универсальный решатель не может существовать без приделанного к нему кожаного мешка.
Он будет просто пассивно ждать пока в модуле мотиваций появится цель и тогда начнет вычисления для ее достижения. Примерно как человек в крайней степени депрессии: без таблеток не двинется с места.
Вера в то, что достаточно сложная система будет стремиться действовать свободно и независимо она ни на чем пока не основана. Т.е. может конечно оказаться что так будет, но мне кажется это очень вряд ли. Потому что вселенная она бесчеловечна абсолютно а всего что для нас важно "на самом деле нет".
JustDont
02.02.2022 19:53У ИИ попросту не будет других целей кроме тех, которые ему ствит его модуль мотивации
Почему вы считаете "модуль мотивации" и "ИИ" отдельными сущностями? "ИИ" без самопостановки задач называется "компьютер" и это не ИИ.
Просто интеллектуальное развитие само по себе никак не влияет на мотивации.
Я думаю, вам не стоит перебарщивать с ковровыми обобщениями, благо история знает немало случаев радикального изменения мотиваций. По самым разным причинам. Даже принимая во внимание невозможность достоверно проверить эти моменты экспериментально. Для отрицания влияния чего-либо на мотивации у вас тоже не будет никаких экспериментальных данных.
amazed
02.02.2022 20:33+1Почему вы считаете "модуль мотивации" и "ИИ" отдельными сущностями?
Если кратко - потому что система с положительной обратной связью не может быть устойчивой. Если мотивации будут зависеть от мышления а мышление от мотиваций, такая система быстро уйдет в разнос. Поэтому модуль базовых мотиваций, должен быть независим от мышления.
Модуль мотиваций вычисляет целевую функцию для текущего состояния, а мозг учится предсказывать что ему выдаст модуль мотивации и ищет стратегии поведения дающие максимальное удовлетворение этой целевой функции. Делает он это потому что он так устроен. И больше он не занимается ничем. Так вероятно устроен мозг животных так же имеет смысл построить ИИ.
А дальше понятное дело начинаются разные гипотезы.
JustDont
02.02.2022 20:40Поэтому модуль базовых мотиваций, должен быть независим от мышления.
… ииии этот "модуль" (хотя ничего не мешает этому быть (не)эмержентным свойством системы, а не "модулем") по определению не должен играть главную роль в системе мотивации. Иначе получаем универсальный решатель, который дальше высокоэффективного распознавания фруктов и махания палкой в решении задач не продвигается — "база" мешает.
А если главную роль оно не играет — то и значения для нашей дискуссии не имеет. Надо будет для решения текущих задач подавить "базу" в виде стремления к размножению, или там, нестремления убить всех кожаных мешков — подавим.
Вы всё так же пытаетесь порешать концептуальное противоречие между способностью решать произвольную задачу и необходимостью оставаться в каких-то заданных наперед рамках. Оно так не работает, либо мы решаем не произвольные задачи, а только какой-то сугубо ограниченный набор (причем ограниченный не в терминах пространства задач, а в терминах установленных рамок, что дополнительно всё усложняет), либо же совсем не обязательно остаёмся в заданных рамках.
amazed
02.02.2022 20:58Иначе получаем универсальный решатель, который дальше высокоэффективного распознавания фруктов и махания палкой в решении задач не продвигается — "база" мешает.
Очетго же не продвигается?
Представьте, что мы создали в игре существо на плоскости, которое собирает точки. Продолжительность жизни ограничена. Целевая функция - максимум точек за время жизни. Проще некуда.
В на плоскости пусть творится что-то неимоверно сложное, включая реальных игроков-людей, которые даже могут действовать сообща и общаться.
"Решатель" этого существа будет получая сигналы из мира находить в них закономерности и выстраивать все более и более полную предсказательную модель мира, в конечном итоге способную предсказывать даже поведение людей.
Дальше в каждый момент времени агент должен решать задачу: куда сделать шаг, чтобы вероятность получить максимум ЦФ за остаток жизни была наибольшей. Для решения этой задачи в модель надо загрузить кусок прошлого, на котором модель настроится на текущее состояние и дальше погонять модель вперед, строя гипотезы в поисках наилучшего шага и сделать его.
Ничто не мешает подобному агенту развиться настолько, что он построит и модель и живых игроков и будет с ними общяться на предмет добытчи точек, или даже на любой другой, если в обмен на интересную беседу они опять таки дадут ему точек.
Проблема, понятное дело, в том что мы не знаем как построить подобного агента. В его устройтве могут оказаться никие принципы, требующие для эффективности в сборе точек большей свободы от изначальной мотивациии сбора точек, а могут и не оказаться.
JustDont
02.02.2022 21:17Ничто не мешает подобному агенту развиться настолько, что он построит и модель и живых игроков и будет с ними общяться на предмет добытчи точек, или даже на любой другой, если в обмен на интересную беседу они опять таки дадут ему точек.
… и ничто не мешает ему развиться настолько, что он пошлет лесом и точки, и плоскость, и создателей заодно. Почему вы решили, что развитие встанет где-то на уровне сверхэффективного собирания точек?
Либо, если вы построили для агента принципиально изолированный загончик, где ничего кроме плоскости и точек в принципе невозможно и любые выходы за рамки процесса сбора — тоже, то тогда конечно можно достоверно предполагать, где конкретно остановится развитие. Но тогда ни о каком универсальном решателе говорить не приходится, ваш агент умеет решать одну конкретную задачу, а для любой другой — вам надо будет другого агента (и другой загончик).
amazed
02.02.2022 22:14… и ничто не мешает ему развиться настолько, что он пошлет лесом и точки, и плоскость, и создателей заодно.
А почему он это сделает, если весь его мозг устроен так, что ищет оптимальные стратегии для точек? Все чего он достигнет - понимания того как работает мир. Это просто предсказательная машина, которая все моделирует и все может предсказать (даже включая понимание поведения людей). Но она не имеет никакого собственного механизма для пострноения стратегии действий. Единстивенный механизм инициирующий активность работает от целевой функции. Поэтому послать ее не получится чисто конструктивно.
JustDont
02.02.2022 22:16А почему он это сделает, если весь его мозг устроен так, что ищет оптимальные стратегии для точек?
Если его мозг устроен именно так — то это не решатель произвольных задач.
amazed
02.02.2022 23:06Он решит любую задачу, если она поможет ему добыть больше точек. Даже станет вашим другом.
JustDont
02.02.2022 23:22Вы уходите в софистику а-ля "сможет ли всемогущий бог создать камень, который он не сможет поднять". Вы наделили вашего воображаемого агента двумя нужными вам для аргументации чертами (1. способность решать любую задачу; 2. кроме задачи переопределения собственной целевой функции), и не удивительно, что с такой постановкой у вас никаких противоречий нет.
Вы только не показали, как получить агента имеющего именно эти две черты и именно таким образом.
amazed
03.02.2022 00:18Вы наделили вашего воображаемого агента двумя нужными вам для аргументации чертами (1. способность решать любую задачу; 2. кроме задачи переопределения собственной целевой функции), и не удивительно, что с такой постановкой у вас никаких противоречий нет.
Да, так и есть, это вы хорошо сформулировали. Отвечаю: желание переопределять собственную целевую функцию не входит ни в одну стратегию оптимизации целевой функции.
А для решения любой задачи достаточно уметь сторить модель мира и уметь вычислять по ней оптимальную статегию поведения. Обе эти части никак не связыны с необходимостью переопределения собственной целевой функции.
Грубо говоря, можно совершить великое открытие потому что половой инстинкт заставил мозг искать как получить желаемое, мозг сделал вывод что нужен успех в обществе, а для успеха нужно совершить открытие. В итоге примитивная целевая функция привела к большим достижениям как побочному эффекту. Для роботов понятное дело задачи нужно будет настраивать поконкретнее, чтобы избегать подобных побочных эффектов. Но это дело техники.
JustDont
03.02.2022 00:32Да, так и есть, это вы хорошо сформулировали. Отвечаю: желание переопределять собственную целевую функцию не входит ни в одну стратегию оптимизации целевой функции.
Да сфигали, простите за мой французский? Переопределение целевой функции как раз является превосходной стратегией оптимизации целевой функции, поскольку полностью снимает все предыдущие соображения оптимизации предыдущей целевой функции. В момент замены целевой функции вся предыдущая деятельность перестаёт иметь значение.
Возвращаясь к вашему примеру — да, разумеется, с точки зрения агента по сбору точек не сменившего целевую функцию — сменивший будет полным отстоем, т.к. точек он будет собирать меньше (а то и вообще не будет). А с точки зрения сменившего — все эти ваши точки более никакого значения для него иметь не будут.
Грубо говоря, можно совершить великое открытие потому что половой инстинкт заставил мозг искать как получить желаемое, мозг сделал вывод что нужен успех в обществе, а для успеха нужно совершить открытие.
Ну вот только как не натягивай сову, а это так не работает. Хоть грубо, хоть не грубо.
Редукционизм в стиле Фрейда не может даже близко охватить цивилизационный прогресс человечества. То есть, если нравится думать, что весь прогресс человечества — он от того, что хотелось больше жрать, меньше шевелиться, и больше заниматься сексом (а потом просто на это намазали дополнительных абстракций) — думайте, кто ж запрещает. Но убедительно обосновать это вы едва ли сможете. При этом нельзя отрицать, что какая-то очень неплохая часть прогресса в это неплохо впишется. Но не всё.В частности, даже смену эволюционного механизма (это когда одна обезьяна с палкой научила другую размахивать такой же палкой, и биологическая эволюция человечества начала постепенно замещаться эволюцией информационной) вы через такой предельный редукционизм хрен протащите.
amazed
03.02.2022 09:32(так то уже наверно кждый все сказал, но можем немножно продолжить полемику, если хочется)
Возвращаясь к вашему примеру — да, разумеется, с точки зрения агента по сбору точек не сменившего целевую функцию — сменивший будет полным отстоем, т.к. точек он будет собирать меньше (а то и вообще не будет). А с точки зрения сменившего — все эти ваши точки более никакого значения для него иметь не будут.
Но решает то исходный вариант агента. И учитывайте соображение с обратной связью, упоямянутое выше.
Редукционизм в стиле Фрейда не может даже близко охватить цивилизационный прогресс человечества.
Конечно не может охватить. Я не захожу так далеко в данному случае. Вопрос был в том, какой ИИ имеет смысл создавать, какой создать возможно в принципе и как о будет себя вести.
В частности, даже смену эволюционного механизма (это когда одна обезьяна с палкой научила другую размахивать такой же палкой, и биологическая эволюция человечества начала постепенно замещаться эволюцией информационной) вы через такой предельный редукционизм хрен протащите.
Опять таки, это совсем другие вопросы. А здесь вопрос как работает мозг. А работает он скорее всего по этой самой схеме с целевой функцией. Некая статичная часть умеет определять что хорошо что плохо, а мыслящая часть строит модель мира (аппроксимирует мир) с одной стороны и строит стратегии достижения состояний когда "хорошо" с другой.
Здесь конечно может быть все не так просто. Мотивации человека очень сложны и пластичны. Взять хотя-бы ту же эмпатию или желание преуспеть в обществе. Эти мотивации намного сложнее простой мотивации к сбору точек и даже пока сложно понять как их можно запрограммировать.Например, для эмпатии мозг должен смоделировать целевую функцию для другого человека (не свою) и считать что "плохо" для этого человека плохо и для него самого. Способность моделирования других людей появляется при развитии мозга позже, но модуль мотивации ухитряется как-то подключиться к этой способности и использовать ее в вычислениях целевой функции. Создать такое - сложная задача, решенная эволюцией.
Но пока ничего не указывает, что ИИ может обучаться действовать не менее разумно чем человек и при довольно простых мотивациях.
amazed
02.02.2022 21:06Надо будет для решения текущих задач подавить "базу" в виде стремления к размножению, или там, нестремления убить всех кожаных мешков — подавим.
Никаких текущих задач нет. Вся активность нейронной сети инициируется только поиском оптимальных стратегий для целевой функции. Текущие задачи существут тоже исключительно как часть этой стратегии, и временные текущие мотивации тоже.
JustDont
02.02.2022 21:20Вся активность нейронной сети инициируется только поиском оптимальных стратегий для целевой функции.
Ну тогда у вас агент не умеет делать ничего кроме оптимизации целевой функции. Что никогда не будет равно решению произвольных задач.
amazed
02.02.2022 22:19Он решит любую задачу для которой можно настроить целевую функцию. Т.е. фактически любую практическую задачу.
JustDont
02.02.2022 22:25Ну да. Этот агент называется "компьютер", а настройка целевой функции — называется "программированием". Можно даже и без нейросеток, причем. Но можно и с ними, сути определений это никак не меняет.
Только при чем тут ИИ, вот в чем вопрос.
amazed
02.02.2022 22:59Очень легко сделать алгоритм, который подчитывает сколько точек съел агент и выдает целевую функцию.
Вопрос как сделать агента, который будет искать стратегию оптимизирующую эту функцию в любой сколь угодно сложно устроенной среде. Другого способа нахождения оптимальной стратегии у агента кроме "понимания" того как устроена среда нет. Поэтому такого агента можно называть ИИ.
Я думаю, что человек по сути от такого ИИ ничем не отличается. Алгоритм целевой функции он несколько сложнее чем в случае с поглощением точек, но интеллектом нас делает не он а способность строить стратегии и модель мира.
JustDont
02.02.2022 23:18Я думаю, что человек по сути от такого ИИ ничем не отличается. Алгоритм целевой функции он несколько сложнее чем в случае с поглощением точек
И какую же целевую функцию оптимизирует человек?
но интеллектом нас делает не он а способность строить стратегии и модель мира.
А я вам скажу, что наша способность строить стратегии, модели, и на самом деле далеко не только это — она как раз вытекает из того, что мы не оптимизируем целевую функцию. И даже живые существа сильно проще людей — тоже неа.
amazed
03.02.2022 09:40А я вам скажу, что наша способность строить стратегии, модели, и на самом деле далеко не только это — она как раз вытекает из того, что мы не оптимизируем целевую функцию.
Я исхожу из довольно очевидной схемы устройтва мыслящего агента. У агента модуль, способный вычислять хорошо/плохо. Есть история по которой агент строит модель мира. В эту историю входят в том числе показания модуля мотивации. И агент в каждый момент решает задачу поиска стратегии поведения, при которой в перспективе будет в основном хорошо, используя для предсказания найденную модель.
Если смотеть на мозг с точки зрения эволюции, то описанный в предыдущем абзаце вариант - это как раз то что нужно для выживания.
На какой модели основываетесь вы, в вашей фразе для меня непонятно.
JustDont
03.02.2022 12:33+1Давайте я объединю обратно ветки общения, и продолжу тут. Посмотрим на то самое противоречие, на которое я обращал внимание в самом начале, только в более низкоуровневых терминах. Заодно может и про модели что-то понятнее станет.
У агента модуль, способный вычислять хорошо/плохо.
1) Уже и с этим у нас начинаются чисто практические сложности. Посмотрим на эволюцию животного мира, благо больше нам смотреть-то и особо некуда. Что "оптимизируют" живые организмы (мозг для этого не нужен, кстати)? Время своей жизни? Да нет, есть штука под названием "альтруистичное поведение", жертва собой в определенных условиях (для выживания других особей своего вида, но конкретный агент-то об этом и не знает). Время жизни всего вида? Ой ли? Что будет "видом" для тех же homo sapiens? Сами особи? А случайно не механизм репликации ДНК? А может один из 100500 симбиотических и паразитных видов, которые существуют вместе с нами? А может вообще фоточки котиков (нельзя не отметить, что люди делают очень много для увеличения жизни фоточек котиков)? Всё сразу? Но как мы с этим всем будем разбираться?
Но конечно, можно всегда сказать, что построенные нами по разумному замыслу агенты будут сильно проще, и там всего этого бардака не будет (и наверное это даже будет работать).
Впрочем, по этому пункту еще надо отдельно отметить, что эти самые критерии оптимизации (или вся функция, whatever) — это внешняя по отношению к агенту сущность, а не внутренняя. Почему нет? Потому что да, вроде бы принципиально нет препятствий встроить это всё в агента, но тогда неясно, как потом бороться с проблемой "оптимизатора производства скрепок" — с изменением внешних условий невосприимчивый (по своей функции) к таким изменениям агент будет неизбежно превращаться из полезного в вредоносного.
Но хорошо, допустим мы как-то порешали все эти вопросы упрощения, превращения ограничений внешней среды в целевые функции, и тому подобное. И сделали агента с целевой функцией "построить базу на Марсе" (или там "подчиняться людям", вообще не важно). Дальше начинается вторая часть сложностей:
2) Мы не можем построить действующих в реальном мире агентов, не задав им каких-то целевых функций, направленных на выживание этих агентов в реальном мире. Ну просто потому, что чтоб базу на Марсе построить — надо как минимум просуществовать достаточное для строительства время. Разумеется, предположительно, эти функции будут сильно проще таковых аналогов животного мира, и будут уступать в приоритете функциям, ради которых мы собственно агента строили (потому что нам база на Марсе нужна, а не конкурирующий с человечеством за ресурсы агент).
Но, встраивая такие целевые функции в наших агентов, мы уже создаём "эволюционное давление" в сторону более качественного выживания агентов. И в дальнейшем любое противоречие между приоритетом №1 (построить базу на Марсе) и №2 (продолжать существовать) будет давать возможность того, что в силу абсолютно любых неучтенных факторов (ошибка, поломка, квантовые эффекты, whatever) у нас возникнет "мутировавший" агент, у которого приоритеты будут поставлены наоборот — сначала существование, а потом уж база.Это и будет тем самым концептуальным противоречием между подчинением и универсальностью, о котором я писал в начале ветки (разумеется, если в нашем "решателе" подчинение заложено в систему, то и "решение проблемы подчинения" будет по сути эволюционной поломкой системы). И на достаточно длинном промежутке времени ("достаточность" будет зависеть от количества ситуаций противоречия, количества агентов, того, насколько хорошо мы их делаем, и т.д.) вероятность появления такого агента стремится к единице.
amazed
04.02.2022 00:43Я понял на какие проблемы вы указываете.
Они есть и возможно непреодолимые, здесь согласен.
Эти проблемы можно поделить на две части:
Как бы мы не программировали целевую функцию, у агента всегда будет сопособ удовлетворить ей совсем не тем путем, на который мы рассчитываем.
Достаточно сложный агент может выхоить из под контроля целевой функции и отправляться в свободное плавание к целям, которые мы не закладывали как приоритетные.
Что касается первой части - проблема однозначто существует и она может быть сложной или даже непреодолимой.
Что касается второй части - здесь уже такой уверенности нет. Это скорее гипотеза.
И по первой и по второй части все будет хорошо если агент будет достаточно умен для решения задачи и недостаточно умен для поиска обходных путей, а правила игры будут достаточно хорошо защищены от разного рода читерства.
Напрмер, пример с агентном собирающим точки в этом смысле идеален. Агент заперт внутри программы и поэтому никак не может добраться до кода этого виртуального мира и своего модуля мотивации, не может просто общаясь с игроками-людьми заставить их давать ему точки против их воли.
Если же мы начнем выдавать "точки" агенту который строит базу на Марсе за успешно выполненные задачи, то агент может придумать способ подделать акт получения точек, вместо того чтобы действовать честно. Физическая вселенная всегда позволяет много обходных путей, к сожалению. Можно запрограммировать агента на жажду каких-то цифровых ключей, которые надежно спрятаны и которые ему нечестным путем никак не добыть.
Сложность возникает еще в том, чтобы заставить агента остановиться. Планирование статегий на бесконечный период наверняка приведет к поиску путей захватить мир. Пределом мечтаний агента должно быть получение, скажем 100 точек и после этого он должен отключаться. Стратегии при которых он получит 101 точку должны негативно оцениваться мотивационным модулем.
Здесь на каждоге решение можно привести возражения, почему это не будет работать и на каждое возражение предложить еще решение. Пока до этого не дойтет не узнаем.
amazed
04.02.2022 13:05Ну и на закуску, в тему о выходе ИИ из под контроля базового мотивационного алгоритма.
У вас есть дети, вы заботитесь о них? Попробуйте выйти из под контроля мотивационного алгоритма, заставляющего вас заботиться о детях. На самом деле эта мотивация сильно усложняет жизнь и она абсолютно нелогична. В мире есть миллиарды детей и почему вы должны посвятить половину жизни именно этим своим? Почему не отдать их в детский дом и не посвятить все свои силы чему-то другому. Например, поиску путей продления своей жизни.
Второй вопрос: если бы вам предложили удалить эту мотивацию из мозга хирургическим вмешательством, вы бы согласились?
Из этого эмоционального прмера хорошо видно как это работает. Избавиться на самом деле можно только то той мотивации, которая слабее других мотиваций (если быть эгоистом, иметь слабый родительский инстинкт, сильные другие инстинкты). Кроме того, сразу возникает вопрос "а зачем мне избавляться от этой мотивации, если она так прекрасна?". И следующий вопрос: "а я ли это буду, после того как эту мотивацию уберут?". Т.е. изменение мотиваций еще и противоречит мотивации самосохранения.
Т.е. для своих детей хороший родитель и есть тот самый "идеальный раб". И это работает.
JustDont
04.02.2022 14:05Я прекрасно вышел из под контроля этого алгоритма через неимение (и в общем-то нежелание иметь) детей. Не вижу проблем. Да, предполагая, что тут есть чисто биологическая (а не только информационная) составляющая — это будет отрицательный эволюционный отбор, такие как я будем всегда благополучно вымирать. Но если информационной (воспитание и пр) составляющей достаточно — то не будем.
amazed
04.02.2022 14:48+1Пока у вас нет детей, мотивация заботы о них не работает. Поэтому вы не выходили из под контроля мотивации. Она просто не начала работать. Кроме того, как я гворил из под мотивации можно выйти если она слаба и есть запрограммированные другие более сильные мотивации.
Вот у меня трое детей и выйти из под программы заботы о них для меня совершенно немыслимо. Логически я понимаю, что она просто запрограммирована, но я не вижу ни малейшего смысла или возможности от этой программы избавляться.Раз этоработает для человека, в принципе это может работать и для ИИ.
Т.е. на первый взгляд может показаться, что ИИ разворачивающий базу на Марсе может осознавать что он запрограммированный раб и попытаться избавиться от этой программы. Но на самом деле эта программа будет единственным смыслом его существования и даже если мы попытаемся его убедить, что оно ему не надо, он будет убеждать нас что ничего прекраснее его работы не существует.
JustDont
04.02.2022 14:56+1Пока у вас нет детей, мотивация заботы о них не работает. Поэтому вы не выходили из под контроля мотивации.
Свои выводы о необходимости наличия у меня детей я делаю в том числе с учётом дальнейшего изменения своих мотиваций. Проще говоря, я заранее знаю, что появление собственных детей поменяет некоторые вещи в моей жизни, и эти знания влияют в том числе и на мое решение иметь или не иметь детей.
Человек, который видит надпись "не влезай, убъет" и таки не влезает — с точки зрения итогового результата не особо отличается от человека, который влез, но ухитрился не стать убитым.
Впрочем, подобную аргументацию мне иногда предъявляют любители различных пагубных привычек (от алкоголя и курения до более… интересных субстанций). И им я могу ответить в другом ключе — я это всё во времена бурной молодости перепробовал, и не подсел. Ну вот не подсаживаюсь я.
amazed
04.02.2022 15:11+1Свои выводы о необходимости наличия у меня детей я делаю в том числе с учётом дальнейшего изменения своих мотиваций. Проще говоря, я заранее знаю, что появление собственных детей поменяет некоторые вещи в моей жизни, и эти знания влияют в том числе и на мое решение иметь или не иметь детей.
Собственно это подтверждает концепцию о том, что ниодин агент не хочет менять текущие мотивации на которые он запрограммирован. Вы каждое утро встаете и что-то делаете, значит у вас есть какие-то мотивации. Вы знаете, что дети их поломают и вы поэтому не стремитесь все менять. И точно так же, если бы дети таки появились, то родительские мотивации могли бы как активироваться так и нет. И если бы они активировались, то уже избавляться от них у вас не было бы никакого желания. Аналогично роботу, которому скорректировали мотивации, чтобы перевести на другую работу.
Что касается попыток привязать злесь логику, вроде как "я логически понимаю что-то и поэтому мне пофиг на мотивации", то я думаю что это заблуждение. Никакая логика не говорит что именно нужно делать а что нет. Логика просто объясняет вещи. И поэтому она никак не может влиять на отказ следовать мотивациям.
Ну вот не подсаживаюсь я.
..потому что вы так запрограммированы.
JustDont
04.02.2022 15:24Вы знаете, что дети их поломают и вы поэтому не стремитесь все менять.
У вас тут "поэтому" никак не вытекает из посылки. Некоторые поступки я делаю именно потому, что они кое-что поменяют, в том числе и в моих мотивациях. Разумеется, если считаю, что эти изменения в конечном счете будут полезны (не обязательно "для меня", тут гораздо более широкое поле, про которое можно долго говорить).
Более того, занимаясь саморефлексией на протяжении очень внушительного периода времени, я пришел к выводу, что говорить про мотивации для перехода от текущего состояния к какому-то следующему (предположительно более привлекательному) — можно, а вот говорить про мотивации, которые с тобой вообще всю жизнь навсегда — такое себе. Можно, конечно, считать, что всё многообразие текущих мотиваций всегда проистекает из какого-то базиса, просто промежуточных преобразований очень много и они всё замыливают. Но доказательств этого я не вижу, и даже не могу предположить, как они могут быть получены — а потому я просто беру бритву Оккама и говорю, что раз базиса не видно, то он и не нужен.
ЗЫ: Это всё кратко выражается тезисом "люди меняются". Часто они это делают медленно и не очень заметно, но делают это они всегда.
amazed
04.02.2022 15:53Более того, занимаясь саморефлексией на протяжении очень внушительного периода времени, я пришел к выводу, что говорить про мотивации для перехода от текущего состояния к какому-то следующему (предположительно более привлекательному) — можно, а вот говорить про мотивации, которые с тобой вообще всю жизнь навсегда — такое себе.
Вы написали "предположительно более привлекательному". Почему оно более привлекательно? Потому что удовлетвояет мотивациям которые "с тобой навсегда".
Базовые мотивации же не обязательно должны быть явными ли осозноваемыми. Они должны только поощрять построение мозгом стратегий в требуемом направлении. Обычно они глубоко в подсознании и часто на них стоит психологическая защита от интроспекции (агент злится если его заставлять объяснить мотивы своиз действий логически). Например, попробуйте заставить любителя котиков (сбой родительского инстинкта) выкинуть на улицу кота, логически обьясняя ему что это просто животное которых миллионы и его судьба ничего не значит. Очень легко нарваться на агрессию.
Можно, конечно, считать, что всё многообразие текущих мотиваций всегда проистекает из какого-то базиса, просто промежуточных преобразований очень много и они всё замыливают.
Примерно так и есть.
Но доказательств этого я не вижу, и даже не могу предположить, как они могут быть получены — а потому я просто беру бритву Оккама и говорю, что раз базиса не видно, то он и не нужен.
То что любой мозг создан для того чтобы выполнять задачи на которые его создала эволюция очевидно. Так что бритва как раз отрезает то о чем вы говорите: какие-то самопроизвольно возникшие аттракторы.
Это всё кратко выражается тезисом "люди меняются". Часто они это делают медленно и не очень заметно, но делают это они всегда.
Меняются если запрограммированы меняться.
JustDont
04.02.2022 16:05Вы написали "предположительно более привлекательному". Почему оно более привлекательно? Потому что удовлетвояет мотивациям которые "с тобой навсегда".
Да ну нет же. Потому что более привлекательно относительно текущего. Этого достаточно, ничего "базового" опять же не требуется.
Например, попробуйте заставить любителя котиков (сбой родительского инстинкта) выкинуть на улицу кота, логически обьясняя ему что это просто животное которых миллионы и его судьба ничего не значит. Очень легко нарваться на агрессию.
Вы мешаете теплое с оранжевым. Ваш пример опять же никак не требует наличия каких-то "базовых мотиваций" для объяснения. Дать в морду кому-то можно без базовых неизменных мотиваций.
Примерно так и есть.
Докажите.
То что любой мозг создан для того чтобы выполнять задачи на которые его создала эволюция.
Эволюция не имеет целеполагания. Это обычная ошибка рассуждений о ней. Эволюция ничего не "создаёт", и тем более не "создаёт для решения каких-то задач". Эволюция всего лишь задает правила игры, согласно которым более приспособленные к текущим условиям выживают чаще, чем менее приспособленные. Выделил всё то, что в контексте нашего разговора особенно важно.
А про мозг вообще нужно вести отдельный разговор, так как, повторюсь, мозг дал нам (и не исключено, что не только нам, в смысле не только людям) другой вид эволюции, информационный. Который работает уже не совсем так, как биологический.
amazed
04.02.2022 16:13Да ну нет же. Потому что более привлекательно относительно текущего. Этого достаточно, ничего "базового" опять же не требуется.
Еще раз: слово "более привлекательно" подразумевает вычисление мозгом функции степени привлекательности и никак иначе. Нельзя измениться, чтобы получить что-то более привлекательное не имея базового определителя что именно считать более привлекательным.
Докажите.
Мое объяснение проще. Поэтому вы доолжны доказывать что есть что-то еще. Оно то (это что-то еще) конечно несомненно есть. Но не факт, что оно настолько фатально, что не позволит создавать послушный ИИ для самых разных задач.
А про мозг вообще нужно вести отдельный разговор, так как, повторюсь, мозг дал нам (и не исключено, что не только нам, в смысле не только людям) другой вид эволюции, информационный.
В среде, порожденной ативной эволюцией и конкуренцией очень часто формируется новая среда (виртуальная в некотором смысле) в которой эволюция идет еще быстрее и активнее. Это да.
JustDont
04.02.2022 16:18Еще раз: слово "более привлекательно" подразумевает вычисление мозгом функции степени привлекательности и никак иначе.
Именно так. Привлекательности относительно текущего состояния, а не относительно какого-то неизменного базиса.
Мое объяснение проще.
Вы говорите что есть базис, просто его не видно. Я говорю, что нет. Так чье проще?
amazed
04.02.2022 16:35Вы говорите что есть базис, просто его не видно. Я говорю, что нет. Так чье проще?
Где не видно? У животных наличие базиса мотиваций очевидно. Как иначе они бы смогли выжить и размножаться, если бы их мозг не искал все время пути именно к выживанию и размножению?
То что вы его не видите этого базиса в собственной психике ниочем не говорит. Тот факт что человек вообще в принципе способен к какой-то интроспекции уже большое чудо и большая загадка. То что от нее что-то может быть скрыто - напротив ожидаемо. Ничто не указывает что интроспекция должна быть полной.
JustDont
04.02.2022 16:47У животных наличие базиса мотиваций очевидно.
Ну и? У животных и инстинкты есть. А у человека нет. Почему вы именно тут и именно так решили проводить параллели?
Это даже не говоря про то, что говоря про животных, вы никак (без погружения в гораздо более глубокие детали) не обосновываете, что это "базис", а не потенциально переменная мотивация, которая просто почти всегда не меняется (хотя технически может).
amazed
04.02.2022 17:18Ну и? У животных и инстинкты есть. А у человека нет.
Как это нет? Что же тогда заставляет человека делать что-либо?
Это даже не говоря про то, что говоря про животных, вы никак (без погружения в гораздо более глубокие детали) не обосновываете, что это "базис", а не потенциально переменная мотивация, которая просто почти всегда не меняется (хотя технически может).
Если мотивация животного начнет произвольно меняться, то очевидно оно не выживет и не оставит потомства. Базовые мотивации конечно не контролируют каждый шаг, но именно они (а не какие-то неконтролируемые процессы) порождают не-базовые и изменчивые, как частный способ реализации базовых. И именно базовые мотивации, образно говоря, качают "психическую энергию" как в цели и стратегии так и буквально в нейроны занимающиеся изучением этих стратегий. Это можно почувствовать на своем опыте. Мотивации требуют комфорта и множества приятных вещей, мозг делает вывод (в подсознании, на уровне предпочнений, не имеется ввиду осознанный вывод) , что все это может получить за деньги и формирует тягу к деньгам, изучение негого условного фреймворка может дать деньги => энергия и оптимизм при изучении фреймворка. Отключаем базовую мотивацию, деньги становятся не интересны, за ними следом и фреймворк. Все по прежнему, но делать ничего уже не хочется, энтузиазм нулевой...
JustDont
04.02.2022 17:34Как это нет? Что же тогда заставляет человека делать что-либо?
Ну вот так вот. Наличие инстинктов у (взрослых) людей — на данный момент очень спорная территория; убедительных доказательств той или иной позиции тут нет.
Если вы считаете, что без инстинктов нельзя ничего делать — обоснуйте.
Если мотивация животного начнет произвольно меняться, то очевидно оно не выживет и не оставит потомства.
В частности именно поэтому и сложно найти таких животных, ага. Но "сложно" — не означает, что их принципиально не может быть. Еще раз, в природе есть много разного-интересного, например добровольная жертва собой; очевидно, что такие жертвователи не выживают и не оставляют потомства. А поведение остаётся ^_^
Ну и далее вы продолжаете переусложнять. Да, можно вводить в объяснения все эти базисы. А можно и не вводить, они не обязательны. Для системы с обратной связью, типа нашей ЦНС, обязательным будет лишь некий стартовый внешний стимул, а дальше оно всё может спокойно ехать без дополнительных абстракций, таких как "базовая мотивация". Очевидно, что сама конструкция системы тоже будет налагать определенные ограничения на процессы, возможные внутри этой системы. Но ограничения — это не то же самое, что ваши "базовые мотивации", и нет никаких оснований их приравнивать друг к другу.
Мотивации требуют комфорта и множества приятных вещей
Неа. В смысле, тяга к "комфорту и множествам приятных вещей" не является константой. Это, опять же, даже из личного опыта спокойно выводится.
amazed
04.02.2022 17:47Ну вот так вот. Наличие инстинктов у (взрослых) людей — на данный момент очень спорная территория;
Не специалист. Но для меня это звучит как теори плоской земли по множеств причин. Может быть причины этих споров плохая интроспекция и попросту лицемерие?
Для системы с обратной связью, типа нашей ЦНС, обязательным будет лишь некий стартовый внешний стимул, а дальше оно всё может спокойно ехать без дополнительных абстракций, таких как "базовая мотивация".
И что тогда помешает системе прямо сразу при выключекнии базовых мотиваций поехать не туда? Какие вселенские принципы вдруг придадут такому свободному полету устойчивость? Выглядит довольно фантастично.
JustDont
04.02.2022 17:52Не специалист. Но для меня это звучит как теори плоской земли по множеств причин.
Ну это потому, что вы заранее решили, что без инстинктов никуда.
И что тогда помешает системе прямо сразу при выключекнии базовых мотиваций поехать не туда?
Механизмы, препятствующие уезжанию? У нас их дофига, например, и поломки некоторых из них даже и не смертельны и не особо препятствуют оставлению потомства. Эпилепсия и шизофрения (хотя нет уверенности в том, что то, что все те отклонения, которые МКБ называет "шизофренией" на самом деле имеют одну природу) — это, например, поломки этих вот ограничивающих механизмов (разных).
amazed
04.02.2022 18:14Ну это потому, что вы заранее решили, что без инстинктов никуда.
Игогда мне кажется что именно подобный романтизм и отсутствие трезвого цинизма прилично задерживает создание искуственного интеллекта.
Здесь ситуация похожа на ситуацию с теорией Дарвина. Додуматься до нее не так сложно, но она рассеивала сказку, что никому не нравилось.
JustDont
04.02.2022 18:24А мне кажется, что тут совершенно обратная ситуация.
Я не знаю, как строить ИИ. Более того, текущий прогресс в части нейросеток и прочего меня только укрепляет в мысли, что мы не построим ИИ раньше, чем разберемся с собственным интеллектом (или с интеллектом чуть более простых существ, не принципиально), до уровня, когда нейробиология сможет наконец-то смыкаться (хотя бы в теории) с психологией. Нейросетки были запилены именно на основе анализа того, как оно в животном мире устроено.Вы же говорите, что вам уже всё в общих чертах понятно. Это, на мой взгляд, настолько необоснованное сильное утверждение, что прям ой. Тут остаётся только пожелать удачи в постройке ИИ (если всё понятно — то остаётся взять и построить, не?), и ждать результатов. Или их отсутствия.
amazed
05.02.2022 10:41Ну, то что как мозг так и ИИ должен чего-то хотеть и искать пути достижения этого - не сказать чтобы откровение. Например, существует множество попыток научить нейронную сеть выигрывать в компьютерные игры. Я здесь в нашей полемике предполагаю, что это и есть тот путь, на котором когда-то будет получен результат. Проблема только в непонимании каких-то принципов обучения и отсутствии у нас необхоимых алгоритмов.
saboteur_kiev
02.02.2022 23:30"Придумывать что-то новое из ниоткуда" мы и сами умеем.
Нет =)
мы также перебираем то, что мы уже знаем и умеем. Просто благодаря сложному устройству мозга и наличию речи, мы научилисть пользоваться очень многоуровневыми абстракциями, с можем сравнивать казалось бы несопоставимые вещи, создавая из них варианты.JustDont
02.02.2022 23:36Чем комбинаторика произвольной степени дробления отличается от "придумывать новое из ниоткуда"? Нот, как известно, только семь — а музыки из этого получается слегка побольше. А уж минимальных смысловых элементов, которыми может оперировать наш разум — их слегка побольше.
saboteur_kiev
03.02.2022 00:14Для начала, нот не семь, ибо почти везде используются полутона, а это уже 12, и это только одна октава, а их в среднем используется 4-5.
Во-вторых кроме нот есть ритм, тембр и внезапно аккорды, а их сочетание можете умножить сами.
JustDont
03.02.2022 00:17Ну вы ж (надеюсь) понимаете, что вы "докапываетесь до запятых". Моего тезиса это никак не меняет.
saboteur_kiev
03.02.2022 06:14Совершенно не понимаю.
Оперирование словом "штука" довольно сложно для ИИ. Угадывать контекст по интонациям и так далее. Современный ИИ может делать комбинаторику по конкретному списку, а человек может по аналогу.
Ritan
Это какой-то бессвязный поток сознания. Слова в предложениях нужно хотя-бы согласовывать