Нейросеть нейросетей


Изображение brentsview под лицензией CC BY-NC 2.0

В мозг поступает информация из внешнего мира, его нейроны получают данные на входе, производят обработку и выдают некий результат. Это может быть мысль (хочу карри на ужин), действие (сделать карри), изменение настроения (ура, карри!). Что бы ни получилось на выходе, это «что-то» является преобразованием данных со входа (меню) в результат на выходе («куриный дхансак, пожалуйста»). И если представлять мозг как преобразователь с входом в выходом, то неизбежна аналогия с компьютером.

Для одних это просто полезный риторический приём, для других — серьёзная идея. Но мозг — это не компьютер. Компьютером является каждый нейрон. В коре головного мозга 17 миллиардов компьютеров.

Посмотрите на это:


Пирамидальный нейрон, спроецированный в 2D. Чёрное пятно посередине — это тело нейрона, а остальные провода — его дендриты. Изображение: Ален Декстеше

Это изображение пирамидального нейрона. Такие клетки составляют большую часть коры вашего мозга. Пятно в центре — тело нейрона, а во все стороны тянутся и ветвятся дендриты, извилистые провода, которые собирают входные данные от других близких и далёких нейронов. Входные данные поступают по всей длине каждого дендрита, некоторые прямо рядом с телом, а другие далеко на кончиках. Важно, куда именно поступит сигнал.

Многие не понимают, насколько важно местоположение входных данных. Обычно работу нейронов сводят к идее простого сумматора. В этой идее дендриты — просто устройства для сбора входных данных. Активация каждого входа в отдельности немного изменяет напряжение тока в электрической нейросети. Если суммировать ток со всех дендритов, то генерируется дендритный потенциал действия (спайк), который спускается по аксону и станет входом для других нейронов.


Модель нейрона с суммированием входных сигналов и генерацией дендритного потенциала действия, если сумма входов превышает порог (серый круг)

Это удобная ментальная модель, она лежит в основе всех искусственных нейронных сетей. Но она неправильная.

Дендриты — не просто кусочки проволоки. У них тоже есть собственное устройство для генерации спайков. Если на одном небольшом участке дендрита активировано достаточное количество входов, то они будут усилены:


Два цветных сгустка — это два входа в один участок дендрита. Когда они самостоятельно активируются, каждый порождает отклик. Серая стрелка на рисунке указывает на активацию этого входа (отклик здесь означает «изменение напряжения»). При совместной активации отклик больше (сплошная линия), чем сумма отдельных входов (пунктирная линия)

Соотношение между количеством активных входов и размером отклика на небольшом участке дендрита выглядит следующим образом:


Размер отклика в одной ветви дендрита в ответ на увеличение числа активных входов. Локальный «спайк» — это резкий скачок от минимальной к большой реакции

Мы видим локальный всплеск: внезапный скачок от почти нулевой реакции на несколько входов к очень большой реакции с добавлением ещё одного. Этот участок дендрита работает «надлинейно», здесь 2+2=6.

Мы много лет знаем об этих локальных всплесках на отдельных участках дендрита. Мы видели спайки в нейронах на срезах мозга. Мы видели их у животных под наркозом, которым щекотали лапы (да, мозг без сознания ещё что-то чувствует; просто не утруждает себя ответом). Совсем недавно мы видели их в дендритах нейронов у животных в движении (да, Мур с коллегами зафиксировали ЭМ-поле в нескольких микрометрах от мозга бегающей мыши; сумасшедший, правда?). Дендриты пирамидального нейрона действительно генерируют спайки.



Но почему этот локальный всплеск меняет наше представление о мозге как о компьютере? Потому что у дендритов пирамидального нейрона много отдельных веток. И каждая способна вычислить результат и выдать всплеск. Это означает, что каждая ветвь дендрита действует как небольшое нелинейное выходное устройство, суммируя и выводя локальный всплеск, если эта ветвь получает достаточное количество входов примерно в одно время:


Дежавю. Одна дендритная ветвь действует как небольшое устройство для суммирования входов и выдачи всплеска, если одновременно поступило достаточно входов. И преобразование от входа к выходу (серый круг) — тот же график, который мы уже видели выше, определяющий силу спайка

Погодите. Разве это не наша модель нейрона? Да, это она. Теперь, если заменить каждую маленькую ветвь дендрита одним из наших маленьких «нейронных» устройств, то пирамидальный нейрон выглядит примерно так:


Слева: много дендритных ветвей нейрона (сверху и снизу от тела). Справа: получается, что это набор нелинейных суммирующих устройств (жёлтые ящики с нелинейными выходами), которые выводятся в тело нейрона (серый ящик) и суммируются там. Что-то знакомое?

Да, каждый пирамидальный нейрон представляет собой двухслойную нейронную сеть. Сам по себе.

Прекрасная работа Поирази и Мела ещё в 2003 году явно показала это. Они построили сложную компьютерную модель одного нейрона, имитируя каждый маленький кусочек дендрита, локальные всплески внутри них, и как те спускаются к телу. Затем они напрямую сравнили выход нейрона с выходом двухслойной нейронной сети — и они оказались одинаковыми.

Необычайное значение этих локальных всплесков в том, что каждый нейрон является компьютером. Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функций, которые он просто суммирует и выдаёт спайк. Например, с четырьмя входами (синий, море, жёлтый и солнце) и двумя ветвями, действующими как маленькие нелинейные устройства, пирамидальный нейрон может вычислить функцию «связывания признаков»: реагировать на сочетание синего и моря или на сочетание жёлтого и солнца, но не реагировать иначе, например, на синий и солнце или жёлтый и море. Конечно, у нейронов гораздо больше четырёх входов и гораздо больше двух ветвей: таким образом, они способны вычислять астрономический диапазон логических функций.

Совсем недавно Ромен Кейз с друзьями (я один из друзей) показали, что единственный нейрон вычисляет удивительный диапазон функций, даже если не способен сгенерировать локальный дендритный всплеск. Потому что дендриты, естественно, не линейны: в своём нормальном состоянии они фактически суммируют входные данные, получая результат меньше, чем сумма отдельных значений. В таком режиме они работают сублинейно, то есть 2+2 = 3,5. И наличие многих дендритных ветвей с сублинейным суммированием также позволяет нейрону действовать как двухслойная нейронная сеть. Двухслойная нейронная сеть, которая вычисляет различный набор нелинейных функций, построенный по нейронам с надлинейными дендритами. И почти у каждого нейрона есть дендриты. Таким образом, почти все нейроны в принципе могут быть двухслойной нейронной сетью.



Другое удивительное следствие локального всплеска состоит в том, что нейроны знают о мире намного больше, чем говорят нам — или другим нейронам, если уж на то пошло.

Недавно я задал простой вопрос: как мозг распределяет информацию? Когда мы смотрим на проводку между нейронами в мозге, мы можем проследить путь от любого нейрона к любому другому. Как же тогда информация, очевидно доступная в одной части мозга (скажем, запах карри), не появляется во всех других частях мозга (например, в зрительной коре)?

На это есть два противоположных ответа. Во-первых, в некоторых случаях мозг не разделён: информация действительно появляется в странных местах, например, звуки доходят до области мозга, которая отвечает за ориентирование на местности. И другой ответ: мозг разделяют дендриты.

Как мы только что видели, локальный всплеск является нелинейным событием: он больше, чем сумма входов. И тело нейрона в основном не может обнаружить ничего, что не является локальным всплеском. Это означает, что оно игнорирует большую часть входных данных: тот участок, который генерирует импульс для остальной части мозга, изолирован от большей части информации, которую получает нейрон. Нейрон реагирует только тогда, когда много входов активны одновременно во времени и пространстве (на одном и том же участке дендрита).

В таком случае получается, что дендриты реагируют на то, на что не реагирует нейрон. Именно это и происходит. Мы видели, как в зрительной коре многие нейроны реагируют только на объекты, которые движутся под определённым углом. В некоторых нейронах генерируются спайки при движении объекта под углом 60°, в других 90° или 120°. Но дендриты реагируют на все углы без исключения. Дендриты знают гораздо больше об окружающем мире, чем тело нейрона.

Они также видят гораздо больше. Нейроны зрительной коры реагируют только на вещи в определённом месте: один нейрон может реагировать на объекты слева вверху, другой — на объекты справа внизу. Совсем недавно Соня Хофер с коллегами показали, что всплески нейронов происходят только в ответ на объекты, появляющиеся в одном определённом положении, но дендриты реагируют на множество различных положений, часто далёких от специализации нейрона. Таким образом, нейроны реагируют только на небольшую часть полученной информации, а остальная информация спрятана в их дендритах.



Почему всё это важно? Это означает, что каждый нейрон может радикально изменить свою функцию, сменив всего несколько входов. Некоторые входы становятся слабее — и внезапно целая ветвь дендрита замолкает. Нейрон, который раньше был рад видеть кошек, потому что эта ветвь любила кошек, больше не реагирует, когда ваша кошка запрыгнула на клавиатуру работающего компьютера — и в результате вы стали гораздо более спокойным, собранным человеком. Несколько входов усиливаются — и внезапно целая ветвь начинает реагировать: нейрон, который раньше не реагировал на вкус оливок, теперь радостно генерирует всплески, когда фиксирует полный рот спелых зелёных оливок — по моему опыту, этот нейрон активируется у человека только после 20 лет. Если бы входы просто суммировались, то новые входы сражались бы со старыми за функцию нейрона; но каждый участок дендрита действует независимо и легко производит новые вычисления.

Это означает, что мозг может производить множество вычислений. Нельзя считать нейрон просто сумматором входных данных и генератором всплесков. Но именно так устроены юниты в искусственных нейронных сетях. Это говорит о том, что глубокое обучение и другие системы ИИ даже не приблизились к вычислительной мощи реального мозга.

В коре головного мозга 17 миллиардов нейронов. Чтобы понять, что они делают, мы часто проводим аналогии с компьютером. Некоторые аргументы полностью основаны на этой аналогии. Другие считают её заблуждением. В пример часто приводят искусственные нейросети: они производят вычисления и состоят из нейроноподобных вещей, поэтому и мозг должен вычислять. Но если мы думаем, что мозг — это компьютер, потому что он подобен нейронной сети, то теперь мы должны признать, что отдельные нейроны тоже являются компьютерами. Все 17 миллиардов в коре. Возможно, все 86 миллиардов в мозге.

Это значит, что кора головного мозга — не нейронная сеть. Это нейросеть из нейросетей.

Комментарии (150)


  1. pilot911
    26.03.2019 18:20
    -4

    в будущем окажется, что у человека есть душа, где роются мысли, а нейроны — только связующие с этим «эфиром»


    1. AN3333
      26.03.2019 22:26

      Находят неожиданные вещи. А вот примеров, что подтвердили нечто ранее отвергнутое что-то не припоминается.


      1. Peacemaker
        27.03.2019 14:45

        Гелиоцентрическая система разве не подходит?


    1. poxvuibr
      26.03.2019 23:18

      Это, кстати, взгляд Дэвида Чалмерса


    1. codecity
      27.03.2019 00:17

      в будущем окажется

      К тому времени для вас этот вопрос потеряет актуальность.


    1. c0f04
      27.03.2019 10:17

      в будущем окажется, что у человека есть душа, где роются мысли, а нейроны — только связующие с этим «эфиром»

      На самом деле, Ваше будущее местами далеко в прошлом. Ещё Декарт в 16-м веке разделял дух и тело, выдвинув предположение, что у человека внутри некие трубки (нервы) с нитями (сигналы), которые могут натягиваться в зависимости от внешних воздействий, открывая клапаны в мозг (по сути, нейроны). А через клапаны текут «животных духи». Вообщем, он был почти прав, но тогда не знали о существовании электрического поля. Так что электрическое поле давно открыли.

      А отсутствие эфира, в котором передаются электромагнитные волны доказали ещё при жизни Эйнштейна.


  1. vsantonov
    26.03.2019 20:00

    Все именно так, а сознание это оркестратор этих нейросетей, который получает от них «прогнозы» на основе опыта. И чем опыт был определеннее в данной ситуации, тем точнее прогноз. Грубо говоря мозг состояит из миллиардов заточенных под узкую задачу микропрограмм, а одна мастер программа-сознание, не имеет четкой специализации.


    1. Graf54r
      26.03.2019 20:03
      +4

      т.е. наш мозг построен на микросервисах?! шах и мат монолитсты!


      1. tuxi
        26.03.2019 21:32

        Да щаз! Блок питания то один! :)


      1. vsantonov
        26.03.2019 21:59

        Вот тут я описал подробнее. Причем, чем мы больше информации подаем на вход определенной функции, тем точнее она работает в будущем. Например, мы очень хорошо отличаем лица людей, потому что занимаемся этим с рождения на выбраной группе людей (европейцы), попадая же в чужую группу, о которой у нас мало информации (азиаты), мы считаем их «на одно лицо», да еще и не доверяем, потому что считывать их эмоции для нас сложнее, нейросеть не накопила достаточно информации об эмоциях на этом типе лиц. В целом, с возрастом, любая новая информация воспринимается, как потенциально опасная, ведь все что с нами уже произошло мы знаем и записали, а вот чего не произошло черт его знает, вспомогательные системы советуют сознанию, на всякий случай, избежать контакта с неизвестным. Очень много аспектов нашего поведения как вида, происходит от механизмов работы мозга. Консерватизм мышления, расисзм, проблемы отцов и детей, все растет оттуда, от древовидной микросервисной структуры нашего мышления.


        1. zirix
          27.03.2019 17:06

          Например, мы очень хорошо отличаем лица людей, потому что занимаемся этим с рождения

          Нет. Люди хорошо различают лица т.к. у нас для этого процесса есть специальная зона в мозге. И если эта зона не работает, то возникает болезнь Прозопагнозия.
          Именно эта зона заставляет нас видеть лица в любых предметах с 3 точками


          1. sith
            27.03.2019 22:49

            Они отличаются друг от друга не меньше, чем европейцы.

            Если говорить строго, то азиаты больше похожи друг на друга — у них один и тот же цвет волос и глаз, в отличии от.


            1. zirix
              27.03.2019 23:51

              Если строго, то да. В остальном сильно заметных отличий много, даже форма глаз отличается.
              Лично для меня корейцы и китайцы не выглядят близницами, даже дети одного возраста.


            1. torbasow
              28.03.2019 10:21

              Строго говоря, не всегда. Был не так давно скандал, когда в японской школе японскую девочку пытались заставить красить волосы в чёрный, чтобы не выделяться.


          1. vsantonov
            27.03.2019 23:43
            +1

            А вы думаете если эту зону не тренировать, она сама будет различать лица с day0? Мы видим лица именно потому что зона мозга, та самая мини программа по распознанию лиц тренируется годами и да, китайцы отличаются именно когда проведешь там немного времени и опять же подашь данных на нейросеть отвечающую за обработку лиц, добавив туда данные об азиатах.


            1. zirix
              28.03.2019 00:14

              Обучается ли эта «программа» вряд ли кто скажет, наверное да. Но то, что она работает с day0 это факт. Эта зона уже знает по каким признакам различать лица (в основном глаза + брови и рот) и предоставляет значение этих признаков.

              Есть и другие аналогичные штуки. Например есть зона отвечающая за определение движения объектов. Если она повреждена вам будет сложно определять в какую сторону движется объект и сам факт движения. (люди с такими повреждениями есть)
              И эта зона готова к работе при рождении, обучать ее не нужно.


              1. vsantonov
                28.03.2019 00:26

                Я допускаю, что какие-то функции hardcoded в определенных разделах мозга. В конце концов мы не учимся управлять сердцем или дыханием, эти умения есть сразу. Но существуют кейсы вроде этого, значит мы можем перепрофилировать участки для сохранения жизненных функций.


          1. sim31r
            28.03.2019 11:21

            Нет. Люди хорошо различают лица т.к. у нас для этого процесса есть специальная зона в мозге.

            Если дело касается мозга, тут нет ничего однозначного. Нет на 50%, а на 50% это обучение этой области мозга. Пример с китайцами для нас актуален, а для китайцев все белые одинаковы, пока эта область мозга не обучится находить отличия. Нужна некоторая тренировка, даже при наличии специальной зоны в мозге.
            Были эксперименты с котятами например
            В учебнике общей психологии был описан такой эксперимент: котят помещали в так называемую вертикальную среду (котята сидели в темноте, и свет зажигали ненадолго, при этом в пустом помещении имелись только вертикальные полоски на стенах). По окончании сензитивного периода их помещали в обычную среду. Оказалось, что такие котята не видят горизонтальные предметы, то есть если швабра стоит, то котенок может ее обойти, если она лежит, то он на нее натыкается. Это происходит потому, что в коре не образовались связи, реагирующие на горизонтальные предметы. То есть сигнал, поступивший через глаза и далее через боковое коленчатое тело, просто не может быть обработан в коре, он не распознается. Этот пример говорит о том, что животное, в частности человек, который в сензитивный период (до 3-5 лет) не получил богатый сенсорный опыт, будет ограничен в развитии своих интеллектуальных способностей. Пример – дети-Маугли, которых находили в возрасте 5-7 лет, не способных уже научиться говорить.


  1. struvv
    26.03.2019 20:16
    +1

    Кроме всего вышеописанного не учитывается, что нейрон это таки не просто сумматор, это клетка, которая сама по себе очень сложна. Даже так — ОЧЕНЬ сложна. И от внутреннего состояния этой клетки зависит то, как работает нейрон. А внутреннее состояние клетки зависит не только и не столько от электричества, но и от того какие молекулы находятся возле нейрона, внутри нейрона и где именно они находятся, все вместе одновременно. А что именно окружает нейрон и находится внутри нейрона зависит как от него самого, так и от окружающих нейронов и даже совсем других органов, находящихся в совсем другом месте

    Аналогия в виде математической нейросети была введена по той-же причине, по которой когда-то был введён «теплород» — для некоторого упрощения. Некоторое=бесконечное, зато считать удобней


    1. fivehouse
      26.03.2019 21:28

      И от внутреннего состояния этой клетки зависит то, как работает нейрон. А внутреннее состояние клетки зависит не только и не столько от электричества, но и от того какие молекулы находятся возле нейрона, внутри нейрона и где именно они находятся, все вместе одновременно. А что именно окружает нейрон и находится внутри нейрона зависит как от него самого, так и от окружающих нейронов и даже совсем других органов, находящихся в совсем другом месте
      Еще сильнее напугаю читающих. Уже через 5-6 минут поведение нейрона существенно может измениться от записанного в ДНК и в зависимости от полученной дифференциации в ходе развития организма. А через 10 минут нейрон может вообще запустить программу самоликвидации или начать переползать в другое место в мозгу на основании кода в ДНК.


      1. perfect_genius
        26.03.2019 22:12

        Не удивлюсь уже, если нейрон умеет и переписывать собственную ДНК. Или не только собственную — как бы не обнаружилось, что обмениваются ими друг с другом.


        1. struvv
          26.03.2019 23:15

          1. DaylightIsBurning
            27.03.2019 17:02

            … и принципиально не отличается от hardware нейрочипов.


            1. struvv
              28.03.2019 10:18

              Отличается на уровне разницы между sim city 4 и реального города. Сим сити тоже можно назвать принципиально не отличающимся, но это будет чистая ложь


        1. fivehouse
          27.03.2019 20:33
          +1

          Собственную ДНК нейрон конечно переписывать не может никак. Активировать/деактивировать некоторые отрезки до определенной степени конечно может. Но переписывает, дописывает, существенно модифицирует (с передачей потомкам) только эволюция и модификация вирусами.


          1. DaylightIsBurning
            27.03.2019 21:20

            Вы правы, но существенной разницы между метилированием и переписыванием нет. Можно сказать, что ДНК кодирует много версий програмы, а метилирование отключает ненужные ветки, что равнозначно переписыванию т.к. существенно меняет алгоритм.


            1. fivehouse
              27.03.2019 23:33

              Нет, это не так. Аналогия между алгоритмом и ДНК тут ломается. Переписывание ДНК эволюцией позволяет получать принципиально новые программы. А метилирование/деметилирование может только включать/выключать имеющийся код, который раннее был отработан эволюцией во включенном состоянии. И метилирование/деметилирование очень слабо передается потомкам. В то время как код ДНК передается в полном виде, с учетом случайной комбинации кода родителей.


    1. DaylightIsBurning
      27.03.2019 17:06

      Это всё гипотезы. Теоретически сложность логической функции нейрона может быть очень большой, ограниченной лишь его атомистической сложностью. Но есть ли причины считать, что так и есть? Мне такие причины неизвестны. Более того, без пруфов это выглядит маловевероятным.


      1. sim31r
        28.03.2019 02:17

        Не может. На кодирование нейрона в ДНК прописано не так много информации, несколько генов, килобайты информации. Грубо говоря там указано, берем типовую клетку, типовой обмен веществ, только с одного боку выращиваем дендриты, с другой аксоны и всё на этом. Ну и множество подсказок в каком направлении выращивать, в зависимости от местоположения нейрона.
        Если бы каждый атом был бы функционален, на кодирование нейрона требовались бы террабайты информации, и механизмы формирования типа наноассемблера, чего и близко нет.


        1. DaylightIsBurning
          28.03.2019 02:38

          Согласен, но я давал верхнюю оценку, что бы не спорить лишний раз.


        1. struvv
          28.03.2019 11:50

          ДНК не является ВСЕМ, что влияет на то, как будет работать нейрон в будущем или настоящем, это искажённое инженерное восприятие влияет на такое ошибочное представление, что вот есть ДНК и это и есть код, который описывает как работает клетка. А на деле ДНК это лишь часть информации о том, как работает клетка, равнозначная информации о том, где расположены митохондрии и что находится внутри них, какие рядом с клеткой есть молекулы и так далее.


          Природа не работает по SOLID принципам для удобство человеческого воспрития отдельными слоями абстракции


          1. sim31r
            28.03.2019 14:32

            В обычных условиях ДНК описывает всю работу клетки. Если создать условия, например высокие или низкие температуры, то, конечно, нейрон начнет работать совсем не так, как это записано в коде ДНК. Скорее всего нейрон погибнет просто или деформируется. Нормальный рабочий режим полностью определен ДНК клетки любой (не важно нейрон это, мышечная клетка или растительные волокна в растениях). Если там не прописан синтез белка, его и не будет. Если там прописана реакция на какие-то входные воздействия, они будут осуществляться. Инженерное восприятие, только не искаженное, вроде.


          1. DaylightIsBurning
            28.03.2019 15:39

            равнозначная информации о том, где расположены митохондрии
            равнозначность требует доказательства. Никакой равнозначности там нет и близко.
            какие рядом с клеткой есть молекулы и так далее
            не имеет существенного значения для сложности. Развитие некоторых клеток устойчиво в широких пределах изменения среды. Это доказывает, что вся основная сложность записана в ДНК.
            ДНК не является ВСЕМ, что влияет на то, как будет работать нейрон в будущем или настоящем
            Это вообще не имеет никакого отношения к дискуссии. Структура нейросети тоже не является ВСЕМ, важно ещё то, какие картинки ей скармливать в процессе обучения. Мы говорим о принципиальной схеме.
            есть ДНК и это и есть код, который описывает как работает клетка
            Именно так. Вы пока что не показали ни одного существенного отличия между комплексом «ДНК+гамета» и системой «прошивка+ПК». Данные, которые поступают в программу в процессе её работы для этой аналогии ничего не меняют.


            1. struvv
              28.03.2019 16:50

              Равнозначность требует такого же доказательства как и не равнозначность.


              Но допустим упростим всё только до ДНК и её метилирования. Итого у нас есть нейрон, поведение которого Тьюринг полное и его состояние, которое описано 1.5гб кода с метилированием уникальным для именно этого нейрона, которое занимает десятки мегабайт и не может быть в отличие от ДНК быть shared состоянием.


              Остаётся симулировать 17 млрд небольших Тьюринг полных девайсов с немалой собственной памятью и состоянием, которое постоянно меняется как от внешних взаимных факторов, так и от внутренних.


              1. sim31r
                28.03.2019 18:31

                В статье про метилирование нет ни одного намека что нейроны сами себе что-то способны метилировать. Пишут что метилирован 1% ДНК всего. Как я понял механизм нужен для формирования специализированных клеток из стволовых.
                Неуместное метилирование противоопухолевых генов вообще, одна из основных причин рака.


                1. DaylightIsBurning
                  28.03.2019 19:01

                  Недавно были исследования, где вроде бы нашли свидетельства, что метилирование в нейронах связано с памятью.


                  1. sim31r
                    29.03.2019 00:48

                    Ну да, есть такие стать, давние правда и сложные
                    Пример 1, пример 2, пример 3.


                    1. DaylightIsBurning
                      29.03.2019 01:22

                      Первый пример 2018 года. Вот еще 4 примера за последние 3 года:
                      www.ncbi.nlm.nih.gov/pmc/articles/PMC4836967
                      www.ncbi.nlm.nih.gov/pmc/articles/PMC5291841
                      www.nature.com/articles/nn.4194
                      www.ncbi.nlm.nih.gov/pmc/articles/PMC5473107


                      1. sim31r
                        29.03.2019 10:32

                        Метилирование ДНК регулирует синаптическое масштабирование

                        Интересно, но вроде как не делает из нейрона нейронную сеть. Метилирование помогает настраивать веса синапсов?


                        1. DaylightIsBurning
                          29.03.2019 12:56

                          Метилирование помогает настраивать веса синапсов?
                          видимо, да. Про логическую сложность нейрона там вроде ничего нет.


              1. DaylightIsBurning
                28.03.2019 19:08

                Ну да, вполне себе обозримая задача при сегодняшних технических возможностях.

                занимает десятки мегабайт
                Откуда такая оценка? Но даже если она верна, то 17*10^9*10^7 byte = 170 Petabyte, это примерно объем хранилища одного суперкомпьютера сегодня.
                Такой суперкомпьтер включает примерно 10^14-10^15 транзисторов, по 10000 транзисторов на «нейрон».


                1. struvv
                  28.03.2019 19:55

                  Ограничение хабра и мобильной версии — нельзя отредактировать — 17 триллионов конечно же, нужно 170 000 петабайт памяти с одновоеменным доступом 17 триллионов Тьюринг полных девайсов и еще памятью на всю сеть между такими девайсами


                  1. DaylightIsBurning
                    28.03.2019 20:20

                    Ну это если считать, что целых 10 мегабайт на синапс нужно. Откуда такие данные? Если брать даже 10 мегабайт на нейрон, то получается 80*10^9 * 10^7 byte = 800 Petabyte, для сравнения Youtube сохраняет примерно 100 PB в год, возможно уже больше.


                    1. struvv
                      28.03.2019 20:45

                      Вообще все эти схемы на ходу так или иначе очень не точны.


                      Более менее грубая оценка мне видится такой
                      Размер ДНК оперативный процент метилирования цена указания на отключенный участок + число белков* цену в памяти на каждый включая место в транспортной сети + электрический потнциал во всех участках, которые электрически имеют разный потенциал плюс указание на всё то множество мест, где синапсы как-то касаются, плюс координаты каждой сигнальной молекулы и учет их транспорта в межклеточном пространстве.


                      И это расходы на ram. «Вычисления» нейрона происходят не при помощи ДНК, как я много раз говорил, а при помощи тех молекул, котоыре произведены на основе ДНК. Расположение и «механическое» действие таких белков это и есть то, что прямо влияет на поведение клетки и это потребует память, которая постоянно состояние


                      1. DaylightIsBurning
                        28.03.2019 20:56
                        +1

                        С учётом скорости работы нейронов даже HDD будет достаточно, RAM не нужна.

                        «Вычисления» нейрона происходят не при помощи ДНК, как я много раз говорил, а при помощи тех молекул, котоыре произведены на основе ДНК
                        А я уже много раз отвечал, что это не имеет значения, так же можно сказать, что в транзисторе вычисления происходят при помощи тех электронов и ионов, которые в него входят.


  1. zim32
    26.03.2019 20:24
    +3

    Я еще где-то слышал что большой процент мозга занят тем что постоянно стабилизирует работу всего мозга чтобы не было всяких эпилепсий и прочего. Интересно было бы узнать подробнее.


  1. DmitriyN
    26.03.2019 21:46
    +1

    Так себе аналогия. С таким же успехом можно назвать логические вентили компьютерами и сказать, что в современной большой системе на кристалле находится несколько миллиардов компьютеров.


    1. struvv
      26.03.2019 22:03

      нейрон это всё таки не аналог вентиля, сумматора и так далее. Сложность одного нейрона настолько огромна, что его логическую полную логическую копию в данный момент не может создать цивилизация. Нейрон это клетка, то есть в технологических терминах самовоспроизводящаяяся наномашина с молекулярными фабриками, транспортными сетями, и ДНК, которая является сама по себе компьютером-в-молекуле: метилирование


      1. DmitriyN
        26.03.2019 22:30
        +1

        Это безусловно так, клетки — это потрясающие наномашины. Но сколько внутренних процессов релевантно вычислительным функциям, а сколько нет — это вопрос. Скорее всего, не так уж много (по сравнению с их общим количеством). Так-то в транзисторах тоже много каких процессов происходит. Конечно не таких сложных, но все-таки.


        1. I-denis
          26.03.2019 22:36

          открыт, закрыт, открыт пропорционально сигналу на входе?


          1. DmitriyN
            26.03.2019 23:37

            Вы откройте код какой-нибудь современной модели транзистора, типа BSIM4 и посмотрите хотя бы на ее объем. И это при том, что она не будет учитывать ни динамику зарядовых ловушек в затворе, ни hot carrier injection процессы, ни баллистический транспорт в канале ни кучу других эффектов.


            1. struvv
              27.03.2019 00:16

              Тем не менее транзистор в современном процессоре плюс минус размером как раз с молекулярную фабрику внутри клетки.


              Это битва уровня технологий «глиняный горшок» и звездолёта


              И нейрон не является вентилем или транзистором, либо их аналогом, он не работает по вышепредложенной математической модели «открыт/закрыт» пропорционально сигналу на входе. Почему нейрон выдаёт спайк или не выдаёт — очень сложный вопрос и упрощение из-за этой сложности модели нейрона до аналога из мира, который разработал человек — большая ошибка и огромная недооценка


              1. sim31r
                27.03.2019 01:47

                В проекте OpenWorm вроде как симулирую червя, со всеми его 302 нейронами.
                Вот тут и тут по симуляции одноклеточных и многоклеточных.
                Сложно моделировать нейроны только до тех пор, пока нет упрощенной модели, при наличии модели всё упрощается. Аналогично и с транзистором, реле или радиолампой, неизвестную модель нужно моделировать с огромной детализацией, а когда получены вольт-амперные характеристики, модель упрощается на много порядков, можно парой алгебраических операций описать.


                1. struvv
                  27.03.2019 09:51

                  я этот проект изучал — симуляция там настолько же точна, насколько точна симуляция города в SimCity4, брошенная игроком.


                  Внешне что-то где-то похожее, но не более того


                  1. sim31r
                    27.03.2019 12:37

                    Так и черви не являются копией друг друга, внешне похожи, но поведение будет различаться, в зависимости от генов, температуры, влажности, питания и т.п.


                    1. fivehouse
                      28.03.2019 15:15
                      -2

                      Результат проекта OpenWorm не просто смехотворный, а уничижающе смехотворен. Налабали тележку с моторчиком и заявляют, что это и есть червь. Цели проекта и используемые методы легко менялись во времени, когда стало ясно, что даже упрощенные задачи не подъемные. Что же должно было быть сделано? Должна быть представлена некоторая предварительно заявленная начальная модель нейронов, синапсов, мышц, тканей, органов. Должны были быть установлены начальные параметры моделей нейронов, и при запуске модели, в виде результата получить модель червя, который пытается рыть норку, искать еду, питаться, избегать неблагоприятных условий, спариваться и обучаться примитивным рефлексам. Именно полученное поведение может показать, что изначальные модели и наше понимание функции нейронов правильные. И понимание этой правильности (или неправильности, или частичной правильности) и должно быть целью таких проектов моделирования. Но ничего и близко подобного не было получено. Поэтому считаю проект полностью провальным.


                      1. sim31r
                        28.03.2019 17:52
                        +1

                        Как может быть не завершенный проект быть провальным? Работают понемногу, тем более это открытый проект

                        As of January 2015, the project is still awaiting peer review, and researchers involved in the project are reluctant to make bold claims about its current resemblance to biological behavior; project coordinator Stephen Larson estimates that they are «only 20 to 30 percent of the way towards where we need to get»


                        Тут еще 2012 года публикация о моделировании одноклеточного животного. Возможно есть что-то еще.


                        1. fivehouse
                          28.03.2019 18:48
                          -2

                          Этот проект совершенно провальный именно потому, что руководитель не понимает что он делает и почему. Руководитель не понимает какие результаты он должен получить и почему.
                          А вот вы себя ведете как 100%-й тролль-производитель лживых текстов. Сейчас вы заявляете, что провальный проект еще не может быть оценен (даже после более чем 10 лет после начала), а 2 постами ранее вы заявляли, что червь уже моделируется. То есть, положительные результаты на лицо. Это типично тролячье поведение автора. А учитывая объем выданных текстов нагора в этом обсуждении, вы смело попадаете в список штатных хабровских тролей.


              1. AN3333
                27.03.2019 08:44

                Наука началась с того, что люди типа Галилея сказали — нам не надо учитывать все сложности. Вычленили до предела упрощенные модели. С этого момента все и рвануло.
                А им говорили — это большая ошибка и огромная недооценка.


              1. DaylightIsBurning
                27.03.2019 12:19
                +1

                упрощение из-за этой сложности модели нейрона до аналога из мира, который разработал человек — большая ошибка и огромная недооценка
                Мы этого еще не знаем наверняка. Возможно Вы правы, а может и нет. Мы точно знаем, что функционально нейрон проще чем совокупность всех электронов, которые в него входят. Так-то можно сказать, что каждый атом — это «транзистор», но мы уже точно знаем, что описания функций целых белков (тысячи атомов) в человеческих аналогиях очень компактны. Функциональная сложность белков сильно ниже их атомистической сложности. Если пользоваться аналогией из электротехники, то принципиальная схема белка сильно проще чем разводка его печатной платы.
                транзистор в современном процессоре плюс минус размером как раз с молекулярную фабрику внутри клетки
                вы имеете ввиду рибосому?


        1. struvv
          26.03.2019 22:59

          В общепринятом смысле нейрон ничего не вычисляет и он не столько электрически связан, сколько химически


          1. DmitriyN
            26.03.2019 23:38

            Нейрон не вычисляет, а мозг в целом — вполне. Я говорил про второе


      1. sim31r
        27.03.2019 01:24

        Сложность, к сожалению, не означает эффективность. Я думаю, эта сложность, похожа на сложность ламповой техники или сложность релейного, механического компьютера. Массивно, грандиозно, но бесполезно, КПД менее 0.01%.
        Нейрон это компромисс между ограничением органической ткани, ограничением энергопотребления, прочности, ограничением информации в ДНК, которая в том числе ограничивает сложность структуры мозга. Например в мозге при рождении прописано несколько рефлексов, нет ни байта лишней информации, только грубые инструкции, тут 200 грамм нейронов, тут нервные ткани 20 см, тут 50 грамм связующей ткани. Далее эта конструкция случайным образом пытается самонастроиться и не у всех удачно.
        Далее по параметрам нейронов, время релаксации нейрона 5 миллисекунд, против 0.1 наносекунды у полупроводников (если не экономить энергию). Разница в скорости 50 млн. раз. Микропроцессоры четко структурированы, каждый элемент на своем месте, ничего лишнего. Нейроны же хаотичны, огромное количество простаивает в резерве и экономичном режиме или сформированы по ошибке. Все нейроны одновременно работать не могут, при любой деятельности часть мозга отключается с целью экономии энергии.
        Или оцените скорость передачи информации в мозге, 20 м/с против скорости света в процессоре.

        Нейрон это клетка

        То же самое можно сказать про клетку инфузории, она еще сложнее, полноценный организм. Только она ничего не вычисляет, простейшие логические операции.
        Реле тоже сложнее, намного сложнее, чем современные транзисторы по технологии 14 нм, там считанные атомы отдельные. Только вот транзистор эффективней для вычислений.
        В контексте нейрона еще раз пересмотрите положительные высказывания о нем. Большинство перечисленных функций не улучшает его, а наоборот, увеличивает размеры и мешает нормальной эффективной работе.


        1. iproger
          27.03.2019 02:44

          Ну процессоры тоже так себе. Вроде как из условных 100 Вт 99 идет на обогрев. Такое вот у них КПД.


          1. galqiwi
            27.03.2019 08:55

            В транзисторах из 100Вт идёт 100 на обогрев, если они у вас, конечно, не светятся :)


          1. sim31r
            27.03.2019 11:11

            Чистое превращение энергии в информацию только у квантовых компьютеров. Обычные «материальные» процессоры для обработки каждого бита манипулируют грубой материей, миллиардами электронов на каждый бит и прочим. Конечно это всё в тепло переходит.


          1. DaylightIsBurning
            27.03.2019 12:28

            100% идет на обогрев, там практически ничего не идёт в излучение/механическую работу. Как и у мозга, кстати.


        1. struvv
          27.03.2019 09:21

          Эта сложность не похожа на сложность ламповой техники, она куда технологичней, чем инженерия человека.


          Инфузория не вычисляет как арифмитический комбинатор в том же смысле, в котором мегаполис(это такое поселение людей) в целом тоже ничего не вычисляет


          Мегаполис живёт и инфузория тоже, нужность/ненужность сложности это как говорить про ненужность сложности мегаполиса и достаточности простоты калькулятора.


          Это разные категории настолько, что их нельзя сравнить и разные не в пользу калькулятора


          1. sim31r
            27.03.2019 10:48

            Можно и нужно сравнивать. Нейрон, инфузория, радиолампа, процессор выполняют одни и те же функции — обработка информации.
            У радиолампы есть определенные преимущества и недостатки, определенные конструкцией, далеко не совершенной.
            У нейрона есть определенные преимущества и недостатки, определенные конструкцией, далеко не совершенной.


            1. struvv
              27.03.2019 11:12
              +1

              Если и можно сравнивать, то сравнение будет в стиле «радиолампа» и «город Новосибирск», сравнивать их «функции» несколько странно


              1. DaylightIsBurning
                27.03.2019 12:32
                +1

                было бы странно, если бы мы пытались построить компьютер из городов и дорог :). А так, — вполне можно сравнивать, скорее всего нам не нужно все функции нейронов(«городов») в компьютере повторить, а лишь API, и то часть. Следовательно, может оказаться, что функциональная модель нейрона может состоять из числа элементов гораздо меньшего, чем число атомов в нейроне.


                1. struvv
                  28.03.2019 11:58

                  Вот сравнение нейронной сети и комьютера настолько же странно, хотя когнитивные искажения эту странность подавляют


                  Город живёт и у него нет функций в вычслительном смысле.


                  Насчёт поатомной точности я уже писал ниже. Не так важно, что может хватить молекулярной точности. Важно, что каждый нейрон почти наверняка Тьюринг-полный, что резко ограничивает возможность моделирования нейронной сети


              1. DaylightIsBurning
                27.03.2019 17:16

                С точки зрения мышления важно только то, сколько машин выезжает из «города» с севера в зависимости от дня в году и того, сколько въехало с юга. То, сколько сил тратит город на то, что бы вычислить эту функцию совершенно неважно, ведь город может быть предельно неэффективен в этом смысле. То есть сложность города как вычислителя — это число входов и выходов + объем памяти + сложность зависимости. Мне неизвестны эксперименты, укзаывающие на то, что эта сложность для нейрона очень велика. А Вам?


                1. struvv
                  28.03.2019 12:05

                  Почему с точки зрения мышления важно сколько машин вьехало, а не Тьюринг полнота содержимого каждой из машин?


                  Почему вообще «функцией» города считается сколько машин проехало через дороги? Потому что так устроено наше слепое восприятие — что мы знаем и с чем работаем, на то и натягиваем Сову?


        1. struvv
          27.03.2019 09:41
          +1

          p.s. нейроны не могут не работать, они умирают в противном случае. Либо клетка с её насосами и так далее работает, либо она умирает. О том, что сформировано по ошибке — этих «ошибочных» частей люди в 20 веке уже много находили, для всех в итоге оказалось, что никаких ошибок не было, вместо этого упрощения учёных оказались ошибочными


          1. sim31r
            27.03.2019 10:51

            Нейрон может работать в «холостом режиме», он что-то считает, но результаты его деятельности ни на что не влияют, последующие нейроны его игнорируют. Можно даже прикинуть число таких нейронов, зная какая часть входных данных у среднестатистического нейрона игнорируется или обладает очень малым весом.
            В искусственной нейронной сети то же самое может быть, нейрон что-то вычисляет, но его выход игнорируется по сути. Удаление такого нейрона не ухудшает работу нейросети в целом, даже ускоряет.


            1. struvv
              27.03.2019 11:26
              +1

              Нейрон не может работать в холостом режиме, и он не «считает» ничего, он живёт и его спайки человек сейчас на данном этапе моделировать тупо не может, кроме как построить статистическую модель в стиле распределения ожидаемой продолжительности жизни в зависимости от привычки пить вино по выходным без учёта всех остальных факторов.


              И вообще нейрон — он сильно больше про химию, чем про электричество, откуда взялась мода на симуляцию именно электрической части, которая выполняет достаточно важную, но небольшую роль?


              Пространственное расположение всех сигнальных молекул вокруг нейрона и внутри него, а также внутреннее состояние (метилирование ДНК, etc) имеют куда большее влияние на поведение нейрона, чем потенциалы электрических сигналов


              1. sim31r
                27.03.2019 12:23

                Тут не важно химические или электрические сигналы, нейрон выполняет вычисления и выдает результат, как и любой другой логический элемент, от механических вычислителей старинных, до оптических или квантовых.
                То, что нужно нести балласт химических медленных реакций, это нейрону большой минус, но другого выхода у него нет.
                Точно моделировать нейрон человек не может, но это и не нужно особо, есть упрощенные модели, как в статье. А практически интерес представляют искусственные нейронные сети, где функции нейронов часто упрощены до линейных с одним изломом, и этого хватает. Намного важнее структура нейросети, количество слоев.
                В случае с изображениями это позволяет обученной нейронной сети распознавать изображения точнее человека, не говоря уже о скорости.
                Полоски на зебрах, кстати, только для того, чтобы нейронным сетям мух затруднять распознавание цели. Искусственным нейронным сетям тоже мешают, и есть методы борьбы с системами распознавания лиц. Люди тоже уже заняты чем-то подобным.
                Вот еще есть пример с птицами, у них хорошие показатели вполне, но моделировать их ни кому не нужно, чтобы достичь лучшего результата. Не нужно моделировать каждое перо, чтобы летать лучше птиц, быстрее, выше, экономичнее. Есть другой путь, создание летательных аппаратов на совсем другой элементной базе, какой и близко нет у живой природы.


                1. struvv
                  27.03.2019 12:39

                  Говорить, что нейрон выполняет вычичления настолько же корректно, насколько корректно говорить, что город выполняет вычисления и у города такая цель. Обнаруживать везде «цель» это баг/когнитивная ошибка сознания человека. Нейрон ничего не считает и результат работы нейрона выражен далеко не только и не столько в спайках


                  Неверная изначальная предпосылка и все дальнейшие выводы


                  1. sim31r
                    27.03.2019 12:46

                    Нейрон ничего не считает и результат работы нейрона выражен далеко не только и не столько в спайках

                    Тогда можно сказать что и результат работы радиолампы, не только в усилении сигнала, но и в других важных результатах. Например она красиво светится, за счет низкого КПД обогревает помещение, избыточные технологии красивы — стекло, электроды в вакууме… На это есть спрос и устройства на лампах покупают, не смотря на посредственные основные характеристики, качество работы, КПД, габариты.

                    Обнаруживать везде «цель» это баг/когнитивная ошибка сознания человека.

                    Цель каждого нейрона помочь выжить организму. Для этого он должен обрабатывать информацию быстрее, точнее, и при этом минимально потреблять. Полная аналогия с процессором.


                    1. struvv
                      27.03.2019 14:04

                      Результат работы радиолампы — усиление, а результат работы нейрона это много чего кроме спайков.


                      У нейронов нет цели, как и у любого организма. Организм жив потому что все его составные части в комплексе плюс минус работают, но никакой цели у него нет


                    1. I-denis
                      27.03.2019 14:13

                      Мне кажется, Ваша трактовка целей нейрона несколько ммм тенденциозна.
                      Энергопотрбеление нейрона коррелирует с интенсивностью его работы — та же реполяризация мембраны это энергозатратный процесс. На пальцах — если перестать достаточно кормить нейрон — он станет иначе (хуже, медленнее) реагировать, если снизить стимуляцию — он будет меньше потреблять глюкозы, если превысить некий пороговый уровень стимуляции, при заведомо избыточном наличии питания — нейрон «устанет» на химическом уровне (в виду истощения пула медиаторов), скорости реполяризации мембраны.
                      Я очень сильно подозреваю, что нейрон ничего не знает об организме и его целях. По сути это очень сложная молекулярная машина, которая по сути, в процессе своего онтогенеза выполняет некий цикл заложенный в ДНК и регулируемый и направляемый внешним окружением опосредованно через химические факторы. Ну к примеру — не получающий сигналов нейрон может запустить механизм апоптоза и самоустраниться или не деффиринцированный нейрон, реагируя на градиент концентрации определенных сигнальных молекул, начинает миграцию в другие зоны мозга


                      1. struvv
                        28.03.2019 12:11

                        Всё верно, но описанное Вами это Тьюринг полнота. Моделирование Тьюринг полных штук с очень сложным кодом и кучей сенсоров, штук, которые реагируют в реальном времени на внутреннее состояние и окружение меня и то, и другое — это очень сильно не то, что моделируют современные нейросети. Это я и пытаюсь донести.


                  1. I-denis
                    27.03.2019 13:45

                    Что бы понять Вашу точку зрения на то что нейрон ничего не вычисляет, хотелось бы услышать Ваше мнение о том, что же тогда делает нейрон


                    1. VDG
                      28.03.2019 02:07

                      Клетка непрерывно ищет активные нейроны, постоянно и активно перестраивая свою структуру, перемещаясь. Под рукой нет, но в сети есть такие видео.


      1. sim31r
        27.03.2019 01:37

        Сложность одного нейрона настолько огромна, что его логическую полную логическую копию в данный момент не может создать цивилизация.

        Делать полную логическую копию нейрона нет смысла. Как нет смысла делать копии камня любого до атома, или даже копии лампы или реле из старого вычислителя релейного.
        Другое дело что работают с упрощенными моделями, для транзистора это коэффициент усиления, емкость, максимальная рабочая частота.
        Вот фотография простейшей логической микросхемы, сделать точную копию тоже невозможно, будет неточность с чистотой материала, с расположением атомов в пространстве. Но для цифровой микросхемы это не важно, логически она будет эквивалентна, а может и лучше, быстрее и надежней.
        Надо ли делать копию нейрона, или достаточно цифровой модели? Или современные, например, сверточные нейросети даже лучше, быстрее и точнее в своей области? Сейчас и не делают копии нейронов, тупиковый путь похоже, делают цифровые модели или аппаратные TPU юниты.
        А то что делают квантовые компьютеры, вообще не имеет аналогов в биологическом мире.


        1. struvv
          27.03.2019 09:33

          Клетка это настолько же не камень, насколько город не равен своей внешней копии из того же камня.


          Буквально каждый атом в клетке это действующий активный механизм, который всё время работает и существенно влияет на клетку, попытка упрощения потому что неудобно и потому что эффект Даннигена-Крюгера заведомо провальна


          1. sim31r
            27.03.2019 11:07

            То же самое можно про радиолампу сказать, или про электро-механическое реле. Каждый атом влияет на результат работы, характеристики прибора.
            Но, если подходить практически, влияния не существенны и на результате не сказываются. В клетке есть стандартные части, типа митохондрий, тупо поставляют энергию, замена одной на другую ничего не изменит, они одинаковые все и в организме и почти у всех организмов на планете, митохондрии получились удачными и все организмы почти, без особых изменений взяли их к себе в работу.
            И у меня обратное мнение на счет сложности нейронов. Все нейроны формируются из нескольких инструкций в генах человека. Исходный код 1000 байт или 10 000 байт и далее однотипное клонирование-деление. Не может быть фантастической сложности в коде из нескольких килобайт данных. Вот я напишу за минуту цикл что суммирует данные от 1 до миллиарда, это сложный процесс? Данных будут гигабайты, не читаемый отчет по процессу, но порождающий код до смешного прост. Так же и с нейронами, отличие нейрона от мышечной клетки определено несколькими генами. Генов всего 28000, общий объем информации 1.5 гигабайта, но не мусорной ДНК не много, итого весь генетический код 15 мегабайт?

            то есть только 1,5 % всего генетического материала кодирует белки или функциональные РНК. Остальная часть является некодирующей ДНК, которую часто называют мусорной ДНК

            Не может сложнейший организм кодироваться 15 мегабайтами данных, это уже компромисс между компактностью кода и функционалом, многим приходится жертвовать и упрощать.
            Если бы всё влияло на нейрон, получился бы эпилептик какой-то. Нейроны должны четко и быстро проводить логические операции и ничего от себя не добавлять.


            1. struvv
              27.03.2019 11:38

              В радиолампе атомы не является движущейся частью в рамках макромира, там вообще нет движущихся частей, кроме электронов, а в клетках каждый</> атом является активным и движущейся частью, и не учёт этого это как не учитывать поршени в двигателе и прочие движущиеся детали автомобиля, просто потому что не хочется заморачиваться и усложнять.

              И гены это не просто инструкция, ДНК это очень активный механизм, в котором есть флаги включеня/выключения, которые постоянно меняются и влияют друг на друга посредством белков. Грубой аналогией ДНК плюс рибосом является как раз мультипроцессорный компьютер, постоянно активно работающий с кучей переферии,, реагирующей на соседей и себя и с оперативой(но не обычной, а с флагами вкл/выкл по всей планке), где оператива это как раз ДНК


              1. sim31r
                27.03.2019 12:31

                То что в радиолампе нет балласта в виде движущихся частей, как-раз и позволяет ей работать на порядки быстрее нейрона, на частотах в гигагерцы. Против 10-100 Гц у нейронов.
                ДНК просто инструкция, генная инженерия уже полностью освоила функционал и продолжает совершенствовать методики, как в известном примере в Китае. Вот тут вообще, чисто синтетический организм создан.


                1. struvv
                  27.03.2019 13:15

                  Работа нейрона выражается далеко не только в спайках, происходящей с некой частотой, эти спайки нельзя считать выходными данными.


                  Генная инженерия мало что освоила(кроме случаяев когда ученый изнасиловал журналиста)


                  ДНК не является инструкциями, я давал ссылку на всего лишь одну из фич — метилирование, которая показывает полную ошибочность восприятия ДНК как инструкции.


                  И чисто синтетический организм создан — это тоже учёный изнасиловал журналиста


                  1. DaylightIsBurning
                    27.03.2019 16:19

                    ДНК не является инструкциями
                    Что Вы понимаете под термином «инструкции»? ДНК — это машинный код. Метилирование — это процесс саморедактирования кода в run-time, некоторые компьютерные программы тоже так делают. Code is data и т.п. Так что Вы пока не показали ошибочность восприятия ДНК как набора инструкций.


          1. DaylightIsBurning
            27.03.2019 12:37

            Буквально каждый атом в клетке это действующий активный механизм, который всё время работает
            Это точно не так. Целый белок функционально можно описать небольшим числом параметров. Функционально белок проще совокупности входящих в него атомов.
            который всё время работает и существенно влияет на клетку
            Это не так. Тому есть огромное число доказательств. В белках большая часть аминокислот заменяемы без изменения работоспособности белка. И нет, это не потому что мы не замечаем, что мутация на что-то повлияла, т.к. есть мутации, которые распределены по популяции в точности так, будто они равнозначны и никакого эволюционного давления на них нет. То есть замена одной аминокислоты на другую функционально ни на что не влияет, вообще. Более того, оказывается, что значимых мутаций довольно мало, на этом построен целый метод в биоинформатике — coevolution derived residue–residue contact information.


            1. struvv
              27.03.2019 15:45

              А можно ли получить какие либо пруфы по следующей гипотезе:
              «Не все разнообразие атомов в нейроне связанно с релевантными для интеллекта функциями. По крайней мере часть этого разнообразия — это просто случайный шум без какой-либо функции вообще. Другая часть — не имеет отношения непосредственно к интеллекту. А то что имеет — не всегда реализовано»?


              P.s. Микротубулы динамическая штука, постоянно меняющаяся, стремянка не меняется и не перестраивается


              1. DaylightIsBurning
                27.03.2019 16:03

                Ну да, я же привел пруфы: есть куча примеров, когда замена одной аминокислоты на другую ничего не меняет, что также видно из того, что существует множество вариантов одного и того же белка у разных организмов одного вида, которые отличаются как раз мутациями в «левых» аминокислотах. На самом деле они не совсем левые, они место занимают, но для этого одинаково хорошо подходят к примеру, лейцин и изолейцин. То есть уже получается, что не каждый атом несет нагрузку. Более того, в клетке «атомарным» строительным блоком является скорее не атом, а целая аминокислота или нуклеотид. Есть, конечно, ещё ионы и другие малые молекулы, но я имею ввиду, что в клетке функциональные элементы в основном строятся не из отдельных атомов, а из неразделимых блоков по 20-30 атомов.

                Микротубулы динамическая штука, постоянно меняющаяся
                Ну хорошо, стремянка из лего.
                Но вообще Вы первые стали говорить, что каждый атом — это функциональный элемент и функциональная сложность нейрона сопоставима с его атомистической сложностью. Очевидно, что это не обязательно должно быть так, так что с Вас пруфы.


                1. struvv
                  27.03.2019 20:11

                  Предлагаю разбираться с вопросами по очереди.


                  Для начала ДНК не является кодом, который описывает как всё работает. Есть еще информация, которую не видят секвенсеры — включен ли участок ДНК или нет, а это невероятно важная деталь, незнание которой ранее воспринималось как «мертвый код»


                  Поэтому говорить о 15гб некорректно и говорить о ДНК как о аналоге флешки тоже совершенно некорректно.


                  Наиболее близкий грубый аналог ДНК — работающий компьютер с необычной архитектурой


                  1. DaylightIsBurning
                    27.03.2019 20:29

                    ДНК не является кодом, который описывает как всё работает
                    Почему?
                    Есть еще информация, которую не видят секвенсеры
                    Допустим у ДНК не 4 нуклеотида, а 6 (+2 метилированных) — это не меняет сути, просто теперь код не четверичный а «как бы» шестиричный.
                    незнание которой ранее воспринималось как «мертвый код»
                    Метилирование никогда не воспринималось как мертвый код.
                    Поэтому говорить о 15гб некорректно и говорить о ДНК как о аналоге флешки тоже совершенно некорректно.
                    Не 15, а 1.5. Почему некорректно?
                    Наиболее близкий грубый аналог ДНК — работающий компьютер с необычной архитектурой
                    Это несущественное уточнение, да и не совсем корректное. Сама по себе ДНК ничего не делает с собой, нужны все эти ферменты и машины для метилирования и прочих издевательств над ДНК. Но чем это принципиально отличается от утверждения «ДНК — это машинный код клетки»?


                    1. struvv
                      28.03.2019 10:00
                      +1

                      ДНК описывает только какие белки можно создать и всё, её метилирование описывает что сейчас выключено, но без остальной части клетки и её окружения, которая уникальна для каждого вида ДНК работать(в другой клетке) не будет, кроме случав, когда вид по сути клон другого вида


                      Устройство клетки и её окружение это тоже информация, которая уникальна для разных живых организмов


                      1. DaylightIsBurning
                        28.03.2019 12:35

                        То же самое можно сказать про процессор и прошивку/программу. Тут ДНК ничем не отличается. Но ДНК описывает не только какие белки создать, но и условия, последовательности, концентрации — это все прописано в регулирующих участках ДНК, а также относительным положением генов на ДНК. У ДНК тоже есть своя файловая система, как на флешке. ДНК — это не набор перфокарт, которые можно перемешивать в любом порядке, наоборот, порядок имеет существенное значение.
                        Кроме того в ДНК прописано создание всех видов клеток и их взаимное расположение из одной клетки — соматической. Известны даже механизмы, как это закодировано и работает на основе градиентов концентраций. Есть классический эксперимент по развитию мухи из одной клетки. То есть кроме ДНК остаётся только структура гаметы (половой клетки). Аналогия с флешкой и компьютером получается очень хорошая.
                        На самом деле, в ДНК даже прописано и то, как создать гаметы со всеми их молекулярными машинами, так что информация о структуре компьютера тоже записана в ДНК, по крайней мере частично.


                        1. struvv
                          28.03.2019 13:24

                          Процессор отличается тем, что он создан по одной спецификации, которую можно по этой причине отбросить. А у каждой особи эта «спецификация» своя, поэтому отбросить её нельзя. ДНК мухи засунутое в другую клетку другой или даже этой же мухи(дифференцированную и не половую) того же вида породит каждый такой раз разный результат, скорее всего завершающийся апотозом такой клетки.


                          И, например, человек не может развиться без мвтеринского организма, влияние которого точно также уникально в каждом отдельном случае


                          1. DaylightIsBurning
                            28.03.2019 14:04
                            +1

                            Cell-Free Expression Kits тоже создан по спецификации. Под соматическую клетку тоже можно написать спецификацию. Никаких существенных отличий от процессора тут нет.

                            А у каждой особи эта «спецификация» своя, поэтому отбросить её нельзя
                            Какое это вообще имеет значение? Ну чуть-чуть отличается состав соматической клетки у разных людей, ну и что? Так и процессоры чуть-чуть отличаются, в рамках допусков.
                            Опять же, при чем тут соматические клетки? При чем тут уникальность материнского организма? Зачем тут эти банальности, которые не имеют отношения к обсуждаемому вопросу?
                            Еще раз, мы обсуждаем тезис о том, что вся сложность интеллекта закодирована в ДНК (1.5 ГБ) + небольшой части соматической клетки. При этом там же закодировано и куча всего, что не имеет отношения к интеллекту. И ещё мы обсуждаем аналогию между ДНК и перфолентой, с которой Вы не согласны, но непонятно, почему.


                      1. DaylightIsBurning
                        28.03.2019 13:14

                        добавлю ещё, что мы точно знаем, какие белковые комплексы нужны для производства белков из ДНК/РНК и размножения нуклеиновых кислот. Это применяется в промышленности — т.н. Cell-Free Expression Kits. Очень удобная штука. То есть структура машинерии необходимой для bootstrappinga жизни из одной лишь ДНК достаточно примитивна, вся клетка не нужна.


                        1. struvv
                          28.03.2019 13:43

                          Бутстрап жизни из ДНК невозможен, так как первое что нужно — молекулярная фабрика, т.е. рибосома, а её ДНК сделать сама по себе никак не можем без взятой из живой клетки такой фабрики


                          1. DaylightIsBurning
                            28.03.2019 13:58
                            +1

                            И как это относится к тому, что я написал постом выше? Я же написал, есть Cell-Free Expression Kits, куда входит и рибосома (не не только). Рибосома хорошо изучена, механизмы её работы вполне понятны, она логически не очень сложная. Cell-Free Expression Kits — это почти набор для бутстрапа жизни из ДНК. И этот набор очень простой, что исключает какую-то скрытую сложность жизни. Вся сложность жизни закодирована в ДНК + нескольких простых белковых комплексах, в т.ч. рибосоме. Даже соматическая клетка нужна не полностью.


      1. DaylightIsBurning
        27.03.2019 16:54

        Сложность одного нейрона настолько огромна, что его логическую полную логическую копию в данный момент не может создать цивилизация.
        А пруфы будут? В посте же приводится пример, что исследователи смогли точно смоделировать отклик нейрона двухслойной нейронкой. Мы не знаем, какая полная логическая функция нейрона, но та часть функции, о которой мы знаем, не слишком сложная: она не исчерпывается одним сигмоидом, но проще, чем то, что может вычислить современный CPU.


        1. struvv
          27.03.2019 20:16

          В данном случае пруфы обратные как и в случае гипотезы о невозможности превышения скорости света — моя гипотеза опровержима путём предоставления такой модели, также как и гипотезу про скорость света можно опровергнуть если превысить скорость света. Я говорю о точной модели нейрона, а не упрощении в стиле Sim City, последние существуют


          1. DaylightIsBurning
            27.03.2019 21:16

            А нам не нужна точная атомистическая модель нейрона, нам нужна полная логическая модель. Почему вы считаете, что она равна или близка к атомистической сложности? Как по мне, то очевидно, что атомистическая модель как минимум в 10-20 раз сложнее логической т.к. неделимые блоки в клетке — это аминокислоты, а не атомы (с оговорками). Но вообще, мы вероятно находимся примерно в 10 годах от полной атомистической модели нейрона на основе Molecular Dynamics.


            1. struvv
              28.03.2019 10:12

              Выше упоминалось, что то, что ДНК может в реальном времени включеть и выключать свои участки — не принципиально, однако это очень принципиально, так как это совершенно прямо влияет на то, будет ли нейрон реагировать и как он это будет делать и всё это зависит от состояния отключенных и включенных участков ДНК, которые зависят в том числе от того, что перед этим нейрон получал за информацию. В том числе реагируя на сигнальные молекулы возле нейрона.


              Если эта гипотеза не ошибочна, то значит ошибочны все модели нейрона в которых не учитывается химия, то есть любые промышленно используемые нейросети.


              Я не пытаюсь доказать, что именно поатомная точность нужна, возможно молекулярной будет достаточно.


              Я пытаюсь показать, что описать нейрон просто математической функцией нельзя из-за его огромной сложности, игнорирование которой приведёт совершенно неверной модели. Точность вплоть до атома или молекулы отличаются настолько незначительно между собой, по сравнению с точностью моделей, где в нейронах нет моделирования всей химии нейрона, что этой разницей можно смело пренебречь в данной дискуссии, так как она вообще ни на что не влияет.


              1. DaylightIsBurning
                28.03.2019 13:04

                однако это очень принципиально
                это непринципиально в контексте вопроса, является ли ДНК машинным кодом, а не «вообще».
                значит ошибочны все модели нейрона в которых не учитывается химия
                Не значит. Метилирование — это просто память нейрона. Ну в компьютерных «нейронах» она тоже есть — т.н. скрытые параметры нейросети.
                Точность вплоть до атома или молекулы отличаются настолько незначительно между собой

                возможно молекулярной будет достаточно.
                На самом деле молекулярная точность и атомистическая соотносятся примерно как 10^10 и 10^14. Но эту мысль можно и нужно развивать. А там глядишь и придем к заключению, что и молекулярная не нужна, а только сложность на уровне целых клеточных органелл, или ещё грубее…
                описать нейрон просто математической функцией нельзя
                Можно, даже если сложно. Даже атомистическая модель — мат. функция, и мы её уже почти записали. Для маленьких вирусов уже даже можем вычислить примерно.
                игнорирование которой приведёт совершенно неверной модели
                Совершенно не факт. Во-первых атомистическая сложность, очевидно, фиктивна — это всё равно что несжатый файл с тысячекратно повторяющимися фрагментами. Во-вторых не факт что даже настоящая «сжатая» сложность клеток полностью задействована в реализации функций связанных с интеллектом. Скорее всего нет.


                1. struvv
                  28.03.2019 14:02

                  Это принципиально влияет на потенциальную Тьюринг полноту всего комплекса ДНК и прочей машинерии, которая в свою очередь для симуляции требует достаточно точно симулировать всю химию из-за того, что через неё она и реализуется.


                  Я имел в виду вычислимую на данном этапе развития цивилизации фунцию


                  1. DaylightIsBurning
                    28.03.2019 14:08
                    +1

                    А я и говорю, что мы в считанных годах от того, что бы всё это вычислять на атомистическом уровне. Мы уже более-менее можем просчитать атомистически целый вирион, до мелких бактерий рукой подать. Оказывается, что даже атомистическая сложность клетки уже вполне в пределах наших возможностей познания, анализа и моделирования.
                    А что с Тьюринг полнотой ДНК+машинерии? В чем тезис?
                    Вы писали, что из-за метилирования ДНК нельзя назвать машинным кодом. Почему? Почему регистры памяти или run-time изменение машинного кода не могут быть эквивалентными метилированию?


  1. VDG
    26.03.2019 23:37
    +2

    Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функций
    Перебор у автора с нелинейностями. У дендритной мембраны их две, и они служат созданию лавинного эффекта, а не какому-то вычислению: один в сторону сомы, второй — от сомы.
    Соответственно, у самой дендритной веточки нет никакой функции суммирования входной информации. Просто, когда активны два рядом расположенных синапса, то они запускают дендритный спайк.

    Модель нейрона получается следующей. Из входного битового вектора берётся M случайных выборок по 2 из N. N — количество нейронов, с которыми есть связь. Нейрон генерирует спайк, когда количество активных выборок превышает некий порог T. Функция нейрона тогда похожа на некое хеширование, а не вычисление.


    1. kuza2000
      27.03.2019 01:49

      Хм… из входного вектора беруться случайные выборки? что-то мне это напоминает…
      dropout? :)))


      1. VDG
        27.03.2019 02:42

        Тут двухслойная сеть.

        В первом слое нейроны имеют только по две связи со случайным входным нейроном, вес 0,5. Логическая функция И: выход либо 0, либо 1.

        Второй/выходной слой имеет только один нейрон, все веса равны, и сумма просто сравнивается с порогом.

        Похоже такая модель может работать в комбинаторном пространстве, которое описывал Редозубов. И не нужно привлекать никакие мета..-ые рецепторы, обычных синапсов достаточно. Только я бы ещё добавил тормозные синапсы в первый или второй «слой», чтобы количество активных нейронов не росло лавинообразно. Тогда будет картина непрерывной чехарды но с постоянной средней активностью, и такое вроде наблюдается в миниколонках.


  1. akura13
    27.03.2019 06:53

    Тут кто-то писал что делать полную логическую копию нейрона нет смысла. Но как же подводные лодки, самолеты и прочее. Много чего человек перерисовал с природы. Может это и будет последним шагом на пути к созданию настоящего ИИ который захватит вселенную ?


    1. Sadler
      27.03.2019 07:50

      Самолёты не машут крыльями.


      1. akura13
        27.03.2019 08:10

        А как же махолет? История авиации на вики.


        1. Sadler
          27.03.2019 08:27

          Крайне посредственно выполняющая свою функцию переусложнённая машина, которой пользуется полтора фрика. Как и искусственные нейросети с переусложнёнными нейронами, в общем-то.


      1. 3DragonV
        27.03.2019 11:15

        Но альбатросы вполне себе летают часами, не взмахнув крыльями ни разу.


        1. sim31r
          27.03.2019 11:52

          взмахи в основном альбатрос делает при взлете и при посадке, а для полета использует не столько мускульные усилия, сколько воздушные потоки. Поэтому он может парить часами без единого движения крыльев.

          То же самое делают на парапланах. Интересно, но практической пользы нет.


    1. sim31r
      27.03.2019 11:22

      Сильный ИИ получится постепенно по мере улучшения оборудования и программных наработок, тут статья интересная по теме.


      1. akura13
        27.03.2019 11:45
        +1

        Противоречивые чувства на счет статьи. Но спасибо и дабы не разводить холивар просьба ко всем разработчикам мира: никогда и никогда не пишите программы которые могут сами себя модифицировать!


      1. zirix
        27.03.2019 17:15
        +1

        Сам по себе сильный ИИ не получится. Мозг это не просто сеть нейронов, но и прошивка (программа) сформированная миллионами лет эволюции.
        Именно эта «прошивка» реализует функции интеллекта. Без понимания как работает интеллект создать его, играя с нейросетями, не выйдет.


        1. DaylightIsBurning
          27.03.2019 17:19

          Возможно, играя с нейросетями мы сможем понять и то, как написать прошивку.


        1. sim31r
          27.03.2019 19:00

          Лет 30 назад то же самое говорили про распознование образов, типа это миллионы лет эволюции, а сейчас нейросети искусственные распознают картинки быстрее и точнее человека. Есть вариант самообучения без учителя и т.п.
          На данный момент искусственные нейросети развиваются со скоростью миллион лет в год, что биологические достигали за миллион лет, сейчас достигается за год. Далее вероятно такое, из статьи выше первая картинка и вторая

          Ну или на примере аналитической игры в Го, раньше было невозможно обыграть человека, сегодня нейросети обыгрывают легко
          Постоянно новости от творцов ИИ.


          1. zirix
            27.03.2019 22:12

            Лет 30 назад то же самое говорили про распознование образов, типа это миллионы лет эволюции, а сейчас нейросети искусственные распознают картинки быстрее и точнее человека.

            Мало ли кто, когда и что обещал. Разве это аргумент?
            Вот в 60е годы обещали сильный ИИ, говорили как только компьютеры мощнее станут(буквально чуть чуть и через 5 — 10 лет) в них сразу появится сознание. Вот прям как вы сообщением выше.

            На счет того, что они точнее человека я не согласен. Может по каким-то метрикам да. Но они панду могут увидеть в белом шуме. Или не увидеть ее, если добавить невидимых глазу изменений в картинку.
            ИНС распознают изображения довольно примитивным способом, совсем не так как человек и животные.

            Ну или на примере аналитической игры в Го, раньше было невозможно обыграть человека, сегодня нейросети обыгрывают легко

            Да, компьютер выиграл человека в ГО. Круто.
            Но под капотом там обычная статистика (нейросети) и математика. Ничего полезного для создания сильного ИИ эта работа не дала. Там все так же примитивно, как и с распознованием изображений.


            1. sim31r
              28.03.2019 01:43
              +1

              Нейросети человека тоже распознают изображения примитивным способом, и совершают ошибки, вот тут пишут про анализ качества распознования

              … По ссылке имеется таблица сравнения методов распознавания на базе MNIST. Первое место за сверточными нейросетями с результатом 0.39% ошибок распознавания. Большинство из этих ошибочно распознанных изображений не каждый человек правильно распознает. Кроме того в работе были использованы эластические искажения входных изображений, а также предварительное обучение без учителя.

              С игрой в Го всё намного интересней, нейросеть играла по настоящему креативно и привнесла в игру новые стратегии игровые. В ходе игры были ходы не понятные профессионалам, только в конце партии стал понятен замысел нейросети. Это не простой перебор, это и «понимание» игровой ситуации на определенном уровне.
              С другой стороны, что для человека, что для ИИ эта игра вершина возможностей. Так же и про мастера игры в Го можно сказать что это не такой уж сильный интеллект, он всю жизнь с детства тренировался в этой игре (и больше ничего не умеет делать), и тут ИИ его обошел. В данном случае ИИ сравним с человеческим, и даже более того, в ходе самообучения выработал новую школу игровую, новые методы и приемы.

              Но под капотом там обычная статистика (нейросети) и математика.

              То же самое у человека. Статистика на основе нейросетей и логика-математика. Плюс методом перебора вариантов работают, в шахматах так точно, сидят и наугад перебирают варианты. Сначала осознанно, потом не осознанно.


              1. zirix
                28.03.2019 03:18

                Нейросети человека тоже распознают изображения примитивным способом

                Нет. Человек запоминает увиденный объект описывая его с использованием известных ему понятий. Именно описание человек запоминает и потом использует для распознования объекта.
                За этот процесс отвечает мышление.

                По этой причине обучение человека и ИНС так сильно отличается. Человеку часто достаточно один раз посмотреть на объект, сделав его описание, а нейросети нужно сотни / тысячи картинок одного объекта.

                У нейросети, играющей в ГО, не было замысла, понимания и креатива. Это просто программа с набором классических алгоритмов и огромной базой закономерностей между состоянием игрового поля и выигрышем. Программа использовала базу для предсказания выигрышных ходов. Нет тут интеллекта.


                1. sim31r
                  28.03.2019 11:38

                  Человек запоминает предмет, только если есть аналогия в его накопленном опыте. Аналогия не очень уместная. Человек учится десятки лет, нейросеть от создания до эксперимента может существовать доли секунды. А чему не научился, то будет выглядеть как шум, вот пример заметки по квантовой механике, кто работает с этим мгновенно распознает суть, а большинство людей нет.
                  Обратный пример Маугли и эксперимент с котянами. Нет обучения нейросети человека в детстве, далее обучение и развитие невозможно. И мышления нет.

                  У нейросети, играющей в ГО, не было замысла, понимания и креатива. Это просто программа с набором классических алгоритмов и огромной базой закономерностей между состоянием игрового поля и выигрышем. Программа использовала базу для предсказания выигрышных ходов. Нет тут интеллекта.


                  То же самое можно про человека сказать. Мастера игры с детства в свой мозг загружают базу данных по игровым ситуациям, далее это работает неосознанно на уровне интуиции, а суть та же самая
                  набор классических алгоритмов и огромной базой закономерностей между состоянием игрового поля и выигрышем

                  Где тут место интеллекту? Человек столкнулся с нестандартной игрой искусственного оппонента и не понял что происходит. Шаблоны игры не подходили уже.
                  Я точно так же играю в шахматы на начальном уровне, перебираю все варианты. Если играешь долго варианты перебираются неосознанно за счет тренировки (и пополнение базы данных по игровым ситуациям) и быстрее находишь более оптимальные ходы.
                  В общем много общего между нейросетями и человеком. Только нейросети могут масштабироваться и развиваются быстро, как аппаратно, так и программно, а человек уже достиг пика развития, дальнейшее развития вряд ли возможно. Например потому, что нейроны очень крупные, медленные и много выделяют тепла. Хотя с другой стороны мозг «молодой» орган (особенно кора мозга) и его эволюция еще не закончилась. Разброс по интеллекту среди населения это, скорее всего, по этой же причине, мозг не стабилен.


                  1. zirix
                    28.03.2019 17:36

                    Человек запоминает предмет, только если есть аналогия в его накопленном опыте.

                    Нет. Если человек может описать объект, то он его запомнит.

                    А чему не научился, то будет выглядеть как шум, вот пример заметки по квантовой механике, кто работает с этим мгновенно распознает суть, а большинство людей нет.

                    Человеческий язык и письменность, включая математические символы, это своего рода архиватор / компрессор. Для декодирования смысла написанного требуется описание значений символов и структуры предложения / математического фрагмента.

                    Человек понимает вашу заметку потому, что знает значение символов и их комбинаций. А не потому, что видел подобное миллион раз.

                    У детей / котят идет не обучение их нейросети, а физическое формирование мозга и механизмов мышления. На это формирование влияет окружение и информация, которую ребенок получает.
                    После определенного возраста эты процессы выключаются (значительно ослабивают). Поэтому дети маугли имеют большие сложности с развитием.

                    По этой же причине дети относительно легко восстанавливаются после тяжелых травм мозга (даже потеря половины), а взрослые остаются в коме или с тяжелыми дефектами (потеря речи и т.п.).
                    При повреждении мозга механизмы, отвечающие за формирование мозга, формируют важные «программы» в оставшийся части.


      1. Georgy9
        27.03.2019 18:12
        -1

        >>Компьютеры, которые сейчас стоят 1000 долларов, по своей мощности равны мышиному мозгу
        То есть такой компьютер сможет обеспечить все информационные потребности тела мыши? Сможет регулировать все его функции (пусть искусственного, но такого же сложного), чувствовать, видеть, понимать опасность, учиться, воспитывать крысят? Даже не смешно. Особенно на фоне эмуляции мозга червя из 300 нейронов.

        Человеку, уже видевшему не одну итерацию подобных «революций» подобные рассуждения представляются как минимум наивными и скоропалительными, основанными только на локальном росте в одной узкой области. Вот сегодняшняя статья говорит как раз о том, что сложность мозга и нервной системы на порядки выше, чем мы представляли, так что воспроизвести его – не такая простая задача, а возможно и вообще невыполнимая.

        Помните, какое ликование и надежды были после полета Гагарина, а тем более первого шага по Луне? И где они сейчас, эти надежды? Где термоядерные реакторы? Где безлюдные заводы? (даже Маск выбросил половину роботов на своем сборочном заводе и заменил на мексиканцев). Фундаментальных прорывов в физике нет уже полвека (а именно она – драйвер прогресса). Рождаемость, о которой с ужасом говорили еще недавно, на глазах снижается даже в Африке. А что было с биткоином? Не удивлюсь, если вопли о глобальном потеплении завтра сменятся еще более апокалиптическими о похолодании. Как говорится, у нас тут все не так однозначно (с)


        1. sim31r
          27.03.2019 19:07

          Вы защищаете биологический интеллект. Но то же самое можно сказать и про искусственный. Пусть венец природы в уме попытается умножить 222*111? Это 8-битные числа, простейшая операция, человек зависнет минут на 15 без подготовки, со всеми своими 100 миллиардами нейронов. Компьютер решит эту за 5-10 наносекунд! Несколько логических элементов и всё.

          Вот сегодняшняя статья говорит как раз о том, что сложность мозга и нервной системы на порядки выше, чем мы представляли

          Нет, это гипотеза автора.
          Полностью имитировать работу мозга не нужно, там 99% работы это биологический балласт. Архитекторы ИИ используют более чистые, академические подходы. Результат прекрасный.
          Мышь не сможет играть в игру Го или моделировать что-то, мозг, прямо скажем, очень слабый, очень медленный и склонен к «глюкам» (человеческий фактор).


          1. Georgy9
            27.03.2019 19:30

            Создать «решателя задач», самого крутейшего – никаких проблем. А вот создать аналог человеческого интеллекта и сознания, который будет чувствовать, осознавать, испытывать эмоции и понимать контекст, а не слова – задача почти невозможная, ведь там все как раз на этом «балласте» и базируется. А в статье именно о сильном (и даже сверхсильном) интеллекте речь.


            1. DaylightIsBurning
              27.03.2019 21:22

              А разве кто-то уже показал, что «чувствовать, осознавать, испытывать эмоции и понимать контекст» — качественно сложнее, чем распознавать образы?


              1. Georgy9
                28.03.2019 07:42

                На мой взгляд, это подмена тезиса. Эту чрезвычайную сложность не надо «показывать» и доказывать. Наоборот, если сумеют воспроизвести – вот и доказательство, что вовсе и не так сложно. Главное, не принимать видимость за сущность и не обольщаться «философским зомби». Вот сейчас онлайн-переводчики вполне создают видимость понимания контекста, иногда даже не по себе становится, но все равно это тупой «решатель», обученный сопоставлять готовые фразы.


                1. sim31r
                  28.03.2019 11:41

                  Так и некоторые люди тоже имитируют эмоции и понимание, при полном их отсутствии.
                  Онлайн переводчики на основе нейронных сетей именно понимают контекст, каждый день всё лучше и лучше.


                  1. Georgy9
                    28.03.2019 12:04

                    С первым утверждением нельзя не согласиться. Многим интровертам и асоциальным личностям приходится имитировать эмоции. Большая часть «умственной» деятельности очень большого количества людей – это на деле лишь копирование и воспроизведение уже готовых шаблонов и опыта, накопленного другими людьми, бесчисленными поколениями предков. Кстати, интернет обнажил вот эту проблему с ужасающей ясностью (копипаста, перепосты, ретвиты и просто повторение банальностей вслед за «топами»).

                    А вот второе опять не о том. Машина не понимает контекста и смысла, для этого у нее нет жизненного и социального опыта. Она лишь учится находить правильные соответствия в строении фраз – это и есть «философский зомби».


                    1. sim31r
                      28.03.2019 14:57

                      Машине не нужно понимать весь жизненный опыт человека, ей достаточно понимать смысл (значение) информации и подобрать слова передающие этот же смысл на другом языке.
                      Это не всегда возможно, художественные переводчики, часто просто упускают целые пласты смысла или заменяют на вновь созданные смыслы, понятные представителю культуры, это не перевод, это может быть даже сложнее написания книги или стихов с чистого листа.
                      И все равно, чтобы понять даже переведенный текст, нужно изучать личный опыт автора, его культуру. Даже текст на родном языке, может быть не понятный в чем-то, если написан человеком с другой культурой, непонятны переживания или логика.
                      В этом плане, не подготовленный человек, тоже будет «философским зомби». Почитайте автогенерированные рефераты, тут их генеририруют на русском.


            1. sim31r
              28.03.2019 02:03

              Эмоции это скорее балласт интеллекта, что достался в наследство от простейших организмов. Дофаминовое подкрепление и прочее. Когда желудок набивается едой, в кровь выбрасываются морфий-подобные вещества и мозг одурманивается, иногда вызывается зависимость от еды (в лучшем случае). В чем ценность этих эмоций? Без них было бы лучше, но это наследство эволюционное слишком глубоко встроено в мозг.
              С пониманием контекста ИИ проблем нет, над этим работают, просто добавляют уровни абстракции новые. Задача сложная, но решаемая. Люди тоже не все понимают сложные контекст, чем сложнее, тем меньше. Контекст квантовой механики поймут 0.1% населения, очень сложны абстракции там.
              В той же игре в Го, нейросети уловили контекст игровых ситуаций тоньше, чем это делали люди, разобрались после анализа партий игровых, когда казалось бы ходы не логичные, приводили к укреплению игровой ситуации далее.
              Вот сейчас и Старкрафт ИИ осваивает, результаты спорные, но интересные, это всем интересно и породило бурную дискуссию.
              Мозг, кстати, и есть решатель задач. Он нужен организму чтобы кормил его и оставил потомство. Всё остальное побочный эффект и инструмент для достижения целей.


              1. VDG
                28.03.2019 02:42

                Когда желудок набивается едой, в кровь выбрасываются морфий-подобные вещества и мозг одурманивается, иногда вызывается зависимость от еды (в лучшем случае). В чем ценность этих эмоций? Без них было бы лучше
                Без них бы вы умерли с голоду. Откуда вы узнали, что вам необходимо питаться? Вас этому обучило подсознание кнутом и пряником через подкрепление поведения. Агентов этим же способом обучают.

                балласт интеллекта, что достался в наследство от простейших организмов. Дофаминовое подкрепление и прочее.
                А это вообще, можно сказать, аналог обратного распространения ошибки, закрепляющий нужные связи.

                Вы предлагаете повыкидывать то, из чего сделаны современные нейросети.


                1. sim31r
                  28.03.2019 03:14

                  Питаться сейчас не проблема. А сбросить вес проблема, или перейти на полезную еду без сахара и жиров.
                  Нейросети обучают более практичным методом обратного распространения ошибки, в многомерном пространстве выбирается точка с минимумом ошибки и задача решена. Конфигурация запоминается.
                  Аналогия с химическим стимулированием понятна, но это более примитивный метод, медленный, грубый и с побочным эффектами. Не идеальный, просто рабочий метод.


                  1. VDG
                    28.03.2019 03:23

                    «Не идеальный, просто рабочий метод» — это именно глубокое обучение за неимением альтернатив на сегодня, а «примитивный, медленный, грубый и с побочным эффектами» метод даёт сильный интеллект, правда с ожирением у некоторых )


                    1. sim31r
                      28.03.2019 11:14

                      «Слабый» и быстрый интеллект на основе нейросетей эффективно работает без этого всего, в распознавании изображений, анализе данных, в играх от игры Го до Старкрафта, в рисовании картин и создании музыки.
                      У людей тоже не всё однозначно, кроме ожирения и злоупотребления наркотиками, по настоящему сильный интеллект далеко не у всех, как показано на графике
                      Думаю тут все кто обсуждает ИИ сами обладают IQ>120, а это небольшая часть населения.


                  1. Georgy9
                    28.03.2019 08:19

                    Дело не в питании. Вот вы занимаетесь любимым делом или играете в игру, потому что это вам нравится, вызывает удовольствие – эта эмоция была доступна еще ящерам, если не рыбам. Вы бы согласились жить без нее? Кстати, в литературе уже обыгрывались подобные ситуации.


                    1. sim31r
                      28.03.2019 11:09

                      Приятная эмоция работает в связке с неприятной. Если одна деятельность вызывает приятные эмоции (это не всегда созидательная деятельность), другая вызывает отрицательные эмоции, а то и явные страдания. Прекращение страданий может восприниматься как приятная эмоция. Самих по себе приятных эмоций нет, они только в связке с негативными идут и работают на их фоне. У кого-то стресс «небольшое» падение состояния на несколько миллиардов, у кого-то радость покушать или выздоровление частичное.
                      В фильме «Эквилибриум» показано что-то подобное, эмоции людям отключили химическими препаратами для улучшения общества.


              1. Georgy9
                28.03.2019 08:10

                >> Без них было бы лучше… Мозг, кстати, и есть решатель задач. Он нужен организму чтобы кормил его…
                Вообще страшную вещь вы походя сказали, тем не менее это и есть реальность сегодняшнего дня.

                Я имел в виду совсем другой контекст – душевный и духовный, который можно понять только имея человеческий жизненный опыт (тот, который на 99% «балласт»). Как думаете, почему сейчас падает интерес к классической литературе, и даже старые советские фильмы, еще недавно так популярные, уходят в прошлое? Новые поколения перестают понимать их контекст, а если и понимают, он входит в катастрофическое противоречие с их жизненным опытом и личной картиной мира. И это вовсе не в укор им говорится, они нисколько не глупее, а где-то и умнее. Это реальность, которая колоссально изменилась и не имеет почти ничего общего с прошлым. Я, старик, могу смотреть на все это другими глазами, оценивать иначе, но я – «уходящая натура».
                Офтоп, закончим на этом.


                1. sim31r
                  28.03.2019 14:28

                  Это философская тема. Советские фильмы, действительно теряют актуальность, мир меняется, как на картинке хотя бы.
                  Советское поколение тоже, не очень то и понимало контекст крепостных крестьян, а те не поняли бы контекст индейских/африканских племен, охотников за головами и ценность коллекции скальпов, что делало в то время воина претендентом в высшую иерархию власти.
                  Даже картинкой шуточной тенденцию «раньше было лучше» представили.
                  Что однозначно, современное время экспериментальное и кратковременное, это переходный этап освоения технологий. Далее будут какие-то изменения. Думаю последущие поколения и текущее время не поймут, все контексты.

                  И по теме статьи, все равно, так или иначе мозг человека в любое время решал задачи на основе его представления о морали, на основе психологии людей вокруг, на основе обучения с момента рождения.
                  Творчество тоже работа мозга, поиск взаимосвязей, индукция-дедукция. Было много разобщенных фактов, а потом раз и таблица Менделеева, например.
                  Искусственные нейросети тоже такое умеют, если есть подходящий набор данных, вот пример «последователей» Менделеева, уже искусственных, в химии.


  1. Vkuvaev
    27.03.2019 10:56

    Интересно, а что успели за два года раскопать по теме фотонного обмена между нейронами?
    В MIT technology review об этом писали канадские товарищи 6/09/17.
    То есть они обнаружили, что есть биофотоны вообще, и при рассмотрении вглубь, миелиновая оболочка аксона оказалась вполне себе волноводом.


  1. Georgy9
    27.03.2019 17:26

    На мой непрофессиональный взгляд, это согласуется с экспериментальными фактами, которые озвучены в лекции Ю.И.Александрова, что информация от рецепторов начинает обрабатываться раньше, чем она попадает в мозг по аксонам и сигналы от одних и тех же рецепторов различаются в зависимости от того, с какой целью они активировались. То есть можно предположить, что дендритная сеть нейрона может обучаться так же, как и сеть, состоящая из самих нейронов. А это говорит о том, что сложность мозга и нервной системы на порядки больше, чем мы это себе представляли. Очень хотелось бы услышать комментарий специалиста.


  1. prankov
    28.03.2019 13:03
    -1

    Нужен квантовый компьютер, тогда может быть подойдем ближе к мозгу