Оригинальный взгляд на алгоритм распознавания объектов головным мозгом, который еще может и фантазировать с увиденными объектами и моделировать их. Так же он объясняет механизм генерации сновидений и на его основе можно объяснить работу пальцев рук.
Мы видим картинку двухмерной, но при фантазировании, например людей, мы их представляем как трехмерную модель. В ней, как бы у людей есть скелет для моделирования движений рук и ног. Но, не смотря на то, что мы используем 3D моделирование, понять как будут пересекаться объекты сложной формы мы не можем (для этого нужна начертательная геометрия). Согласно, данной теории у нас в мозге нечто среднее между 3D и 2D моделированием с пониманием вида поверхности - это к тому же объясняет, почему мы понимаем принадлежность теней объектам. По сути мы имеем 2D виды со всех сторон, но кроме этого запоминаются срезы объема объекта. (см. рис. 1). Срез - это вид сбоку на проекцию, показывающий объем (поверхность) объекта. Срез, в отличие от проекции является не картинкой, а кривой.
Есть два источника информации о поверхности объекта - это срезы и текст о типе поверхности у разных зон проекции (выпуклое, вогнутое, шарообразное и т.д.), кстати именно пользуясь срезами мы узнаем силуэт или тень объекта, причем тень может быть сильно деформирована, но мы ее все равно узнаем. На проекциях и на срезах одинаковые точки связаны связями и это дает возможность натягивать модель в мозге на видимый объект соответственно деформируя в фантазии модель (по одному виду мы представляем все остальные виды с других сторон). Пример, "нечто" из фильма ужасов, по картинке из фильма мы понимаем деформацию срезов и представляем его геометрию, т.е. срезы меняются и делают морфинг, так как они связанны с картинкой и наоборот.(см. рис. 2) Тот же морфинг в анимации - мы понимаем связь точек и срезов, как они перетекают друг в друга.
На рис. 3 показано как хранится в памяти информация об объекте, мы помним виды и срезы с существенными различиями. Разумеется сам объект имеет название (лицо), но также имеют названия и его отдельные части (глаза, рот и т.д.) и распознавши его часть мы понимаем объект и представляем о нем даже ту информацию, которую не видим. А если мы его осмотрели со всех сторон, то в мозге есть конкретная, а не представленная модель объекта.
Этот алгоритм понимает тени от объектов, ведь они являются искаженными срезами. Через срезы мы также понимаем картинки в виде контура гор, мостов, рек, облаков. Например, облако состоит из типовых шарообразных фрагментов имеющих круглый срез, которые распознаются как часть облака. На первый взгляд (см. рис. 4) абсолютно непонятно, как мы распознаем картинку - гора и дерево понятны, но они вовсе необязательны для понимания. А остальное по отдельности дорога, вода, камни, трава слишком нетипично выглядят (не так как в реальности), но так выходит, что оно понятно все вместе.
Помимо одинарных объектов которые помнит мозг, есть еще именованные наборы объектов, в данном случае луг - он состоит из разных предметов (трава, дерево) и контактирует он в реальности с разными объектами (река, дорога). Т.е. у луга и у других подобных слов есть определение, а в мозге это структура как на рис. 4. Пользуясь определением объектов мы получаем подсказки для распознавания всей картинки. Эти определения используются не только в распознавании, но при мышлении, об этом в указанных в конце статьях.
Давно замечено, что дерево является фракталом - это формула основанная на срезах, есть законы - внизу оно толще, наверху тоньше и на рисунке заметен фрагмент текстуры в виде штриховки. Мы понимаем реальность на базе объекта со всех сторон и на базе того, как один объект может менять форму (например, человек в разных позах). На основе этого создана мозгом модель фрактала см. рис. 5. В итоге мы имеем формулу в виде перехода одних объектов в другие, замкнутую на себя и на масштаб.
Одновременно с распознаванием идет работа с топографической картой ведь первоначально мозг пользовался зрением для ориентации в пространстве и его задача была найти путь к цели.(см. рис. 6)
При просмотре картинки мы получаем в мозгу карту - вид сверху этой территории, там где есть объекты, присутствуют их размеры и расстояние до них. Мы можем моделировать перемещение по этой картинке (основываясь на карте) и фантазировать с ней. Когда эту картинку рисовал человек, он пользовался взаимосвязями и определениями объектов и возможно не замечая того представлял карту. Если на рисунке есть объекты, которые не могут быть изображены на карте, например горы, солнце, облака, то они появляются на краю карты как недосягаемые. После распознавания появляются глаголы (исходя из фона на котором объект и модели) - трава растет, вода течет, камень лежит на берегу, у моста мы понимаем его устройство и этот мост является комбинацией из разных известных нам мостов. (см. рис. 7)
Также понимается фон, что река под мостом и дерево закрыло реку - как бы на основе известных срезов этих объектов. Это понимается на базе моделей дерева и моста. На базе размеров некоторых ключевых объектов (моста и перил) понятен размер досок у моста. Размер камней в воде понятен на базе размеров моста. Пользуясь картой и распознанным рисунком мы можем представить любую сцену происходящую на ней, например идущего по дороге человека. А нейросети, которые сейчас популярны такую карту не делают и по сути не могут, а если нет карты, то и невозможно понять рисунок.
Видя с одной стороны любой объект мы понимаем его вид со всех сторон и его поверхность (например, лицо). Также по видам ортогональных проекций чертежа мы можем представить трехмерную деталь.(см рис 8)
Видя отдельно одежду можно представить, как она будет выглядеть на человека одетом в другую одежду - это делается через распознавание ключевых именованных точек объектов (рука, плечо, пуговица) и натягивание картинки на картинку с учетом срезов. Этот механизм весьма примерный, но прикинуть можно (мы места несоответствий в представлении не замечаем).
Алгоритм позволяет связать несколько моделей одного объекта, но в разных состояниях словами связанными со временем (т.е. появляется прошлое и будущее), через этот механизм можно, например понять мимику лица или движения человека. Так в этой модели появляются глаголы действий и эмоций. Этот процесс имеет обратный эффект, можно представить в фантазии вид и действия человека в будущем. Наборы этих взаимосвязей связывают что мы видим и видели с глаголами и существительными описывающими реальность.(через этот механизм можно по позе понять, что человек бежит и т.д.). Глаголы движений несут в себе информацию о скорости и ускорении (в прошлом и будущем), для нас это выглядит как плавность движений.
Есть ключевые модели понимания реальности, которым ребенок учится в детстве. Это игра с кубиком, смотря на него с разных сторон мозг понимает аффинное преобразование (как одна и та же картинка выглядит под разными углами зрения). И еще это бросание мячика, мозг понимает скорости и ускорения падающего тела и потом использует это при фантазировании.
Можно запомнить множество картинок глаза с разным положением зрачка, но можно создать формулу (закономерность), что зрачок находится в зоне возбуждения области глаза. При создании формулы используются глаголы, где глаз это выход на другую модель. (см рис. 9)
Допустим, мы представляем, что сядем на трубу. У трубы есть срез - это круг. У сидящего человека тоже есть срез позы. Производится соприкосновение этих срезов и моделируется, может ли человек сидеть на ней (если труба метр диаметром, то у человека одна поза, а если 20см то или 3см, там другие позы - они связаны с разным удобством), с учетом, что надо опираться подошвами на землю, здесь это также моделируется (исходя из набора известных поз) и делается вывод удобно это или неудобно (и удастся ли вообще). У среза есть связь со свойствами поверхности (шероховатость, загрязнение, температура), все это участвует в моделировании, мы знаем какие будут последствия, если сделаем это действие. Мы примерно знаем через какие позы и движения будем садится, а там по месту движения корректируются и, например мы на что то опираемся.
Все взаимодействия людей решаются и моделируются на базе срезов и поз.(см рис. 10) Мы представляем как кривые среза будут соприкасаться - понимаем свою позу и другого человека. Например, через этот механизм слесарь прикидывает, войдет ли стержень в отверстие.
Так же надо заметить, что каждый из наших пальцев имеет срез и когда мы берем что то, то мозг делает так, чтобы срезы наших пальцев контактировали со срезом этого объекта. (см. рис. 11) Хотя работа с некоторыми объектами, типа ручки построена на другом принципе, но этому нестандартному взаимодействию нас специально учат в детстве.
Например в изобретательстве - тут мы не все комбинации взаимодействия объектов можем представить, но фрагментами суть понимаем, а потом рисуем и все подгоняем.
Если при моделировании во внутреннем взоре мы картинку не видим, то во снах этот механизм фантазии реализуется в полном объеме. Одушевленные объекты моделируются аналогами нашей личности (субъектами, об этом в абзаце ниже), места где происходят события это карты топографической памяти (об этом в абзаце ниже).
Мною в статье теория эволюции и работы мозга описано устройство личности и имитация поведения субъектов в мозге, эволюция алгоритма разума в нем и алгоритм работы зрительного анализатора. А в статье искусственный интеллект более подробно описаны принципы определений частей речи. В статье теория алгоритма, дающего смысл словам описано моделирование событий в мозге через слова. И я хотел бы отметить, что все что написано в этих статьях дополняет друг друга и эту статью и является описанием сильного искусственного интеллекта.
Инженер Головин Александр Владимирович
E-mail: axelfl35@gmail.com
Комментарии (17)
gdt
22.07.2022 22:10Подскажите, пожалуйста, как вы относитесь к идее о том, что каждый человек рождается с чистым мозгом, так сказать, tabula rasa - не умеет ни видеть толком, ни осознанно двигать конечностями и т. д. - таким образом, каждый из нас с рождения обречён учиться видеть, слышать, ходить и делать всё остальное? Например, есть такая гипотеза, что (условно) область мозга, отвечающая за зрение, формируется там, куда приходит зрительный нерв. Скажем, есть подъязычный имплант, стимулирующий осязание типа как набором иголок (как монитор с очень низким разрешением) - люди с таким имплантом способны базово ориентироваться в пространстве через несколько недель.
Короче говоря - откуда там алгоритмы? :)
funca
22.07.2022 23:16человек рождается с чистым мозгом
Есть подозрение, что мозг начинает чем-то заполняться ещё до рождения. Дети в роддоме уже прилично отличаются друг от друга и по поведению и по характеру.
gdt
22.07.2022 23:17+1Конечно, генетику ведь никто не отменял.
funca
22.07.2022 23:33Я имею ввиду то, что сам процесс рождения занимает минуты. Это не то время, чтобы можно было принципиально что-то изменить. За день до своего рождения ребёнок практически такой же, как и за два... Т.е в момент рождения он продолжает развиваться, а начинает наверняка задолго раньше.
phenik
23.07.2022 05:37+2как вы относитесь к идее о том, что каждый человек рождается с чистым мозгом, так сказать, tabula rasa — не умеет ни видеть толком, ни осознанно двигать конечностями и т. д.…
В одной из публикаций довольно подробно обсуждали близкую тему связанную с когнитивными способностями, там приведены ссылки на некоторые источники. Например, сразу после рождения младенец грубо, но все же может дискриминировать численность, а не случайно делать выбор, со временем и приобретением опыта эта исходная способность улучшается. Человек рождается с уже определенными ожиданиями относительно среды в кот. будет жить, и в дальнейшем происходит их дополнительная настройка. Поэтому «чистого листа» нет, это допущение возникло в Ср. века в философских дискуссиях о соотношении эмпиризма и рационализма в процессе познания, когда исследований на эту тему фактически еще не было. Это объяснят почему младенцы быстро учатся на малом числе примеров, что вызывает вопросы у разработчиков ИНС. Да и сами ИНС никак не чистые листы, в архитектурах сетей и свойствах формальных нейронов уже зашиты некоторые потенциальные возможности, например, возможность суммировать, распознать простые паттерны, и тд, но в отличии от биологических прототипов требуется настройка весов с помощью обучения. Сейчас распространена технология предобучения сетей, кот. затем дообучиваются под конкретное применение, напр, в задачах перевода текстов. Но это предобучение отличается от предобучения сетей мозга плода в утробе. ИНС, в любом случае, это готовый шаблон кот. инициализируется, и кот. присваиваются веса, живой мозг плода растет, развивается и одновременно предварительно настраивается.
Короче говоря — откуда там алгоритмы? :)gdt
23.07.2022 13:05Честно говоря, хотел сделать акцент на нейропластичности — теперь вижу, что получилось не очень. За ссылку на ваш комментарий спасибо, почитаю.
OlegZH
23.07.2022 19:34как вы относитесь к идее о том, что каждый человек рождается с чистым мозгом, так сказать, tabula rasa - не умеет ни видеть толком, ни осознанно двигать конечностями и т. д. - таким образом, каждый из нас с рождения обречён учиться видеть, слышать, ходить и делать всё остальное?
Можно выдвинуть противоположную теорию. Что значит развитие? Разворачивание уже заложенного. Причём, это никак не отметает того факта, что приходится учиться. Но сами умения уже изначально предусмотрены. А мозг — это своеобразный интерфейс.
есть такая гипотеза, что (условно) область мозга, отвечающая за зрение, формируется там, куда приходит зрительный нерв.
Возможно. И где ещё ей формироваться? Вопрос в том, почему зрительный нерв приходит именно туда, куда надо. И что происходит, если зрительный нерв ошибается адресом. (Не хочу даже и представлять. Ибо страшно.)
Короче говоря - откуда там алгоритмы? :)
Вопрос интересный. Наука материалистична. Но если мозг — это интерфейс, то алгоритмы находятся где-то там.
gdt
23.07.2022 19:42+1Дело не в том, что зрительный нерв приходит, куда надо. Дело в том, что новые псевдо-зрительные центры развиваются там, куда приходит сигнал от импланта (например, осязательные сигналы из подъязычной области). Даже у взрослых людей.
Насчет интерфейса, я надеюсь, что вы это не всерьёз.phenik
24.07.2022 07:57Дело в том, что новые псевдо-зрительные центры развиваются там, куда приходит сигнал от импланта (например, осязательные сигналы из подъязычной области). Даже у взрослых людей.
Да, такое возможно из-за чрезвычайной пластичности мозга на всех уровнях, как вы и упоминали. В одной из публикаций сделал небольшой обзор достижений на эту тему. В перспективе эти технологии будут с очевидностью востребовано по многим причинам.Насчет интерфейса, я надеюсь, что вы это не всерьёз.
Написал ответ, возможно у человека метафора такая возникла, если не имелось ввиду, что-то религиозно-философское)
phenik
24.07.2022 07:50Но сами умения уже изначально предусмотрены. А мозг — это своеобразный интерфейс.
Не уверен что понял, что имеете в виду, но если использовать такую метафору, то это можно так описать. В мозге младенцев после рождения уже имеются некоторые представления о мире в котором они будут жить. Это представления математического, физического и социально-биологического характера. Они накоплены эволюционным путем и закреплены на генном уровне в очень интегрированном виде, т.е. специфических генов этих способностей нет, своеобразное эволюционное легаси человечества) Примеры таких способностей математического характера — младенцы могут отличать большую кучу предметов от меньшей оценивая их численность без всякого обучения и подсчета, интуитивные представления о евклидовости геометрии окружающего мира; физических — знают, что твердые тела не могут проходить друг сквозь друга, и сохраняют постоянство при перемещении, и тп, см. интуитивная физика; социальных — реагируют на лица и голоса людей, их привлекают, в первую очередь, движущиеся, целенаправленно действующие объекты — агенты, способность кот. позволяет приспособиться к жизни в социальной среде. С философской точки зрения про эти способности можно почитать в этой статье, там же можно найти ссылки на исследования. Однако эти способности носят менее врожденный характер нежели инстинктивное поведение, т.к. могут настраиваться под текущее состояние среды по мере роста, обучения и получения опыта.Вопрос интересный. Наука материалистична. Но если мозг — это интерфейс, то алгоритмы находятся где-то там.
Конечно где-то там — в культурном слое общества) Дети получают эти алгоритмы (в широком смысле, поведения, мышления, и тд) общаясь с родителями, затем в школе, институте, и тд, и все это базируется на интуитивных формах поведения, восприятия, как упомянул выше. Создайте свой оригинальный, полезный алгоритм и люди его запомнят, запишут в книги и на др. носители информации, и он будет уже «где-то») а затем будет предаваться новым поколениям пока будет оставаться полезным.
zakons
25.07.2022 14:30Штука в том, что существует период депривации, у человека он примерно около года, когда на основе конкуренции формируются связи, и очертания границ восприятия (я за морфологию). Например, у котёнка этот период около 30 дней, и если котёнку на 10 день зашить глаза (он их на 10-й день открывает), а через месяц снять швы, то котёнок на всю жизнь останется слепым, т.к. в данный период не будут поступать сигналы от зр. нервов в стриарную (затылочную) область коры. Ну и на основе конкуренции, часть этой коры отойдёт к другим чувствам, а часть просто деградирует (по сути "скукожиться").
gdt
25.07.2022 14:43Вы имеете ввиду эксперименты с монокулярной депривацией у котят? Спасибо, очень интересно, век живи — век учись :)
zakons
25.07.2022 14:54Я читал описание эксперимента на оба глаза, данные на память из книги "Глаз. Мозг. Зрение." (к сожалению, автор/издательство/год не вспомню, т.к. читал лет 25 назад), наверное раньше нравы были суровые, читал с отвращением, презираю садистов. :) Но на один глаз, вполне терпимо, если того требует наука. :)
SubjectPersonalData Автор
24.07.2022 14:45Алгоритмы мозга (ну или система обучения мозга) - они описаны в психоанализе и их весьма много, например Эдипов комплекс.
Фреймы Минковского - они ни о чем, я описываю в своих статьях алгоритмы, а во фреймах нет ничего определенного.
В комментариях к другим моим статьям люди писали надо смотреть на слепых, как они понимают этот мир - а вот так и понимают пощупали что, есть срез, походили по территории, есть карта в мозгу.
Хочу отметить что у меня на Хабре 4 взаимосвязанных статьи дополняющих друг друга, и в одной из них даже описана эволюция алгоритмов мозга.
napa3um
24.07.2022 19:01Минского, не Минковского. «Там нет ничего конкретного» = «я этого не понимаю». Кибернетика, как известно, продажная девка империализма :).
Вы уж простите, не могу не отметить вашей самонадеянности :). А есть какие-то практические, прикладные применения ваших теорий? Какую задачу они могут решить, как вы считаете? Хотя бы потенциально - чего вам не хватает для перехода от принципов к практическим решениям? :)
napa3um
"Если научился пользоваться молотком - всё вокруг кажется гвоздями" :). Но статья может представлять интерес, конечно, как пример построения эпифеноменологической модели сознания (как пример интроспекции) инженера (человека с соответствующими семантическими ядрами). Нужно только принимать во внимание некоторую долю наивности в этом всём (не значит, что тут прям какой-то бред, прост это всё находится довольно далеко от настоящих проблем в теме strong AI).
Не читали теорию фреймов Минского?