"[ Нейронная сеть нуждается] в 300 миллионах изображений кошек, чтобы научиться понимать, что есть кошка, корова или собака. Но интеллект не основывается на больших данных (Big data). Наоборот, он основан на «маленьких данных». Если вы можете смотреть на кошку, извлекать абстрактные принципы «кошки» так, как это делают дети, и далее уже всегда знать, что такое кошка – это и есть интеллект"В самом деле, почему дети обучаются распознавать кошек быстрее и проще, чем это делают нейронные сети? Другими словами, какова принципиальная схема человеческого механизма распознавания образов?
Паскаль Кауфманн, швейцарский учёный, нейролог, основатель компании «Стармаинд».
Давайте заглянем в этот процесс поглубже!
Но сначала упростим задачу, чтобы лучше понять сам принцип работы.
Возьмём яблоко в качестве предмета для распознавания. Этот предмет проще, чем кошка, его легче распознать, а значит, на нём проще понять механизм распознавания.
Механизм работы мозга я буду описывать в эпистемологических терминах, т.е. в ключе философской теории познания. Иными словами – как мы видим это в собственном разуме, своим «внутренним зрением», для себя? Я это делаю намеренно, так как, только создав живое, т.е. нативное описание процесса мышление, его в дальнейшем можно использовать основу для алгоритмизации. В том числе и для создания математических формул, исследований в области нейрофизиологии, создания искусственного организма (сильного искусственного интеллекта).
Чтобы решить эту задачу, проведём мысленный эксперимент. Представим себя на месте годовалого ребёнка, который совсем недавно узнал, что такое яблоко и ещё не очень хорошо умеет их отличать. Поэтому его распознавательный процесс слишком медленный, что для науки очень даже полезно: его можно отследить.
Вообще, педагогика, особенно, педагогика первых лет жизни – непочатый край для исследования алгоритмов обучения, но почему-то компьютерные учёные в эту область не заглядывают, а переходят сразу к математическим формулам.
Позволю себе вопрос: когда человек осваивает сложную математику, алгебру? Правильно — уже в школе, т.е. с 10-12 летнего возраста. Постойте, а как же нам научить машину думать, если мы не понимаем, как учатся думать дети в самом начале своей жизни и своего обучения? Не понимаем, как возможно обучение в принципе? И стесняемся спросить об этом наших детей!
А если просто вспомнить, как учились сами?
— Я вспоминаю-представляю себя маленьким. Мне 1 год. Мама протягивает мне яблоко.
Вот я смотрю на яблоко. Я не знаю, что с ним делать. Оно круглое [1-й паттерн, форма]*.
Круглым может быть игрушка, мяч.
Мне становится интересно, и я беру яблоко в руку. Оно окрашено равномерно, в красно-жёлтый цвет [2-й паттерн, цвет], а мяч, обычно раскрашен в разные цвета. Значит, скорее всего, это не мяч.
Я роняю его на пол. Оно не прыгает. Значит, точно не мяч.
Я нюхаю его – оно сладко пахнет [3-й паттерн, запах]! Значит, возможно, это еда! О, я уже много знаю съедобных вкусных круглых сладких предметов: это и апельсин, и яблоко, и мандарин, и персик… Я даже знаю, как они все называются — это же фрукты!
Круг поисков сужается. Лишние паттерны-эйдосы отброшены, я сосредотачиваюсь на распознавании фруктов! Я слегка надавливаю на этот круглый фрукт.
Он не мягкий [4-й паттерн, ощущение], значит, мандарин и персик отпадают.
У апельсина жёсткая пупырчатая корочка, я это помню, к тому же апельсин оранжевый [снова 2-й паттерн, цвет], значит, и апельсин отпадает.
Что осталось?
Яблоко!
Я на всякий случай осторожно надкусываю этот фрукт и ощущаю ни с чем не сравнимый вкус [5-й паттерн, вкус] яблочного сока.
Точно, это яблоко! Задача распознавания решена!
Мысленный эксперимент закончен.
Как вы успели заметить, при распознавании предмета ребёнок использовал зрение, которое может оперировать паттернами, (или точнее эйдосами) формы; обоняние (паттерн запаха), осязание (эйдос ощущений) и т.д. – все 6 органов чувств и связанных с ними эйдосов: понятий-представлений о мире. Данная особенность нашего мышления была замечена ещё древними и хорошо описана у Аристотеля в его «Категориях», помните: категории места, времени, категории пространства… Из категории состояния выводится категория формы (1-й паттерн), из качества — категории вкуса, запаха, цвета и т.д. Т.е. Аристотель рассматривал высшие категории, которые являются вершиной пирамиды. А внизу пирамиды мы вполне можем обнаружить категории бытовые. Это иерархия категорий.
Но постойте, не тот ли самый принцип категориального описания используется учёными в исследованиях?
Возьмём, к примеру, требования к содержанию кандидатской диссертации. Они звучат примерно так:
- вступление (категория причины, отвечает на вопрос «зачем?»);
- описание предмета исследования (категория предмета, отвечает на вопрос «что?»);
- обоснование актуальности (категория времени, отвечает на вопрос «когда?»);
- ссылки на источники (категория пространства, отвечает на вопрос «откуда?»)
- выводы (категория качества, рассматривает ценность данного исследования для науки) и т.д. и т.п.
Напрашивается вопрос: между описанием яблока, составленным ребёнком и описанием научного изобретения, составленным умудрённым опытом учёным, нет принципиальной разницы?
С точки зрения эйдетики, да!
В этом возможно и скрыт секрет человеческой способности к обучению. Мы не наращиваем объёмы знаний (Big Data, Большие данные). Мы особым способом производим переработку количественного знания в качественное. Это так называемый закон диалектики, выведенный ещё Гегелем.
И обратно, когда требуется развернуть описание из краткой идеи, мы берём её основу, паттерн и насыщаем его примерами.
Посмотрите – основной словарный запас формируется ребёнка до 7 лет. 90% знаний ребёнком усваивается до 7 лет. Так в первые 7 лет формируется и развивается головной мозг. Далее – только незначительное улучшение. Помните известные слова иезуитов: «Дайте мне воспитать ребёнка до 7 лет, а потом делайте с ним, что хотите!»
С возрастом лишь незначительно совершенствуются и усложняются нейронные связи, но не количество нейронов. Этот факт и создал ловушку для создателей компьютерных нейронных сетей. Они решили, что сложность и многогранность мышления обеспечивается нейронными связями внутри которых и «возникает» интеллект за счёт самоорганизации нейронов.
Поэтому идеологи нейронных сетей стараются создать всё более глубокие, всё более сложные нейронные сети, чтобы в них «родилось» самообучение (Deep Learning).
Эта теория считает, что никого универсального интеллекта на самом деле нет. Интеллект есть просто имманентное, присущее свойство сложно организованной материи. Подобно тому, как глядя на «поведение» тайфуна, можно подумать, что он обладает каким-то демоническим разумом.
В этом смысле любой системе присущ интеллект. С внутренним усложнением системы усложняются её внешние проявления, которые нам, разумным людям привычнее интерпретировать как разумное поведение.
Может быть и так. Но давайте вдумаемся, что было раньше, курица или яйцо?
Категории появились после Аристотеля, или Аристотель обобщил уже существующие законы языка, логики, человеческого интеллекта?
Может быть, рост связей между нейронами – лишь следствие роста количества паттернов, эйдосов, этого семиотического дерева познания?
Или же одно без другого не существует, но взаимодействует органически?
Может ли возникнуть паттерн вкуса у машины, если у неё нет органа вкуса?
Может ли человек понять, как обучать машину, если у него в мозгу нет процессора?
Может ли сформироваться нейронная связь, если нечего связывать? Если вместо причудливой смеси человеческих чувств, животных инстинктов, социального воспитания и внутренней «воли» — лишь поток фотографий из социальной сети?
Ответы на эти вопросы, я надеюсь, даст новая наука — компьютерная эйдетика, интегральная наука об эйдетическом искусственном интеллекте.
Когда точные науки заходят в тупик, на помощь приходит интегральный метод философии, способный стать мостом между компьютерной наукой, математикой и нейрофизиологией.
*Здесь и далее: паттерн, он же образ, он же эйдос – элемент описания одиночной мысли, модели, представления, определения. В психологии их называют отпечатками, импринтами впечатлений. В житейском понимании мы можем считать эйдосы идеями. Термин эйдос заимствован у Платона, который считал идеи материальными. Если мы согласимся, что мыслительные модели или образы можно, по крайней мере, нарисовать, или описать, то в этом смысле да, они действительно материальны. Из диалектики Платона выросла логика Аристотеля и его учение о категориях. А без логики, как известно, не развилась бы математика, а впоследствии физика, да и собственно, вся современная наука и наш современный мир, каким мы его знаем. Из зерна, из эйдоса философии, как новой формы познания, в противоположность мифологическому образу мира и мышления, родился новый, управляемый наукой, мир. Таким образом, эйдос по смыслу действительно ближе к определению «модель».
Комментарии (102)
S_A
05.02.2019 11:03+2Все неверно. Во-первых, нейросеть математически не так устроена, как мозг. Аналогия, мотивация, но не более того, дальше одни различия.
Во-вторых, глубокое обучение само извлекает признаки, чем и отличается от "стандартного" машинного. Только поскольку сложности систем несравнимы по количеству состояний, несравнимы и выполняемые ими операции.
Ну и в-третьих, машинное обучение во многих задачах справляется лучше человека. Именно благодаря пунктам 1 и 2.
Нейросеть нельзя одушевлять, это всего лишь продолжение данных, экстраполяция.
roryorangepants
05.02.2019 11:24Если выражаться в терминах нейросетей, то у человека как раз таки гигантская обучающая выборка — мы видим тысячи кадров ежедневно, и всё это работает как мощный transfer learning.
tumikosha
05.02.2019 14:421000? Терабайты в реалтайме :)
Platonic Автор
05.02.2019 15:04Да, терабайты. А теперь засуньте всё это в черепную коробку примерно 10х10х10 см.
Какова там скорость прохождения нейронного сигнала? — 3 м/с.
Помните задачку про 9 метровый хвост у динозавров…
В общем, при желании можно даже рассчитать скорость обработки информации в головном мозге.
Учитывая, как медленно обучаются нейронные сети, можно даже сравнить.
Я думаю, мы будем сильно удивлены: мозг скорее всего просто не может обрабатывать информацию с той скоростью, с которой мы это делаем. В рамках нейросетевой модели по крайней мере…
Что же и как тогда обрабатывает?..Peacemaker
05.02.2019 18:01Что же и как тогда обрабатывает?..
«Облачная ОС», а мозг — только базовая первичная обработка входящих сигналов, и приём-передача данных, такой себе «тонкий клиент»? =)Platonic Автор
05.02.2019 18:04Я почти готов сказать «да». Но меня проклянут материалисты. Поэтому предпочитаю говорить о медели.
Потому что модель можно изучать объективно вне зависимости от того «железа» на котором работает мозг. И вне зависимости от того, материальна ли душа и что является носителем разума.
Varim
06.02.2019 13:13Откуда вы взяли терабайты? И терабайты чего именно? Уверены что это не голословное утверждение?
То что мы воспринимаем какой то объем информации, не значит что мы его запоминаем, а так же не значит что мы весь этот поток полностью обрабатываем.
Считается что зрение самый широкий канал. Сжатие информации происходит еще в сетчатке.
Нам кажется что мы видим всё чётко, но это обман мозга, на самом деле наш глаз мутный, глаз видит примерно так как если бы вы открыли глаза под водой, просто мозг создает четкую картинку, такая вот пост обработка.Platonic Автор
06.02.2019 13:24Вспомните, как вы недавно шли по дороге домой.
Что было справа, что слева? Кто Вам встретился? Какая была погода? Кто вышел Вам навстречу из-за угла?
А помните последний фильм, что Вы смотрели?
Как Вам актёры? Что происходило, каков сюжет?
Ясно видите картинку? Она живая, объёмная?
Допустим, вы не вспомните детали.
Но я занимался гипнозом. Под гипнозом человек воспроизводит детали события до мелочей. Включая цвета и запахи. И это научный факт. Проверяемый.
Сколько места понадобится, чтобы разместить одно подобное воспоминание, например, на жёстком диске? Сколько там средний объём фильма в плохом качестве — 700 MB?
А сколько у нас таких фильмов- вопоминаний? (Помним — под гипнозом мозг человека способен вытащить живую картинку в несколько десятилетней давности).
Это тоже мозг обрабатывает?
Рендиринг сжатых файлов? -)
Ээта информация лежит в памяти? В нейронных связях?
Хорошо, а тогда какой объём памяти необходим для хранения фильма длиною в 70 лет (средняя продолжительность жизни)? Пусть хотя бы в разрешении 300х300 пискселей. Можем даже вычесть время на сон. Итого, по 8 часов в день.Varim
06.02.2019 18:06+1Я не специалист по гипнозу. Поверхностно ознакамливался с этой темой. Поэтому придерживаюсь мнения тех людей чьи доводы по этой теме мне нравятся.
Вкратце мое мнение что гипнозу подвержены очень небольшой процент населения и этому проценту можно внушить почти что угодно.
Некоторые моменты жизни я и без гипноза отлично помню, некоторые не помню вообще. Да я даже не помню чем конкретно я позавчера занимался на работе.
Вопрос: люди вспоминают конкретные моменты, то есть те которые они почему то запомнили в деталях, либо они вспоминают любые произвольные моменты? Если моменты любые, то как вы к этим моментам адресуетесь? :-)
Пусть человек вспомнил всё в деталях, как проверить что всё так и было, а не он себя убедил или гипнотизер его убедил?
Иногда когда с друзьями вспоминаем какое то события, каждый помнит это событие по своему.
Есть картинки «найдите 10 отличий» почему то люди по памяти их не решают, а пристально разглядывают.
Свидетельские показания весьма расплывчатые.
Вроде даже на хабре были статьи что человеческая память меняется со временем, да и вообще мы вспоминаем в зависимости от наводящих вопросов, то есть выдумываем.
То есть да, какую то часть «рендерим», причем какую то часть скелета что бы отрендерить мы достаем из памяти, а какую то часть скелета мы строим на фантазии которую вычленили из задаваемого вопроса или стимула который нас заставил вспомнить.
Вот я сомневаюсь что это проверяемый на все терабайты научный факт. Ссылку бы увидеть.
Я считаю что мы не запоминаем каждый день по 8 часов, да еще и в деталях. Уверен что такого доказанного проверяемого эксперимента просто нет.
Даже просто дословно запомнить художественную книжку слово в слово далеко не каждый может.
Поскольку слова довольно абстрактные, то когда один читает в книге слово «дерево», он представляет «высокое лиственное дерево», а другой человек представляет «низкое хвойное дерево».
Если спросить испытуемого «были ли там деревья», он ответит да, имея в виду что там были заросли фундука, в то время как экспериментатор имел в виду тополя.
Вот вам рендеренг, вот вам и достоверность воспоминаний. Да и вообще мозг работает как «машина по вводу сознания в заблуждение».
Пусть в мозге 10^11 нейронов и у каждого нейрона 10^4 дендритов, тогда если бы система хранения была двоичная, был бы теоретический предел в 10^15 бит информации, но система наверняка не двоичная, а наверно аналоговая, или вероятно система исчисления с основанием выше 2х. Например она может быть завязана на количество нейромедиаторов или на комбинацию нейромедиаторов в Синаптическом Пузырке.
Но вряд ли ту память которую имеют в виду люди можно один в один перевести в «память соединений нейронов» (физическая память), так как то что мы вспоминаем, скорее всего распаковывается и «рендерится» с потерями, но на основе того что «сидит» в физической памяти.Platonic Автор
07.02.2019 12:16Согласен. Гипноз — зыбкая почва для доказательств и исследований.
Если Вам интересно: в какой объём вы бы оценили собственную память?
Начать подсчёт можно прямо со словарного запаса (50-200 тысяч слов взависимости от глубины зания языка) + ностранный язык.
Научные знания: формулы, теоремы, научная картина мира.
Школьные знания: география, русский язык… Правила…
Профессиональные знания: тут Вам видней.
Бытовые знания: как одеться, как покупать билет в метро, как вызвать такси, как делать покупрки в магазинах и т.п.
Знания «в теле» — как ходить, бегать, прыгать. Как правильно заниматься фитнесом.
Личные знания: воспоминания детсва (которые хорошо помните и можно проверить — спросить у родственников, как было дело).
Прикладные знания: правила дорожного движения, этикет, правила поведения в обществе.
Культурные знания: нотная грамотность, сюжеты книг и художественных фильмов. Стихи, которые помните наизусть.
Хобби, увлечения…
И т.д. и т.п.
Кстати, чтобы по вашему меткому выражению «мозгу вводить сознание в заблуждение» — тоже ведь для рендеринга база знаний нужна. Картинки, схемы, фоны, текстры… Фантазии ведь можно нарисовать. Мы их видим. База изображений стало быть наличествует. Какие-никакие а базовые изображения или хотя бы их схемы должны храниться в памяти. Например — кошка — это лапы, хвост, пушистое домашнее животное. Значит мы должны хранить в памяти понятия «пушистости», «дом», «животное» и т.д. чтобы из них собрать какой-никакой скелет. В моём понимании на каждое из слов в словаре должна быть иллюстрация, схема. Ну хорошо, пусть не на все, а на базовые понятия, пусть 10% языка. Тоже если интересно — можно попробовать оценить объём.
buriy
07.02.2019 16:15Лишь обозначу два нюанса:
1) Маугли тоже умеет распознавать кошку, при этом не имея в явном виде понятий «пушистость», «дом», «животное».
2) Есть вещь более сложная, чем словарь: правила комбинирования слов и различные словосочетания. Их миллионы, даже, скорее, десятки миллионов.
GiperBober
05.02.2019 11:47+2Если ребёнок увидел кошку, в течение, скажем, пары минут, то он тем самым сформировал несколько тысяч изображений животного — с разных ракурсов, расстояний, с разным освещением, в разных позах. 2 глаза х 50 кадров/с (некая усредненная величина «fps» человеческого зрения) на 120 секунд — 12000 кадров. И этот объект ему назвали «кошкой». При этом в дальнейшем он сможет хорошо идентифицировать именно данный типоразмер животного — такого же размера, шерстистое, шевелящееся как кошка или имеющее позу кошки. Если кошка будет лысой, или пять метров в размере и другого цвета, или бегать на двух лапах задом наперед прыжками сальто — то ребёнок может и не распознать это как «кошка». Нейросеть же обучают на картинках, причём нейросеть зачастую не обучена понятиям «перспектива на фотографиях» и не обучена распознавать множество других элементов на фотографиях — мебель, деревья (и отсеивать их, чтобы оставить объекты для распознавания кошки), учитывать фактическое освещение, распознавать тени и т.д. — она тупо ищет «контур и цвета, похожие на кошку». Распознавание ребёнка на фотографии кошки будет совсем другим, чем у нейросети — он сначала переведёт фотографию в 3D, распознает фоновое окружение «трава, деревья, асфальт, дома», разместит объект «предположительно, кошка» в этом нарисованном мозгом пространстве, убедится в размерах, цвете и форме и скажет — да, это кошка. Причём сможет распознать, даже если объект будет частично скрыт элементами пейзажа или находится в ракурсе, в котором он кошку видел ранее. Если ребёнок, например, не видел кошку снизу, то на фотографии снизу «только лапы и пузо» может кошку и не распознать.
Самым явным же признаком того, что детей обучают по тем же принципам, что и нейросети, являются мультики. Мультики — это упрощённые картинки, предназначенные для легкого распознавания ключевых фигур, и картинок этих показываются за период детства — миллионы. В то время как фильмы зачастую дети не воспринимают до определённого возраста — базы образов не хватает для полноценного усваивания информации из фильмов.Platonic Автор
05.02.2019 12:47«Если ребёнок увидел кошку, в течение, скажем, пары минут, то он тем самым сформировал несколько тысяч изображений животного — с разных ракурсов, расстояний, с разным освещением, в разных позах. 2 глаза х 50 кадров/с (некая усредненная величина «fps» человеческого зрения) на 120 секунд — 12000 кадров...» —
В корне неверное понимание принципов работы разума, а значит — потенциальных алгоритмов работы сильного искусственного интеллекта.
Более подробно разобрано в прекрасной статье — habr.com/ru/post/259191buriy
06.02.2019 01:12А что именно вы имеете в виду под «неверным пониманием принципов работы разума», и под ссылкой на ту статью?
Platonic Автор
06.02.2019 08:36Народ ответил ниже.
Глаз — не камера. Мозг — может чем угодно, хотя ьы и нейронной сетью. Но «софт» у него сложнее. Интернет — тоже по структуре сеть. А какой смысл интернета? Распознавание? -) Или что — то посложнее?buriy
06.02.2019 15:00Глаз — одновременно и камера и нейронная сеть. Через глазной нерв в мозг проходит порядка 1 мбит информации в секунду, обратно в глаз приходит некоторое количество информации для настройки зрения и по другому каналу приходит информация для мышц.
«Софт сложнее»: это безусловно так, у мозга порядка 400 частей, каждая из которых берёт на себя какую-то работу. Можно считать, что 400 разных нейросетей. Параметры обучения и связи некоторых из них весьма жестко заданы (примерно половина всех генов человека, т.е. 10к-12к генов, кодирует устройство мозга!). Часть из них называются зонами коры и имеют примерно одинаковую внутреннюю структуру и структуру связей, другие части выполняют специальные функции.
Эта большая сложность не мешает человеку успешно обучаться задаче на примерах, в этом плане тот комментатор прав, и я по-прежнему не понимаю, почему вы его одёргиваете абстрактными словами без конкретики. Активация первых зон визуальной коры человека V1, V2, V4 похожа на наблюдаемую в первых слоях нейросети. А вот далее идут два пути: V4t и MT, одна зона больше интересуется самим объектом, второе — его параметрами движения.
А вот бездумно применять аналогии и заявлять, что любая коннекционистская структура похожа на другую похожую — чрезвычайно наивно и не вписывается в современный научный подход, это уже какое-то верование, или даже мифология.
Смысла интернета в целом нет, так же, как нет его у человека, находящегося в вегетативном состоянии.
buriy
06.02.2019 15:06Добавил комментарий к статье, habr.com/ru/post/259191/#comment_19718830
Возможно, он вам немного поможет улучшить понимание механизмов работы нейросетей (и мозга).Platonic Автор
06.02.2019 17:34Спасибо за ссылку.
и я по-прежнему не понимаю, почему вы его одёргиваете абстрактными словами без конкретики
Я очень сожалею, если создаётся ощущение, что я кого-то одёрнул. Я всего лишь задаю вопросы. И я не знаю ответов. Да, у меня есть другая теория, но это — открытая дискуссия.
Возможно, и Вам будет интересен следующий вопрос, «без аналогий, строго в соответсвии с научным подходом»:
Вот вы прекрасно сформулировали принципы работы мозга на основе нейрофизиологической научной парадигмы. Позволю спросить:
— Чем физиологически мозг человека в «вегетативном» состоянии отличается от мозга в рабочем состоянии?buriy
07.02.2019 09:14Отличается тем, что уровень активности намного ниже. Отдельные участки мозга работают на распознавание и запоминание, но друг с другом недостаточно взаимодействуют. Мозговой ритм отсутствует.
Предполагаю, что информационный сигнал затухает, вместо постоянного движения по большому информационному кругу: en.wikipedia.org/wiki/Cortico-basal_ganglia-thalamo-cortical_loop
С нашей современной неинвазивной низкой точностью измерений тяжело это аргументированно обсуждать.Platonic Автор
07.02.2019 12:28Уточню вопрос:
вот когда-то в середине 20-го века были исследования в нейрофизиологии и на основе этого создали модель перцептрона. Через 50 лет появились инфраструктурные возможности и мы получили прорыв — нейронные сети в ИТ, машинное обучение.
Что-то сейчас просматривается в нейрофизиологии на основании чего можно создать более совершенную модель работы мозга и получить прорыв в создании сильного искусственного интеллекта?buriy
07.02.2019 17:00На основе мозга были смоделированы спайковые нейронные сети. Они работают, примерно сравнимо с DL, только вычислительно сложнее в 10-100 раз. В IBM работают над более точным моделированием мозга — оно вычислительно сложнее, грубо говоря, в 1000 раз на единицу ёмкости, чем нейросети, но, возможно, будет чуть более точно работать и лучше предсказывать мозг.
То есть, мы можем делать модель ближе к мозгу, но экспоненциально растёт трудоёмкость вычислений, а точность, вероятно, почти не повышается.
Возможно, существенно помогли бы мемристоры, но их сделать почему-то пока не получается.
Кроме того, мы не можем с высокой точностью и детализацией наблюдать за мозгом. Нам неоткуда подглядеть полезные детали, даже если очень хочется.
Поэтому у нас сложился статус-кво: мы перебираем искусственные модели и компоненты с учётом их вычислительной скорости и эффективности применения, и находим лишь минорные улучшения: Dropout, BatchNorm/WeightNorm, Swish вместо Sigmoid/RELU, более хорошие алгоритмы Learning Rate Scheduling и так далее. Для многих из них можно назвать грубые аналогии в человеческом мозге: потеря сигнала — идея Dropout, адаптация нейронов к количеству выделяемых и принимаемых нейромедиаторов — BatchNorm/WeightNorm, экспрессия генов, влияющая на скорость обучения областей головного мозга, отдельные вектора в Word Embeddings для редких слов — увеличение словарного запаса со временем у человека и добавление в течение жизни дополнительных нейронов в некоторых областях мозга, постоянная память для нейросетей — память человека, LSTM — хранение химического возбуждения в нейронах, GANы — возможно имеют какое-то отношение к механизму человеческих снов и человеческой спонтанной (устной) речи (см. алгоритм WaveGlow).
Но, в целом, я бы сказал, что все низко-лежащие фрукты с веток уже собрали, каких-то резких открытий не предвидится, и нейросети учатся уже до качества, во многом сравнимого с людьми, и в некоторых областях даже показано, что сильно лучше — уже нельзя.
Хуже дела там, где *сложно* создать большие базы данных, но идея unsupervised pretraining во многом позволяет частям нейросети «прочитать» книжек не меньше, чем прочитает человек за 1000 лет, и увидеть картинок не меньше, чем человек за 100 лет (но зато более разнообразных, чем человек в своём видео-перед-глазами, так что ещё на 10х-100х наверное можно умножать).
Возможно, нас теперь очень сильно тормозит отсутствие больших синтаксических и семантических баз данных (как текстовых, так и текстово-визуальных) — их очень дорого и долго делать — а отсутствие натренированных на них нейросетей тормозит уже всё остальное символьно-логическое осмысление и более интеллектуальное взаимодействие с пользователем.
Ares_ekb
05.02.2019 12:48Да, какие 12000 кадров! Какие 50 fps! Глаз — это НЕ видеокамера. Глаз выхватывает какие-то кусочки из светового потока. Вы даже это слово не видите целиком. Зрение скользит по буквам. А всю эту картинку уже достраивает мозг. Или, тем более, кошку человек вообще не способен увидеть целиком. Пока он смотрит на неё, взгляд постоянно скользит по каким-то ключевым точкам. Если этот взгляд по какой-то причине не скользнул, например, по груди кошки, то человек и не увидит, что у неё там пятно другого цвета и человек будет «видеть» кошку как монохромную.
buriy
06.02.2019 15:12Разве у вас поле зрения — 1 угловой градус? Нет, зрение видит всё поле, но только центр видит чётко и в цвете. То есть, слова, кроме пары центральных, видны, но не очень чётко. Причём, цветовая область зрения отличается от чёткой область зрения по размеру.
А насчёт 50 fps что не так? Вполне себе упрощённое объяснение, в центре 20 чётких fps, на краях поля зрения — 100 расплывчатых fps. Конечно, не забываем про on-off клетки и микросаккады — но некоторое усреднение есть на зоне коры V1, благодаря ему, мы способны увидеть тонкие линии.Platonic Автор
07.02.2019 13:33Кстати сказать, водитель во время движения при скорости свыше 60 км в час тоже не успевает увидеть дорогу. Мозг при таком потоке информации успевает фиксировать только изменения относительно общей картины. Общую картину достраивает.
Тоже где-то читал об этом, можно погуглить.
Это напоминает движение вслепую по навигатору (уж извините за аналогии, которые вы так не любите).
В общем, моя мысль — мы постоянно имеем дело не с действительностью, а с её моделями. И именно эту область надо изучать.
Изучения «железа», то есть головного мозга, скорее всего не поможет совсем.
Изучать надо РАЗУМ, то есть надстройку. А разум работает с моделями, с «рендерингом действительности» (то есть достравая картинку действительности до управляемого состояния). Вспомним хотя бы переворот изображения вверх ногами глазом и последующая его коррекция мозгом/разумом.
Пока мы не отделим разум от мозга мы не получим чёткой картины.
Кстати, это метод исходно математический — метод абстракции.
Математических объектов нет в природе. Покажите мне в природе цифру «1»?
Но человек оперирует математическими абстракциями и они нам здорово помогают.
Я долгое время работал бизнес-аналитиком. Профессия бизнес-аналитика — это построение абстрактных логистических моделей, вычленение из каждодневных рутинных операций сути, моделирование действительности.
Сама модель — очень приближённа, содержит множество неточностей, даже можно сказать глупа.
Но на основании этой модели появляется возможность как бы посмотреть на привычную рутину бизнеса сверху. Найти слабые точки. И Исправить их, получив не хилый экономический эффект.
Я лишь пытаюсь применить моделирование к работе человеческого разума.
Размещаю следующую статью, где пытаюсь на модели показать как возможен механизм создания изобретений в нашем разуме.
habr.com/ru/post/439350
Критика приветсвуется.buriy
07.02.2019 17:02Ну и нейросети имеют дело с моделями действительности, и тоже на видео обычно фиксируют изменения. В чём проблема-то?
Akon32
05.02.2019 14:56Самым явным же признаком того, что детей обучают по тем же принципам, что и нейросети, являются мультики. Мультики — это упрощённые картинки, предназначенные для легкого распознавания ключевых фигур,
Что? Мультфильмы появились для упрощения процесса создания "фильмов", но никак не с целью обучения детей распознаванию картинок. Учились же как-то люди видеть до мультфильмов.
michael_vostrikov
05.02.2019 15:41Если ребёнок увидел кошку, в течение, скажем, пары минут, то он тем самым сформировал несколько тысяч изображений животного — с разных ракурсов, расстояний, с разным освещением, в разных позах.
Самым явным же признаком того, что детей обучают по тем же принципам, что и нейросети, являются мультики.То есть если необученной современной нейросети на самых продвинутых технологиях показать видео одной кошки длительностью 2 минуты, она сможет выделить на ней существо и распознать существо на другом видео как "похожее на первое"? Если нет, тогда и принципы другие.
Нейросеть же обучают на картинках, причём нейросеть зачастую не обучена понятиям «перспектива на фотографиях» и не обучена распознавать множество других элементов на фотографиях — мебель, деревья (и отсеивать их, чтобы оставить объекты для распознавания кошки)
А почему она не обучена, почему обучить ее этому представляет сложность? В этих механизмах и есть весь смысл. Раз она это не использует, то и принципы опять же другие.
pehat
05.02.2019 12:21Кто сказал, что человек рождается не с предобученной нейронкой?
khim
05.02.2019 12:35Ставили эксперименты, проверяли. Нет, там действительно в момент рождения «пусто». Почти. Есть некоторые базовые рефлексы — и только.
А вот к моменту, когда можно сказать «это кошка» — уже нет. За это время была происследована куча предметов и построена куча моделей в мозгу.
А нейронку сразу на кошку тренируют — вот и вся разница.pehat
05.02.2019 12:36Что значит «пусто»? Вот прямо вообще, даже на первом свёрточном слое, который за распознавание наклонных штрихов отвечает?
khim
05.02.2019 13:26Это, на самом деле интересный! Там есть некоторая преобработка до мозга, но если не «активировать» её до определённого возраста — то информация с неё в будущем будет игнорироваться.
Но да, преобработка там есть всегда. Прямо в глазу. Просто иначе вся картинка через зрительный нерв «не пролазит».Platonic Автор
05.02.2019 13:35Мозг безусловно использует «нейроную сеть».
Но это «железо» — «в глазу» как вы выразились. Я даже предполагаю, что мозг с его неросетью — это только «железо», хорошо приспособленное для создания отпечатков.
Паттерны, эйдосы, — это «софт». Это уже с высоким уровнем абстракции обработка исходных отпечатков (зрение, слух, осязание).
Таким образом, интеллект — это софтовое «изобретение».
Мы же почему-то копируем в исксственном интеллекте работу железа, думая, что таким образом копируем мышление.
Представьте: некие эльфы-исследователи нашли компьютер, созданный руками человека, который умеет показывать фильмы, считать и много ещё чего. Они восхищены и пытаются создать его аналог (их эльфийсмкие машины умеют только магию-)). Начинают исследовать его. Находят в нём монитор, мышь, клавиатуру… И пытаются создать программное обеспечение, состоящее из монитора, клавиатуры, мыши. Что-то получается. Первый успех!
Как его закрепить? Создать ещё более мощный эльфийский компьютер, состоящий из целого кластера мышей, клавиатур, мониторов…
И так до бесконечности.
Прирост производительности будет. Но поскольку перепутаны понятия, железо с софтом, то всё это будет далеко от искомого идеала.
В общем, я хочу сказать, что модель перцептрона, лежащая в основе нейросетевой модели, на самом деле — удачное отражение математической закономерности природы. Которая проявляется в том числе в мозгу в виде нейронной сети мозга. Другие примеры «природных» нейронок — луг с травой, грибница гриба, крона дерева, пищевые цепочки в океане и т.д. и т.п.
Но то, как внутри этих сетей проходят сигналы, и как они организуются, и как они преобразуются — совершенно неочевидно. Думать, что там иерархическая нейронная сеть или что там вообще нейронная сеть — значит просто экстраполировать первые слои на более высшие. Что не есть математически верный подход.
Ещё один пример. Устройство банковской сети на уровне железа — это паутина из маршрутизаторов, проводов, серверов…
Да и на уровне инфраструктуры сети — это всё те же слои и слои.
Но все понимают, что существует АРХИТЕКТУРА, она имеет структуру и иерархию. И продуцирует совсем неочевидные с точки зрения железа вещи: банковские платежи, например. При этом, можно полностью перенастроить логику, использовав банковский ЦОД, для создания например, игрового хостинга.
Внешний вид сильно не измениться. Путаница из проводов, слои серверов в стойках никуда не денутся.
А вот смысл деятельности изменится координально.
Я ищу смысл.
Смысл и «архитектуру» машины под названием «человеческий разум».Platonic Автор
05.02.2019 14:35И в догонку:
Если отобразить интернет-сеть, как структуру прохождения сигналов-связей, то получится классическая нейронная сеть.
Никто не подскажет, какое изображение она распознаёт?
Количество слоёв? Вход и выход?
Может быть, измерим изменение сигнала при прохождении узлов? Я уверен, он будет меняться. Наверняка, там применяются корректирующие коэффициенты…
***
Этот пример иллюстрирует бездну, лежащую между способом организации сигнальной инфраструктуры и смыслом, эйдосом, (интерпетацией сигнала).S_A
05.02.2019 15:17Если это и нейросеть, то вовсе не классическая. Классическая — слоистая, где вход — размерностью признакового пространства, выход — размерности целевого.
Здесь какой-то граф, со структурой дерева… хотя конечно есть вариации сети с разными выходами и разными входами, или банально графы вычислений — как в tensorflow например — однако что-то подобное может вычислять, предположу,
некоторую вероятность (принадлежность) на каждом конечном узле.
Если хотите знать, как нейросети «видят мир», выделяют признаки (с каждым слоем всё более высокоуровневные), ознакомьтесь с картинками по ссылкам
blog.keras.io/how-convolutional-neural-networks-see-the-world.html
raghakot.github.io/keras-vis
Они работают с 2D-изображениями, в отличие от людей, у которых два глаза, и кстати, глаза — это продолжение мозга, это тоже нерв, он реагирует на входной сигнал, подстраиваясь под него, в отличие от нейросети, которой что скормили, то она и съела.
khim
05.02.2019 17:19Но то, как внутри этих сетей проходят сигналы, и как они организуются, и как они преобразуются — совершенно неочевидно.
Что значит «неочевидно»? Как раз «оче»видно. Ну хорошо. Не «оче». МРТ-видно — так лучше? Да, не на человеке (пока?), а на всяких червях. Но с чего вы решили, что там разница количественная, а не качественная.
Как его закрепить? Создать ещё более мощный эльфийский компьютер, состоящий из целого кластера мышей, клавиатур, мониторов…
Необязательно. Можно откопать самый популярный компьютер в мире — и понять как он работает. Полностью. От начала до конца. А потом уже — закреплять успех. Совершенствовать конструкцию. Получить полную копию современного компьютера не получится, но близкий анолог — вполне.Varim
06.02.2019 13:29разрешающая способность МРТ не достаточна для обнаружения синапсов.
khim
06.02.2019 14:12У человека нет.
Varim
06.02.2019 17:09Интересно, быстрое гугление дало разрешающую способность МРТ в 0,1 мм. У какого животного можно удивить не то что синапс, или дендрит, а аксон или хотя бы нейрон? Через МРТ вроде бы нельзя удивить даже границу полей мозга.
buriy
07.02.2019 09:19Толщина коры головного мозга человека — 2 мм. Но МРТ не видит мозговые клетки и их сигналы, оно измеряет кровоток, по сути, это попытка по графику нагрузки блоков процессора оценить, чем он занят:
Существует несколько разновидностей МРТ-обследования. МР-диффузия позволяет определить движение внутриклеточных молекул воды в тканях, МР-перфузия фиксирует прохождение крови через ткани организма, позволяя установить проницаемость стенок сосудов и активность венозного оттока. МР-спектроскопия используется для отображения процессов метаболизма.
leshabirukov
05.02.2019 18:01+1Вот именно там пусто, проверяли: котятам одевали щелевые очки, они перпендикулярное направление потом не видели.
Предобученных нейронов тем больше, чем дальше от коры. До рождения очевидно обязана функционировать вегетативная система.
Akon32
05.02.2019 15:04Нет, там действительно в момент рождения «пусто». Почти. Есть некоторые базовые рефлексы — и только.
А как же более абстрактные рефлексы типа боязни высоты, змей и т.п.?
khim
05.02.2019 17:22Это ошибки в сильно более высоких уровнях. Потому что достаточно про какую-нибудь землеройку рассказать, что она ближе не к ужасной мыши, а к кавайному ёжику и из «ужас, какая дрянь» они превращается в «ми-ми-ми, какая лапочка».
perfect_genius
05.02.2019 16:26Есть случаи, когда восстанавливали зрение то ли подросткам то ли взрослым, слепым с рождения. Так вот они смогли научиться распознавать предметы и узнавать лица, но так и не смогли понять почему всё уменьшается, если отдаляться от них. Ведь по сути-то предметы не меняют своего размера, а тут мир какой-то нелогичный стал.
Platonic Автор
05.02.2019 16:46Потому что для слепого важен паттерн «осязание». Он на нём обучался, он базовый.
Так вот — осязать вы можете только на рссстоянии вытянутой руки. То есть фактически, расстояние для Вас отсутсвует как понятие…
excentrisitet
05.02.2019 17:42Есть случаи, когда восстанавливали зрение
Прямо восстанавливали? Не обучали эхолокации, не заменяли одно чувство другим типа «электроды к языку», а реально заставляли работать оптический нерв?
А где можно ознакомиться?!
Перечисленные мной примеры действительно задействуют для обработки новой сенсорной информации именно зрительную кору, но это всё-таки не восстановление, а скорее замена. И если есть примеры успешного «протезирования» глаза — я был бы рад про это почитать.perfect_genius
05.02.2019 20:54Не протез, просто замена хрусталика: «Задача Молинью: полностью восстановить зрение слепому мешает мозг»
Wundarshular
05.02.2019 23:02Очень обобщённо.
У человека в момент рождения набор инстинктов и безусловных рефлексов. Этот набор позволяет на базовом уровне оценивать окружающую среду. Т.е. маленькие дети сжимают ладони, если в них — ладони — ткнуть пальцем или положить предмет, реагируют на мимику лица, распознавая простые очевидные сигналы: радость\доброжелательность, злоба\агрессия — но весь этот набор прежде всего предназначен для взаимодействия с родителями и регулярными членами окружающего социума.
По мере роста и развития набор дополняется условными рефлексами, временами вытесняющие безусловные, в первые также, по мере необходимости, встраиваются когнитивные цепочки, расширяющие опционал того или иного рефлекса или инстинкта, а то и вовсе выводя указанное в сложную модель поведения.
Т.е., проводя аналогию с нейронной сетью (что лично мне кажется несколько нелепым на текущий момент) мозг новорождённого это вариант структуры не обученной нейронной сети: какие-то результаты её работа даст, но до желаемой эффективности нужно доучить.
Hardcoin
05.02.2019 12:31Постойте, а как же нам научить машину думать, если мы не понимаем, как учатся думать дети в самом начале своей жизни и своего обучения?
Постойте, а как нам научить машину летать, если мы не понимаем, как летают птицы?
Да, с птицами разобрались, но самолёты летают всё равно не так. Никаких причин, что машина обязана думать как человек, не имеется. Это просто удобный ориентир, что-то, от чего можно оттолкнуться. Но не обязательно.
IMnEpaTOP
05.02.2019 12:37Самолёты летают так же, используя аэродинамическое крыло. Используют, другой способ для повышения горизонтальной скорости, но в воздухе держаться так же.
Platonic Автор
05.02.2019 12:42«Думать» научить машину можно. Я даже абсолютно уверен, что определённые задачи машиное обучение решит лучше, чем человек. Но эта статья о другом. Она о принципах, на которых можно создать сильный искусственный интеллект.
S_A
05.02.2019 15:22Рекомендую книгу «Верхновный алгоритм». Там вполне научно-популярно (больше популярно, чем научно, но без потери концепций) излагается универсальный алгоритм (правда в продакшне я его так и не видел, не считая элементов), и его перспективы. Например, заместитель человека в принятии повседневных решений :)
Книга ценна изложением именно самих разнородных концепций, применяемых в машинном обучении, на мой взгляд. Сам верхновных алгоритм достаточно имхо немного weird, простите за английский.Platonic Автор
05.02.2019 15:38Думаю, что «верховный алгоритм» невозможен.
Но вполне возможна рабочая архитектура, котрая будет оперировать множеством алгоритмов, и даже сама их находить и адаптировать.
Пример у нас перед носом: человеческий разум рождается с некой способностью, которая потом трансформируется например, в эйнштейна или в гитлера…
Эта способность очевидно — не алгоритм, но определённая среда, архитектура, способная обучаться.
И у неё есть желание обучаться. Ну, например, чтобы выжить.
Вы, не в курсе, кто-нибудь когда-нибудь пробовал создавать не алгориитмы, а комплексные обучаемые архитектуры? А так же обучающую среду. Не обучающие выборки, а среду, из которой можно что-то брать, с которой необходимо как-то взаимодействовать?
Ну, например, когда к нейронной сети подключают мышку и дают ей возможность играть в компьютерные игры. Это уже ближе к тому, о чём я говорю, но недостаточно.S_A
05.02.2019 15:44Называется reinforcement learning, обучение с подкреплением (угадал — получил плюшку, не угадал — штраф). Есть и статьи на хабре, о том как скелету ходить, или как агенту играть на бирже.
Есть еще генетические алгоритмы… вы же сказали про стэкинг, комбинацию алгоритмов. Это часто применяют в соревнованиях, есть некоторые устойчивые стэкинги (не такие замутные) и в бизнесе. В книге «Верховный алгоритм» об этом всём есть, её писал известный специалист в анализе данных и машинном обучении. И стэкинг — это промежуточное решение. Тот самый «верховный алгоритм» из книги — концептуальное соединение всех направлений. Но опять же, книга ценна по моему мнению всем содержанием, далеко не заключением.Platonic Автор
05.02.2019 15:53Про reinforcement learning я в курсе. Но я не об этом.
Про стэкинг — спасибо. Интересно.
Позволю себе глупый вопрос:
если можно соединить алгоритмы при помощи стэкинга, или концептуальным решением — почему до сих пор не соединили?
Что то мешает? Или чего-то не хватает?S_A
05.02.2019 16:11Стэкинг неуйсточив, сильно склонен переобучатся — запоминать отданные ему данные. Поэтому первый алгоритм, результаты которого входы для второго, учится на одном множестве, предсказывает другое множество, на предсказанном нужно учить уже второй алгоритм (out-of-fold) и так далее. Это очень расточительно с точки зрения размеченных датасетов, поэтому сильно много не стэкают.
Что касается концептуального решения — соединили… только сильно большого качества не показывают они…
Беда по-моему в следующем. Распознавание паттернов человеком гораздо сильнее ввиду наличия обширного контекста, которого нет у алгоритмов. И «верхновный алгоритм» он больше про это… я всё время пишу про него в кавычках, потому что это больше концепция, хотя есть и формула.
Любая модель от чего-то абстрагируется, что человек может принять во внимание не формализуя, мягкими моделями — «чем дальше в лес, тем больше дров» (как дифф. ур-я со свободными параметрами). Модели машинного обучения достаточно жесткие в этом плане, на каждый дополнительный параметр им надо увеличивать количество данных для обучения.
И данные все обычно с шумами. Хотя и люди тоже ошибаются. Я вот продал (2000-го года) машину в сентябре, хотя купил в июне. Потому что устал от того, что у двух автомехаников по одной проблеме минимум три мнения.
Если бы не верил в теорему Байеса — наверное расстроился бы :) А так — опыт.Platonic Автор
05.02.2019 16:44+1Книгу прочитаю обязательно.
Контекст, мягкие модели…
Возьмите любое словарное определение. Оно окружено связями. Контектстом. Частично, это отображается в семантических графах. Но опять же — частично. Я об этом и говорю — компьютерные сцеентисты в силу профессиональной специлизации видят всегда только одну часть проблемы. И хорошо решают только ограниченную задачу. И это правильно.
Вот только проблема сильного искусственного интеллекта не решается узко-специально. Поэтому я и говорю об архитектуре, возможно даже о программном коплексе. Например, Эйдос (только часть такого комплекса).
Что я вкладываю в понятие Эйдос, как единицы мышления/программирования? — Это такой базовый объект, или скорее, целая мета-программа, которая обладает следующими свойствами:
1. Содержит простейшее определение предмета или явления (в качестве базового каталога-словаря может быть использована Википедия). Имеет приближённый аналог в языке, науке, математике, повседневной жизни (событие, новость, наблюдение).
2. Попадает в дерево философских/научных/систематических категорий (может быть отображена на дереве). Реализация возможна через семантический граф.
3. Имеет логическую схему или может быть отборажена в виде картинки (обучающей выборки), иллюстрации, схемы, видео, файла с данными. — Здесь возможна реализация через нейронные сети.
4. Может входить в качестве базовой конструкций в более сложные конструкции (сложные, составные образы и понятия).
5. Каждый предыдущий пункт данной мета-программы может быть модифицирован (уточнение категорий, контекстов) через редактирование необходимого блока программы.
Если удастся реализовать такую «эйдосную» архитектуру, мы получим программную реализацию естесственного языка…michael_vostrikov
05.02.2019 20:30Кошке чтобы играть с мячиком не нужна Википедия, и философских категорий у нее нет. А эйдос «мячик» есть.
S_A
05.02.2019 15:51И да, вот это
У апельсина жёсткая пупырчатая корочка, я это помню, к тому же апельсин оранжевый [снова 2-й паттерн, цвет], значит, и апельсин отпадает.
напоминает rule-based алгоритмы. Вариант — решающие деревья, которые разбивают пространство признаков на области, в которых каждая точка относится к своему классу.
Пример дерева — если X1 > 5, то Y = 5, если X1 < 5 и X2 > 3, то 4 (и так далее). Решающие деревья строятся по данным автоматически. И про них в книге есть… но неважно. Они — часто применяемый в продакшн алгоритм для многих задач, и часто выигрывают множество соревнований.
Но как по мне у них один недостаток (моя персоналная заморочка) — они не аналитичны, ступенчаты. Я привык природу рассматривать непрерывными функциями, и чаще всего сигмоидами. Ну это уже отдельная история.Platonic Автор
05.02.2019 16:02Попытки построения решающих деревьев через «дерево категорий» были?
По нисходящей, от общего к частному: живое-неживое, животное-расстение, домашнее животное-дикое животное, маленькое-большое, пушистое-непушистое, лает-мяукает, — а, так это кошка!S_A
05.02.2019 16:20Категориальные признаки (не непрерывнозначные) — стандартный случай для машинного обучения. Они перекодируются просто из признака «цвет» в варианты «зеленый» (да/нет), «желтый» (да/нет), «красный» (да/нет). И деревья решений — самые деревья и есть. Только одиночные деревья просто могут запомнить все данные (переобучиться), и всё, ничего не обобщить, поэтому ансамбли (стэкинг) для деревьев — самый стандартный способ их применения. Либо один деревья исправляют другие (бустинг), либо построенная кучка деревья голосует за ответ.
Platonic Автор
05.02.2019 17:36Были ли попытки реализации распознавания через деревья решений подобного типа (близкие хотя бы к систематике — как в примере на картинке)?
Или попытки найти кошечку через классификацию признаков, например так:
IMnEpaTOP
05.02.2019 20:43Вбейте в поисковик «Акинатор». Мало того что работает хорошо, так в него пользователи сами вносят незнакомые для системы объекты, когда такие находятся.
Platonic Автор
06.02.2019 08:43Да, работает. На узких задачах.
Вы по бихевиоризму смотрели что-нибудь типа пабот Рон Суна?
Почему на бихевиористских моделях не могут создать действующий сильный ИИ? Хотелось бы услышать мнение профессионала, понимающего в психологии.IMnEpaTOP
06.02.2019 10:15Не смотрел и даже не слышал, спасибо за наводку, выглядит занимательно для ознакомления.
Относительно бихевиоризма, точного ответа у меня нет (а у кого есть?), но есть мысли. Если очень коротко — потому что эволюция сочла необходимым иметь не только отрицательное подкрепление, но и положительное. Отрицательное подкрепление выполняет оберегающую функцию. Однако любопытство, в различных его формах, является необходимым условием для развития. Что бы стимулировать организмы к этим действиям, возник механизм позитивного подкрепления (а с ним и эмоции). При этом позитивное подкрепление выглядит не как самостоятельное явление, а именно как способ обеспечить более широкий репертуар поведения и инструментарий психики.
Точно так же как ЯП с годами стремятся ко всё большему количеству абстракций, обрастают библиотеками и фреймворками, которые позволяют не просто сократить количество написанного кода, но и писать его разными способами, использовать «парадигмы и паттерны», в конечном итоге переходя от количественных различий к качественными. Соответственно ограничивая модели лишь базовыми механизмами, игнорируя более сложные, ради которых базовые и возникли, затруднительно воспроизводить конечное состояние системы.
Система — не просто сумма свойств её элементов. Тем более, когда некоторые элементы виртуальны по отношению к другим.Platonic Автор
06.02.2019 11:03+1Рон Сун —
www.cogsci.rpi.edu/pl/faculty-staff-cogsci/ron-sun
Он в Rensselaer Polytechnic Institute (RPI), Troy, NY USA работает.
Они описывают отдельные модели поведения человека (даже совесть) и пишут короткие математические алгоритмы. По-моему, на Delfi или ещё на чём-то, не помню. Но не на Python.
Но сут в том, что отдельно эти алгоритмы работают и могут быть даже встроены в какие-либо программы.
Но таких моделей — сотни, а то и тысячи. И это далеко не исчерпывает варианты поведения человека. К тому- же возникает перегрузка программы из-за сложности выбора между моделями.
То есть вопрос, как человек строит модели, как возможно само моделирование — он остался за скобками.
Я думаю, что компьютерный бихевиоризм — тупиковый путь, но изучать надо, чтобы не наступить на грабли.
michael_vostrikov
05.02.2019 14:40Как вы успели заметить, при распознавании предмета ребёнок использовал зрение, которое может оперировать паттернами формы; обоняние, осязание и т.д. – все 6 органов чувств и связанных с ними эйдосов: понятий-представлений о мире.
Я бы сказал, принцип работы интеллекта заключается не в использовании многих разных ощущений, а в том что все они обрабатываются по одинаковым принципам. Это и позволяет их комбинировать или использовать часть из них. То есть ИИ можно построить только на зрении, без обоняния и остального.
Они решили, что сложность и многогранность мышления обеспечивается нейронными связями внутри которых и «возникает» интеллект за счёт самоорганизации нейронов.
Ну как бы так и есть. Вы вводите некие эйдосы, говорите "В психологии их называют отпечатками, импринтами впечатлений" и строите на них свою теорию. Но вопрос-то в том, как эти эйдосы появляются. А появляются они именно посредством нейронных связей. Просто потому что других кандидатов на это нет.
Varim
06.02.2019 17:01В мозге уже то ли у земноводных то ли у амфибий, забыл у кого точно, но появился отдел мозга в котором интегрированы и пространственно расположены нейроны для анализа сигналов от разных рецепторов тела таким образом что пространственное расположение нейронов близко к пространственному расположению рецепторов.
То есть примерно так что рецепторы холода указательного пальца и тактильные рецепторы указательного пальца передают сигналы в нейроны мозга, где тактильный нейрон указательного пальца расположен рядом с нейроном обрабатывающий термо сигналы указательного пальца. То есть сигналы от разных органов чувств передаются на нейроны которые сгруппированы соответственно геометрии тела.
Нет в мозге нет копии ладони, но нейроны отвечающие за ладонь в этой структуре мозга локализованы рядом друг с другом. Это где то было у профессора С.В. Савельева.
Platonic Автор
05.02.2019 14:51Человек думает сложно.
Если человек просто совокупность нейронных слоёв, то ура.
Очень скоро IBM или Microsoft построят гигантскую «сеть сетей», которая будет имитировать всё сложное человеческое поведение.
Осталось подождать каких-то 5-10-15-20 лет (когда там Курцвелл пророчит сингулярность?) и мы всё сами увидим.
Если же я «немножко прав», то «образное мышление» человека использует нейронный принцип только на первом этапе, а организовано оно совершенно по-другому. Наш «софт» отделён от «харда». Например с помощью волновой организации мышления (подробнее смотрите у Редозубова www.koob.ru/redozubov).
И с сильным искусственным интелектом в господствующей нейронной парадигме придётся немного подождать.khim
05.02.2019 17:25Осталось подождать каких-то 5-10-15-20 лет (когда там Курцвелл пророчит сингулярность?) и мы всё сами увидим.
Там два срока. 2030й-2035й — когда мы сможем сделать самолёт… но неизвестно сможем ли мы научить его летать. А 2045й-2050й — это когда мы сможем тупо эмулятор человеческого тела сделать и на нём «оригинальный софт» запустить…
eugene_bb
05.02.2019 18:27Может быть у человека несколько сетей и базовая сеть для определения кружочков, квадратов, линий и т.п., учится довольно долго и на большой выборке. Следующая учится на построении трёхмерных абстракций и т.д.
А на более высоких уровнях, уже достаточно увидеть например кошку, твоя сеть сама сделает общее построение и запомнит его, а не просто вид кошки с одной проекции.
И первых животное будет запоминать сильно дольше, а потом что-то типа кошка — это собака, но с такими отличиями.Platonic Автор
05.02.2019 19:00Может быть у человека несколько сетей и базовая сеть для определения кружочков, квадратов, линий и т.п., учится довольно долго и на большой выборке.
Совершенно точно.
Посмотрите, чему детей учат до 3-х лет?
Уружочки отличать от квадратиков. Цвета различать. Звуки.
— как коровка мычит? — Му-му!
А младенец вообще учится глубоко философским вещам: тепло-холод. Любовь-не любовь (от мамы). Мягкое — жёсткое (при падении).
Близко-далеко. Ходить учится в конце концов… И вот мы выходим на базовые философские категории Аристотеля: категории места, времени, движения…
Всё это отражено в языке: кто? Где? Когда? Зачем?
На языке создали логику и математику.
И с этого момента математики возгордились (заслуженно), и решили что про детсво им уже всё понятно.
Вот мы и пытаемся строить искусственный интеллект от математики. А надо бы — от педагогики…eugene_bb
05.02.2019 19:15Не очень понятно при чём тут педагогика, нужна просто правильная математика.
Если мы исходим из того что не существует ТНБ, то всё сводится к базовым вещам, надо просто их правильно понять.
А педагогика в данном приложении, это какая-то абстракция от какой-то производной.
Надо идти от оригинального источника, а нет от более высокого уровня. У насекомых педагогов нету, но как то справляются.Platonic Автор
05.02.2019 19:25Педагогика может подсказать алгоритм обучения. Шаги по возрастанию сложности.
Даже боль (наказания) может стать подсказкой
habr.com/ru/post/236807
ПС
Есть идеи по понимаю «правильных» алгоритмов?eugene_bb
05.02.2019 19:37Человечество науку развивает несколько тысяч лет, дошло до значительных высот.
Думаю за следующую тысячу лет, заберётся ещё выше (если не похерит себя).
Идей по понимаю правильных алгоритмов — вагон и маленькая тележка. На данный момент не видно принципиальных, непреодолимых препятствий. Нужно время+ресурсы.
Заниматься педагогикой вместо математики можно и наверное даже нужно, но не как основное, а как вспомогательное направление, с приоритетом в районе 0.001
Но мне кажется, что на данный момент занятие математикой, даст более продуктивный выхлоп на единицу время/ресурс.
buriy
06.02.2019 01:29Вы переизобретаете символьные вычисления ( ru.wikipedia.org/wiki/Искусственный_интеллект#Символьный_подход ). Компьютер научился играть в игру «20 вопросов» ещё 50 лет назад. Но дальше не пошёл.
Символьно-логический подход будет хорошо работать, когда на входе будет достаточно мощная нейросеть, чтобы надёжно проводить различение похожих объектов (среди увиденных ранее). Пока же — символьные вычисления не работают, так как им поступает недостаточное количество достоверной информации на вход из реального мира, а стоимость большого числа педагогов для ИИ — запредельно высокая (как и время обучения при таком процессе).
И никто толком не знает, как это починить, кроме как совершенствованием железа для нейросетей или через обучение через считывание мыслей человеческого мозга.Platonic Автор
06.02.2019 08:53.Вы переизобретаете символьные вычисления
Ок. Если это поможет. Перцептрон тоже старая модель, но это не помешало.
ПС
мой подзод ближе к агентно-ориентированно у программированию
ru.m.wikipedia.org/wiki/%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%BE-%D0%BE%D1%80%D0%B8%D0%B5%D0%BD%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B4%D1%85%D0%BE%D0%B4?wprov=sfla1
Хотя этот метод тоже не привел нас к сильному ИИ. А значит, надо продолжать поиски.buriy
06.02.2019 15:44Агентный подход не является самостоятельным в том плане, что он не меняет никак устройство «обучающегося», это лишь способ смотреть на вещи.
То есть, с точки зрения архитектуры, вы описываете обычный обучающийся чёрный ящик, пусть, для большей определённости, это будет смесь нейросетей, классических алгоритмов и баз данных — это, пожалуй, доминирующее сейчас мнение, и успех различных AlphaZero, AlphaStar, OpenAI Dota 2 bot это мнение усиливает.
С точки зрения технологии обучения, вы описываете обучение с подкреплением, уверяя, что оно должно помочь. Всё правильно, рано или поздно — поможет, ничего нового и придумывать не надо.
Так что, пожалуй, технологий нам уже достаточно для создания разумного существа. А вот для получения «высокоразумного» существа — чего-то пока нам не хватает, и я склонен считать, что вопрос лишь в мощности железа, на 3-6 порядков меньшей, чем нужна.
В связи с этим, многие исследователи склонны к попыткам эти ограничения мощности обойти различными способами (через эвристики, кеширование, классические алгоритмы, аугментацию данных, unsupervised pretraining, улучшение архитектуры нейросети, более крупные датасеты для конкретных задач). Иногда даже что-то получается, и мы получаем новый state of the art на очередной задаче или новый лёгкий способ достичь приемлемого качества. То есть, очередной хорошо работающий участок мозга для нашего ИИ.Platonic Автор
06.02.2019 17:43Ну ок. Тогда и говорить не очем.
Вы правы.
Подождём, пока железо подрастёт.
phenik
06.02.2019 06:39На философский вопрос
что было раньше, курица или яйцо?
дадим ответ науки — бульон, первичный) В этом ключе ответ на вопрос отличия обучения человека от обучении искусственной нейросети состоит в следующем:
1. Мозг человека результат миллиардолетней истории, в результате кот. эволюция методом проб и ошибок исследовала окружающий мир, и зашила его основные свойства, имеющие отношение к выживанию видов, в структуру мозга. Мозг состоит из различных отделов, с различной структурой сетей, свойствами нейронов, и все это базируется на более древних системах управления, внутриклеточной, гуморальной, эпигенетической настройки, и наконец, самой генетической программе. Мозг ребенка исходно настроен на то что окружающий мир состоит из объектов разных типов и форм, что они определенным образом связаны, распределены в пространстве и связаны во времени, и тд. Необходимо лишь наполнить эту структуру конкретными объектами и их отношениями, актуальными на период появления и жизни индивида, путем обучения и самоубучения. И здесь переход к п.2
2. Человек существо социальное, его обучение происходит в большой степени не самостоятельно (результат самостоятельного обучения мы представляем по одичавшим детям), а в текущем культурном контексте, который дополнительно настраивает, и уточняет связи в мозге. В этом состоит эффективность быстрого обучения человека.
3. ИНСы исходно не специализированы на обучение определенной информации. Это компенсируется большими объемами обучающих выборок. В последнее время появляются специализированные сети, оптимизированные под решение определенных классов задач, но остается не решенным вопрос об объединении таких разнородных сетей в единую систему, по аналогии с объединением и согласованной работы различных отделов мозга у человека.
4. В практическом плане нет никакого смысла повторять достижения естественной (п.1) и культурной (п.2) эволюции и воспроизводить их в ИНСах. Это пройденные этапы, ИНСы просто очередная надстройка в этой эволюционной череде. Их нужно воспринимать как расширение возможностей естественного интеллекта человека. Моделирование в ИНСах пред. этапов интересно только в исследовательских целях, в основном, для решения биомедицинских задач.
5. Так же, как социальная эволюция человека решила (в основном) задачу защиты самого человека от произвола собственного интеллекта, путем внедрения морально-этических норм на уровне структур мозга, необходимо зашить ограничения такого же порядка в возможный будущий автономный ИИ, как защиту от его произвола по отношению, как к человеку, так и самому носителю ИИ. Так же как с человеком на этом пути возможны отдельные непредвиденные эксцессы, но в целом это посильная задача.
Platonic Автор
06.02.2019 08:59. В практическом плане нет никакого смысла повторять достижения естественной (п.1) и культурной (п.2) эволюции и воспроизводить их в ИНСах.
Так давайте повторим. Необязательно в сетях. Если всё так просто.
Наука пониманиет что такое жизнь? Отлично. Давайте хотя бы искусственную инфузорию вырастим с нуля.phenik
06.02.2019 10:19+1Давайте хотя бы искусственную инфузорию вырастим с нуля.
А зачем? Мы мудрее эволюции, потому как она часть нашей истории. Человек сразу создает синтетические организмы)
Varim
06.02.2019 17:23— Я вспоминаю-представляю себя маленьким. Мне 1 год. Мама протягивает мне яблоко.
Вы помните себя в 1н год? Почему вы посчитали точку отчета от года, а не от, например, месяца зачатия. Вы фантазию «продаете» как аргумент.
Я нюхаю его – оно сладко пахнет [3-й паттерн, запах]!
Для только что родившегося ребенка запах и тактильные ощущения на 1м и 2м месте, не зрение, не форма, не цвет и не звук.
Он не мягкий [4-й паттерн, ощущение], значит, мандарин и персик отпадают.
Platonic Автор
06.02.2019 17:48Вы помните себя в 1н год?
А вы понаблюдайте за собственными детьми.
Как они пробуют мир на вкус.
Вы фантазию «продаете» как аргумент.
Это не фантазия, это абстракция. Математические модели крайне абстрактны.
Почему бы не создать абстракцию мышления?
Рекомендую к прочтению ТРИЗ. Там на абстрактных ментальных моделях построена теория изобретений. Успешно применяемая в СССР десятилетиями.
Ermit
07.02.2019 21:09Она настолько успешно применялась в СССР, что СССР безнадежно отстал в технологическом развитии от мира, а потом и вовсе умер. :)
Platonic Автор
07.02.2019 22:15Да нет. ТРИЗ на запад ушла, вместе с потомками Альтшуллера.
Если знаете западные аналоги или лучше ТРИЗ, подскажите пожалуйста.Ermit
07.02.2019 22:21Честно говоря, не очень понятно, ТРИЗ успешно применялась в СССР или ушла применяться на Запад? :) Тут трудно сказать, что лучше, что хуже, просто ТРИЗ без «аниматоров» не работает. А главные ее результаты все — размышления задним числом как в Вашей статье.
Platonic Автор
07.02.2019 22:23Она успешно применялась в СССР и не менее успешно будет применяться на Западе.
Предложите свою теорию решения изобретательских задач без аниматоров.
Или просветите нас, что есть лучше.Ermit
07.02.2019 22:28Она как «технология» никогда не применялась в СССР — это иллюзии и мифы. И, конечно, не будет применяться на Западе. Культура ТРИЗ — это тренинг, коучинг, это маргинальная система, которая не может иметь широкого применения, поскольку она неформальна. Давайте назовем ее искусством.
Лучшим является научный подход и инженерный подход. Это работает всегда.Platonic Автор
07.02.2019 22:47В чем суть инженерного подхода?
Ermit
07.02.2019 22:51Можно пропусть первую часть и начать читать с Методологии…
en.wikipedia.org/wiki/EngineeringPlatonic Автор
08.02.2019 08:38Прочитал.
Там как раз таки про Альтшуллера и про снятие противоречия а процессе инженерного дизайна.
Usually, multiple reasonable solutions exist, so engineers must evaluate the different design choices on their merits and choose the solution that best meets their requirements. Genrich Altshuller, after gathering statistics on a large number of patents, suggested that compromises are at the heart of «low-level» engineering designs, while at a higher level the best design is one which eliminates the core contradiction causing the problem.
oracle_and_delphi
08.02.2019 11:02Культура ТРИЗ — это тренинг, коучинг
Значит при правильном маркетинге, можно продать на Запад.
(тамошние HR очень любят тренинги и коучинги)
muhaa
08.02.2019 17:15В тот момент, когда мозг учится узнавать кошку у него уже огромный опыт в выявлении признаков для характерных для нашей реальности объектов. Нейронная сеть напротив, каждый раз учится с нуля не имея понятия в какой мир она попала.
Недавно здесь был доклад , в котором автор удачно выразил эту мысль: мозг не аппроксимирует каждую часть мира отдельно, он всегда развивает единую функцию для аппроксимации для всей вселенной. Как создать подобную нейронную сеть, пока вроде никто не знает.
Porfus
Предлагаю продолжить мысленный эксперимент и выяснить, сколько месяцев уйдет у ребенка, что бы идентифицировать предмет как яблоко только по внешнему виду.
Очень спорное утверждение — моя дочь в 2.5 года все еще ошибается при идентификации и называет мелких собак (вроде той-терьера) кошками. Современные СНС обучаются за несколько дней и таких ошибок не совершают.
IMnEpaTOP
Человек, усвоив некую категорию, сможет с 1-10 предъявлений образца нового подмножества этой же категории в дальнейшем довольно точно распознавать их. Сколько образцов для этого понадобится нейросети? А сколько собак повидала ваша дочь и сколько изображений для обучения «за несколько дней» скармливается сети?
Porfus
В том-то и дело, что человек обучается на образах — в случае с собакой это обзор с разных ракурсов и в разных позах. Сколько надо фотографий что-бы предоставить туже полноту информации? Возможно несколько сотен или тысяч.
Ares_ekb
Человек может узнать человека по единственной фотографии. Даже с другого ракурса, при другом освещении.
Насчет полноты информации. Мозг не обрабатывает же тысячи «кадров» собаки. Зрение вообще не способно воспринять собаку целиком. Оно скользит по собаке, выхватывая какие-то детали. А целостный образ собаки уже достраивает мозг. Вы не видите не то, что раскадровку собаки, но не видите даже один кадр.
RGrimov
Тот же FaceNet, использующий one shot learning, то же может узнать человека по единственной фотографии.
IvUs
А может и не узнать. Я вот человек с плохой плохая памятью на лица.
Cверточные сети тоже «скользят выхватывая какие-то детали», это как раз не важно. Но фактически, человек разглядывающий картинку или 3-D объект производит многократную аугментацию одного и того же сэмпла. Так что аналогия с сотнями кадров вполне уместна.
Porfus
Сильно сомневаюсь, что среднестатистический человек на такое способен. Европеец сможет такое проделать с фотографией азиата?