Как многие из вас знают, в 2015 году Стивен Хокинг, Элон Маск и сотни учёных, разработчиков искусственного интеллекта и крупных бизнесменов подписали открытое письмо, в котором подчеркнули опасность ИИ для существования человечества и призвали сообщество инженеров и учёных не создавать искусственные интеллекты, которые не могут полностью контролироваться человеком. В 2016-м на конференции Code Conference основателю Space X и Tesla задали вопрос: какие компании, разрабатывающие сегодня ИИ, вызывают у него опасения? На это ответил, что сейчас его пугает лишь одна из них. Какая — не сказал. И несмотря на все уверения техноадептов в том, что ИИ — исключительно благо, цена пренебрежения механизмами безопасности может оказаться непомерной высока.
Пожалуй, одной из причин разногласий касательно рисков, связанных с ИИ, является скептицизм учёных и IT-бизнесменов в отношении друг друга. Одним кажется, что другие совершенно не врубаются в суть дела. Есть ещё и третья сторона — правительственные структуры, в которых считают, что бизнес не видит дальше своего носа, а учёные витают в облаках. Причём и бизнесмены, и учёные воспринимают чиновников как бюрократическое болото. Так что все три сообщества не понимают друг друга и тянут одеяло на себя.
Тем не менее, среди представителей самых разных сообществ сегодня крепнет понимание того, что нам нельзя развёртывать и использовать интеллектуальные решения, системы машинного обучения или платформы когнитивных вычислений, если их процесс «мышления» непрозрачен для нас. Нам необходимо знать, о чём они думают.
Сегодня мы склонны слепо доверять результатам работы систем, принцип действия большинства из которых мы не понимаем на алгоритмическом уровне. Это допустимо для функции идентификации лиц на Facebook, но совершенно неприемлемо для систем, вырабатывающих решения в рамках очень важных и ценных бизнес-логики, целей и приоритетов. И от последних как раз зависит наша жизнедеятельность.
Сегодня для кого-то из нас ценность ИИ-технологий определяется созданием машин, способных объяснить существование себя и окружающего мира. И одним из важнейших моментов является прозрачность мышления интеллектуальных и аналитических систем. Некоторое время назад казалось, что многие разработчики пренебрегают этим критерием в пользу производительности, но, к счастью, в последние месяцы всё чаще поднимается вопрос прозрачности ИИ.
К примеру, в академической среде обсуждаются модели распаковки результатов работы систем глубинного обучения, а также идеи, связанные с доказательными подходами к процессу мышления ИИ. В бизнес-среде руководители верхнего звена всё чаще задаются вопросом, как можно развёртывать системы обучения и выработки решений, чей ход рассуждений совершенно неизвестен. По сути, они спрашивают, как им использовать программное обеспечение, которое никто не может понять? И последней каплей стало недавнее объявление от DARPA, в котором был озвучен интерес агентства в работах над «объяснимым ИИ».
Очевидно, что всё больше людей осознают необходимость прозрачности ИИ. Но как нам этого добиться? Некоторые технологии, например, модели глубинного обучения, настолько непонятны, что даже среди практиков бывают разногласия относительно того, как они работают, если немного выйти за границы специфики их алгоритмов. Что можно сделать в подобных ситуациях?
В долгосрочной перспективе необходимо сосредоточиться на разработке систем, которые не просто думают, но которые могут думать и объяснять. А пока мы ждём появления таких разработок, нужно придерживаться нескольких правил развития существующих систем.
В первую очередь — не развёртывайте интеллектуальную систему, если не можете объяснить ход её рассуждений. Вы должны понимать, что она делает, даже если не понимаете, как она это делает на алгоритмическом уровне. Это необходимое, но не достаточное условие, поскольку вы лишь будете понимать, какие данные нужны системе, какие она собирается принимать решения и на основании каких рассуждений она приходит к этим решениям. Помимо этого, есть ещё три важных уровня возможностей.
Объяснить и обсудить. Хотелось бы, что бы системы могли объяснять и обсуждать свой ход мыслей. Нам нужны ИИ, которые могут ясно и связно рассказать, как они пришли к конкретному решению и какие были альтернативы. Например, система, предназначенная для выявления мошенничества со стороны вендоров, должна уметь не только выдать список признаков, по которым было выдано предупреждение, но и разъяснить, почему каждый из признаков указывает на факт мошенничества. Поскольку некоторые индикаторы могут находиться за пределами набора данных, или не быть включёнными в модель системы, то очень важна возможность предложить их системе и оценить их влияние. Возможность спросить: «А что насчёт Х?» важна как при работе с людьми, так и с интеллектуальными системами.
Формулирование. Даже системы, моделями которых конечные пользователи не могут манипулировать, должны быть в состоянии, как минимум, сформулировать учитываемые характеристики и рамки самого рассуждения. Это не означает, что достаточно просто вывалить 10 тысяч доказательств, которые привели к какому-то заключению. Системы должны уметь как минимум выделять действительно релевантные характеристики, а также описывать их взаимосвязи. Если система предупреждает пользователя, что она обнаружила пример мошеннического поведения, то она должна уметь выделить набор неблагоприятных транзакций, на основании которых было выдано предупреждение.
Проверяемость. Если система не даёт объяснений в реальном времени, или не умеет формулировать причинно-следственные связи, то её решения хотя бы должны быть проверяемы впоследствии. Логика её действий должна быть отслеживаема, чтобы можно было затем исследовать обстоятельства каких-либо проблемных или спорных ситуаций. Даже если конечный пользователь не имеет доступа к отслеживанию, такая возможность должна быть у аналитика, разработавшего бэкенд.
Учитывая неразвитость ИИ-технологий, многие системы пока просто не в состоянии поддерживать функции объяснения, обсуждения, формулирования или проверки. Они работают довольно эффективно, но должны использоваться только в тех сферах, где нет необходимости в вышеперечисленных функциях. Вроде того же распознавание по фотографиям для автоматического тэгирования на Facebook. Но ту же систему нельзя применять, скажем, для оценки кредитоспособности при анализе заявок на ипотечные кредиты, потому что несмотря на точность работы она не сумеет дать полезное объяснение, почему она одобрила или отклонила ту или иную заявку.
Как и в случае с людьми, дома и на рабочих местах мы хотим иметь возможность работать с, а не для ИИ-систем. Но для этого они должны уметь объяснять нам ход своих мыслей. В противном случае мы придём к ситуации, когда нам останется лишь слушать и подчиняться. Мы стоим перед выбором: создавать искусственный интеллект, который будет нашим партнёром, или который будет лишь указывать, что нам делать.
Хотя прозрачность мышления ИИ выглядит чисто технической задачей, у неё есть широкие социально-экономические последствия. Без этой прозрачности пользователей будут заставлять доверять и уважать ИИ-системы. А без доверия и уважения внедрение таких систем забуксует, и мы не получим тех преимуществ, которые нам могли быть дать ИИ-технологии.
З.Ы. В качестве бонуса ссылочка на подборку фильмов по теме ИИ.
Комментарии (79)
devpony
20.02.2017 10:30+5И вообще, почему не на гиктаймсе? Там хабы по красоте названия легче подбирать.
taujavarob
20.02.2017 14:32И вообще, почему не на гиктаймсе? Там хабы по красоте названия легче подбирать.
Там некому уже отвечать. Все неписатели заминусованы по самое немогу.
Имхо, конечно, имхо. (С)
TimsTims
20.02.2017 10:32+2ценность ИИ-технологий определяется созданием машин, способных объяснить существование себя и окружающего мира. И одним из важнейших моментов является прозрачность мышления интеллектуальных и аналитических систем.
Умнейшие философы в течение более 2000 лет пытаются объяснить существование человека, а тут машину просят это сделать как признак интеллекта, ага
Yane
20.02.2017 10:50-3Ну, то, как появился человек, планета и все дела — это пытаются выяснить ученые. Философы же, в основном, выдают ответы, по ценности не превосходящие «потому что 42». Так что если машинка сможет объяснять на уровне ученых — пожалуй, у нее явные признаки интеллекта))
А если как философ, то возможно стоит еще нейронов добавить.TimsTims
20.02.2017 12:25+1Вы недооцениваете вклад философии в науку. Как известно, философия — мать всех наук, и именно с неё начались разветвления на конкретные дисциплины. Поэтому, то, что вы сейчас сидите за компьютером и пишете комментарии на Хабре, вы обязаны в том числе философам.
Yane
20.02.2017 13:13-2Вы, видимо, говорите про древних философов — в те времена, когда наука была не столь сильна, и знания о мире было более примитивны. А я про современность. Какая польза от современных философов?
bfDeveloper
20.02.2017 13:32+3Вы очень сильно недооцениваете влияние философии. Понятно, что большинство современных философов сильно отстали от науки и не в состоянии что-либо объяснять. Однако, существует множество вопросов, поставленных точными дисциплинами, ответы на которые выходят за их рамки. Например, проблема корня из 2 и появления иррациональных чисел в математике. У математики нет проблем с иррациональностью, она с ней работает. А вот интерпретация и осознание этих величин — вопрос скорее философский. Когда-то он переворачивал мировоззрение и представления об устройстве мира.
Точно так же квантовая физика и подтверждение неравенства Белла перевернуло мировоззрение в ХХ веке. Детерминизм как идея мироздания умер. Сейчас мы сталкиваемся с ещё более запутанными свойствами мира в физике и сложной сущностью ИИ в технике. И вопрос осознания явлений — всё ещё вотчина философии. Просто она становится всё сложнее и сложнее.Yane
20.02.2017 15:24-2Что за проблема с корнем из 2 и иррациональными числами, которую осознают философия и не осознает математика? Заинтриговали.
taujavarob
21.02.2017 15:16+1Понятно, что большинство современных философов сильно отстали от науки и не в состоянии что-либо объяснять. Однако, существует множество вопросов, поставленных точными дисциплинами, ответы на которые выходят за их рамки. Например, проблема корня из 2 и появления иррациональных чисел в математике. У математики нет проблем с иррациональностью, она с ней работает. А вот интерпретация и осознание этих величин — вопрос скорее философский. Когда-то он переворачивал мировоззрение и представления об устройстве мира.
Неверное у вас мнение о современных философах.
Все те примеры, что вы привели — это не проблемы философии.
Это проблемы либо математики либо физики.
Они не нуждаются в философском осмыслении уже лет так 50.
Как говорил Людвиг Витгенштейн. (С)
michael_vostrikov
21.02.2017 18:56проблема корня из 2
Поразмышляю немного. Мне кажется, никакой проблемы нет. Это напрямую связано с тем фактом, что не все целые числа являются квадратами других целых чисел. Например, 14^2 = 196 ~ 200. Значит, корень из 200 чуть больше 14, но не целое число.
Можно и с другой стороны зайти. Что такое квадрат? Это умножениеa^2 = 1*a*a, то есть применение умножения 2 раза.a^1.5означает, что надо провести умножение 1.5 раза. Умножение 1 раз это понятно, а как сделать умножение «пол-раза»? Видимо, это такая операция, применение которой дважды дает целый раз.1 * a^0.5 * a^0.5 = 1*a; sqrt(a) = a^0.5. Ну а дальше надо посчитать это число с требуемой точностью. С этой точки зрения оно мало чем отличается от бесконечной дроби 0.(3).
Также корень из 2 может быть связан с существованием комплексных чисел. Комплексные числа связаны с поворотом, а синус и косинус поворота на 45 градусов = v2/2.
А вот почему свойства абстрактных величин бесконечной точности проявляются в физической реальности, это уже более интересный вопрос.bfDeveloper
21.02.2017 20:26С этой точки зрения оно мало чем отличается от бесконечной дроби 0.(3).
В том-то и дело, что отличается. Любое рациональное число представимо обыкновенной дробью. 0.3(3) — не более чем запись числа 1/3. Одна из многих. Так же как 0.9(9) — другая запись 1. Я всё ещё могу сказать, что 1 карандаш — треть от пачки из 3-х карандашей.
Рациональное число — всегда количество долей чего-то в чём-то. Оно интуитивно, потому что люди осознают только целые, а это просто способ на пальцах посчитать доли. Иррациональные числа не представимы никакой дробью. Нельзя сказать, что это доля чего-то. Считалось, что рациональных чисел достаточно для оперирования геометрии, а оказалось, что нет. Абстракция отрезка и описывающего его числа развалилась, они перестали быть тождественны.michael_vostrikov
22.02.2017 06:33А 1.41421… не более чем запись числа v2) Деление это одна операция, квадратный корень другая. Но и то и другое это возведение в степень (-1 и 1/2). Насчет того, что не интуитивно, согласен.
Yane
24.02.2017 14:47Иррациональные числа очень даже интуитивны! Если бы их не было, то в пространстве вещественных чисел зияли бы выколотые точки, и это бы значило, что мы не можем качественно измерять непрерывные величины.
Что за проблема у философов с этим?Saffron
24.02.2017 17:24+1> Если бы их не было, то в пространстве вещественных чисел зияли бы выколотые точки, и это бы значило, что мы не можем качественно измерять непрерывные величины.
Неправда. Пространство рациональных чисел всюду плотно. Между любыми двумя рациональными числами можно разместить ещё хотя бы одно, а значит — неограниченно много.Yane
26.02.2017 13:44Нет правда. Мощность множества рациональных чисел это мощность счетного множества. Мощность же у вещественных чисел — континуум. А это значит, что если мы хотим иметь возможность точно (не с точностью до бесконечно малого, а именно точно) мерить непрерывные величины, то рациональных чисел недостаточно. Т.к. биекция между счетным и континуумом невозможна.
Когда же мы говорим про всюду плотность, то речь идет про бесконечно хорошее приближение любой точки объемлющего множества (вещественного в нашем случае) — т.е. про точность до бесконечно малого эпсилон. Инженерам этого зачастую достаточно. Но моего высказывания выше это, конечно, не отменяет)Saffron
26.02.2017 14:29Что-то вы поставили телегу впереди лошади. Да, мощность множества вещественных числе больше чем рациональных. Но откуда вообще возьмутся нерациональные точки? Они берутся только как предел бесконечных последовательностей, и мысли об этом лежат гораздо дальше по линии развития человечества. Пока не занимаешься бесконечностью, рациональных чисел тебе хватает. Тем более, что оперировать с бесконечностью мы не очень-то и умеем. Чаще всего сводим весь процесс к оценке снизу и сверху, которые перекрываются. Для оперирования этими оценками опять же вполне хватает рациональных чисел.
В общем, иррациональные числа — это очень глубокий уровень абстракции, далёкий от древних греков, да и современным людям не шибко нужный. Где-то на уровне p-адических чисел.
bfDeveloper
25.02.2017 15:35Во-первых, измерить иррациональную величину невозможно. Измерение — процесс сверения с эталоном. Сколько эталонов помещается, такова и величина. Поэтому результат измерений всегда рационален. Вы можете ввести иррациональный эталон (иррационален он относительнодругого, например гипотенуза относительно катета), но количество эталонов в измеряемой величине будет рациональным. А как уже ответили, плотность множества рациональных позволяет сколь угодно точно измерить что-угодно.
Во-вторых, по поводу интуитивности. Попробуйте описать множество иррациональных чисел, не вводя определение предела или других контринтуитивных идей. Даже через геометрические интерпретации + корни рациональных уравнений вы не опишете всех. А предел — довольно сложная идея, которая решила всевозможные апории Зенона и им подобные.
devpony
20.02.2017 13:38+2Ну, то, как появился человек, планета и все дела — это пытаются выяснить ученые. Философы же, в основном, выдают ответы, по ценности не превосходящие «потому что 42».
Очень распространённая, однако в корне неверная точка зрения. Признаюсь и сам так считал, пока курс философии в университете не расставил всё на свои места.
Философия — основа любой науки. Почти все знаменитые математики были философами. Там, где кончаются границы применимости науки, вы встретите лишь философские концепции. Философия оперирует понятиями гораздо более мощными, выразительными и абстрактными, чем любой раздел науки. Более того, наука и философия ещё с античных времён тесно переплетены и представляют собой разные формы человеческого познания, каждое из которых невозможно без второго. Их разделять нельзя.
Проблема разума, проблема познания и познаваемости, проблема истины — проблемы философии, никакой раздел науки не может и никогда не сможет их решать, исходя из самого определения науки, как познания сугубо эмпирического, обусловленного трансцендентальными формами. Наука лишь конструирует систематические знания, описывая феномены, данные нам в ощущениях от трансцендентных объектов, а сами они непознаваемы.
Yane
20.02.2017 10:41Когда речь про очень слабый интеллект, то объяснения это хорошо. А сильному — они помогут лучше нами манипулировать.
Пикантность же ситуации в том, что мы не можем формально отличить сильный от слабого. Если во всех тестах система ведет себя как слабый интеллект, то она может действительно быть слабой. А может притворяться, пока готовит план по нашему уничтожению)michael_vostrikov
21.02.2017 19:57Притворяется она или нет, можно посмотреть в отладчике. А для этого надо знать, что означает каждая цифра, и как распространяются данные в системе, как они влияют на результат. Об этом и статья.
MetaDriver
21.02.2017 22:22+2Вот никто ни фига не знает как мыслит (: и вообще мыслит ли :) кандидат в наёмные работники, однако нанимают. В качестве отладчика вполне годится резюме/портфолио/диплом/собеседование.
<риторический-вопрос>Интересно, кто-нибудь в мире когда-нибудь уразумел способ мышления своей невесты, прежде чем жениться ?</риторический-вопрос>
Налицо попытка дискриминации ИИ. ;)
Yane
24.02.2017 14:26А для этого надо знать, что означает каждая цифра
И вот здесь наша проблема: современные сети (которым до ИИ далеко) уже имеют миллионы обучаемых параметров. В мозге их триллионы. Их можно видеть в отладчике, но интерпретировать их и предсказывать взаимное влияние в перспективе становится невозможно. Это не как в наших простых программах, где мы в отладчике ковыряемся с взаимодейстивем, ну, скажем, десятка сущностей.michael_vostrikov
24.02.2017 14:37В мозге их триллионы, но они работают по определенным законам, и в результате получаются конкретные понятия, которых уже не триллион. Отладчик необязательно должен показывать отдельные биты. Можно сделать такой, который будет показывать результат на разных уровнях абстракции. Вот поэтому и надо использовать понятные принципы.
qw1
24.02.2017 15:05Тут такая проблема. Если ИИ будет автоматически формировать понятия, то исследователь, с этими понятиями незнакомый, должен пройти по ним курс )))
То есть, в каждой прикладной области, вместе с тем, чтобы получить результат, ИИ должен генерировать вводный курс в разработанную теорию. Затем исследователь 2 года изучает этот курс, сдаёт зачёты ИИ, и после этого допускается к отладчику )))michael_vostrikov
24.02.2017 18:10Ой да прям) Ученый, разработавший новую теорию, описывает новые термины основываясь на уже известных, а другие ученые его понимают без всяких курсов.
napa3um
20.02.2017 10:42Сильный ИИ (как модель человеческого И с самоосознанием и другими высшими функциями психики) по определению должен обладать способностью объяснять ход своих (и чужих) мыслей (а так же ошибаться или врать об этом). См. Theory of mind.
vipetrov2
20.02.2017 11:22Набор не связанных мыслей. Во первых ИИ сделают по оценке той же ДАРПА не раньше 2070(это очень оптимистичный прогноз). Это чрезвычайно сложная задача и нужна производительность в миллиард раз больше, чем производительность настольного ПК. Т.е. слишком рано начали беспокоиться. В течении последних 2х лет стали появляться фильмы с роботами, которые нарушают 3 закона из книг Айзек Азимова. Т.е. людям внушают на уровне государства, что робот может убивать людей, как в фильмах «Из машин», «Робот по имени Чаппи». Даже Дисней отличился и выпустил ДЕТСКИЙ фильм «Земля будущего», где роботы убивают людей и вообще нет намека на порицание. А то что клоуны вроде Илона Маска какие то письма пишут, то это игра на 2 паса. Они якобы опасаются, а правительство еще больше денег вливает в беспилотники-убийцы с учетом фиктивных требований к безопасности.
Saffron
20.02.2017 11:42+2Так это уже давно делают. Был же эксперимент с использованием data mining в США для вычисления группы рисков. Выгода очевидна: если тратить больше ресурсов полиции там где необходимость и отдача выше и меньше ресурсов на благополучных граждан, то эффективность расходования средств повышается. Одна беда — компьютер очень быстро научился быть расистом и сексистом. Но ведь этого нельзя допустить! Вмешались в процесс мышления ИИ, заставили игнорировать эти факторы. Так он, собака, выучился вместо этого обращать внимание на сопряжённые данные. Грубо говоря, если слушает рэп — значит почти наверняка нигер, а если негр — значит почти наверняка преступник. Такие дела.
deploymental
20.02.2017 13:47+1Уже который раз вижу подобный довод «компьютер очень быстро научился быть расистом и сексистом» и не могу понять кто до него додумался, компьютер оперирует вероятностями, а не «нравится — не нравится», следовательно если негры совершают большую часть преступлений, за ними и нужно пристальнее следить и, к слову, это никак не скажется на законопослушных неграх, к тому же наверняка, в итоге будет введена вероятность преступления для каждой личности в отдельности. В общем я за то чтобы ИИ был и расистом и сексистом, а вставлять палки ему в колеса на основании каких наших субъективных моральных норм — самое глупое что можно придумать.
Saffron
20.02.2017 19:22+1Ваша вероятностная логика не демократична. Демократия постановила, что негры столь же склонны к преступлению как и простые люди. И не надо фактам становиться строить козни демократии
KEugene
20.02.2017 15:09+1На мой взгляд данная статья касается не только систем, курирующих значительные территории или большие группы людей. Возможность проверить результат, точнее, как система к нему пришла — полезное свойство и в случае различных корпоративных решений. У меня есть реальный пример. Один из крупных украинских агрохолдингов сейчас создает систему, которая взяла бы на себя функции планирования посевов и бюджетирования прямых затрат. Топ-менеджмент хочет знать, почему было принято то или иное решение. Цена ошибки — сотни тысяч, если не миллионы долларов и возможность ее исправить возникнет только через пол года. Если такая программа станет «черным ящиком», то вместо обоснования решения потребуется ручной ежегодный пересчет «в экселе», чтобы проверить насколько адекватен автоматический вариант. Но тогда пропадает смысл в создании самой системы. То, что создается в этой компании, разбито на несколько модулей. И общий расчет производится в несколько итераций, каждая из которых фиксируется. Таким образом, можно проследить, как был получен конечный результат. Такой подход был выбран технологами в ущерб производительности. Зато они всегда могут вмешаться и откорректировать процесс.
potan
20.02.2017 15:39Сейчас почти весь ИИ — нейронные сети. Редко встречаются скрытые марковские модели.
Но объяснительная способность этих подходов очень низкая.
Почему почти нет современных работ, например по индуктивному логическому программированию?
qwertyhp
21.02.2017 02:27+2Уважаемый Автор, Вы впадаете в ересь. Вы соглашаетесь, что ИИ сотоварищи выполнит работу, непосильную (по любым причинам) для всего человечества — перелопатит нечеловеческие объемы данных, полученные откуда угодно и в рекордные сроки (в т.ч. в режиме реального времени), сделает выводы без учета совести, морали, подобострастия и опасения преследования властей, будет работать с физически предельным быстродействием + программные оптимизирующие алгоритмы, и много чего еще, доступного только машинам — и тут же желаете, чтобы ОНО:
— позволяло объяснить ход её рассуждений
— могло Объяснить и обсудить
— могло формулировать
— и "… ее решения хотя бы должны быть проверяемы впоследствии. Логика её действий должна быть отслеживаема, чтобы можно было затем исследовать обстоятельства каких-либо проблемных или спорных ситуаций."
При этом вы — представитель вида, который «здесь помню, здесь — не помню», «здесь вижу, здесь — не вижу», «здесь сознаю, а здесь — не сознаю», и имеете реакцию порядка 0.3 сек?
А ересь ваша возникает от того, что вы априори предполагаете себя равным или выше любого ИИ даже в будущем, и что вам легко и просто понять любой замысел и ход его реализации, чей бы он ни был.
Но в описанной вами перспективе либо вы должны стать вровень с ИИ — либо ИИ должен опуститься до вашего уровня. Частично эту задачу выполнит симбиоз «человек-машина». Но ваши «0.3 сек» далеко вас не отпустят.
Отсюда вывод: если описанное будущее наступит — люди будут в известной мере ВЕДОМЫМИ.
Хорошо это или плохо?
Думаю, это будет зависеть от того, хороший вы ведомый, или нет.michael_vostrikov
21.02.2017 20:03То, что ИИ будет думать быстрее, чем 0.3 секунды, не означает, что говорить он будет с такой же скоростью. И нет никаких принципиальных проблем в том, чтобы ИИ объяснил логический ход своих рассуждений. Законы логики и информации универсальны и действуют даже на ИИ.
qwertyhp
22.02.2017 01:04+1И нет никаких принципиальных проблем в том, чтобы ИИ объяснил логический ход своих рассуждений.
Есть несколько ньюансов.
Первый состоит в том, что для решения задачи ИИ вполне сможет разрабатывать собственную логику, доселе не встречавшуюся. Совершенно точно также, как уже имеющаяся логика разрабатывалась людьми. И объяснение в этом случае придется начинать с разъяснения логического аппарата (аналогично теоретической физике и математике).
Законы логики и информации универсальны и действуют даже на ИИ.
Вы не учитываете диалектический переход количества в качество. Предположу, что неподъемные для обработки человечеством объемы данных породят качественно новые логики и подходы. И, опять же — Ваше утверждение базируется на самосознании того, что человек — это венец творения, и далее ничего. Мы не знаем, чтО именно и как действует на ИИ. Например, если люди полагают, что, помимо видимого материального мира существуют и иные (вроде их называют тонкими, или какими-то еще) миры, и люди в них присутствуют — то где еще, в таком случае, помимо нашего мира, может тусоваться ИИ?
Кстати: а может ли процесс обработки огромного количества данных породить сознание у ИИ? А каким оно будет?
И даже если ИИ будет объяснять логический ход своих рассуждений — вам продолжительности жизни хватит его выслушать?michael_vostrikov
22.02.2017 07:07собственную логику, доселе не встречавшуюся
Не бывает особой логики. Связь причины и следствия не зависит от того, кто ее анализирует. Можно придумать любую неевклидову геометрию, но она будет связана с обычной определенными законами.
И, опять же — Ваше утверждение базируется на самосознании того, что человек — это венец творения, и далее ничего
Мое утверждение основывается на том, что есть законы информации, не зависящие от человека. Никакой ИИ не сможет сжать произвольные 8 бит в 7, а потом разжать обратно.
Мы не знаем, чтО именно и как действует на ИИ
На ИИ действуют законы физики и информации.
И даже если ИИ будет объяснять логический ход своих рассуждений — вам продолжительности жизни хватит его выслушать?
А почему вы решили, что в любых задачах есть миллионы факторов, напрямую влияющие на результат? Нет никакой проблемы для ИИ сказать "я считаю, что надо отклонить эту заявку на кредит, потому что у человека уже есть кредит в другом банке".
qwertyhp
22.02.2017 13:14+1ОК. ИИ вполне сможет разрабатывать не собственную логику, — а реализовать лавинообразное и неконтролируемое развитие ранее уже существующей, традиционной, классической, академической логики. Так лучше? Те же грабли, только в профиль.
есть законы информации, не зависящие от человека.
То есть созданные человеком, но не зависящие от человека.
Тезис весьма спорный.
На ИИ действуют законы физики и информации.
Кстати, на человека тоже. Однако, при этом вы способны видеть сны, пространства других размерностей и разного рода иные неочевидности — видеть или допускать их.
А на какой стадии/конфигурации у ИИ возникнет сознание? И, сорри, — но человеческая логика порождена именно структурой человеческого сознания.
А почему вы решили, что в любых задачах есть миллионы факторов, напрямую влияющие на результат
Во-первых, потому что при условии получения единственно верного решения это именно так, — а во-вторых, для получения приемлемого решения элементарных логических задач не требуется городить ИИ, который вызывает обсуждение еще до его создания.
А обсуждение ИИ вызывает потому, что вызывает страх.
А в третьих, от ИИ вы будете требовать решения по принципу, когда бы «у вас все было, — а вам за это ничего не было».
Не так ли?michael_vostrikov
22.02.2017 14:19а реализовать лавинообразное и неконтролируемое развитие ранее уже существующей
Вы заранее постулируете, что ИИ это какая-то непостижимая магия, и строите на этом все рассуждения. Что значит "неконтролируемое развитие"? Ну развитие, ну и что. Отладчик есть, все рассуждения можно проверить.
То есть созданные человеком, но не зависящие от человека.
Открытые человеком.
Однако, при этом вы способны видеть сны, пространства других размерностей и разного рода иные неочевидности — видеть или допускать их.
Это, как ни странно, тоже следствие законов физики и информации.
И, сорри, — но человеческая логика порождена именно структурой человеческого сознания.
Связь причины и следствия не зависит от того, кто ее анализирует. Собака точно так же умеет бежать наперерез катящемуся мячику, как и человек.
Аналог структуры человеческого сознания сможет оперировать такой же логикой.
Во-первых, потому что при условии получения единственно верного решения это именно так
Почему это? Очевидно, что у разных задач не может быть одинакового количества факторов, влияющих на решение. Значит, для какой-то задачи их больше, для какой-то меньше. Для какой-то миллион, для какой-то один. И да, чем больше факторов, тем меньше влияет каждый из них на решение.
для получения приемлемого решения элементарных логических задач не требуется городить ИИ
А его городят не для этого, а в первую очередь для получения дешевой и устойчивой рабочей силы. Которая может работать там, где человек не может или не хочет. Ну и для занятий наукой тоже. В общем, как замена или помощь человеку. И для исключения влияния на результат человеческих недостатков.
А обсуждение ИИ вызывает потому, что вызывает страх.
У того, кто относится к нему как к волшебству, может и вызывает страх. А кто-то просто опасается последствий применения непроверенной технологии.
qwertyhp
22.02.2017 20:55Вы заранее постулируете, что ИИ это какая-то непостижимая магия
Согласно Вашей логике, Общая Теория Поля для трех взаимодействий — это тоже ничего особенного для доказательного понимания: раз один человек (подготовленный физик-теоретик) способен понять — так и другой (водитель, врач, продавец, т.д.) тоже сможет! Законы логики и математики — они одни для всех.
… тоже следствие законов физики и информации.
Вот с этого момента поподробнее, пожалуйста. Как ваши сны, воображариумы и т.п. описываются законами физики и логики, когда они совершенно очевидно противоречат и тому, и другому?
Связь причины и следствия не зависит от того, кто ее анализирует.
Ой, да ну? А как же быть с конкретным истолкованием? Ярчайший пример — диалектический закон «отрицания отрицания» применительно ко временам СССР. Сам закон никто не отрицал! — но отрицались его проявления применительно к общественному бытию. В противном случае начало 90-х было весьма прогнозируемо. Но, как говорил Галилей: «Я являюсь сторонником истины, но не хочу быть ее мученником».
Это о персонализации анализа связей.
Хочу напомнить, что оригинальная статья повествует об опасениях и недоверии в отношении ИИ, связанными с трудностью/невозможностью проверки его деятельности и результатов. И упоминаемая вами магия тут не при чем. Речь идет о том, что вычислительные возможности позволят изменять привычную [вам] среду обитания все быстрее и быстрее, нежели вы можете себе это позволить. Будет происходить дальнейшее дробление наук на отдельные дисциплины, когда отдельные специалисты-люди смогут быть специалистами только в своей узкой области, и только ИИ — во многих областях сразу. «Разбегание» возможностей (и реализаций) людей и машин создаст совершенно иное общество. Уже сейчас на машины возлагаются разнообразные общественно важные задачи и истолкования «причинно-следственных связей». О Диалектике я упоминал выше.
Объяснять будет, в сущности, нечего и не к чему. Да и некому.michael_vostrikov
23.02.2017 06:28раз один человек (подготовленный физик-теоретик) способен понять — так и другой (водитель, врач, продавец, т.д.) тоже сможет
Вы подменяете понятия. Неспециалист в физике не сможет понять весь объем знаний, потому что для этого надо узнать, что означают все понятия, и построить между ними логические связи. Тут как раз и появляются биологические особенности. Биологические нейроны не настолько быстро обучаются (на это тоже есть свои причины). Или человек может просто не захотеть разбираться.
Но в некотором объеме человек сможет понять объяснение, особенно если объяснять понятными для него словами. "Если учёный не может объяснить уборщице, которая убирается у него в лаборатории, смысл своей работы, то он сам не понимает, что он делает."
Вот с этого момента поподробнее, пожалуйста. Как ваши сны, воображариумы и т.п. описываются законами физики и логики, когда они совершенно очевидно противоречат и тому, и другому?
Доказательство, пожалуйста. Приведете противоречие, я попытаюсь объяснить, почему это не так. Воображение это результат работы нейронов.
А как же быть с конкретным истолкованием?
Вот как раз для этого и нужны понятные принципы работы. Чтобы можно было узнать, почему у ИИ именно такое истолкование фактов. Является ли это ошибкой электронных схем, влиянием контекста, или неучетом каких-то других фактов. Но сами факты от этого не меняются. И обучать ИИ нужно как раз на известных фактах, которые не допускают 10 противоречащих друг другу толкований.
Будет происходить дальнейшее дробление наук на отдельные дисциплины, когда отдельные специалисты-люди смогут быть специалистами только в своей узкой области, и только ИИ — во многих областях сразу.
Ничто не мешает просто не обучать отдельный экземпляр ИИ всем областям сразу.
Ничто не мешает объединять в один экземпляр ИИ только проверенные знания ИИ по другим областям.
Вот чтобы проверить, и нужны понятные принципы их работы. И да, не надо путать принципы работы и имеющиеся у ИИ знания.
Объяснять будет, в сущности, нечего и не к чему. Да и некому.
Вы опять описываете глобальные изменения без причины, то есть магию. Из того, что ИИ будет много знать, никак не следует, что люди куда-то исчезнут.
qw1
23.02.2017 10:06Но в некотором объеме человек сможет понять объяснение, особенно если объяснять понятными для него словами. «Если учёный не может объяснить уборщице, которая убирается у него в лаборатории, смысл своей работы, то он сам не понимает, что он делает.»
Можно научить обезьяну решать задачи типа «2 банана + 3 банана = 5 бананов». Но нельзя объяснить ей метод Гаусса для решения системы линейных уравнений, или способ нахождения экстремумов вычислением производной. Аналогично ИИ-методы не влезут в черепную коробку человека.
Учёный и уборщица — это из разряда «обезьяна учит обезьяну»michael_vostrikov
23.02.2017 10:42Но нельзя объяснить ей метод Гаусса
У обезьян очень ограниченные способности к передаче и анализу информации. Как минимум, у них нет речи и письменности. У человека способности к передаче информации более развитые. Поэтому ИИ может передать информацию человеку, а человек может ее понять. Умение выделять абстракции работает на любом уровне сложности.
Кроме того, ничто не мешает просто не создавать настолько сложный ИИ, что его никто не поймет.qw1
23.02.2017 10:57Вопрос в том, согласны ли вы с существованием концепций, для изучения которых 99% людей надо потратить не менее 10 лет. А также концепций, базирующихся на нескольких, подобным вышеперечисленным, чтобы понять которые, нужно понять те предыдущие.
Кроме того, ничто не мешает просто не создавать настолько сложный ИИ, что его никто не поймет.
Это не работает. Значит, будут известны границы и вдоль них всё будет настолько изучено, что больше и сказать нечего. В этот момент любой студент из любопытства их перейдёт. Или корпорация, или военная организация, или страна, попавшая в мировую изоляцию (что ей терять-то?)michael_vostrikov
23.02.2017 11:22Стоп, стоп. Дело не в том, что какая-то организация запустит ИИ в секретной лаборатории, потом отключит электричество, а результаты будет использовать в своих целях. Я имею в виду применение в мировом масштабе. Для управления приборами или обществом. Ничто не мешает просто не использовать непонятный ИИ для этих целей.
Вопрос в том, согласны ли вы с существованием концепций, для изучения которых 99% людей надо потратить не менее 10 лет.
Ну так с ИИ будут работать люди, которые знают предметную область и смогут проверить его результаты. А потом уже проверенный ИИ можно будет применять для решения задач. Тут конечно возникает вопрос, а что если он сам потом чему-нибудь научится. На этот случай можно придумать пару вариантов. Например, аппаратно отключить возможность создавать новые понятия. Или периодически проверять правильность работы. Для всех вариантов надо понимать, как именно работает каждая ячейка памяти, как из них получается результат, и что надо изменить, чтобы получить другой результат, естественно, так, чтобы это не повлияло на правильный результат в других задачах.
qw1
23.02.2017 10:35Ничто не мешает просто не обучать отдельный экземпляр ИИ всем областям сразу.
И кто так сделает, сразу проигрывает конкурентную гонку, потому что теряет междисциплинарный синергетический эффект.
Вот чтобы проверить, и нужны понятные принципы их работы
Допустим, принцип — классическая логика. Проблема в том, что машинное решение элементарной задачи, типа вывода (2x+3)*(x+1) = 2x^2+5x+3 из аксиом арифметики содержит сотни применений правил вывода. Человек просто утонет в этом, среди каши частностей и банальностей не заметив общей идеи доказательства (а у машины сейчас её и нет, она применяет метод грубой силы).michael_vostrikov
23.02.2017 11:08Тем не менее, человек может изучить арифметику. Потому что создаются абстракции и обобщения. Потому что можно доказать один раз и запомнить результат. Я об этом и говорю, ИИ будет применять понятия, используемые человеком, а не создавать цепочки непонятных символов, которые никому не нужны. И сделают его таким именно потому, что никто не будет знать, как проверить результат работы непонятного ИИ.
qw1
22.02.2017 17:34Не бывает особой логики
Вот это для меня не очевидно. Есть такой раздел математики — формальные системы, который изучает правила вывода одних конструкций из других, грубо говоря — правила преобразования строковых цепочек. Логика — одна из таких систем. Там есть аксиомы и правила вывода. Легко представить другую логику, с другими правилами вывода. Возможно, есть такие, которые тоже моделируют физическую реальность, как классическая логика.michael_vostrikov
22.02.2017 17:52Правила вывода будут другие, только в реальности правила не изменятся. Причина и следствие останутся причиной и следствием. Соответствие теоретических выводов и практических результатов не изменится. Если сделать другую логику, которая тоже моделирует физическую реальность, то между ней и обычной логикой будет взаимосвязь, одно можно будет выразить через другое. Как связь между полярными и декартовыми координатами.
qw1
22.02.2017 19:54Во-первых, запись в непривычной нотации уже проблема. Известна задача минимизации записи логических функций в некотором базисе. Грубо говоря, от И+ИЛИ+НЕ перейти к базису И+НЕ. Краткие формулы превращаются в огромные массивы знаков, а как свернуть их минимальный вид за полиномиальное время, никто не знает.
Во-вторых, вы считаете, что вся математика уже открыта? Логика ИИ может включать нашу, как подмножество. Как логика высказываний беднее, чем логика предикатов, а дифференциальное исчисление не приводится к логике предикатов первого порядка.
Тут для понимания нужно новые концепции. «Объяснение» ИИ будет такое: мол, удобно ввести такую сепульку: бац, формула на 3 млн. знаков. Очевидно (из наблюдений за природой), такие сепульки всегда подчиняются таким вот законам, возьмём их за аксиомы, бац, ещё 16 формул на 10 млн. знаков. Ну и дальше — бац, бац, очевидно, из этих аксиом выводится ещё 150 правил по 50 мегабайт, а значит, кредит тут давать невыгодно )))
И не подкопаешься — всё объяснено досконально. Хочешь — проверяй, хочешь прими на веру )))
Самое смешное, что эта сепулька может быть вполне интуитивным понятием, если её объяснить по-человечески. Но что поделать, если та формулировка была сгенерирована генетическим алгоритмом. Для ИИ такого вида достаточно, ему мощностей хватает, а как преобразовать в человеческий вид, он не знает (нет математической модели человеческой интуиции).michael_vostrikov
22.02.2017 20:26Вы путаете сложный алгоритм типа DeepLearning и ИИ как аналог естественного интеллекта. Если ИИ будет использовать общепринятые слова и понятия, как это делает человек, то и объяснять он будет так же, с их помощью. И вводить новые понятия будет так же. Люди придумывают себе какие-то магические проблемы, а потом пытаются их решать. Не будет там 150 правил по 50 мегабайт. Потому что люди не рассматривают столько правил при выдаче кредита. И даже если ИИ найдет какую-то корреляцию в статистике, он так и скажет "я нашел связь между этим и этим параметром".
qw1
23.02.2017 10:01Вы слишком очеловечиваете ИИ. Я не исключаю, что логика у него будет построена не на логических функциях 1-2 аргументах (классические И/ИЛИ), а на функциях 16 аргументах, для максимально эффективного использования SSE-регистров. С аппаратным перетасовывание вектора-результата одной операции в векторы на вход других, например, используя shuffle-инструкции процессора. И все эти векторы подстановок будут для него элементарными единицами смысла, как для человека 1+1=2.
Не будет там 150 правил по 50 мегабайт.
Посмотрие, с чем работают сейчас система автоматического доказательства.
даже если ИИ найдет какую-то корреляцию в статистике, он так и скажет «я нашел...»
Это в случае, если его специально под это программировать. Но, как замечали выше, тогда создатель ИИ сознательно урезает ему планку до человеческого уровня, допуская только конструкции, имеющие лёгкое объяснение.michael_vostrikov
23.02.2017 11:03Причем здесь регистры. Регистры это аппаратная реализация. Принцип анализа информации от них не зависит.
Чтобы было понятно. Я считаю, что текущие нейросети движутся не в том направлении. Естественный интеллект основан на других принципах работы. Чтобы сделать ИИ, который сможет заменить человека в ряде задач, надо чтобы у него были такие же принципы работы. И как я уже сказал, раз есть законы информации, которые не зависят от человека, то и ИИ будет подчиняться этим же законам. Квадрат гипотенузы равен сумме квадратов катетов независимо от языка, на котором написано доказательство.
Посмотрите, с чем работают сейчас система автоматического доказательства.
Ну так то программа, объем данных определяется этой задачей, а также тем, что у программы нет своего мышления. Я рассматривал конкретный пример про выдачу кредита. И да, эти работу этих программ тоже как-то проверили перед тем, как их применять.
тогда создатель ИИ сознательно урезает ему планку до человеческого уровня, допуская только конструкции, имеющие лёгкое объяснение.
В этом примере дело не в сложности ИИ, а в сложности задачи. Задача не предполагает множества факторов, значит ИИ не будет давать сложное и длинное объяснение. Ну а в целом, в том и дело, что не надо создавать ИИ, который нельзя будет понять.
void_one
21.02.2017 14:45+11963 год, Станислав Лем, "Сумма технологии". Государство (или другой игрок), действующее по рекомендациям сильного ИИ, получает стратегическое преимущество, даже если никто не понимает логику принятия решений. Игрок, добровольно ограничивающий мощность "своего" ИИ уровнем собственного понимания, попадает в ситуацию игры человека против AlphaGo и проигрывает. Это дилемма заключенного, выход из которой предопределен, — неконтролируемый сильный ИИ будет создан так же неизбежно, как неизбежно было создание атомной бомбы.
qw1
22.02.2017 12:59Формально авторы статьи не провели границу, каким должно быть объяснение.
Любой ИИ имеет объяснение своих решений, достаточно лишь вести лог всех выполненных машинных инструкций. Да, это объяснение на триллионы строк, и что? Оно же исчерпывающее и воспроизводимое — проверяйте ))
Между таким логом и объяснением, понятным любому человеку за 5 секунд лежит пропасть всевозможных промежуточных вариантов.
Если оптимизированное под человека объяснение сравнимо со сложностью доказательства теоремы Ферма (требует 10 лет подготовки и вникания в теории), и дальше не упрощается, такое их устроит?
taujavarob
22.02.2017 17:21Если оптимизированное под человека объяснение сравнимо со сложностью доказательства теоремы Ферма (требует 10 лет подготовки и вникания в теории), и дальше не упрощается, такое их устроит?
Любое. Но для человека. Дело в том:
- у вас есть ИИ — он торгует на вас на бирже — и вы в прибыли — тогда вам плевать как он думает.
- у вас есть ИИ — он торгует на вас на бирже — и вы в убытке — тогда вы требуете пояснений.
- у вас есть ДВА ИИ — один говорит — покупать(воевать), другой — продавать(не воевать) — решение что делать за вами. — или за третьим ИИ? ©
michael_vostrikovНе бывает особой логики.
Существует(придумано людьми) много разных логик.
Не существует ограничения на количество существование логик вообще.
Проблема — не изобрести(придумать) логику — проблема куда её(придуманную вами логику) применить. (С)
Пример — придуманная в своё время (довольно давно) специально для физиков «квантовая логика» — не была принята физиками вовсе. Последняя попытка, насколько я в курсе, — было применение «квантовой логики» для игры на бирже. До этого была попытка применить её в продажах.
Логик уже есть(придумано) много и может быть много и даже очень много. — Проблема — куда их применить?
qw1
22.02.2017 17:38Любое. Но для человека
В этом и есть проблема сложности. Из математической записи в 10 строк можно автоматически сгенерировать 500 предложений «для человека». Только кому от этого будет легче, если человек не в состоянии в голове удержать такую структуру.
michael_vostrikov
22.02.2017 18:04Я имел в виду логику, которую можно применить в реальности. Если набор правил дает выводы, не соответствующие реальности, можно их назвать особой логикой, но реальность от этого не изменится. А если выводы соответствуют реальности, их можно выразить через обычную логику и/или математику, даже если придется ввести пару новых понятий.
taujavarob
23.02.2017 17:40+1Я имел в виду логику, которую можно применить в реальности. Если набор правил дает выводы, не соответствующие реальности, можно их назвать особой логикой, но реальность от этого не изменится.
Хм. Лобачевского гнобили, из-за того, что его теория не применима была в реальности. Он, бедняга, запирался в актовом зале универа и мерил… углы, надеясь что на больших расстояниях сумма углов треугольника не равна 180 градусов. (Современные измерения с размахом на галактические размеры показали, что и на этих расстояниях Вселенная плоская).
А если выводы соответствуют реальности, их можно выразить через обычную логику и/или математику, даже если придется ввести пару новых понятий.
Так как логик может быть много и очень много (как и числа математик), но не любую логику можно свести к аристотелевской (то что вы называете «обычной») логике.
Мало того, даже аристотелевая логика (притянутая в Европу в 12 веке (от арабов) с целью бороться с ересями) не сводится, например, к "житейской логике":
— Ваш сосед по воскресеньям ходит в баню. Сегодня воскресенье. Ваш сосед пойдёт в баню?
— Нет, он приболел.
michael_vostrikov
23.02.2017 19:50Извините, я не понял, причем тут Лобачевский и житейская логика. В реальности есть определенные законы, и неважно как вы их назовете, или придумаете ли другие законы, они от этого не поменяются. ИИ будет взаимодействовать с ними так же, как и человек. Потому что иначе практической пользы от деятельности ИИ не будет.
qw1
23.02.2017 22:51В реальности есть определенные законы
Сформулировать хотя бы один из законов сможете? Такой, который бы относился к физической реальности, а не к субъективным процессам в сознании? Такой, чтобы было понятно, что именно классическая логика неопровержимо верна в физической реальности, а не только в мысленных построениях.michael_vostrikov
24.02.2017 06:17Приводил уже. Нельзя сжать произвольные 8 бит в 7 без потери информации.
Квадрат гипотенузы равен сумме квадратов катетов с точностью до погрешности измерений.
Если воду охладить до нуля при атмосферном давлении, то она превратится в лед.
Я говорил о законах реальности как раз в связи с мысленными построениями, нет смысла убирать их из рассуждений.
Человек при наблюдении окружающей среды выделяет некоторые объекты, процессы и закономерности. Это модели реальных объектов и процессов. Среди них можно выделить свои объекты, процессы и закономерности. Это уже абстракции. Таких уровней абстракции может быть сколько угодно.
Все эти сущности имеют свои названия. В разных языках они разные, но означают одни и те же сущности. У них одинаковые свойства, поведение и взаимодействие с другими сущностями. ИИ в процессе работы тоже будет выделять в информации некоторые сущности. По свойствам, поведению и взаимодействию можно будет определить, что это за сущности, или вернее, каким "человеческим" сущностям они соответствуют. Они будут такими же, какие выделяют люди, потому что информация будет такой же. Возможно, придется ввести пару новых терминов. Но треугольник останется треугольником, а причина и следствие причиной и следствием. Потому что иначе логические выводы будут давать неправильный результат, не совпадающий с поведением сущностей.qw1
24.02.2017 12:30Я действительно хочу понять, разобраться в глубинных механизмах этих взаимосвязей, и ваша аргументация меня пока не убеждает.
Нельзя сжать произвольные 8 бит в 7 без потери информации.
ОК. И как это связано с основаниями классической логики? Если убрать или изменить одну из аксиом логики, например
Если A, то (A или B)
вы сможете доказать, что утверждение о сжатии информации перестанет работать? Если не можете, то почему считаете, что оно как-то завязано на классическую логику?
Квадрат гипотенузы равен сумме квадратов катетов с точностью до погрешности измерений.
Это вообще свойство метрики. Классическая логика обслуживает любые метрики, так что в другом пространстве это соотношение нарушается, но конретно с логикой нет противоречий.
Если воду охладить до нуля при атмосферном давлении, то она превратится в лед.
Это можно записать уравнением связи физических параметров, решение которого — пространство допустимых состояний с переменными (температура, объём, плотность). Это альтернативный способ строить размышления о свойствах воды, не прибегая к конструкциям «если — то»michael_vostrikov
24.02.2017 13:10Если убрать или изменить одну из аксиом логики
Если убрать или изменить одну из аксиом логики, то получившийся набор правил не будет объяснять процессы, наблюдаемые в реальности. Ну убрали мы и получили, что сжать можно. Только сжать все равно нельзя. Можно еще подумать, что будет, если убрать какую-то физическую константу. Только зачем.
вы сможете доказать, что утверждение о сжатии информации перестанет работать?
Мне непонятен этот вопрос. ИИ не сможет обойти этот закон независимо от своего набора логических правил. И остальные законы тоже. Значит у него должен быть набор правил и понятий, которые их объясняют. Значит можно найти соответствие между ними и понятиями человека.
И даже более того. Есть всего 16 логических функций от 2 аргументов. И вероятность того, что ИИ будет использовать новую логическую функцию, примерно такая же, как что он найдет новое целое число между 1 и 2.qw1
24.02.2017 13:50Есть всего 16 логических функций от 2 аргументов. И вероятность того, что ИИ будет использовать новую логическую функцию
Ха-ха, ну ещё бы. Сразу загнать себя в рамки булевой алгебры и предложить найти то, что в ней запрещено. В нечёткой логике — сколько угодно таких функций.
Может показаться, что реальность построена на логике. Я не вижу к этому предпосылок. Например, задача Эйнштейна это ведь не описание реальной ситуации, а такой же учебный пример, как интеграл из задачника по матану.
Например, что значит фраза «У испанца есть собака»? С точки зрения логики — это предикатВладеет(Испанец, Собака). А с физической точки зрения? Ничего! Запаритесь описывать в рамках физики, химии, биологии, социологии.michael_vostrikov
24.02.2017 14:17В нечёткой логике — сколько угодно таких функций
Но и результат в ней такой же нечеткий. Если бы они давали больше возможностей, то их бы и использовали везде вместо булевой алгебры.
Например, что значит фраза «У испанца есть собака»?
Она вводит в рассмотрение некоторые сущности. Тут снова появляются модели и другие абстракции. Модель появляется на основе входящей информации. Информация не обязательно должна означать существующий в данный момент объект.
qw1
24.02.2017 15:09Если та же нечёткая логика будет давать результат, отличающийся от 0.0001% от классического, то неизвестно, какая модель точнее описывает реальность. Ведь миллион экспериметнов даст другой результат, отличающийся уже на 0.001%
Исследователи эти расхождения расследуют и случаи, где не сходится с их теорией, объявляют погрешностью или ошибкой.
qw1
24.02.2017 13:23Я понял, в чём наши разногласия.
Мой довод в том, что ИИ может использовать нечеловеческую логику, поэтому не сможет дать кратких объяснений своим решениям в виде «если-то».
Вы же считаете, что законы природы объективно существуют (а я с этим не спорю), но являются следствием человеческой логики (если не так, поправьте). А вот это мне совершенно не очевидно. Логика — способ мышления, способ решать задачи. К одному решению можно прийти аналитически, а можно геометрически. Это будут разные логики, но давать будут один результат.
Это не значит, что человек в принципе не может понять другую логику. Просто мозг не натренирован так работать. Можно попробовать научиться, но вряд ли получится до того уровня, чтобы понять ответ ИИ.
Например, ИИ может не пользоваться «если-то», а всё считать геометрически. Возвращаясь к примеру с кредитом, он может построить область безубыточности банка в 42-мерном пространстве и линию возможностей заёмщика. И, на основании того, что линия не пересекается с областью безубыточности, отказать в кредите.
Если фигура не выпуклая, человеку не понять, почему один заёмщик получил кредит, а другой, по всем параметрам лучший, не получил. Была бы схема двумерная, всё было бы очевидно, и было бы понятно, какой параметр нужно подтянуть, чтобы направить линию возможностей в область безубыточности.
Геометрическую логику ещё можно представить. Сложнее представить логику, построенную на семантических сетях или перетасовывании кусков кода некоторого ассемблера.
Разумеется, это можно перевести в понятия классической логики, но это всё равно, что интуитивно понятную геометрическую ситуацию попытаться записать аналитически — получим тонны формул, в которых нифига не понятно.michael_vostrikov
24.02.2017 14:30законы природы объективно существуют (а я с этим не спорю), но являются следствием человеческой логики
Нет. Человеческая логика (и другие понятия) описывает наблюдаемые законы.
он может построить область безубыточности банка в 42-мерном пространстве и линию возможностей заёмщика
42 измерения соответствуют реальным параметрам (которые можно назвать и показать). Иначе они не оказывают влияния на решение. Вы тоже заранее постулируете какие-то непонятные магические действия ИИ.
В общем, не вижу смысла спорить. Нравится вам думать, что ИИ это нечто необъяснимое, дело ваше) А мне нравится думать, что есть общие принципы построения абстракций.
taujavarob
24.02.2017 18:18michael_vostrikov > Извините, я не понял, причем тут Лобачевский и житейская логика. В реальности есть определенные законы, и неважно как вы их назовете, или придумаете ли другие законы, они от этого не поменяются. ИИ будет взаимодействовать с ними так же, как и человек. Потому что иначе практической пользы от деятельности ИИ не будет.
Потому что ИИ создаст свою геометрию (как Лобачевский) которую нельзя будет перевести в житейскую логику (как это и случилось с Лобачевским).
ИИ — на основании реальных данных построит свои абстракции и вынесет свои выводы — но как их понять человеку?
Пример:
- Изучая реальные данные экспериментов микромира учёные вывели формулы их описывающие, но как это объяснить?
- Была попытка построить аналогии с реальным миром обычного человеческого восприятия — попытка протащить понятие странное, но всё же типа понятное — «волна-частица». — Но это ни к чему не привело (от этого осталось только название "волновая функция").
- Что имеем на выходе — законы микромира которые можно принять к сведению но понять (понять — означает построить аналогии с обычным реальным миром человека, ибо только тогда человек «понимает»).
Это же касается и ОТО — там только чистая математика (тензоры) — понять нельзя — картинка с прогибающейся лентой есть чушь собачья, она не приводит к пониманию — она обман).
Что получим в итоге:
- Один ИИ на основании реальной инфы выдаст как ответ так и путь к этому ответу.
- Другой ИИ попытается на основании вывода первого ИИ подобрать аналогии (перевести на что-то знакомое) для того чтобы человек понял, не только вывод ИИ — он то ясен — Покупать/Продавать, Воевать/Мириться — но и почему такой вывод сделан.
- Пример ОТО и квантовой физики показывает — что это задача невыполнимая.
К чему придём? — об этом уже предупреждают люди далеко не глупые — Мы начнём жить по законам нами не понимаемыми и мало того, принципиально невозможно понятыми.
Это страшно?
— Жить в мире, когда тобой управляют Законы, которые ты не понимаешь — это означает сойти с ума. (С)
— Жить в мире, когда тобой управляют Законы, которые ты не понимаешь — это означает не только лечиться гомеопатическими средствами (к чему привыкли), но и жить руководствуясь гомеопатией (к чему всё и движется).
michael_vostrikov
24.02.2017 18:30Потому что ИИ создаст свою геометрию (как Лобачевский) которую нельзя будет перевести в житейскую логику (как это и случилось с Лобачевским).
Ну так и толку от такого ИИ не будет.
понять — означает построить аналогии с обычным реальным миром человека
Нет. Понять — это выделить объекты и процессы, и найти причины и закономерности их взаимодействия. Иначе бы никаких новых терминов и направлений в науке не появлялось.
Пример ОТО и квантовой физики показывает — что это задача невыполнимая.
Пример ОТО и квантовой физики показывает, что еще не все до конца изучено.
taujavarob
27.02.2017 16:00Понять — это выделить объекты и процессы, и найти причины и закономерности их взаимодействия.
Отличное определение! ;-)
Тогда, мы всё понимаем, ибо:
- Микромир — выделен объект и волновая функция. Найдены закономерности и имеются формулы по которым отлично можно рассчитать — что мы увидим на экране, посылая электрон через две щели или нейтроны через кристалл. Что такое волновая функция неясно — но это и не важно.
- ОТО — выделен объект(кривизна) и тензоры. Отлично ясно что дело в кривизне пространств-времени. Визуально этого не представишь, но мы всё начали понимать — ибо всё же что такое кривое мы ясно понимаем.
- Электричество — выделен объект(поле) и тензоры. Жаль не нашли «эфир», но и так ясно, что поле есть поле и оно как-то распространяется. Опять таки — есть тензоры и по ним можно всё точно рассчитать. Да и радио есть!
Что поимеем:
- — Первые ИИ, которые будут указывать нам покупать/продавать, строить/разрушать, воевать/мириться. — По моему мы к этой стадии сейчас и двигаемся.
- — Поумневшие следующие версии ИИ, которые будут не только указывать нам покупать/продавать, строить/разрушать, воевать/мириться. — Но и выделять некий «объект и закономерности», выраженные в формулах (тензорах?) — что позволит им точно сказать — что надо покупать ибо сумма по свёртки тензора минимальна. — Хм, чем-то напоминает Астрологию.
- — Толмачи — следующие версии ИИ, которые будут не только указывать нам покупать/продавать, строить/разрушать, воевать/мириться. — не только выделять некий «объект и закономерности», выраженные в формулах (тензорах?) — но и переводить на доступный язык (то есть строить аналогии с обычным реальным миром человека).
Ну, что-же, задачи ясны, стадии обозначены. (С)michael_vostrikov
27.02.2017 18:52Что такое волновая функция неясно — но это и не важно.
Важно. Потому что надо "найти причины". Ну и остальное аналогично.
Первые ИИ, которые будут указывать нам
Какой построят, такой и будет. Не вижу никакой причины для человечества следовать советам ИИ, которые нельзя проверить. Ну и остальное теряет смысл, так как основано на предпосылке, истинность которой сомнительна.
taujavarob
01.03.2017 17:20Потому что надо «найти причины».
Зачем? Вот зачем и кому нужно знать причины — почему микромир описывается волновой функцией?
Практически это ничего не даст.
Вам просто любопытно? — Ну, узнаете вы причину, а потом причину причины… и т.д.
Математики отказались доказывать непротиворечивость математики. Ибо докажи, а потом докажи что доказательство непротиворечиво, а потом докажи что доказательство доказательства непротиворечиво… и т.д.
Не вижу никакой причины для человечества следовать советам ИИ, которые нельзя проверить.
Как это? — Смотрите:
- Бог нам благоволит.
- Мы трудолюбивы, работаем не ленясь и следуя указаниям ИИ.
- Мы живём богато и счастливо.
Что вам ещё надо?
Проверить и запросить «тензоры» у ИИ нам захочется когда указания ИИ нас заведут в «болото» жизни. Не ранее.michael_vostrikov
01.03.2017 18:49Зачем? Вот зачем и кому нужно знать причины — почему микромир описывается волновой функцией?
Практически это ничего не даст.Я сказал, что понять — это не "построить аналогии с обычным реальным миром человека", а "выделить объекты и процессы, и найти причины и закономерности их взаимодействия". Тогда вы сказали, что "тогда, мы всё понимаем, ибо". Я сказал, что ваше высказывание неверно, и что из моих слов это не следует, так как "причины не найдены". Причем здесь вопрос, кому это надо?
Мы трудолюбивы, работаем не ленясь и следуя указаниям ИИ.
Мы живём богато и счастливо.В этом варианте надо сначала последовать непроверенным указаниям ИИ, а потом уже возможно жить богато и счастливо. А я говорю, что нет причин так делать. Если ИИ скажет "давайте сеять меньше зерна", нет никакой причины следовать такому совету.
Похоже, вы не следите за ходом дискуссии. Пожалуй, не стоит ее продолжать.
devpony
Господи, ну при чём тут функциональное программирование?