Никакого духа в машине нет
В последние несколько лет СМИ захлестнули преувеличенные описания технологий искусственного интеллекта (ИИ) и машинного обучения (МО). Кажется, что ещё ни разу в области информатики не было такого, чтобы столько смехотворных заявлений делало такое количество людей, обладающих таким малым представлением о происходящем. Для любого человека, активно занимавшегося передовым компьютерным оборудованием в 1980-х, происходящее кажется странным.
В номере The Atlantic за этот месяц интеллектуал высокого полёта и автор бестселлеров "Sapiens. Краткая история человечества" и " Homo Deus: Краткая история завтрашнего дня", Юваль Ной Харари описывает влияние ИИ на демократию. Самым интересным аспектом статьи является чрезмерная вера Харари в возможности современных технологий ИИ. Он описывает товарища Google, программу для игры в шахматы от компании DeepMind, как «творческую», «обладающую воображением» и «гениальными инстинктами».
В документальном фильме ВВС «Радость ИИ» профессор Джим Аль-Халили и основатель DeepMind Демис Хассабис описывают, как ИИ-система «сделала настоящее открытие», «способна реально породить новую идею» и разработала «стратегии, придуманные самостоятельно».
И если подобный поток преувеличений и антропоморфизмов используется для описания тупых и механистических систем, то настало время для проверки реальности с возвращением к основам.
Обсуждение компьютерных технологий часто происходит посредством мифов, метафор и человеческих интерпретаций того, что появляется на экране. Метафоры типа «интуиция», «творческое начало» и более новые «стратегии» являются частью нарождающейся мифологии. Эксперты по ИИ находят в игровых ходах ИИ закономерности и называют их «стратегиями», но нейросеть и понятия не имеет о том, что такое стратегия. Если и есть какое-то творческое начало, то оно принадлежат исследователям из DeepMind, разрабатывающим и управляющим процессами тренировки систем.
Сегодняшние системы ИИ тренируются на основе огромного количества автоматизированных проб и ошибок; на каждом этапе для передачи информации об ошибках и подстройки системы с целью уменьшения количества ошибок в будущем используется техника обратного распространения – и это постепенно улучшает эффективность ИИ в выполнении определённой задачи, такой, как игра в шахматы.
Происходящий всплеск эффективности ИИ, МО и т.н. «глубинного обучения» (ГО) по большей части основан на применении этой техники обратного распространения. Её впервые придумали в 1960-х, а к нейросетям её применил в 1980-х Джоффри Хинтон. Иначе говоря, в течение более чем 30 лет никакого значительного концептуального прогресса в области ИИ не было. Большая часть результатов исследований в области ИИ и статей в СМИ показывает, что происходит, когда на исполнение старой идеи бросают горы дорогого вычислительного оборудования и хитроумную рекламную кампанию.
И нельзя сказать, что в компании DeepMind не делают ценной работы. Вспомогательная работа машин при создании новых стратегий и идей – штука интересная, особенно если работу этой машины сложно понять из-за её сложности. В нашей светской культуре магия и загадка технологий манит людей, и придание загадочного образа по большей части сухой и рациональной инженерной области идёт только на пользу. Но в машине-товарище Google нет никакого духа.
Железо против софта, аналоговое против цифрового, Томпсон против Хассабиса
Вся шумиха вокруг машин DeepMind напоминает мне радостное возбуждение, возникшее пару десятилетий назад на волне совсем другой, и, возможно, более глубокой системы «машинного обучения».В ноябре 1997 года работа Адриана Томпсона – исследователя из Центра вычислительной нейробиологии и робототехники Сассекского университета – попала на обложку журнала New Scientist вместе со статьёй «Создания из доисторического кремния – выпускаем дарвинизм в лаборатории электроники и смотрим, что он создаст. Жёсткая машина, которую никто не понимает».
Работа Томпсона вызвала небольшую сенсацию, поскольку он отверг обычаи и запустил эволюцию МО-системы в электронном оборудовании, вместо того, чтобы как все, использовать программный подход. Он решил сделать это, поскольку понял, что возможности цифрового ПО ограничены двоичной вкл/выкл природой переключателей, составляющих обрабатывающий сигналы мозг любого цифрового компьютера.
Нейроны человеческого мозга, наоборот, развились так, чтобы участвовать в различных тонких, подчас непостижимо сложных физических и биохимических процессах. Томпсон предположил, что развитие вычислительного оборудования при помощи автоматического процесса естественного отбора может воспользоваться всеми аналоговыми (бесконечно разнообразными) физическими свойствами реального мира, присущими кремнию, из которого и состоят простейшие цифровые переключатели компьютеров – что, возможно, приведёт к чему-то, напоминающему эффективную аналоговую работу компонентов человеческого мозга. И он был прав.
В своей лаборатории Томпсон провёл эволюцию конфигурации FPGA (типа цифрового кремниевого чипа, в котором связи между его цифровыми переключателями можно постоянно перенастраивать) в целях научить его разделять два разных аудиосигнала. Заглянув после этого внутрь чипа, чтобы посмотреть, как эволюционный процесс настроил связи между переключателями, он отметил впечатляюще эффективную схему работы – она использовала всего 37 компонентов.
Кроме того, получившаяся в результате эволюции схема перестала быть понятной цифровым инженерам. Некоторые из 37 компонент не были связаны с другими, но при их удалении из схемы вся система переставала работать. Единственным разумным объяснением этой странной ситуации было то, что система использовала какие-то загадочные электромагнитные связи между своими вроде как цифровыми компонентами. Иначе говоря, эволюционный процесс взял на вооружение аналоговые характеристики компонентов и материалов системы из реального мира, чтобы проводить свои «вычисления».
Это был взрыв мозга. Я в 1990-х был молодым исследователем, я имел опыт работы как в области исследований электронного оборудования, так и ИИ, и работа Томпсона меня поразила. Компьютер не только смог изобрести совершенно новый вид электронных схем и превзойти возможности инженеров-электронщиков, но, что более важно, указал путь к разработке бесконечно более мощных компьютерных систем и ИИ.
Хассабис начинал в качестве ведущего программиста ИИ в забытой ныне игре от Lionhead Studio, Black & White.
Так что же произошло? Почему Томпсон практически забыт, а материнская компания Google, Alphabet, закидывает Хассабиса деньгами, а документалки от ВВС поют ему панегирики? По большей части, дело в удачном моменте. В 1990-х ИИ был модным, как бабушкины панталоны. Сегодня на плечах ИИ лежит груз необходимости привести нас к «четвёртой индустриальной революции». Капитал гоняется за «следующим крупным проектом». И хотя цифровые ИИ-системы от DeepMind не очень подходят для моделирования сложных аналоговых систем реального мира вроде погоды или человеческого мозга, они определённо хорошо подходят для перемалывания цифровых данных, поступающих из простейшего цифрового мира онлайна в виде линков, кликов, лайков, плейлистов и пикселей.
DeepMind также пошло на пользу её способность показать товар лицом. DeepMind рекламировала свои технологии и руководство, культивируя технологическую загадочность, однако вся демонстрация её работы сводилась к игрушкам с простейшими вычислимыми правилами. Преимущество игр состоит в их понятности и визуальной привлекательности для СМИ и общественности. На самом деле, большая часть коммерческих применений этой технологии будет связана с банальными фоновыми бизнес-приложениями, например, оптимизацией энергоэффективности дата-центров, в которых Google держит свои компьютеры.
Ceci n'est pas une paddle*
*«Это не весло» – отсылка к картине "Вероломство образов"
Общими у Томпсона и Хассабиса – кроме принадлежности к Британии — определённо были опыт и умения, необходимые для эффективной тренировки и эволюции их систем, но такая зависимость от умений и творческого начала людей, очевидно, является слабостью любого ИИ или МО-системы. Также их технологии были весьма хрупкими. К примеру, системы Томпсона часто переставали работать при температурах, отличных от тех, при которых они эволюционировали. Тем временем в DeepMind простое изменение размера весла в одной из видеоигр компании полностью сводило на нет эффективность ИИ. Эта хрупкость связана с тем, что ИИ от DeepMind не понимает, что такое весло – и даже сама видеоигра; её переключатели работают только с двоичными числами.
Системы МО в последнее время действительно достигли больших успехов, но этот прогресс, по большей части, был получен благодаря использованию для решения задач огромного количества стандартного вычислительного оборудования, а не радикальным инновациям. В какой-то момент недалёкого будущего уже не получится запихнуть больше крохотных кремниевых переключателей на кремниевый чип. Эффективность схемы (больше вычислений на меньшем количестве оборудования) станет важной коммерчески, и в этот момент эволюционирующее оборудование может, наконец, стать модным.
Могут появиться и гибридные системы, комбинирующие подходы Томпсона и Хассабиса. Но, что бы ни случилось, Харрари придётся подождать, пока он сможет приобрести «творческую» ИИ-систему для написания своего следующего бестселлера.
Комментарии (63)
leshabirukov
18.11.2018 12:54+2DeepMind рекламировала свои технологии и руководство, культивируя технологическую загадочность, однако вся демонстрация её работы сводилась к игрушкам с простейшими вычислимыми правилами.
Это он про игру Го? Ну, пусть сам попробует бота написать. Если подсушить, от статьи останется «не получится, потому что раньше не получилось».JustDont
18.11.2018 13:29А что не так-то? Го — игра с простейшими вычислимыми правилами. Проблема только лишь в количестве возможных вариантов игры.
KevlarBeaver
18.11.2018 13:59Просто количество возможных вариантов у тебя как число не влезет в дисплей калькулятора. Про то, чтобы их все перебрать — и речи вообще нет. Потому и нужны алгоритмы, в том числе ИИ, чтобы играть «умно». Перебор не прокатит.
JustDont
18.11.2018 14:58Еще раз: и?
В статье приведено абсолютно корректное утверждение относительно Го и DeepMind. Попытка контаргументировать это через «сперва добейся» — выглядит убого.
Потому и нужны алгоритмы, в том числе ИИ, чтобы играть «умно».
С этим никто и не спорил, не?BlackMokona
18.11.2018 15:1220xx год
Человеческий разум это очень простая легко вычисляемая система. Всего лишь жалкие 100 миллиардов нейронов соединённых между собой по ряду правил записанных в ДНК.
KevlarBeaver
18.11.2018 15:17С этим никто и не спорил, не?
Мне показалось, что Вы спорили. Вы сказали, что "проблема лишь в количестве возможных вариантов игры", будто их можно перебрать «в лоб» и ИИ тут не впёрся. Возможно, я Вас не так понял, извините.JustDont
18.11.2018 15:21-2Ну так их можно перебрать, чисто в силу их конечности. Вопрос в скорости перебора. Вон см. комментарий выше про мозг и 20хх год.
KevlarBeaver
18.11.2018 15:27+1Их сейчас физически нельзя перебрать все на суперкомпьютере, к которому есть доступ избранным. Зато можно реализовать ИИ, который будет достаточно хорошо играть против простого человека и запихать этот ИИ в программу для телефона — и каждый желающий скачает, будет играть и будет счастлив. Даже, если в ближайшем будущем появятся вычислители, позволяющие перебрать все варинты, — когда они станут доступны массам? А ИИ позволяет решать эту (и многие другие проблемы) для простых людей уже сейчас.
sshikov
18.11.2018 16:34Вообще-то автор не с этим спорит. Он утверждает, что ИИ, несмотря на множество утверждений, не выдвигает никаких новых гипотез, не строит новые стратегии.
Решили задачу быстрого перебора, сделали на этой основе алгоритм, играющий в Go. Научились распознавать картинки (хотя и не без проблем, и не совсем так, как делает человек). Прелестно (без всякой иронии).
Может этот алгоритм нам что-то рассказать о том, как играть в другую игру? О том, как управлять автомобилем, как переводить с языка на язык? Или между этими разными применениями ИИ нет ничего общего, и достижения в решении одной задачи ничего ровным счетом не дают для решения другой?
Насколько я понимаю автора, он как раз и говорит, что ни о каком реальном самообучении на сегодня речи не идет. Если кто и обучается в процессе — так это люди.red75prim
18.11.2018 17:08Может этот алгоритм нам что-то рассказать о том, как играть в другую игру?
Он может научиться играть в другую игру. AlphaZero достиг свехчеловеского уровня в го, шахматах (в них обошёл и StockFish, работающую на основе оттюненых рукописных эвристик и быстрого перебора. AlphaZero, кстати, может неплохо играть и без перебора) и сёги. Рассказать как играть этот алгоритм пока не может, впрочем так же как и люди не могут точно описать как именно они принимают решения в процессе игры.
Или между этими разными применениями ИИ нет ничего общего, и достижения в решении одной задачи ничего ровным счетом не дают для решения другой?
Алгоритмы deep learning были относительно успешно применены в вождении машин (но там свои заморочки), успешно (state of the art) применяются в машинных переводах, разпознавании речи, reinforcement learning, относительно успешно в управлении движениями роботов.
Если кто и обучается в процессе — так это люди.
Люди обучаются строить архитектуры сетей, подходящие для обучения определенным задачам. Если говорить, что нейросети ничему не обучаются, то можно сказать, что и люди ничему не обучаются. Архитектура сети у нас в черепе была создана эволюцией, а не нами самими. То есть это эволюция обучается в процессе, а не мы.
sshikov
18.11.2018 17:19>Он может научиться играть в другую игру.
Само по себе это дает нам немного. Насколько быстрее AlphaZero научился второй игре, и третьей? Были ли при этом использованы результаты обучения — или это было каждый раз обучение с нуля (в том что опыт разработчиков вырос, я не сомневаюсь)?
>Рассказать как играть этот алгоритм пока не может, впрочем так же как люди.
Вовсе не так же. Люди, научившись решать определенную задачу, могут рассказать о ней многое, хотя вероятно не все. О стратегии тех же шахмат написано множество книг. И эти книги позволяют другим людям учиться намного быстрее. И насколько я понимаю (и в этом я с автором статьи согласен), вот о таких результатах обучения пока речи не идет вовсе.
>люди ничему не обучаются
Ну это очевидно перебор. И те и другие обучаются, но люди обучаются _не так_, как сегодняшние нейросети.
beeruser
18.11.2018 17:49-1Или между этими разными применениями ИИ нет ничего общего, и достижения в решении одной задачи ничего ровным счетом не дают для решения другой?
Т.е. мастера Го должны уметь переводить с любого языка на любой?
Hardcoin
18.11.2018 21:38+1не строит новые стратегии.
В случае Го и шахмат — как раз строит. А в случае управления автомобилем 99% людей тоже не строят новые стратегии. Ну и что? Откуда такое требование к ИИ вообще взялось?
sshikov
18.11.2018 21:43Это не требование. Вы статью-то прочитали?
В документальном фильме ВВС «Радость ИИ» профессор Джим Аль-Халили и основатель DeepMind Демис Хассабис описывают, как ИИ-система «сделала настоящее открытие», «способна реально породить новую идею» и разработала «стратегии, придуманные самостоятельно».
VolCh
19.11.2018 01:09Вот не уверен, что строит именно стратегии типа «надо вывести своего ферзя на оперативный простор, ферзя противника взять, а его короля загнать в угол, после чего победа дело тактики». А в случае управления автомобилем, по-моему, и люди, и навигаторы стратегии строят типа «сейчас (по опыту или показаниям датчиков) лучше ехать в объезд центра», а уж «поверните налево, поверните направо — тактика»
Hardcoin
18.11.2018 21:36+1Математическое "раз конечное, значит можно перебрать" совершенно не означает, что перебрать на самом деле можно (в нашем настоящем мире). Количество паролей тоже конечное.
BelBES
19.11.2018 09:33+3Игру го изначально выбрали потому, что эту игру считали не разрешимой для ПК в обозримой перспективе. Но стоило компьютеру разгромно победить, как внезапно оказывается, что игра простая и ни о каком ИИ тут речи быть не может...
ni-co
18.11.2018 13:46+1Статья лишь как показатель, что машинному переводу еще далеко до человеческого.
Мне за пятьдесят. Из них более 30 лет интересуюсь ИТ. И все равно скажу, что последние 10 лет это реально взрывной рост достижений в области искусственного интеллекта.Il721
19.11.2018 15:40Как я понял, автор с этим не только не спорит, а именно это и говорит. Взрывной колличественный рост. Просто, как по мне, похоже на ситуацию с производством муки: изобретение мельниц увеличило производство муки в разы и на порядки. И разнообразие мельниц… (водяные, ветряные, на мулах/осликах,...). Допустим, в сколкове изобрели наножернова и теперь мешок зёрен смалывается за наносек. Заодно можно перемалывать камни, металлы… А вот штуку, кот. создаёт «молекулы муки» из окруж. атомов С, О, Н никак не сделать. Я как-то так понял. Ну и, до кучи, для меня термины «придумал», «изобрёл» и т.п. без кавычек можно применять только к [Искусственному] Разуму, а не к Искусственному Интелекту. О чём и автор, вроде, в начале говорит. Это всё моё ИМХО, ессно.
ni-co
19.11.2018 16:48У меня в шкафу трехтомник " Справочник Искусственный Интеллект"(изд. Радио и Связь 1990 г) под. ред. Попова. И я вот читаю предисловие к книге, что тогда подразумевалось под понятием ИИ и сравниваю с теперешними требованиями к нему. Поверьте дело не только в аппаратной части, ресурсах. Тогда например(90-е) не думали, что нейросети научатся, например описывать происходящее на видеороликах.
hurtavy
18.11.2018 15:05А вот если бы нейронные сети не относили к слабому ИИ, то и шумихи бы такой не было. То есть во всём виновата неудачная терминология
BlackMokona
18.11.2018 15:06А куда их относить? К слабому ИИ даже тесты бумажные относяться.
hurtavy
18.11.2018 15:17+1Никуда не относить. Не обзывать их ИИ
BlackMokona
18.11.2018 15:21А как называть? Учитывая что ИИ это уже уставившийся термин, и дабы его изгнать придётся приложить титанические усилия. Лучше хотя бы разъяснить разницу между сильным и слабым.
ipswitch
18.11.2018 17:50зачастую термин «ИИ» пихают в любую сколь угодно автоматизированную реализацию анализа данных (data mining). А уж обозвать условно «нечеткий», вероятностный, статистический алгоритм ИИ — самое милое дело.
Блин, уже достало что к ИИ теперь относят и fuzzy logic а-ля стиралка-автомат И даже наивный байес!BlackMokona
18.11.2018 19:51Как я писал выше, даже бумажные тесты это слабый ИИ по текущим определениям. Нужно менять определения, придумывать новые термины и тд. Если хотите разграничить и отделить.
VuX
18.11.2018 21:22Статья о том что ИИ нейронных сетей это про интеллектуалность программную, как например автокорректирующиеся фары ксенона, которые являются интеллектуальными устройствами, но не про интеллект. А что там за бумажные тесты?)
BlackMokona
18.11.2018 22:30Любое устройство, способное выполнять любую умственную работу по определению ИИ. Тем самым определить качества человека это умственная работа, а значит тест ИИ. Инструкция тоже ИИ если позволяет вам переложить свои размышления на решение другой системы. Т.е вы выбрали идти на лево или на право по инструкции, то вот он ИИ.
Так же можно использовать определение из Вики, но по нему Скайнет не ИИ, так как ИИ это вообще научная дисциплина.VuX
18.11.2018 23:42Что означает «умственная»? Это подразумевает наличие ума или нет? В сокращении ИИ, первое И означает «исскуственный», а значит если я что то выбрал то значит уже не ИИ, ведь я не искусственный. Или есть другое мнение?
VolCh
19.11.2018 01:13Неудачное выражение, имелось в виду, скорее всего, что вы тупо последовали инструкции, а не думали куда повернуть.
VolCh
19.11.2018 01:12Если инструкцию разработал человек, то она лишь носитель, а не И.
BlackMokona
19.11.2018 13:12А Скайнет тоже разработал человек, а человека создала эволюция. Значит они лишь носители, а не И.
VolCh
19.11.2018 14:28Интеллект принимает решения, а инструкция нет: все решения приняты автором инструкции, инструкция лишь их передатчик к исполнителю. Вот когда инструкции приобретут способность диктовать с конкретной целью исполнителю что-то, что их автор не закладывал, то тогда они будут ИИ.
BlackMokona
19.11.2018 16:02Т.е достаточно подождать пока инструкция испортиться и щрифт станет плохо читабельным, из-за чего инструкцию будут читать неверно? А конкретная цель вот она сделать неверно.
Если любой ИИ будет пытаться преследовать не заложенные создателем цели то его уничтожат. Как уничтожают и людей которые преследуют цели запрещённые в обществе.VolCh
19.11.2018 16:14Инструкция не может решать портиться ей или нет в господствующей научной картине мира. Да и цели иметь не может.
ИИ может быть достаточно умным, чтобы не проявлять своих целей до того как их достижение не станет реальным. Ну и людей чаще наказывают, чем уничтожают, и обычно не за цели, а за действия. А некоторые успешно избегают наказания разными способами, в том числе узурпацией власти.BlackMokona
19.11.2018 17:30Он может скрывать свои цели, только если его создатели будут плохо в нём разбираться и плохо тестировать будут. Но думаю таких будут ловить хорошо сконструированные не ИИ
rakhlin
19.11.2018 17:35Верно. А сети и не обзывали ИИ до примерно 2014 года. Вот когда начался ИИ хайп, тогда и понеслось. И пошло это не без участия некоторых «отцов-основателей» вроде Хинтона и Ына. У последнего прямая коммерческая заинтересованность в хайпе, а Хинтон, кажется, просто честолюбив. Но этот, правда, топил за ИИ еще с 80-х годов, а тут ему наконец поперло.
odins1970
18.11.2018 15:25+1А интересно, как автор дает описание слова «Дух» /..But there is no ghost in the Google-stablemate's machine./ ??? Где он переводит его в строгий термин??? Как вообще возможно что то анализировать не определив критерии и термины?
oteuqpegop
18.11.2018 18:52Дух Машины есть частица воли Омниссии, дарованная как благословение. Очевидно же.
haoNoQ
18.11.2018 23:07Меня терзают смутные сомнения, но, короче, есть небольшая вероятность что это отсылка к Ghost in the Shell.
odins1970
18.11.2018 15:31Проблема функционализма в том что в Биологии НЕЛЬЗЯ РАЗДЕЛИТЬ HARDWARE and SOFT. Это две стороны одной монеты — результата процесса эволюции функций и структуры клеток
funca
18.11.2018 23:56И как следствие проблемы с тиражированием: нового агента надо долго и нудно обучать, мирясь с неизбежной долей ошибок. В цифровом мире вы можете просто скопировать и быть уверены что копия и оригинал неразличимы.
DjSapsan
19.11.2018 14:53+1Я вас удивлю, но в «железных» вычислителях невозможно разделить хард и софт.
sshmakov
18.11.2018 22:53+1Про эксперимент Адриана Томпсона gest.livejournal.com/1031836.html
funca
19.11.2018 00:10Подход интересный, но с точки зрения бизнеса наверно не сильно перспективный. Поскольку получаемое решение приспосабливается к особенностям конкретного девайса, при поломке вы рискуете потерять все свои вложения в его обучение. Возможность бекапа сомнительна, на другом девайсе решение скорее всего не запустится или будет работать неэффективно.
funca
19.11.2018 01:00Интересно, при достаточной вариативности в железе и программировании обучением, не будет ли результат надежно защищен от копирования? Кажется получить дубликат можно лишь зная алгоритм обучения и обучающая выборку.
DistortNeo
19.11.2018 01:46+1Происходящий всплеск эффективности ИИ, МО и т.н. «глубинного обучения» (ГО) по большей части основан на применении этой техники обратного распространения.
Не совсем так. Всплекс эффективности произошёл за счёт комбинации следующих факторов:
Разработка эффективных численных методов минимизации нелинейного функционала ошибки. Изначально высокая потребность в этих методах была со стороны теории разреженных представлений, что и стало стимулом к развитию этих методов. А уже затем эти методы были использованы и для нейросетей.
Снижение числа параметров нейросети. Проблемой нейросетей было огромное количество параметров, оптимизировать которые не было никакой возможности. Когда вместо полносвязных слоёв стали использовать свёрточные, число параметров упало на порядки, и выросла производительность. А значит, появилась возможность эффективно эти нейросети обучать.
Научные статьи про свёрточные нейросети были ещё и в 90-е годы, но без эффективных алгоритмов оптимизации они были бесполезны.
Dark_Daiver
19.11.2018 07:33Разработка эффективных численных методов минимизации нелинейного функционала ошибки. Изначально высокая потребность в этих методах была со стороны теории разреженных представлений, что и стало стимулом к развитию этих методов. А уже затем эти методы были использованы и для нейросетей.
Эм, а что там такого открыли в оптимизациях что это дало толчок? SGD вроде существует относительно давно. Всякие Adam вроде дают прирост, а вроде и нет.
Снижение числа параметров нейросети. Проблемой нейросетей было огромное количество параметров, оптимизировать которые не было никакой возможности. Когда вместо полносвязных слоёв стали использовать свёрточные, число параметров упало на порядки, и выросла производительность. А значит, появилась возможность эффективно эти нейросети обучать.
Опять же, достаточно спорно. Если посмотреть на количество параметров в
современных CNN оно достаточно сильно колеблется — github.com/albanie/convnet-burden. Например для alexnet param mem=233 MB, а для VGG, который в большей степени «сверточный», param mem колеблется от 232 до 548 MB.
Если не ошибаюсь, то само вычисление свертки/бэкпропа через нее дороже чем работа с линейным слоем
Более того, как это не парадоксально, иногда сети с большим числом параметров проще обучать чем сети с маленьким числом параметров.
BelBES
19.11.2018 11:30+2Все это напоминает сюжет какой-нибудь трешовой передачи про "уникальные советские разработки", когда сидит какой-то ноунейм-академик и рассказвыает, как он там в НИИ еще 40 лет назад делал то, что американцы до сих пор повторить не могут. Только он так и остается никому не нужным ноунеймом, а люди делают крутые штуки при помощи своих "примитивных" технологий.
Так и тут тоже самое: объективно современный "ИИ" позволяет получать крутые результаты, которые еще лет 10 назад считались фантастическими. И черт с ним, что это не настоящии ИИ, но он позволяет решать реальные задачи, в то время как философско-диванная демагогия вообще ничего, кроме информационного шума не производит.
Вот сейчас есть актуальная проблема — это интерпретация современных нейронных сетей. Много задач смогли решить с неплохим качеством при помощи DNN, но никто толком объяснить не может, что там внутри у этой сети происходит и как именно она дошла до таких результатов. И вот было бы неплохо инвестировать усилия в эту область: понять как сети работают, формально и строго объяснить как именно они доходят до таких результатов, доказать, что это не ИИ и это бы принесло пользу. Но ведь гораздо проще с позиции Д'Артаньяна разводить демагогию про "что есть интеллект и что есть душа", про тесты тьюринга и прочие мысленные эксперименты, чем заниматься какой-то реальной деятельностью...
rakhlin
19.11.2018 17:21Автор наслышан о некоторых терминах, но слабо представляет себе их суть. Например, back propagation, на который он несколько раз ссылается, не имеет отношения к ИИ. Это просто технический метод оптимизации нейросетей, уходящий корнями в математику 17 века (Ньютон и Лейбниц), а вовсе даже не в 60-е годы 20 века. Как и сами нейросети не имеют отношения к тому, что называется ИИ.
В одном он прав, что эта область неимоверно перехайплена, и это создает проблемы.
Сегодняшние системы ИИ тренируются на основе огромного количества автоматизированных проб и ошибок; на каждом этапе для передачи информации об ошибках и подстройки системы с целью уменьшения количества ошибок в будущем используется техника обратного распространения – и это постепенно улучшает эффективность ИИ в выполнении определённой задачи, такой, как игра в шахматы.
KevlarBeaver
А как же автоматическая сортировка фоточек в Google Photos?
KevlarBeaver
Пишу вот такие комментарии и получаю минусы. Потом пишу то же самое, но развёрнуто, получаю плюсы. Не факт, что и сейчас так будет, но общая тенденция проглядывается и заставляет задуматься. Но не суть. Автоматическая сортировка фотографий в Google Photos — это лишь один из
миллионовтысяч (?) примеров применения ИИ в последнее время. Пример очень наглядный и показывающий, что ИИ в том или ином виде приносит пользу. Скажем, двадцать лет назад, Вы бы могли предположить, что Вашу коллекцию из тысяч фотографий машина может отсортировать по лицам, изображённым на них, в отдельные альбомы поместить животных (тоже отсортировав по внешности), места съёмки, предметы и прочее-прочее. Мне кажется, что о таком мало, кто задумывался, а сейчас — это обыденность. Я не хочу строчить длиннющий комментарий, описывая, где и как применяется ИИ на практике — тут и статьи не хватит. Вы этого не замечаете? Пусть это не тот ИИ, который нам рисовали в фантастических фильмах, но он есть, он уже здесь, он работает, он приносит пользу.ninJo
Один поиск чего стоит, заместо того чтобы вручную перебирать можно просто имя написать, или там написать кошки. Очень удобно!
mkshma
И кому эта фигня, простите, нужна? Пустая трата вычислительных мощностей.
YMA
Я пользуюсь. В iOS распознавание содержимого фото сделано достаточно качественно (и выполняется непосредственно на телефоне), поэтому чтобы найти в массиве фото документ — я просто пишу в поиске «документ» и количество фото, которое надо просмотреть — уменьшается в сотни раз. Искал фото расположения проводки в санузле — набрал «ванная» и получил нужные фото.
elmm
Как я для себя понял суть статьи — она скорее о том, что текущий ии совсем не то, как его преподносят авторы вроде Юваль Ной Харари.
Но с другой стороны — чтоб разобрать и рассортировать кучу данных, креативные способности не нужны и текущий ии очень даже не плохо справляется.
Ему далеко до возможностей мозга, но и в текущем, «тупом» виде, он не плохо облегчает жизнь и привноси те возможности, которые раньше были недоступны.
Да, этикетка не в полной мере соотвествует содержимому, но само содержимое уже не плохо.
evgenWebm
Почему вы применяете термин ИИ не к ИИ?
mat300
Вот именно. Стоит назвать "это" как-то по-другому. Например, канонически. Системы машинноного или глубокого обучения. Можно как-то с вариациями.
Но вот где там углядели ИИ — не понимаю.
KevlarBeaver
Но разве слово «обучение» не предполагает того, что у обучаемого будет интеллект?
evgenWebm
Нет. Обучаться может и не живое и не мыслящее. Хотя, что вы понимаете под обучением?
KevlarBeaver
Приобретение новых знаний и навыков, которые можно в дальнейшем использовать на практике. А что Вы подразумеваете под «живым» и под «мыслящим»?
mat300
Вот именно, что слово «обучение» должно быть в кавычках применительно к нашей теме. И никак иначе. Под обучением там фигурирует что-то типа тренировки сетки, хотя и это должно быть в кавычках. Там скорее итерации по подгонке результатов под то, что человек (разработчик сетки) считает достаточным для получения приемлемого результата, под который сетка и создавалась. Отсюда и указанная в статье несомненная преобладающая роль разработчика. Сетки не могут ставить себе цель адаптироваться под конкретную задачу и достичь того то и того то. Для этих самых статистических методов, обозванных некогда «глубоким обучением», подобное совершенно нереально. Нужен настоящий ИИ. И 100500 взаимосвязанных сеток (как некто пытается нагородить) не есть его аналог.
red75prim
В reinforcement learning (обучении с подкреплением) иногда используют curiosity driven learning (обучение направляемое любопытством). Никто пока не знает как этот метод связан с человеческим любопытством (мозг не настолько хорошо изучен), но поведение агента неплохо описывается этим словом — он не только пытается максимизировать подкрепление, повторяя удачные действия, но и изучает окружение, пытаясь найти что-то новое для себя.
В общем, проводить границу между обучением и «обучением» будет всё сложнее, конечно, если она (граница) не основана на позиции «это просто статистические методы», а не «такой-то статистический метод не позволяет сделать то-то, ищем как это сделать».