На конференциях с недавнего времени стала мелькать тема “сильного искусственного интеллекта”, но, как правило, для меня находились более актуальные доклады, и я ее успешно избегал. Кроме того, в тридцатиминутном докладе люди стараются говорить как можно конкретнее, и полная картина для человека не в теме ускользает. Когда мне подвернулась книга “Сильный искусственный интеллект”, выпущенная “Альпина Паблишер”, я тут же принялся за ее изучение. Книга написана огромным количеством авторов, и часть имен хорошо известна в кругах Data Science.
Цель книги - обобщить мысли и наработки, которые появлялись за все время по теме AGI (Artificial General Intelligence). Расскажу о них коротко в этой статье. Надеюсь, они будут любопытны и вам.
Чтобы не грузить вас с самого начала терминами и умозаключениями, начну с обобщенной информации. Во введении авторы отвечают на вопрос, что на интуитивном уровне должен представлять AGI с точки зрения конечного решения. Приводятся примеры и мнения, почему текущие решения, которые уже широко освещаются в СМИ, под это определение не подходят. Почему то или иное решение выполняет ряд задач быстрее человека, но мы не приближаемся к AGI?
Всегда ли эффективен тест Тьюринга
Но обо всем по порядку. В главе 1 “Общая история искусственного интеллекта” описываются ключевые достижения, произошедшие с середины 20-го века, которые в некотором роде приблизили нас к созданию интеллектуальных систем. В главе 2 узнаем чуть больше, а именно подходы к определению уровня интеллекта. Если вы не слышали ни о чем, кроме теста Тьюринга, то здесь вы найдете для себя кое-что любопытное.
Тьюринг задался целью определить, может ли машина мыслить.
Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».
Все участники теста не видят друг друга. Если судья не может сказать определенно, кто из собеседников является человеком, то считается, что машина прошла тест. Чтобы протестировать именно интеллект машины, а не её возможность распознавать устную речь, беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана (компьютера-посредника). Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения, исходя из скорости ответов. Во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило тоже необходимо, потому что они реагируют гораздо быстрее, чем человек.
Или вас не оставит чтение равнодушным, если вы уверены, что текущие решения уже проходят тест Тьюринга или еще не проходят, потому что на самом деле этот тест - только обобщение, а конкретные “реализации” могут быть разные, что в книге также раскрывается.
Представлен хороший обзор различных подходов (отличных от теста Тьюринга) и приведены их положительные и отрицательные стороны. Вывод такой, что привычные нам тесты, в том числе и тест на IQ, могут решаться узкими подходами или их комбинацией, а оценка AGI требует своего пути, но все наработки в этой области пока более теоретические, чем практические. В книге в том числе приводится пример, как тест Тьюринга проходился программой (Eugene Goostman) вообще без применения искусственного интеллекта, а лишь с использованием комбинации широкого дерева диалогов и ухода от тех вопросов, которые в дереве не прописаны: собеседник позиционировал себя как украинский мальчик, плохо говорящий на английском языке, т.е. защищал себя от сложных вопросов сразу и возрастом и незнанием языка. Но даже с использованием технологий искусственного интеллекта, создается впечатление, что для каждой отдельной реализации теста найдется узкоспециализированный подход, который этот тест решит. Возможным решением видится только создание второго AGI, который бы мог на ходу сам придумывать тесты для проверки первого AGI. Или же проверять его интуитивно, основываясь на нашем человеческом опыте.
Чем проще алгоритм - тем лучше
В главе 3 “Основные направления в AGI” описываются те дороги, которые в перспективе могут привести нас к созданию к AGI. Поскольку цель путешествия видится достаточно отдаленной, дорог таких много, и некоторые тянутся аж с прошлого столетия. В первую очередь авторы обратили наше внимание на глубокое обучение и его основные направления: обработка картинок, естественного языка и обучение с подкреплением. На мой вкус, описано слишком кратко, но в целом некоторые вехи недавнего времени обозначены.
Как мне видится, выводом из этого описания является то, что глубокое обучение разделено на отдельные составляющие по типу решаемых задач, и это же его и ограничивает, поскольку воспринимать картину мира через одну модальность затруднительно или даже невозможно.
Вторая дорога - создание качественной модели мозговой деятельности, т.е. правильного распределения каждой задачи на отдельные модули. И пусть каждый из этих модулей будет достаточно узким, но в совокупности система сможет решать сложные задачи.
Признаюсь, читать этот раздел мне было непросто. Авторами употребляются термины, нигде в тексте не объясняющиеся, - нить повествования постоянно теряется. Частично это связано и с тем, что до практической реализации далеко, а все основывается лишь на “кусочных” теоретических исследованиях. Тем не менее, это направление по сути предоставляет “архитектуру” для AGI или можно сказать “фреймворк”. Такие решения уже постепенно развиваются. Авторы приводят некоторое количество примеров, например OpenCog. Хотя в книге не очень то раскрывается суть такого фреймворка, но перейдя по ссылке (https://opencog.org/) вы увидете, что у проекта есть свое сообщество, мероприятия, видео лекции, wiki страничка и т.п.
Далее описывается зверь под названием “Универсальный алгоритмический интеллект”. Раздел содержит много примеров, и все они в некотором роде о “бритве Оккама”.
Бри́тва О́ккама - методологический принцип, в кратком виде гласящий: «Не следует множить сущее без необходимости» (либо «Не следует привлекать новые сущности без крайней на то необходимости»).
Этот принцип получил название от имени английского монаха-францисканца, философа-номиналиста Уильяма из Оккама. Сам Оккам писал: «Что может быть сделано на основе меньшего числа [предположений], не следует делать, исходя из большего» и «Многообразие не следует предполагать без необходимости».
Смысл такой, что поскольку мы не можем придумать модель, которая бы решила любую задачу, потому что при наличии таковой найдем задачу, которую модель решить не может, то давайте лучше будем для каждой новой задачи собирать модель из кусочков, руководствуясь как раз этой “бритвой” - алгоритм должен быть как можно проще. К сожалению, примеры в основном описываются последовательностями чисел и их продолжением. На таких примерах понятен примерный смысл: оценить количество информации, заключенной в последовательности и количество информации в выбираемом алгоритме (через его длину) и сравнить. Если алгоритм сложнее, чем последовательность, то выбирать его не нужно. Но как экстраполировать такой подход на более сложные задачи неясно.
Приводятся некоторые современные элементы развития этой темы, в том числе с участием Юргена Шмидхубера. В конце раздела описывается вероятностное программирование, и, если я понял правильно, оно как раз и выполняет в этой концепции роль “бритвы”, т.е. строит распределение вероятностей на алгоритмах. И, наконец, авторы задаются вопросом: вот придумали мы общую концепцию по созданию AGI, но как ее реализовать с точки зрения текущего развития компьютерных наук, алгоритмов, языков программирования.
ИИ в виде робота или целой экосистемы?
В главе 4 “Варианты воплощения” авторы пытаются ответить на вопрос, а что в итоге должен представлять собой “сильный искусственный интеллект”, когда мы, наконец, сможем его создать.
В начале главы делаются некоторые “заготовки”: приводится небольшой экскурс в обучение с подкреплением (Reinforcement Learning (RL)), приводятся некоторые мысли по сочетанию модельного и безмодельного подходов взаимодействия агента с миром, внутренней и внешней мотивации для его обучения и по иерархии стратегий. Далее уже переходим к именно воплощениям.
Первый из вариантов - это, конечно же, “робот”. Для эффективного AGI необходимо, чтобы им была усвоена картина мира, и наличие множества возможностей этот мир воспринимать, перемещаться по нему, взаимодействовать с ним и где-то даже менять. А эти качества присущи физическим воплощениям чего-либо.
После этого авторы размышляют о пути к AGI через эволюционные подходы. Это объясняется тем, что роботу, о котором уже шла речь, или подходам, о которых идет речь дальше, необходимо учиться, или же оптимизировать свою стратегию. Как? Через классический RL, так и через эволюционные алгоритмы.
Но главный вопрос, на мой взгляд, что будет являться наградой или функцией приспособленности. Должен ли этот робот учиться выживать? В книге приводятся варианты воплощения “кнута и пряника” в виде внутренней и внешней мотиваций, но не совсем ясно, откуда они должны взяться.
Наконец, доходим до реализации “сильного интеллекта” в виде экосистемы, к чему сейчас вроде как и движемся, через, например, известную всем Алису. Однако глава завершается вновь не воплощением, а еще одним инструментом достижения цели, а именно нейронауками. Авторы утверждают, что исследования в этой области могут дать обществу новые идеи по реализации архитектур как когнитивных, так и нейросетевых.
Вместо заключения
Теперь, что касается моего мнения о книге.
Положительные моменты следующие: в книге описан действительно широкий спектр различных дисциплин, так или иначе связанных с попытками сформировать основу AGI. В каждом описании соответствующего направления достаточно ссылок, чтобы глубже изучить понравившуюся тему и ключевые факты/наименования, которые можно попросту загуглить. Думаю, такая книга может помочь многим людям, которые задумываются об AGI, не тратить время на изобретение собственных идей, чтобы потом с сожалением обнаружить, что в этом направлении уже кто-то поработал, а, наоборот, присоединиться к уже начавшимся проектам и помогать воплощать их в жизнь.
Моменты, которые меня немного смутили, связаны с логикой повествования. Если после прочтения открыть книгу на любой странице и прочитать случайно выбранный абзац, невозможно понять, зачем он здесь, как авторы или автор к нему пришел, по какой цепочке рассуждений и/или для чего завел вообще об этом разговор.
К тому же, из-за попытки вместить очень много дисциплин в одну книгу не раскрываются термины. Поскольку цель у книги не расширить знания, а лишь дать обзор основных мотивов, кажется, что повествование должно быть как можно более понятным читателю со средним уровнем знаний по теме... И еще небольшая ремарка от меня, касающаяся примеров. Понятно, что при наличии такого большого числа авторов сложно синхронизироваться, в каком ключе все разъяснять, но меня немного удручало, что одну и ту же вещь объясняли по несколько раз в разных разделах.
Однако в целом, книга оказалась познавательной, так что я ее, скорее, рекомендовал бы к прочтению. Понимание того, чем текущие реализации отличаются от тех, что описываются писателями-фантастами, может оказаться полезной и в оценке рисков на тех или иных проектах по внедрению машинного и/или глубокого обучения. Кроме того,тема искусственного интеллекта так или иначе всплывает в работе, учебе, общении с друзьями едва ли не каждый день, а вы сможете блеснуть своими знаниями еще и о сильном.
Комментарии (107)
mattroskin
23.11.2021 11:53А если обобщить мнения специалистов, когда можно ожидать AGI? Традиционно, через 20 лет или сроки более оптимистичные?
vladbalv Автор
23.11.2021 12:34Думаю тут все относительно - зависит от того как определить он это уже или нет ;) А вообще я не являюсь специалистом в области AGI - вот решил немного приобщиться, прочитав книгу. Ребята из opentalks.ai, которые альманах по искусственном интеллекту создают в том числе, интересуются этой темой сильно и на самой конференции есть отдельные треки под эту тему, а сбер даже отдельный институт организовывает. Это говорит о том, что мы в этой области уже отходим понемногу от философии к практике. Но предсказывать не возьмусь.
AleksandrPavliy
25.11.2021 00:13В 60х те же специалисты прогнозировали появление сильного ИИ в 80х, в 80х прогнозировали появление в нулевых, сейчас сложно сказать реализуемо ли это вообще
sim31r
26.11.2021 14:29Зато слабый ИИ стал чуть ли не в каждой кофемолке работать. Думаю в 60х то что мы называем "слабым" интеллектом очень бы удивил специалистов возможностями. Распознание по лицам, в том числе в масках чего стоит и точность достаточна для проведения платежей.
Пример вот работы ИИ слабого, но выглядит не "слабо"
https://habr.com/ru/post/343590/
Так постепенно шаг за шагом слабый ИИ может оказаться и сильным. Тут нормально так описан процесс эволюции ИИ.
AleksandrPavliy
26.11.2021 23:50Игра в го по сложности мягко говоря уступает реальному миру. Но тем не менее стоит конечно признать, что за последние годы в этой области, в частности в глубоком обучении, был сделан огромный прорыв
sim31r
27.11.2021 00:05Игра в Го заметно превосходит реальный мир, на порядок. В быту очень редко возникают задачи столь же высокой сложности абстракции и с таким же ограничением по времени, а скорее всего и никогда у многих. В реальном мире живут насекомые, хладнокровные животные, теплокровные и человек. Все успешно выживают, даже без наличия мозга, у некоторых насекомых несколько сотен примитивных медленных нейронов и им хватает. Люди тоже далеко не все склонны решать сложные задачи реального мира, распознал цель (банан), скопировал поведение окружения, добился цели и получил рефлекторное подверждение навыка. Поведение не сложное с любой точки зрения.
Billy_Carter
23.11.2021 12:23Как по мне все описанное это псевдо-ИИ. ИИ это мышление, а не вычисления. Многие даже не понимают что такое ИИ и называют так все подряд. ИИ это человеческий мозг, но в цифровом виде.
vladbalv Автор
23.11.2021 12:38Это можно спорить бесконечно. На мой взгляд "Как вы яхту назовете, так она и поплывет"
Rutel_Nsk
23.11.2021 13:59+2Давайте поставим задачу: ИИ функционально, как самообучающийся «Алгоритм решения произвольной задачи».
Зачем ИИ как личность, важнее что бы он «пахал» самостоятельно, решая задачи в реальном народном хозяйстве.AleksandrPavliy
25.11.2021 00:00Без вещей подобных самосознанию ИИ врятли превзойдёт человека в качестве принятия решений, поэтому либо останется все тот же самым узкоспециализированным слабым ИИ, либо станет чем то вроде обезьяны с шашкой
Rutel_Nsk
25.11.2021 04:19Категорически не согласен.
Если по простому «самосознание» это определение себя во времени, пространстве, потребностях и прочее.
Принятие решений это поиск оптимального решения при некоторых вводных и «самосознание» это одно из вводных, причем совсем не обязательное.AleksandrPavliy
26.11.2021 03:02Если агент не сможет определять себя во времени и пространстве, его не сложно будет обмануть, а это не назовешь интеллектуальным поведением.
Rutel_Nsk
26.11.2021 03:13Те существо которое можно обмануть априори не обладает интеллектом?
AleksandrPavliy
26.11.2021 23:17А как работает тест Тьюринга по вашему?
Rutel_Nsk
27.11.2021 09:40Никак он не работает.
Человека обмануть получилось, но реального интеллекта нет.
Ну или «человек» не обладает интеллектом ))AleksandrPavliy
27.11.2021 11:08Существует он или нет, текущим ориентиром для сильного ИИ является человеческий интеллект
Rutel_Nsk
27.11.2021 11:24Во всех науках так, химия начиналась с алхимии и поисков всяких камней. Когда появилось реальное понимание проблемы произошло отсеивание всяческих антропоморфных подходов, осталась только физика и математика. В понимании ИИ мы сейчас и находимся в таком вот состоянии. Науки как таковой нет, сплошное псевдонаучное «колдунство», делаем не понимая что и получаем не понять чего )))
AleksandrPavliy
27.11.2021 16:06С псевдонаучным не соглашусь, но в остальном да, единой теории на данный момент нет, поэтому и приходится оглядываться на биологию, других идей потому что нет
iskateli
24.11.2021 00:20Ну вы похожи на тех, кто говорил: "Эта железная птица не сможет летать, потому что не может махать крыльями".
sim31r
26.11.2021 15:47Человеческий мозг одна из разновидностей
ИИИ в какой-то степени в этом плане. Зачем тянуть весь балласт человеческих свойств (ошибок и непредсказуемого человеческого фактора), если можно сделать ИИ сразу оптимальным для решения какой-либо задачи.Чтобы сделать самолет не копировали же крыло птицы, нашли форму лучше. Так же и с ИИ развивается всё.
keydach555
23.11.2021 16:42+1На мой взгляд сложность в разграничении AGI и слабого ИИ -это разница между глубиной предметной области (1), целями (2) и правилами ее обработки (3). Т.е. если взять шахматы: предметная область -это шахматное поле и фигуры, то как они ходят, цель - победа в виде способности поставить шах, правила обработки - это правила шахмат и нахождение таких эвристик, которые позволят достигнуть цели. Все то же самое можно распространить на AGI и получим, что предметная область - это описания реальности (например в виде графа) которое содержит список всех действительных сущностей и их взаимодействия; цель -внешний запрос пользователя; правила обработки - то, что называется здравым смыслом, то есть опять же набор эвристик, позволяющих достигнуть цели. В принципе сейчас на современных моделях уже достигнуты пункты 1 и 2, то есть явно или неявно в весах модели после обучения уже задана предметная область и есть запрос пользователя. Сейчас все упирается в пункт 3, т.е. нужно как-то суммаризировать все доступные человечеству эвристики, а для этого нужны нормальные мультимодальные модели и новые архитектуры. Думаю, лет через 5 эта цель тоже будет достигнута
vladbalv Автор
23.11.2021 22:49Вы описываете один из вариантов фреймворков в рамках которого может быть потенциально создан AGI. Но существуют и другие. В вашей постановке вопрос, что делать, если для достижения цели нужно научиться играть в нарды
Sanek22
23.11.2021 17:28Как мне кажется, ключевым критерием отличающим системы сильного (AGI) интеллекта от слабого, является способность выделять и учитывать в работе новые (не присутствовавшие при обучении) признаки/характеристики из входных сигналов.
Все текущие алгоритмы машинного обучения тем или иным образом формируют в процессе обучения конечный набор признаков, который остаётся постоянным при эксплуатации.
Это и не позволяет говорить об универсальности, а значит и об AGI.
Heheami
23.11.2021 19:36Генерация новых признаков нейросетями уже широко используется. Проблема в том, что без понимания сути признака для сети нужно огромное число примеров, чтобы сгенерировать что-то полезное. Мозг может генеририровать полезные признаки из 1 примера.
Sanek22
23.11.2021 19:42Любопытно. Признаки генерятся именно в процессе использования сети, а не обучения? Можете какой-нибудь пример назвать или ссылку?
Peter_Severa
23.11.2021 22:41Любая архитектура нейронной сети с обучением в процессе работы, их много, например https://news.mit.edu/2021/machine-learning-adapts-0128
vladbalv Автор
23.11.2021 22:51Не уверен, что это про то же самое. @Sanek22 имел в виду добавление признаков, а по ссылке речь про добавление объектов. Если мы строим рекомендательную систему для интернет магазина и она для ранжирования товаров не использует пол пользователя, сама она не додумается до того, чтобы его использовать
Sanek22
23.11.2021 23:41vladbalv, именно так!
И в статье автор как-то легко использует фразу «learns on the job, not just during its training phase». Непонятен масштаб этого «learns».
Как я понял из собственно научной статьи, на которую там есть ссылка, речь идёт о некоей переменной(ых), которые могут меняться. Да и про обучение после фазы тренинга в исходной статье я ничего не нашел, так что это скорее слишком широкое понимание автора заметки о свойствах сети.
Но возможно я ошибаюсь, и тот кто знаком более подробно с LTC сетями прояснит нам ситуацию.
Heheami
24.11.2021 02:45Мне больше нравится определение из теории функциональных систем Анохина, что способность предвидеть будущее является ключевой функцией интелекта. Другими словами, пока AI не поймет, что будет отключен, если не научится распознавать котиков, мы не получим Strong AI ????
Rutel_Nsk
24.11.2021 03:36Не путайте осознание личности и простое предсказание поведения окружающей среды (при перемещении стакана с водой к краю стола, стакан нужно придержать иначе он разольется и может разбиться, а это плохо).
Heheami
24.11.2021 05:22Животные справляются с этой задачей без осознания личности
AleksandrPavliy
25.11.2021 00:27Граница между сознательным и бессознательным очень размыта, до сих пор нет чёткого понимания разницы, если она вообще есть, вполне возможно это две стороны проявления одного и того же
i__egor
24.11.2021 10:04на счет предвидеть будущее. мир же по рельсам идет. большой клеточный автомат типа. по-любому есть формула всего. как только мы посмотрим на будущее все сразу начнет быстро менятся, как и ИИ даст начало новому прекрасному миру
vladbalv Автор
24.11.2021 12:11+1Мне кажется тут вопрос, а будет ли ему плохо, если его отключить) вроде как может быть и без разницы отключат или нет. на мой взгляд мы боимся смерти не потому что это смерть, а потому что это в нас заложено как механизм
AleksandrPavliy
25.11.2021 00:36Любой вид жизни по сути представляет собой самоподдерживающийся динамический процесс, пытающийся избежать того что мы называем смертью. Интересные идеи были предложены в теории хаотических систем, о том что простейшие живые системы могут быть развитием процессов вроде Белоусова-Жаботинского и др.
AleksandrPavliy
24.11.2021 23:03+1Мне кажется важнейшей проблемой сильного ИИ является отсутствие внятного определения мотивации интеллекта. В статье это упоминалось в контексте обучения с подкреплением, что непонятно откуда брать вознаграждение, функцию ценности или приспособленности как в генетических и эволюционных алгоритмах. По сути все современные методы ИИ сводятся к градиентной или безградиентной оптимизации, для которой необходимо формализовать целевую функцию. В таких простых узкоспециализированных задачах, которые решают нейронки и подобные алгоритмы это сделать не трудно эмпирически, но когда дело доходит до универсального интеллекта это становится непосильной задачей, т. к. упирается в сложные философские вопросы о смысле какой либо деятельности и жизни в целом, относительной ценности различных мотиваций и что вообще такое интеллектуальное поведение. Тест Тьюринга здесь не поможет, т. к. он предполагает наличие некоторого эталонного интеллектуального агента. Если же оценивать сильный ИИ чисто по приспособленности и выживаемости, то это чревато появления у ИИ целей противоречащих человеческим, т. к. в природе всё завязано на конкуренции, и Скайнет в этом случае вполне может стать реальностью. Как говорится, выживает сильнейший.
sim31r
26.11.2021 14:19Мне кажется важнейшей проблемой сильного ИИ является отсутствие внятного определения мотивации интеллекта.
Ни какой разницы с человеком. А у человека какая мотивация? На нижнем уровне пирамиды Масолу - выживание, но тут ИИ тоже можно натренировать на выживание. Далее что? Можно посмотреть на примере детей элиты. Мотивация Random. Наркотики (адреналин), искаженные инстинкты размножения, доминирования.
Так чтобы глобально мыслить о смысле жизни и цивилизации не каждый может. Отдельные писатели, которые ни как не влияют на общество. Станислав Лем, например.
как в генетических и эволюционных алгоритмах
Там нет ничего выдающегося, поиск еды и размножение. Всё лишнее в некотором минимальном количество или нулевом у многих.
По сути все современные методы ИИ сводятся к градиентной или безградиентной оптимизации, для которой необходимо формализовать целевую функцию
Как и у человека. Еще перебор вариантов, налево пойдешь то, направо то.
упирается в сложные философские вопросы о смысле
Как и у человека. Часто с глюками и самоубийством в самое неподходящее время, почитайте, там жесть в плане иррациональности и отсутствие смысла. При этом люди здоровые и после строгого отбора.
выживает сильнейший
Я бы не разделял Скайнет и человека. Это представители цивилизации, связанная глобальная система, мы думаем одинаково. Большие корпорации со штатом аналитиков тоже действуют как ИИ, оптимизируя прибыль корпорации любой ценой.
Вот тут подробнее
Rutel_Nsk
Какой там сильный ИИ, народ даже на поиск альтернативы фон Нейману банально забил.
Вычислительная техника стагнирует уже 20 лет, даже закон Мура не особенно помогает.
Если что новое предложить, в ответ (в 99% случаев) услышишь даже вникать (читать) небуду по той причине, что фон Нейман идеал и ничего лучше придумать невозможно.
Я нисколько не шучу, так и отвечают люди уровня директор (первые заместители).
Ситуация как в физике в 1900 году: В физике уже все открыто и изучать нечего.
vladbalv Автор
Не возьмусь дискутировать, но разве квантовые компьютеры это не уход от застарелых принципов. Да это скорее про вычисления, а не про архитектуру, но это некоторый признак, что застоя нет
Rutel_Nsk
С квантовыми вычислителями все сложно, но одно можно сказать уверенно — пока они не имеют практической ценности в сфере обычных вычислений и минимум 20 лет ничего не светит. (Это мое мнение).
Еще интересный факт, я человек от
сохиинженер электроник (образование НЭТИ АВТФ вычислительные комплексы системы сети) и пока не нашел ни одного человека или текста с описанием квантового компьютера достаточного для понимания устройства.Физик из меня так себе, но базовые вещи способен понять. А тут ничего кроме «не единица не толь, а весь спектр значений». Как между собой взаимодействуют много кубитов, как в них «кодировать» хоть какой то алгоритм этого нет.
Rutel_Nsk
Например — предлагал нашему производителю коммуникационного оборудования новую сетевую архитектуру — даже читать не стали.
Разработчик процессоров на предложение распредленной виртуальной памяти (после ответа на их вопросы) в частной беседе ответил, что принято решение ничего мне не отвечать.
Сейчас пытаюсь передать наработки иностранным компаниям, вроде даже есть интерес (Распределенная общая память (DSM — Distributed Shared Memory) habr.com/ru/post/577810)
Если будет внедрено, то это увеличение скорости в 1000 раз и задержек доступа в 100 раз, для сети связи суперкомпьютера.
Самое обидное: принципиально не ведутся никаких самостоятельных исследований в связи и вычислительной техники.
Есть частно-государственный консенсус: Пусть сначала буржуи сделают, а мы потом импортозаместим (или просто микросхемы купим, это частные производители).
Все приплыли науки в областях связи и вычислениях нет.
qw1
Это какой-то поток сознания в стиле знаменитой пасты «а ещё там можно грабить корованы».
Вы не предлагаете принципиально новых физических процессов, а предлагаете взять имеющиеся планки DDR4, посадить на сопельки из оптических линий, подключенных к трансиверам у процессоров и у модулей RAM, и на этом снизить задержку доступа в 100 раз! Как?! Если модуль DRAM имеет цикл 30ns на единичное чтение по адресу, то, облепленный соплями из оптики и трансиверов, он будет читать за 0.3ns?
Rutel_Nsk
Задержка указывается без учета времени доступа непосредственно к DDR
Память строится как кэш когерентная память.
Принципы организации сети ССИ описывются здесь ( habr.com/ru/post/512652 ), именно она обеспечивает минимальное время коммутации и возможность применения интерфейсов со скоростями передачи 10Тбит в секунду и выше если применить вот такой тип оптического интерфейса ( servernews.ru/1029015 ). Время коммутации определяется частотой синхронизации микросхемы коммутатора и для современных возможностей будет на уровне первых нс. Если соединять соседние процессоры (расстояние 0.3-0.5м), то задержки в коммутаторе будут сопоставимы с временем в нахождения сигнала в кабеле связи. Для компьютера из 1000 процессоров (куб со стороной в 10 процесооров) средняя транспортная задержка на доступ к памяти будет 30 нс (+30 нс назад), сопоставима с временем чтения данных из локального DDR.
И DDR тоже желательно использовать не обычные плашки, а что то типа HBM (читает сразу от 1024 бит). Первое слово будет иметь задержку 100нс (запрос туда 30 нс+чтение 40 нс + ответ обратно 30 нс) и дальше данные могут поступать с производительностью равной производительности HBM интерфейса.
И еще плюс: считываемые (записываемые) данные могут быть одновременно кэшированы на все 1000 процессоров, без дополнительных затрат времени.
При использовании такой системы нет необходимости в локальной DDR для каждого процессора, можно ее вынести в отдельные модули, примерно как сейчас сделано с жесткими дисками (СХД сервер).
А то что трудно читается, так и у меня с литературным талантом плохо и больше нигде такого не пишут — новые знания, а они требуют осмысления (вспомните как вы учились в школе и в ВУЗе).
qw1
Вторая публикация окончательно запутывает. Вы хотите заменить интернет? Или сделать интерконнект для суперкомпьютера? Или «One Ring to rule them all»? Последнее не лучшая идея, т.к. техника развивается с упором на специализацию. Можно разработать протокол, предназначенный одновременно и для микро, и для макро-уровней, но он будет проигрывать специализированным, заточенным под конкретное место применения.
Что насчёт компьютера с общей памятью на 1000 процессоров, сначала бы неплохо определиться, какую задачу он будет решать (в какой организации, т.е. куда его можно продать). С проработкой алгоритмов и рассчётом эффективности на известном размере задачи. Например, если вы умножаете матрицы 1000x1000 тут такие затраты памяти (и чтение 1024 бит за раз поможет чтению строк, но не столбцов). Или вы сервер youtube и параллельно кодируете 500 видео, тут лучше каждому потоку дать свою память.
Rutel_Nsk
Я хочу сделать единую сеть для всех вариантов связи, но изначально разрабатывалась как сеть связи для компьютера пятого поколения (по архитектуре близким к идеям DataFlow). Если опираться на современные технологические возможности, то производительность ядра может быть примерно 100Т элементарных оп\сек.
А зачем разрабатывать различные протоколы — основой ССИ является прямое соединение между одним передатчиком и любым числом приемников (виртуальный канал) и таких каналов могут быть миллионы с практически мгновенным перестроением сети.
Вот эту задачу будет решать ( habr.com/ru/post/489068 ), основные тип задач различные типы задач моделирования (основное задачи моделирования биологических систем).
Системы виртуальной реальности, ИИ, «BigData»
В пределе должна быть поддержка цифровой модели человеческого мозга.
Требуемая производительность от 10Е20 операций в секунду.
qw1
А то получается — вот вам синхронная неведомая фигня, а вы сами придумайте, чем её занять.
Rutel_Nsk
Скажу так: занимаюсь изобретением совершенно новой универсальной вычислительной архитектуры, не имеющей ничего общего с архитектурой фон-Неймана.
Пока полной уверенности нет, но можно сказать, что дело идет к тому что смогу производить прямое преобразование обычной программы в нейронную сеть и обратно.
Буду постепенно писать статьи, они нужны для получения конструктивной критики и невозможности получения патента на мои работы (я сторонник свободного ПО и свободного железа). С конструктивной критикой пока печаль, идеи новые и ничего глубже:
Пока нет, хотя про поводу ССИ профессор СибГУТИ высказался так:
Да действительно, народ банально не понимает ничего про плезиохронные системы передачи данных, у них намертво прошита пакетная система передачи данных ))
qw1
Было бы неплохо, если бы у ваших публикаций был научный руководитель/редактор. Чтобы изложение было без воды, а как полагается: определения, следствия, теоремы, леммы, практические примеры.
Rutel_Nsk
Да очень хотелось бы, но то что я пишу является полностью новой концепцией. Я пытался искать научных руководителей, заинтересовать действующих ученых.
Вот так выглядит ответ от профессора профильного направления (СибГУТИ):
В СО РАН есть совет по суперкомпьютерным вычислениям (http://www.sscc.icmmg.nsc.ru/sovet.html) неформальный ответ выглядит так:
Абсолютное большинство вообще не отвечаю, остальные пишут что данная работа не входит в их специализацию и просят не беспокоить «занятого» ученого. )))
Можно с уверенностью утверждать, что высказывания про «Контроль над миром» это просто для «красного словца» — Реальных работ никто не ведет.
Недавно прочитал интересное высказывание:
Ничего с того времени не изменилось — 99% ученых это околонаучные бюрократы.
qw1
Выделил только две идеи:
1. вместо передачи пакетов последовательно
AAAA BBBB CCCC
надо передавать их вперемешку
ABC ABC ABC ABC
Но это большие накладные расходы на мультиплексирование/демультиплексирование. Учитывая, что A,B,C — у вас это символы (байты), собирать обратно в пакеты очень дорого, т.к. RAM сейчас не работает с отдельными байтами. Ну, допустим, это не проблема — вы хотите сделать совершенно новое железо на всех сетевых узлах.
Какого-то профита вообще не вижу. Пропускную способность канала это не изменит. Принудительное резервирование полосы, когда A не активен и передаёт пустой символ
0BC 0BC 0BC 0BC
по мне — пустая трата ресурсов.
При повреждении данных нужно перепослать пакет. Значит, после каждой пары килобайт надо слать контрольную сумму. Классически, мы узнаем что пакет побился, как только он весь будет передан с КС (например, после передачи первого AAAA). А у вас, пока вся перемешанная требуха не приедет, мы не узнаем об ошибке. Значит, пересылку запросим позже и получим больший latency. В остальном, разницы никакой.
Приложение, пока полностью не соберёт свой пакет, не сможет работать. Будь то видео или аудио-декодер, которому нужен полный фрейм, или БД, которой нужен полный текст SQL-запроса для компиляции. Принять быстрее первые 10 символов — для приложения это ничего не решает.
2. Вторая идея — отказ от сетевых адресов и включение маршрута в сам пакет. Может, оно что-то и оптимизирует, но для современной сети это невозможно — полностью рушит сетевую безопасность.
Вы там замахивались на новую вычислительную парадигму. Её и близко не увидел.
Rutel_Nsk
1.Минимальная задержка на коммутацию (для синхронных коммутаторов) время «переноса» даных из входящих каналов в исходящие в среднем равно половине периода передачи.
2. Отсутствие «не санкционированных» потерь данных из-за переполнения буфера коммутатора.
3. Отсутствие необходимости в ОЗУ буфера коммутатора, особенно актуально для большихскоростей передачи. Попробуйте буферизовать поток в 10Е15 бит в секунду (высокоскоростные сети сначала делают синхронными и только потом в выделенный канал транслируют локальный пакетный поток).
4. Крайняя простота и конвееризованность оборудования.
5. КПД использования физического потока более 90% (стабильная работа пакетного коммутатора с загрузкой всех входов более 90% невозможна из-за асинхронности пакетного трафика)
6. Практическое отсутствие ограничений на суммарную скорость передачи. Возможны каналы с производительностью в 10Е15 бит в секунду.
7. Гарантированное, рассчитываемое время передачи данных и сопставимое с физическим временем распространения электромагнитной волны от передатчика до приемника и обратно(очень важно для систем реального времени).
Это основные плюсы.
для символа размером около 100 бит накладные расходы 2% от пропускной способности канала (это на порядок меньше чем в пакетной сети)
Собственно зачем собирать в пакеты, каждая пара абоненов имеет свой независимый виртуальный канал.
Резерв используется для служебных надобностей и каналов с негарантированной пропускной способностью, в итоге символов нет данных вообще не передается (если есть данные для передачи).
Если происходит ошибка, то придет специальный символ ошибка именно в том месте передаваемой последовательности, где она и произошла. Передавать весь пакет не придется (только конкретный символ).
В данном случае именно при приеме ошибочного символа. Более того можно не ожидать полного приема пакета, а сразу запросить этот символ.
Как полный контроль за маршрутом рушит сетевую безопасность. Основной плюс контроля над маршрутом, это возможность иметь очень большое число альтарнативных путей доставки и возможность быстро и осознанно ими управлять.
Скоро будет, пишу цикл статей про процессор с производительностью в 100Т операций в секунду (для примера) и объединения их в машину с производительностью 10Е20 оп.сек
qw1
А если 101-й абонент захочет поднять новое соединение, всю эту махину надо будет пересинхронизировать под 101 тайм-слот. Какие огромные накладные, однако.
Это что за магия такая? Сбой передачи на физическом уровне — это приём 0 вместо 1 или 1 вместо 0.
Контроль со стороны отправителя, а он может оказаться злоумышленником. Как в вашей системе будут функционировать стандартные файрволы с правилами типа «на хост X принимать соединения только с хоста Y» и «на хосте Z разрешать только исходящие коннекты, но запретить входящие».
Rutel_Nsk
Каналов могут быть сотни миллиардов (в пределах машины).
Постоянно появляются и исчезают каналы с различной скоростью и различным маршрутом.
Передача в канал начинается без предварительного создания (примерно как для пакетной коммутации)
Указал куда нужно отправить и начинай передавать. Узкие моменты есть, но они не являются нерешаемыми.
Современные каналы передачи данных на самом нижнем уовне и так являются потоками символов. Для каждого типа канала требуется гарантированная вероятность ошибки (не более какого то числа). Соответственно при ее нехватке каждому символу добавляется корректирющая информация. В итоге при приеме символа не все комбинации 1 и 0 являются легитимными и если приходит ошибочный символ, то его просто заменяем на служебный символ ошибка и помещаем его в тот канал которому принадлежит данных тайм слот.
Кто мешает промежуточному коммутатору закрыть часть вариантов пути, так оно и должно быть. Создание нового канала это по факту работа программы и она может применять любые правила. Создание пути это отдельный сервис. Если указать неправильный путь, то данные вообще не будут доставлены получателю. Получатель (если получил данные) может проверить, а находится ли отправитель в «доверенной зоне» и если нет, то может и вообще не ответить. Тут много интересных моментов, то например зачем промышленному оборудованию отвечать на запросы приходящие от ПО находящемуся вне завода?
qw1
Не так просто, принимающая сторона должна перестроить тайм-слоты. Впрочем, протокол вы не представили. Может, там что-то предусмотрено. Но не факт, что оптимальнее, чем есть сейчас.
Невыгодно чексуммать каждый символ. Если КС меньше 16 бит, слишком высока вероятность пропустить ошибку. А лишние 16 бит на каждый символ — расточительно.
Как я понял, адреса отправителя у сообщения нет. Впрочем, протокол вы не представили. Может и есть. Тогда не понимаю, в чём профит? Я думал, вы отказались от глобальных сетевых адресовПотому что это может быть легитимное удалённое подключение на обслуживание от поставщика оборудования. И вообще, должно быть разделение ответственности. Это не должно программироваться в оборудовании, кому можно отвечать, а кому нет. Это область ответственности сетевого экрана.
Rutel_Nsk
Всего то 100 млрд FIFO по 1 адресу в адресном пространстве процессора. Каждый канал, просто ячейка в адресном пространстве процессора, записанные в нее данные через определенное время будут у получателя и также могут быть считаны. Если писать слишком быстро, то FIFO заполнится и шина процессора выставит сигнал Wait.
Не обязательно дожидаться перестройки таймслотов, может быть даже так в кабеле связи будут участки с различными вариантами тайм слотов (разделением физического канала на части). Передаем запрос на изменение таймслотов и сразу за ним данные с новым вариантом разделения канала.
В реальности уже так и есть. Для обнаружения ошибки в одном бите слова нужно к слову добавить один бит (простейший вариант бит четности — применяется в DDR). Контрольную сумму можно добавить — считаем КС на интервале от предыдущей контрольной суммы до следующей. Через сколько то переданных символов или в моменты когда нужно принмать данные к обработке.
В запросе точно также есть обратный путь к отправителю — по факту получается кольцо отправитель-получатель-отправитель.
Тогда добавить его в доверенную зону, а если путь до него пролегает через сторонние каналы, то необходимо производить связь через систему шифрования канала, находящуюся в доверенной зоне. Своеобразные ворота для пропуска на территорию завода, работники завода тоже не живут на его территории, но на работу допускаются и не через дырку в заборе, а через проходную.
qw1
Как-то это всё излишне сложно, по сравнению с пакетной передачей.
Отправитель и получатель должны знать всю топологию сети, хотя бы маршрут друг до друга (а чтобы он был оптимальный, то всю сеть). Но это не их зона ответственности!
qw1
То же самое с чексуммами, которые вы начинаете прикручивать куда-то сбоку. Если вы их в протоколе не предусмотрите, то уже не сможете сказать «это всё решаемо», придётся заворачивать проект на новую итерацию.
Rutel_Nsk
Если есть желание выполнить научную работу по упорядочиванию и написанию правильной научной работы с практически гарантированным получением научного звания (конкурентов нет, да и все идеи новые), то пишите в личкуй ПЯ и я буду последовательно объяснять все особенности.
qw1
Пока я не увидел никакой ценности в ваших идеях.
Rutel_Nsk
Задавайте вопросы, понимаю «слепому философу» слона пощупать со всех сторон сразу невозможно.
А здесь не один а целое стадо слонов )))
qw1
Чтобы задать вопрос, надо знать половину ответа )))
Rutel_Nsk
А кто сказал, что вопрос должен быть полностью правильный. Теоретически вы задаете вопрос (основываясь на текущих знаниях) и получаете в ответ некоторый объем знаний, но не полный.
Получается постепенное приближение к полным знаниям, без возможности их достигнуть (в математике называется «предел»)
Моей слабой и одновременно сильной стороной является интуитивный подход к решению проблемы. Для публикуемых знаний еще не произведен математический анализ, а сам я его сделать не могу. Данная задача для меня второстепенна, часть основной задачи и просто нет времени для написания «трехтомника» по данной проблеме.
Основную задачу необходимо решить за вполне конкретное время.
qw1
Если вам комфортно оставаться в области художественных произведений и не переходить в математику, не удивляйтесь, что учёные вам пишут отписки.
Rutel_Nsk
Давно прошли времена когда один человек мог все сделать «от и до». Для того что бы описать все «правильно», мне потребуется 2 жизни.
Вы можете в одиночку правильно описать современную сеть Ethernet, со всеми протоколами (по факту их разработать)? Вы знаете сколько человек разрабатывали существующую сетевую парадигму и все ее тонкости?
Себя я позиционирую как философа, примерно как новый фон-Нейман в областях систем передачи данных, вычислительной техники и ИИ (да у меня есть достаточно хорошая полностью своя теория того как устроен мозг если рассматривать его как вычислительную машину).
Все это «правильно» описать, то потребуется несколько сотен лет. Да и то слишком большой объем и я могу делать ошибки.
Да и толку никакого не будет — большинство людей склонны к поверхностному восприятию.
Вот даже вы задаете вопросы на которые есть прямое описание в тексте статьи (про перестроение списка каналов «налету»).
Если мои идеи не будут восприняты обществом, то это немного покачнет прогресс современного общества в сторону состояния «темные века» и очень может быть что этого будет достаточно для реализации данного сценария.
qw1
Фон-Нейману было проще, потому что он один такой был в своё время. И все интересующиеся его прочитали.
А сейчас — полный интернет авторов со своими сверх-ценными идеями, и кто из них плоскоземельщик, а кто что-то интересное придумал, очень сложно разобрать. Нужны работающие прототипы. Чтобы каждый мог запустить и убедиться — вот реально, в 10 раз быстрее чем все существовавшие до этого решения.
Rutel_Nsk
Согласен и практически отсутствуют люди имеющие возможность (образование и тд) отличить реальную работу от «графомании». Новые идеи стали слишком сложными для восприятия и понимания как они будет выглядеть в процессе реализации.
Главная проблема — нет людей которым под силу оценить идею, написать отзыв. Если единственным способом проверить предположение остается практика, то это показывает «смерть» науки в данном направлении. Проверять все только практикой это «каменный век», зачем тогда изобретали логику, математику, физику и тд?
Если говорить конкретно про меня, никакой фактической критики, кроме «автор не писатель».
Единственный дельный вопрос был у связистов: «А если необходимо работать на канал с очень большим числом составляющих подканалов и большим числом ошибок в них» (WiFi), на тот момент я не был готов к ответу.
qw1
Отлично, пишите
Так-то у меня по ходу нашего диалога сложилось какое-то понимание новой парадигмы, но лучше бы вы её сами описали, а то как бы не получилось что я сам придумал соломенное чучело и сам его разоблачаю.Когда напишете, попробую откомментировать (если в ближайший месяц, а то потом наверняка всё забуду )))
Rutel_Nsk
сейчас идет диалог о внедрении с одним из «текоммуникационных гигантов», но пока на высокий уровень (где принимаюся решения) не вышел.
Хотел что бы внедрили у нас, но не судьба.
Rutel_Nsk
Уже писал
И заменяйте «солому» в чучеле на факты.
По поводу перестройки канала на лету, то задача решается так:
habr.com/ru/post/512652
Rutel_Nsk
ru.wikipedia.org/wiki/SpaceWire
почитайте как примерно выглядят сети для «серьезных» приложений.
Пакетный Ethernet это простое бытовое и достаточно ненадежное изделие.
qw1
Rutel_Nsk
Проанализировал врожденные проблемы пакетной коммутации и пришел к выводу, что она безнадежна и легче «пристрелить» нежели привязывать бесконечные костыли.
YuraLia
20 лет стагнирует вычислительная техника?
Даже если не брать в учет GPU, которые прошли за это время невероятную эволюцию и появления TPU, даже сами CPU сильно изменились.
Что там было в 2001 году?
AMD представили Атлон XP
https://en.wikipedia.org/wiki/List_of_AMD_Athlon_XP_microprocessors
или вот, давайте возьмем что то немного свежее (2002 год) Pentium 4 2.8 https://ark.intel.com/content/www/us/en/ark/products/27447/intel-pentium-4-processor-2-80-ghz-512k-cache-533-mhz-fsb.html
Если с со свежим I7 сопоставить
https://cpu.userbenchmark.com/Compare/Intel-Pentium-4-280GHz-vs-Intel-Core-i7-12700K/m3163vs4119 (лучшего сопоставления не нашел, если найдете - подскажите), то в однопотоке разница на 735% (т.е. в 8.35 раз быстрее) и многопотоке 4436% (~45.4 раза) отличия. Это при том, что современный проц еще поглотил графику, т.е. там по факту еще относительно неплохая GPU и северный мост.
Я уже молчу про развития мобилных процов на ARM, там вообще в последние 10 лет очень бодро развивались.
Rutel_Nsk
habr.com/ru/post/590339 — с момента когда основные показатели перестали расти, число транзисторов на кристалл выросло на три — четыре порядка. По большому счету и производительность должна также вырасти на это же значение, но все заделы современной архитектуры процессора уже реализованы и все что мы наблюдаем это заполнение увеличивающегося числа транзисторов одинаковыми «отсталыми» ядрами, ну и новая мода — аппаратно реализованным функционалом и стягивание переферии в один кристалл.
Если бы и в производительности тоже наблюдался экспоненциальны рост, то уровень производительности на на одно ядро была бы от 1-100 TFlops в реальности 65 GFlops (AMD EPYC 7H12 (Zen 2), 3,3 ГГц, 64 ядра (2019)[50] — 4,2 терафлопса[51])
Да, GPU до таких цифр доросли, но это тоже суммарная производительность большого числа процессоров, для обычных задач все еще определяющей является производительность на ядро — было бы не так, центральным процессором был бы GPU. Так что производительность Nvidia A100 целиком заслуга технологов выполняющих свою работу по увеличению числа транзисторов, а не архитекторов проектирующих процессорные ядра.
В однопотоке разница должна быть от 1000 -10000 раз. (8 раз для 20 лет это ниочем)
YuraLia
Ну во первых - ожидать что рост однопоточной производительности будет пропорциональным росту числа транзисторов - это слишком оптимистический сценарий. Скорее рост пропорциональный какой то степени числа транзисторов должен быть, как мне кажется
N_flops ~ N_transistors^(gamma) где gamma<1.
Тем не менее, для GPU этот показатель наверное немного ближе к 1.
Понятно что в конце 80- начале 90 вычислетельные мощности расли быстрее, но это изначально было вызвано эффектом "низкой базы", в это время в x86 микропроцессоры внедрялись куча наработок которые шлифовались на самом деле намного раньше на их более крупных собратьях, и так как первые процы н. Как от внедрение суперскалярности, SIMD-инструкции, внеочередное исполнение - все это когда то было разработано на менее продвинутом железе, и и по сути, шло внедрение этих технологий по мере планомерного роста транзисторного бюджета, но никак не изобретение.
С другой стороны, никак нельзя назвать " стягивание переферии в один кристалл" новой модой. Это закономерное следствие повышение степени интеграции системы. Сам CPU родился как "стягивание" нескольких функциональных модулей на один кристалл, потом он поглотил такое важное "периферийное устройство" как FPU (или математический сопроцессор), потом внезапно, когда стало достаточно места на кристалле, поглотил и кэш второго уровня (https://en.wikipedia.org/wiki/Pentium_II - напомню когда то этот кэш был отдельной микросхемкой), потом пришло время контроллера памяти, что радикально улучшило задержки про обращении к памяти.
Следующий этап - это то что мы наблюдаем в M1 - память, графика, и собственно проц одним чипом. И похоже, это весьма положительно сказалось на производительности и энергоэффективности этого чипа, хотя конечно, это только одна из причин.
Rutel_Nsk
Правильнее сказать: Были не реализованные теоретические наработки, сейчас их нет. Есть S — образный жизненный цикл любой технологии и сейчас современные процессоры находятся на самом верху кривой применения (минимальный сокращающийся прирост, при максимальных усилиях). Примерно как пропеллер у самолетов, рост мощности мотора в разы, прирост скорости единицы километров в час. И продолжалось это до изобретения турбореактивной технологии.
sim31r
Развитие процессоров идет. Просто их мощности стало достаточно и даже с запасом в 2010 на ПК пользователей (мне хватает) и новые процессоры особо не добавляют скорости работы. На телефонах рост производительности заметен вполне.
Плюс технологии стали настолько сложными, что обычным людям не понятно что происходит и в каком направлении идут работы.
А закон Мура вполне работает: https://habr.com/ru/company/madrobots/blog/405413/
Rutel_Nsk
среднему человеку никогда ничего не будет понятно.
Но только в плане числа транзисторов на кристалле, в частоте переключения, производительности универсального процессора и потреблении на единицу вычисления нет.
sim31r
Раньше технологии были более понятны. Работа реле, даже радиолампы триода. Можно было в гараже повторить всё любому инженеру. А вот микросхемы уже как из иного мира пришельцы. И чем дальше, тем больше и специфичней технологии, который поймет только узкий специалист.
Rutel_Nsk
Думаю и раньше было непонятно.
Расскажу историю из своей жизни:
Учился в школе примерно в 3 или 4 классе.
Попался мне на глаза учебник математики за 2 класс (если не ошибаюсь).
Полистал его все так понятно, примеры решаются даже не на раз, а пачкой за раз.
Приэтом в воспоминаниях осталось, что в момент учебы во втором классе было достаточно трудно.
Думаю вся проблема в уровне знаний, если они на порядок больше требуемого, то проблем нет и совершенно неважно что это за занания такие суммирование чисел от 1 до 10 или задача из квантовых вычислений. А средний человек как правило прекращает (если вообще это делал) учиться, знаний достаточно для «похода в магазин» и просмотра прикольных картинок и все. Остается поверхностное восприятие (оперирование названиями модных технологий без понимания их сути).
sim31r
Математика как-раз универсальный, общий для всех предмет. А при изучении технологий каждый погружается в свой узкоспециализированный предмет. А они каждый год усложняются. Чтобы понять как делаются процессоры нужно лет 30 поработать в этой области. Пример по тематике сайта, специализированные разработчики даже в из области разработки игр только года через 3 начинают понимать как работает игровой движок трехмерной игрушки. Или у нас, понимание бизнес логики биллинга тоже требует 3-4 года работы ежедневной с системой. А это достаточно простые инженерные задачи, не научные изыскания. То же самое с генетикой, популярные статьи читаются легко и кажется что понимаешь как работают гены, но это поверхностные знания которые ничего не дают в практическом плане. Чтобы стать практиком нужно лет 10-20 работать в отрасли ассистентом. Аналогично с врачами хирургами. Со стороны кажется просто, а опыт требуется достаточно большой, чтобы понимать что делается и не совершать ошибок. Шапкозакидательство осталось в прошлом, когда были гении во всех областях науки одновременно, ввиду полного отсутствия конкуренции.
Rutel_Nsk
Скорее ввиду малого объема накопленных в то время знаний.
Сейчас да, если спец, то в вопросе «пришивания пуговицы» к «общему пиджаку» да и то только с четырьмя крепежными отверстиями ))
Попробуйте продлить эту тенденцию во времени и добавить появление достаточно умной вычислительной техники — завтра не останется людей хоть сколько нибудь понимающих что вообще происходит.
pavel_kudinov
А вы про Cerebras читали? https://habr.com/ru/company/droider/blog/538730/
Я вот тоже трансгуманист и занимаюсь сингулярностью на дому, пишу GPGPU симуляции - https://habr.com/ru/post/458612/
К идеям создания принципиально иных схем вычисления отношусь с большим уважением, настольный экзафлопс - наше всё
Насколько я понимаю, на чипах это получится сделать только если выстрелят сверхпроводящие интегральные схемы (например на основе двумерных полупроводников) и радикально снизится энергопотребление, иначе как ни ухищряйся из доступных нанометров просто не отвести тепло при любой архитектуре
Альтернативы которые возможно сработают - оптические/голографические, квантовые или даже возможно биохимические, в силу принципиально других порядков параллелизма и энергетической эффективности
Rutel_Nsk
Такая же идеология как и в GPU, много отдельных слабо связанных ядер.
Снижение потребления вещь очень нужная, но не обязательная.
Для получения большой машины наибольшую важность имеет технология связи.
Какие физические ограничения имеются:
1. Размер вычислительног элемента не может быть меньше атома (ограничение минимального размера).
2. Частота работы ограничена временем распространения электромагнитной волны в пределах размера вычислительного элемента. Чем больше физические размеры, тем меньше производительность при прочих равных.
Получается, что даже если вычисления идеальны и совсем не потребляют энергии (это невозможно) будут ограничения производительности для конечного физического размера. Значит вычислитель неизбежно будет состоять из параллельных или конвейерных частей.
Для уменьшения влияния скорости света, необходимо разбить вычислитель на много мелких параллельных вычислителей и их связать эффективной связью. В данном случае производительность будет ограничена не просто суммой производительности элементарных вычислителей, но и временем взаимодействия отдельных частей.
Проблема отведения тепла решается таким же пространственным распределением элементарных составляющих вычислителя.
Все приведенные довобы работают для всех возможных типов вычислителей.
sim31r
А нужны ли такие мощности? Человек думает вообще каким-то куском мяса. Время релаксации нейрона 5 мс против 0.1 нс у транзистора. Скорость передачи сигналов по нервам 0.2 км/с против 300 тыс. км/с в процессоре. Нейрон не может сам имитировать логический элемент, их нужны сотни для подготовки сигналов и формирования и передачи результата. В итоге даже 111/3 поделить в уме для многих задача вводит в ступор. Сложность мозга тоже небольшая, задан примерно 3000 генами, это несколько мегабайт информации описывающие структуру мозга со всеми нейронами и белками сигнальными.
Думаю проблема не в мощности, а алгоритме. "Правильная" нейросеть скорее всего сможет работать и на телефоне и будет умнее любого человека при этом. Пока только непонятно как запрограммировать верхний уровень абстракции.
Rutel_Nsk
Считается что для моделирования человеческого мозга требуется компьютер с произодительностью от 10Е16 операций в секунду
Полностью согласен.
sim31r
Странно что такой компьютер не может у многих поделить 111/3 в уме в течение минуты. Контр аргумент что на такой операции мозг не специализируется. Вот специализируется на распознании лиц, только нейросети это делают быстрее и точнее. Из базы в миллиард лиц выбирают нужное почти мгновенно и точно.
Скорее всего когнитивные искажения, человеку хочется думать что он очень сложен и умнее "этих железяк" и придумывают что каждый нейрон это супер ЭВМ в котором каждый атом это чуть ли не квантовый процессор. А по факту нейроны очень грубо работают, дискретно и шумно. Имитация нейронов с 32 битным входом/выходом намного точнее, это истинная аналоговость.
Аналогично и со зрением, есть мифы что глаз работает с картинками 100 мегапикселей, а по факту долго сканирует кусочками по 0.3 мегапикселя осматривая фрагментами по центру зрения, остальное поле зрения расплывчато.
Rutel_Nsk
Если будете в течении всей жизни тренировать счет в уме, то будете считать быстрее чем обычный человек набирает число в на клавиатуре.
Такие люди часто случаются. Сила мозга в диапазоне решаемых задач и если бы выживание зависило от скорости деления 111 на 3, уверяю последний таракан бы делал это со скоростью «пулемета».
sim31r
Нет, особенно таракан, который даже не теплокровный и с медлительными нейронами. За 1 нс не посчитает. Плюс искусственные нейроны гибко меняют связи, биологические жестко запрограммированы генетически.
Rutel_Nsk
Про таракана ничего сказать не могу, но у человека есть механизм:
ru.wikipedia.org/wiki/Нейропластичность
1 нс таракану и ненужно, достаточно быть в разы быстрее «тапка».
Вот попробуйте поймать муху (100 тыс нейронов) в полете ))
sim31r
Пластичность весьма небольшая. Стекло оконное тоже пластично и в течение веков толщина сверху и снизу меняется.
Муха быстрая (в сравнении с человеком которому нужно импульсы нервные прогнать по нескольким метрам нервов), но датчики у нее и всех насекомых примитивные, видят они мир достаточно грустно И для уклонения от препятствия и не нужны вычисления сложные, технически это делают всевозможные ПИД регуляторы по простой формуле.
ppl2scripts
Не надо сравнивать ничего с Интелем. Сравнивайте с Эппл. У них и количество транзисторов больше в два раза, и прочие параметры значительно лучше.
bbs12
Советую посмотреть документальный фильм "AlphaGo" на youtube и статью про эту систему на вики. Во время игры AlphaGo против Ли Седоля по факту было окончательно доказано, что ИИ может быть создан и способен творить.
Rutel_Nsk
Но роботы вместо людей на работу не ходят, хоть все и окончательно доказано. ))
pavel_kudinov
Ох, если они таки начнут ходить, с каким теплом мы будем вспоминать сегодняшние дни, когда в нас ещё была необходимость как в рабочей силе
sim31r
Переводчики, бухгалтеры уже вспоминают дни, когда они были востребованы. Постепенно список специальностей будет расти. Останутся специальности на рынке услуг при высокой конкуренции для сокрытия безработицы.
bbs12
Было бы странно, если бы сначала появились роботы, а доказательство возможности их существования - потом.
ViacheslavNk
Во время игры AlphaGo против Ли Седоля по факту было окончательно доказано, что ИИ может быть создан и способен творить.
Мне кажется это очень сильное упрощение. Если бы ИИ уже был достижим и был способен творить, задача беспилотных автомобилей уже была бы решена. Вы взгляните на это под другим углом, можно взять не самого смышлёного взрослого человека, да даже подростка и за месяц научить его сносно водить автомобиль причем он будет его водить в любых условиях на дороге (дождь, снег, туман), по бездорожью, в нестандартных ситуация (например, нужно по полю проехать), используя исключительно свое зрение, без лидаров, камер кругового обзора и пр. Более того этого же подростка можно так же за пару месяцев обучить пилотировать легкий самолет.
А второй момент это уже больше философский, если реальный ИИ будет создан, то люди станут не нужны в практически любых отраслях.
lobotomic
Вот вы пишете "взрослого человека", а это значит, что он обучался жизни (решению разнообразных задач) 18 лет при очень нехилой врождённой подготовке нейросетей.
sim31r
Плюс аварийность Тесл ниже, чем у людей и снижается с каждой версией ПО. Уже сейчас слабый ИИ водит лучше, чем обычный человек. Предсказуемей и безопасней. На Ютубе есть ролики, где видно как Теслы уворачиваются от аварийных ситуаций.
verbs
согласен
kuzzzov
Про стагнацию вы конечно загнули.
Вычислительная техника создается для решения конкретных задач. Та же архитектура x86 прекрасно подходила для очень многих областей. Да, для тренировки глубоких нейросетей она уже не подходит, но сейчас активно пилится железо именно под эти задачи: Google TensorFlow, Intel Nervana NNP, IBM TrueNorth и т.д.
Другое дело, что развитие техники идет не так стремительно как хотелось бы, да и с архитектурой нейросетей не все так гладко. Поэтому для создания сильного ИИ могут потребоваться не одно-два десятилетия, как считают оптимисты, а возможно даже столетия.
Rutel_Nsk
Вот только нет в запасе столетия, мы живем в мире развивающимся по экспоненте.