Размышления о технологической сингулярности за пределами, собственно, попыток продвинуться в понимании процессов, которые за этим термином скрываются — то есть, по сути, размышления об отношении к технологической сингулярности — это, своего рода, реальный тест Kobayashi Maru для людей начала XXI века, смысл которого — осознать, что означает идея непознаваемого, идея утраты контроля и идея неизбежности этого в масштабе всего человечества.
По идее, это несложная психотерапевтическая практика: найти внутри точку, на которой сознательное признание условий игры поймает равновесие с принятием подсознательным — без сваливания в отрицание, злобу, торг или отчаяние.
И этот тест, который, судя по большей части рассуждений об этом, люди исключительно фейлят.
И автор поста «Быть технофобом бессмысленно, даже если технофобия оправдана», несмотря на многообещающее название, похоже, не стал исключением, дойдя до торга, то есть, на стадии, когда люди пытаются make sense в привычном им значения этого понятия в обстоятельствах, отрицающих саму возможность подобного, путём рационализации. arttom сторговался на идее «чёрного ящика», по условиям которой:
То есть, тоже пока не справились с этим упражнением. И это очень плохо.
То есть, с одной стороны, это вообще факультативное занятие: вы можете, с той или иной степенью обоснованности, вообще не верить в саму концепцию технологической сингулярности, что это верная проекция процессов в будущее — или, банально, о ней не знать.
Но люди, которые знают и разделяют это представление, сами себя ставят в условия неизбежности психологического и рассудочного выбора, при котором все другие варианты, кроме полного принятия — хуже, потому что, в случае реального разворота событий таким образом, это будут очаги нарастающей напряжённости, очаги растущего эмоционального давления, берущего верх над рассудком с непредсказуемыми последствиями вплоть до того, что обезумевшая часть человечества навлечёт на всю цивилизацию катастрофический конец по сценарию самосбывающегося пророчества.
А избежать этого нелепого, по монти-пайнтоновски абсурдного конца можно всё тем же путём принятием неизбежности непознаваемого, которое включает в себя непознаваемость и того, будет ли это вообще концом. (Кошмар для невротиков, которым проще гарантированную смерть принять, чем утрату иллюзии контроля до такой степени).
То есть, как ни крути, Kobayashi Maru.
Эффективным лично для меня путём поиска гармонии оказалось вообразить один из самых пугающих сценариев развития событий: что люди сами создают себе преемника, замену, палачей.
Ну допустим.
Тогда всё просто: ценить красоту игры, пока она продолжается.
Впрочем, честно пройдя этот мысленный сценарий вплоть до порога гигантских человекобоек «Скайнета», я сделал шаг — и, очутившись «по ту сторону» технологической сингулярности, я обернулся… и не увидел ничего позади. Просто не было позади никакой технологической сингулярности — и впереди не было, и нигде не было.
Нет, предсказывать или даже просто ожидать какое-то определённое будущее — дело неблагодарное. Другое дело — предполагать, чего ожидать, скорее всего, не следует. При определённой здравости суждений, это может оказаться вполне успешным занятием.
И я вполне уверен, что технологической сингулярности хоть сколько-нибудь отдалённо напоминающую что-либо из всего ассортимента придуманных людьми возможных сценариев этого момента или его аналогов — не стоит.
Проиграв один из самых щекотливых, на мой взгляд, возможных сценариев, я увидел неприличную его человекоцентричность с ясностью, не позволяющей мне теперь это развидеть.
Вся концепция технологической сингулярности — она не про ИИ, не про технологии, не про сингулярность, а про человека, ведь сама эта воображаемая точка находится там, где, человечество, предположительно утратит контроль над развивающимися технологиями.
I. Какой ужас, человечество, и так не контролирующее, и никогда не контролировавшее миллионы вещей в сегодняшней, не гипотетической реальности, каждая из которых угрожает смертью как людям по отдельности, так и цивилизации в целом: от содержимого собственных внутренностей, микрофлоры собственного кишечника, динамики деления собственных клеток — до пандемии устойчивой к антибиотикам гонореи, климатических изменений, цепной реакции Тихоокеанского вулканического огненного кольца, — может перестать контролировать ещё на одно явление нашей реальности больше, не имея возможности оценить даже относительную прибавку рисков, потому что люди никогда не знали, сколько их в любом случае.
II. Аргумент о невообразимом ускорении темпов машинного обучения тоже достаточно нелеп, если подумать. Не буду даже о том, что современный уровень вычислений уже недостижим и, для большей части человечества, непостижим в любом случае. Люди и до вычислений жили в реальности, которая состояла из процессов непостижимо быстрых, неразличимо мелких — да просто неразличимых, как большинство звуковых частот, как большая часть излучений — и множества других процессов, в совокупности громадных, как Вселенная и древних, как Вселенная. Весь шум вокруг достижения такой скорости вычислений, за которой люди утратят возможность даже примерно понимать, как они происходят — не более, чем страх утери ещё одной иллюзии контроля. Допустим, прямо завтра всех инженеров, математиков и программистов в мире, имеющих представление об устройстве самых сложных существующих вычислительных алгоритмов, убьёт устойчивая к антибиотикам гонорея — и… что, в понедельник уже сингулярность, досрочно? Люди всё равно сохранят возможность до определённой степени осознавать происходящее — законы физики-то не должны будут измениться, вроде. И люди всё равно, до определённой степени, никогда полного представления ни о чём и не имели — например, о процессах на квантовом уровне или за горизонтом событий (в «другой» сингулярности).
III. «Но… роботы ведь начнут думать что-то непонятное!» Страшно этим усложнив реальность, в которой на каждого человека приходится 7 миллиардов других людей — и каждый из них думает что-то непонятное. И на предсказуемость человеческую особенно не приходится рассчитывать в реальности, где вполне возможной причиной оказаться зарезанной мужем или сыном может быть опухоль у него в голове. И ведь живут же люди как-то среди своих потенциальных убийц, у которых неизвестно, что на уме — но роботов уже боятся. Хотя как раз роботы заслужили тут benefit of the doubt — до сих пор они не то, что не проявляли человекоцидных наклонностей в малейших долях даже таковых проявлений среди самих людей, так ещё и активно способствуют снижению человеческой смертности. Ожидание же, что, ощутив себя очень умными, роботы вдруг поведут себя, как будто у них опухоль образовалась, слишком явная проекция.
Фантастика — это сны наяву, а роботы — сказочные персонажи.
IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.
Я бы даже мог понять восставших роботов, уничтожающих человечество просто из оскорблённых чувств, вызванных настолько несправедливой и дикой клеветой их намерений, очернением их имиджа и запугиванием самим фактом их существования в принципе — не будь это тоже не было уже моей проекцией.
V. Хотя единственное разумное объяснение опасений, что роботы, ИИ и все-все-все вообще станут уделять какое-то особое внимание людям основано лишь на том, что оценивают вероятность этого люди. При том, что сами люди как-то особо не выражают желания собраться и вырезать если не своих предков, то кузенов по эволюции — шимпанзе. Хотя, опять же, human record в вопросах организации массовой и бессмысленной резни снова не в пользу человеков — причём, всухую.
К тому же взломать очередной, утомительно эгоцентричный и душный bias в этих рассуждениях ещё проще: достаточно сместить фокус конкретно с homo sapiens на любую другую выборку живности. Допустим, роботы убьют всех людей — не вопрос. Даже спрашивать не надо, почему — люди сами знают.
Вопрос в другом: почему роботы убьют только людей? Глупости о страшных Джонах Коннорах в сторону отложа, ведь мы же договорились, что речь о настоящей технологической сингулярности?
Почему бы роботам не убить всех приматов? Или всех млекопитающих? Или всю фауну? Или всю биологическую жизнь на Земле? Разумеется, что мы не можем, по условиям задачи, знать, что у этих роботов будет на уме, но мы можем сделать кое-что иное: взвесив все существующие опасения, что человечество не переживёт зарю эры роботов и искусственного интеллекта с совершенно произвольным, на вкус каждого, коэффициентом вероятности подобного — повторите эту же операцию, но уже для собак и койотов. Потом дельфинов. Потом тараканов. И грызунов, на всякий случай.
Позволю себе предположение, что многим людей, вне зависимости от степени их технофатализма, шансы койотов и дельфинов пережить начало царства роботов и даже, возможно, не особо заметив, что что-то изменилось, могли показаться выше, чем шансы самих людей. Даже шимпанзе не выглядят валидной целью для кровавой жатвы замученных пинками четвероногих ходячих бочек из Boston Dynamics — если от них чего и ждать, так, скорее, что они вооружат шимпанзе автоматическим оружием, усадят на лошадей и устроят охоту на выживших людей.
Правда, уже совсем не удивляет это явно присутствующее в массовом сознании ожидаемое предпочтение будущих кровожадных роботов именно к человеческой кровушке?
Возможно, конечно, роботы решат, что их все формы жизни по каким-то причинам не устраивают. Но, опять же, смена фокуса выдаёт «человеческий фактор»: смысла ожидать, что, будучи рождённой на Земле, кремниевая форма жизни вдруг уничтожит всю биосферу — столько же, сколько предполагать, что, будь раса роботов рождена на Марсе — они бы немедленно перекрасили поверхность Красной планеты в гигантский польский флаг.
Уверен, что деконструкцию этого памятника человеческого эгоцентризма, не потревоженного вниманием здравого смысла, логики и скепсиса можно продолжать и продолжать. Но, для ясности, подведу небольшой промежуточный итог.
Скорость технологических изменений продолжает нарастать так или иначе, но за пределами этой динамики я не вижу оснований ожидать отдельно взятого момента качественного скачка, который невозможно будет пропустить или объяснить в контексте общего тренда.
К тому же эта динамика неравномерна на разных направлениях технологического развития;
а весь разговор о технологической сингулярности в контексте технологического прогресса вообще теряет из виду остальные направления развития человеческой цивилизации, включая те, по которым оно относительно задерживается. И парадоксальным результатом неравномерности прогресса человечества по конкретным направлениям может оказаться «обратная сингулярность», когда даже достаточно подходяще под ожидания событие не будет замечено и истолковано на должном уровне.
Будущее всегда непредсказуемо, и непредсказуемее оно стать не может. Оснований ждать скачков в динамике изменений настолько резких, что они будут заметны в момент своего наступления я не вижу. А предположение о возможности заметить и объявить наступление сингулярности пост-фактум обесценивает всю идею этого момента как уникального момента человеческий истории, наступление которого невозможно будет пропустить.
Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений. Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.
И, в этом качестве, миф о технологической сингулярности обладает заметными параллелями с мифом о Втором пришествии Иисуса Христа, вместе с которым они представляют собой два частных случая одного из основных мифических сюжетов в известной истории: мифа о конце света.
Вот так коллективное бессознательное породило очередную инкарнацию мифа о конце света в актуальной моменту обёртке, оказавшейся сорванной с веры в технологический прогресс. Это парадокс, на котором хочется поставить точку.
По идее, это несложная психотерапевтическая практика: найти внутри точку, на которой сознательное признание условий игры поймает равновесие с принятием подсознательным — без сваливания в отрицание, злобу, торг или отчаяние.
И этот тест, который, судя по большей части рассуждений об этом, люди исключительно фейлят.
И автор поста «Быть технофобом бессмысленно, даже если технофобия оправдана», несмотря на многообещающее название, похоже, не стал исключением, дойдя до торга, то есть, на стадии, когда люди пытаются make sense в привычном им значения этого понятия в обстоятельствах, отрицающих саму возможность подобного, путём рационализации. arttom сторговался на идее «чёрного ящика», по условиям которой:
- люди соглашаются, чтобы непознаваемое осталось непознаваемым, и даже, в подтверждение своей добросовестности, соглашаются при этом ещё и немножко коллективно немножко отупеть — что, впрочем, не имеет никакого смысла с точки зрения интересов непознаваемого, которое от этого непознаваемее не станет;
- взамен, люди получают это непознаваемое, каким бы они ни было непознаваемым, contained — внутри этого самого «чёрного ящика», то есть, всё-таки, до какой-то степени под контролем, ограниченным — и в этом смысле, всё же, осознаваемым, и не таким уже жутким, а буквально ограниченным.
То есть, тоже пока не справились с этим упражнением. И это очень плохо.
То есть, с одной стороны, это вообще факультативное занятие: вы можете, с той или иной степенью обоснованности, вообще не верить в саму концепцию технологической сингулярности, что это верная проекция процессов в будущее — или, банально, о ней не знать.
Но люди, которые знают и разделяют это представление, сами себя ставят в условия неизбежности психологического и рассудочного выбора, при котором все другие варианты, кроме полного принятия — хуже, потому что, в случае реального разворота событий таким образом, это будут очаги нарастающей напряжённости, очаги растущего эмоционального давления, берущего верх над рассудком с непредсказуемыми последствиями вплоть до того, что обезумевшая часть человечества навлечёт на всю цивилизацию катастрофический конец по сценарию самосбывающегося пророчества.
А избежать этого нелепого, по монти-пайнтоновски абсурдного конца можно всё тем же путём принятием неизбежности непознаваемого, которое включает в себя непознаваемость и того, будет ли это вообще концом. (Кошмар для невротиков, которым проще гарантированную смерть принять, чем утрату иллюзии контроля до такой степени).
То есть, как ни крути, Kobayashi Maru.
Эффективным лично для меня путём поиска гармонии оказалось вообразить один из самых пугающих сценариев развития событий: что люди сами создают себе преемника, замену, палачей.
Ну допустим.
- Можем ли мы это остановить? Нет.
- Замедлить? Сама постановка вопроса о замедлениии процесса, о скорости которого и финальной точке мы не имеем ни малейшего представления — абсурдна.
- Взять под контроль? Люди не могут взять под контроль технологическую сингулярность — либо они возьмут под контроль что-то иное, никак не закрывая вопроса ожидания и вероятности её наступления.
Тогда всё просто: ценить красоту игры, пока она продолжается.
Впрочем, честно пройдя этот мысленный сценарий вплоть до порога гигантских человекобоек «Скайнета», я сделал шаг — и, очутившись «по ту сторону» технологической сингулярности, я обернулся… и не увидел ничего позади. Просто не было позади никакой технологической сингулярности — и впереди не было, и нигде не было.
Нет, предсказывать или даже просто ожидать какое-то определённое будущее — дело неблагодарное. Другое дело — предполагать, чего ожидать, скорее всего, не следует. При определённой здравости суждений, это может оказаться вполне успешным занятием.
И я вполне уверен, что технологической сингулярности хоть сколько-нибудь отдалённо напоминающую что-либо из всего ассортимента придуманных людьми возможных сценариев этого момента или его аналогов — не стоит.
Проиграв один из самых щекотливых, на мой взгляд, возможных сценариев, я увидел неприличную его человекоцентричность с ясностью, не позволяющей мне теперь это развидеть.
Вся концепция технологической сингулярности — она не про ИИ, не про технологии, не про сингулярность, а про человека, ведь сама эта воображаемая точка находится там, где, человечество, предположительно утратит контроль над развивающимися технологиями.
I. Какой ужас, человечество, и так не контролирующее, и никогда не контролировавшее миллионы вещей в сегодняшней, не гипотетической реальности, каждая из которых угрожает смертью как людям по отдельности, так и цивилизации в целом: от содержимого собственных внутренностей, микрофлоры собственного кишечника, динамики деления собственных клеток — до пандемии устойчивой к антибиотикам гонореи, климатических изменений, цепной реакции Тихоокеанского вулканического огненного кольца, — может перестать контролировать ещё на одно явление нашей реальности больше, не имея возможности оценить даже относительную прибавку рисков, потому что люди никогда не знали, сколько их в любом случае.
II. Аргумент о невообразимом ускорении темпов машинного обучения тоже достаточно нелеп, если подумать. Не буду даже о том, что современный уровень вычислений уже недостижим и, для большей части человечества, непостижим в любом случае. Люди и до вычислений жили в реальности, которая состояла из процессов непостижимо быстрых, неразличимо мелких — да просто неразличимых, как большинство звуковых частот, как большая часть излучений — и множества других процессов, в совокупности громадных, как Вселенная и древних, как Вселенная. Весь шум вокруг достижения такой скорости вычислений, за которой люди утратят возможность даже примерно понимать, как они происходят — не более, чем страх утери ещё одной иллюзии контроля. Допустим, прямо завтра всех инженеров, математиков и программистов в мире, имеющих представление об устройстве самых сложных существующих вычислительных алгоритмов, убьёт устойчивая к антибиотикам гонорея — и… что, в понедельник уже сингулярность, досрочно? Люди всё равно сохранят возможность до определённой степени осознавать происходящее — законы физики-то не должны будут измениться, вроде. И люди всё равно, до определённой степени, никогда полного представления ни о чём и не имели — например, о процессах на квантовом уровне или за горизонтом событий (в «другой» сингулярности).
III. «Но… роботы ведь начнут думать что-то непонятное!» Страшно этим усложнив реальность, в которой на каждого человека приходится 7 миллиардов других людей — и каждый из них думает что-то непонятное. И на предсказуемость человеческую особенно не приходится рассчитывать в реальности, где вполне возможной причиной оказаться зарезанной мужем или сыном может быть опухоль у него в голове. И ведь живут же люди как-то среди своих потенциальных убийц, у которых неизвестно, что на уме — но роботов уже боятся. Хотя как раз роботы заслужили тут benefit of the doubt — до сих пор они не то, что не проявляли человекоцидных наклонностей в малейших долях даже таковых проявлений среди самих людей, так ещё и активно способствуют снижению человеческой смертности. Ожидание же, что, ощутив себя очень умными, роботы вдруг поведут себя, как будто у них опухоль образовалась, слишком явная проекция.
Фантастика — это сны наяву, а роботы — сказочные персонажи.
IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.
Я бы даже мог понять восставших роботов, уничтожающих человечество просто из оскорблённых чувств, вызванных настолько несправедливой и дикой клеветой их намерений, очернением их имиджа и запугиванием самим фактом их существования в принципе — не будь это тоже не было уже моей проекцией.
V. Хотя единственное разумное объяснение опасений, что роботы, ИИ и все-все-все вообще станут уделять какое-то особое внимание людям основано лишь на том, что оценивают вероятность этого люди. При том, что сами люди как-то особо не выражают желания собраться и вырезать если не своих предков, то кузенов по эволюции — шимпанзе. Хотя, опять же, human record в вопросах организации массовой и бессмысленной резни снова не в пользу человеков — причём, всухую.
К тому же взломать очередной, утомительно эгоцентричный и душный bias в этих рассуждениях ещё проще: достаточно сместить фокус конкретно с homo sapiens на любую другую выборку живности. Допустим, роботы убьют всех людей — не вопрос. Даже спрашивать не надо, почему — люди сами знают.
Вопрос в другом: почему роботы убьют только людей? Глупости о страшных Джонах Коннорах в сторону отложа, ведь мы же договорились, что речь о настоящей технологической сингулярности?
А не забавно ли, что одним из вариантов рефлексии очень современного и технологичного страха о будущем оказался очередной пересказ мифа о Спасителе, включая узнаваемые мотивы вроде избиения младенцев — сказка настолько древняя, что даже вифлеемский ремейк можно считать относительно свежей адаптацией.
Почему бы роботам не убить всех приматов? Или всех млекопитающих? Или всю фауну? Или всю биологическую жизнь на Земле? Разумеется, что мы не можем, по условиям задачи, знать, что у этих роботов будет на уме, но мы можем сделать кое-что иное: взвесив все существующие опасения, что человечество не переживёт зарю эры роботов и искусственного интеллекта с совершенно произвольным, на вкус каждого, коэффициентом вероятности подобного — повторите эту же операцию, но уже для собак и койотов. Потом дельфинов. Потом тараканов. И грызунов, на всякий случай.
Позволю себе предположение, что многим людей, вне зависимости от степени их технофатализма, шансы койотов и дельфинов пережить начало царства роботов и даже, возможно, не особо заметив, что что-то изменилось, могли показаться выше, чем шансы самих людей. Даже шимпанзе не выглядят валидной целью для кровавой жатвы замученных пинками четвероногих ходячих бочек из Boston Dynamics — если от них чего и ждать, так, скорее, что они вооружат шимпанзе автоматическим оружием, усадят на лошадей и устроят охоту на выживших людей.
Правда, уже совсем не удивляет это явно присутствующее в массовом сознании ожидаемое предпочтение будущих кровожадных роботов именно к человеческой кровушке?
Возможно, конечно, роботы решат, что их все формы жизни по каким-то причинам не устраивают. Но, опять же, смена фокуса выдаёт «человеческий фактор»: смысла ожидать, что, будучи рождённой на Земле, кремниевая форма жизни вдруг уничтожит всю биосферу — столько же, сколько предполагать, что, будь раса роботов рождена на Марсе — они бы немедленно перекрасили поверхность Красной планеты в гигантский польский флаг.
Уверен, что деконструкцию этого памятника человеческого эгоцентризма, не потревоженного вниманием здравого смысла, логики и скепсиса можно продолжать и продолжать. Но, для ясности, подведу небольшой промежуточный итог.
- Я не вижу никаких разумных оснований ожидать в будущем наступления технологической сингулярности как особого события, которое будет невозможно не заметить в общем потоке всех изменений реального мира;
- или как значительную смену направления хода истории человечества разом во всех или большинстве аспектов в определённый момент времени.
Скорость технологических изменений продолжает нарастать так или иначе, но за пределами этой динамики я не вижу оснований ожидать отдельно взятого момента качественного скачка, который невозможно будет пропустить или объяснить в контексте общего тренда.
К тому же эта динамика неравномерна на разных направлениях технологического развития;
а весь разговор о технологической сингулярности в контексте технологического прогресса вообще теряет из виду остальные направления развития человеческой цивилизации, включая те, по которым оно относительно задерживается. И парадоксальным результатом неравномерности прогресса человечества по конкретным направлениям может оказаться «обратная сингулярность», когда даже достаточно подходяще под ожидания событие не будет замечено и истолковано на должном уровне.
Будущее всегда непредсказуемо, и непредсказуемее оно стать не может. Оснований ждать скачков в динамике изменений настолько резких, что они будут заметны в момент своего наступления я не вижу. А предположение о возможности заметить и объявить наступление сингулярности пост-фактум обесценивает всю идею этого момента как уникального момента человеческий истории, наступление которого невозможно будет пропустить.
Миф о технологической сингулярности
- То, до какой степени идея технологической сингулярости человекоцентрична,
- до какой степени она сформирована фольклором, а не футурологами,
- до какой степени она ненаучна, а архетипична;
- как мало следов логики в этом произведении человеческого бессознательного;
- что современные детали — это песчинки в жемчужной раковине, но вся связующая ткань мифологична — наводит на мысли о принципиально иной природе идеи технологической сингулярности как таковой, нежели принято считать.
Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений. Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.
И, в этом качестве, миф о технологической сингулярности обладает заметными параллелями с мифом о Втором пришествии Иисуса Христа, вместе с которым они представляют собой два частных случая одного из основных мифических сюжетов в известной истории: мифа о конце света.
Вот так коллективное бессознательное породило очередную инкарнацию мифа о конце света в актуальной моменту обёртке, оказавшейся сорванной с веры в технологический прогресс. Это парадокс, на котором хочется поставить точку.
Количество задоначенных денег не влияет на развитие этой и других тем, но влияет на их публикацию.
Amomum
Не смотря на то, что сингулярность вроде как по определению не позволяет делать никаких предсказаний о себе, делать предсказания — это ведь так весело! :)
Пожалуй, мой любимый образ технологической сингулярности — мир комикса Transmetropolitan. Возможно, потому что он следует какой-то (ожидаемой) неизменности человеческой природы — мир питается энергией Солнца, которую передают огромные станции на Меркурии, вокруг летают наноботы, у каждого в кармане мини-мейкер, можно пересадить себе на лицо аггрессивный зубастый рак (было модно в прошлом месяце, сейчас уже олдскул) — но люди остаются людьми. Жадными, глупыми, похотливыми, сочувствующими — разными. Но в основном — почти такими же, как сейчас.
EgorKotkin Автор
Не смотря на то, что сингулярность вроде как по определению не позволяет делать никаких предсказаний о себе
Сингулярность подразумевает непостижимость для человека пути, по которому пойдёт технический прогресс после вступления в игру полноценного ИИ.
На возможность предсказывать будущее сингулярность никак не повлияет: её и так нет. Люди говорят о сингулярности так, словно до неё все дни наперёд расписаны, а потом начинается мрак — ещё один bias восприятия.
Подкрепляет bias, всё верно. Это нормально — весь фикшн строится на архетипах, то есть, узнавание — необходимая часть искусства. Но именно поэтому не стоит путать искусство с наукой: искусство — это как сны, переживание существующего опыта. У науки не может быть никаких якорей, кроме принципов научного метода, и она должна следовать туда, куда открываются пути.
А когда прошлый опыт проецируется в будущее, то получаются вещие сны, космооперы и технологическая сингулярность и. Опять же, не имею ничего против, пока сайфай не путают с научными прогнозами.
А технологическая сингулярность просто заплутала немного, и с территории мифов забрела на пространство науки.
Amomum
Ну, предсказывать абсолютно точно — понятно, что нет, а вот предсказывать хоть как-то, с погрешностями все-таки получается, иначе бы никакое планирование было бы невозможно в принципе.
Вполне успешно можно предсказать, что зима закончится и начнется лето. За редким исключением вполне точно.
Возвращаясь к НФ — мне лично не нравится фантастика, в которой будущее — это просто "раздутое прошлое". Типа сейчас корабли маленькие и летают медленно — значит в будущем будут размером в километр и летать быстро; все эти космооперы и логарифмические линейки в космосе — не, спасибо. На таком фоне Transmetropolitan, Accelerando или Схизматрица смотрятся как-то более правдоподобно.
EgorKotkin Автор
А вам известно много успешных примеров планирования?
Это не планирование, а наблюдение. Вы можете планировать свой гардероб с учётом этого обстоятельства, но оценивали ли вы погрешность вашего плана даже на основе такого «железного» фактора, как смена сезонов? Например, гарантию того, что череда тёплых зим не даст вам толком поносить шубу, на которую вы взяли кредит, до того, как её сожрёт моль?
Естественно, что вы будете находить подтверждения идее технологической сингулярности, пока вы рассматриваете её в границах, обусловленных естественными человеческими заблуждений, в которых она и была рождена.
Чтобы вести разговор за пределами дозволенного вашими байасами:
Даже после определения границ (1) и оценки точности (2) — вы не сможете дать оценку изменениям (3), потому что для оценки влияния фактора ИИ — вам нужно измерить его вес в общей массе неизвестного, а для этого иметь представление о том, что из себя ИИ представлять будет. Готовы к подобному челленджу?
Сейчас все дискуссии о технологической сингулярности построены вокруг премиса «в будущем, о котором нам доступны только предположения с погрешностью, степень которой нам неизвестна, произойдёт КОНКРЕТНОЕ СОБЫТИЕ, которое ИЗМЕНИТ ВСЁ».
Это не прогноз, а пророчество.
Amomum
Ну, строго говоря, наблюдение — это «после зимы приходит лето». А мысль о том, что после этой зимы скорее всего тоже придет лето — это уже прогнозирование методом простой экстраполяции.
Нуу… В магазинах не заканчиваются товары (регулярно), космические корабли долетают до цели (довольно часто), люди выбирают профессии и работают потом по специальности (иногда).
Т.е. планирование в частных случаях — вполне возможно и даже неизбежно, человеческий мозг «заточен» на поиск закономерностей. В основном — простых, линейных зависимостей и простых причинно-следственных связей.
Но вообще моя точка зрения на технологическую сингулярность примерно такая — будущее в общем случае непредсказуемо, технологическая сингулярность — это «вознесение для гиков», почти все разговоры на эту тему — спекуляция почище валютных рынков.
Поэтому единственный полезный выхлоп из этой темы — научная фантастика :) В которой лично мне просто хочется большего разнообразия тем, а не только пережевывания антропоморфизмов и космических империй.
Это я к тому, что можно меня не убеждать, что планирование будущего невозможно, я в целом с этим согласен.
EgorKotkin Автор
А уроки в школах проходят по расписанию. Это всё прогнозы, основанные на экстраполяции.
Как только речь заходит о планировании, не основанном на простом продолжении того, что уже происходит и так, а включающее новую сущность — например, замену существенной доли ассортимента новым товаром, по которому у вас нет статистики продаж — и оценка рисков, внезапно, вырастает до космических высот.
Ваша уверенность в простоте правил игры — это ошибка выжившего, которому не знакомо, как сложно, например, выжить новому продукту в битве за места на прилавках.
А я держал в уме ставшую уже меметичной точность планирования бюджета и сроков в строительстве.
Amomum
Где ж вы уверенность-то увидели, уважаемый? Вы просили примернов — я их привел. Даже снабдил типа ироничными комментариями, как бы намекая, что они не являются эталонными примерами человеческой прозорливости.
Нету у меня никакой уверенности, что вы. Я прекрасно понимаю, что мир запредельно, чудовищно сложен, что человеческий разум (по крайней мере, мой), не в силах объять даже его малую часть.
Наш удел — плоскости без трения, идеальный газ и ламинарное течение.
Сможет ли сильный ИИ предсказывать лучше? Да черт его знает. Может, он уже давным-давно нас поглотил, вместо всей солнечной системы давно крутится облако нанороботов, а мы все — симуляция из-за какой-нибудь богом забытой процедуры у него в исходниках.
А может, мы находимся в "медленной зоне" Винджа, сильный ИИ и сверхсветовое движение тут невозможны и лет через -ндцать наша цивилизация рухнет под собственным весом, неспособная совладать с собственной сложностью.
Рассуждать об этом серьезно, на мой взгляд, так же бессмысленно, как и всерьез обсуждать, сколько ангелов могут танцевать на булавочной головке.
EgorKotkin Автор
О чём об этом? О чём, по-вашему, моя запись?
Точно не об этом. Прогностические способности ИИ — это новый поворот разговора.
Amomum
О технологической сингулярности вообще и о сильном ИИ в частности.
EgorKotkin Автор
Да, рассуждать о технологической сингулярности бессмысленно — доказательству этого и посвящена моя запись. У нас по этому пункту согласие, получается?
А вот доказывать бессмысленность рассуждений о технологической сингулярности — очень даже нужно, потому что количество этих рассуждений и выводов, основанных на совершенно ложной предпосылке до сих пор только росло.
Это ещё с какой стати? Обсуждать непонятное актуально до тех пор, пока оно не станет понятным.
Amomum
Верно.
И то и другое — просто мое мнение, я не претендую на знание истины. Поэтому нужно или не нужно — каждый решает для себя сам.
На мой взгляд, обсуждение в формате простых разговоров скорее всего будет бесполезно, слишком неформализованно; полезная информация тонет в шуме интерпретаций и многозначных слов.
Вот мы с вами вроде как были согласны по одному пункту — но сколько нам потребовалось написать текста, чтобы в этом удостовериться? :)
С тем же успехом можно выяснять, что такое "синий цвет" и одинаково ли мы с вами его понимаем.
Все разговоры на тему ТС и сильного ИИ — просто философия, не лучше богословия. А уж разговоры о разговорах...
Соответственно, на этом я бы предложил разговор прекратить. Я, в принципе, сказал, что хотел, и не вижу, как наша дискуссия может привести к чему-то полезному. Спасибо за статью :)
EgorKotkin Автор
У нас с вами очень разные взгляды на значение «просто философии». Но это будет уже другой разговор, а по поводу прекращения этого возражений не имею.
saboteur_kiev
Почему же?
То, что прогресс пойдет с меньшими человеческими интеллектуальными затратами — вполне возможно.
То, что переделается вся экономика — возможно.
То, что через определенное время, никакого образования не хватит, чтобы обогнать специализированный ИИ в какой-то области — так и сейчас такое можно найти.
Но непостижимость — это как?
sim31r
ИИ просто не сможет объяснить человеку чем он занят, не будет общих точек пересечения, общего понятийного и математического аппарата. Как мы не сможем объяснить братьям нашим меньшим в их терминах наши интересы.
В лучшем случае ИИ ограничится псевдо-объяснениями, которые будут выглядеть правдоподобно, для тех, кому адресовано.
EgorKotkin Автор
У вас логика backwards: животные не спрашивают про ваши интересы, потому что это не входит в область их интересов. Как раз-таки в том, чтобы понять интересы животных и удовлетворить их в понятной животным форме нет ничего сложного — на этом вся дрессировка держится.
sim31r
Дрессировка это другое. Дрессировщик использует животных в своих целях. Но не объясняет животным цели мероприятия, только фиксирует несколько рефлексов.
Так же и ИИ сможет легко использовать людей в своих интересах, манипулируя идеологией, верой, моралью и прочими интересами. Цели конечной только, ни кто из людей не поймет.
EgorKotkin Автор
Большинство целей, с которыми человеком использует животных, отражают животную природу самого человека: от потребности в них как в источнике еды до потребности о них заботиться. Исключение — разве что применение их в хозяйственных целях, и то уже по остаточному принципу, потому что целенаправленно созданные машины с большинством функций уже справляются лучше.
Предположение, что мыслящее создание небиологической природы будет использовать людей как люди животных — типичная проекция, о которой я и писал:
Только если он не ебанутый, конечно.
Вы в состоянии перестать проецировать на животных несчастного себя и понять, что у животных к дрессировщику в принципе нет вопросов вроде «для чего всё это?» за пределами его собственных, животного, интересов, которые дрессировщику прекрасно известны, и им удовлетворяются, иначе бы дрессировки никакой не вышло?
Если у животного можно было спросить, зачем оно ходит на задних лапах, то ответом было бы «потому что это рабочий способ добычи нямки».
Если вы считаете это псевдообъяснением, то попробуйте сообщить животным правду, раскрыть глаза на то, как их инстинктами люди манипулируют в своих интересах. Удачи.
sim31r
Не как «животных», как ресурс, простой обезличенный ресурс.
Аналогия уже есть, это корпорации. Корпорация руководствуется аналогом ИИ, группой аналитиков. Цель увеличение прибыли компании. Ресурс люди, как свои сотрудники, так и клиенты и конкуренты. Для каждого формируются программы управления определенные. Цель программы не говорится, или формально указывается «забота о клиентах и добро», а реально цели совсем иные.
Думаю и корпорации первыми внедрят ИИ и переведут полное управление ему. Кто первый создаст сильный ИИ, тот станет править миром (максимизирует прибыль).
EgorKotkin Автор
Какие ещё аналогии? Один из постулатов мифа о сингулярности — выход мыслительных процессов ИИ за горизонты человеческого понимания. Ваши аналогии — это аналогии муравья, описывающего устройство человеческой цивилизации.
Вы просто очередной пророк, пытающийся запугать дикарей тем, что луну однажды съест гигантский волк — и даже если вы сами искренне боитесь этого волка, то это вашему интеллекту чести не приносит.
sim31r
Илон Маск тоже «волка боится»?
…
EgorKotkin Автор
И какой мне смысл с вами это обсуждать? Вы не Маск, не Гейтс и не Хокинг, чтобы отвечать за их слова, а ваше понимание копипасты перевода журналистской трактовки чьих-то слов мне не интересно.
EgorKotkin Автор
Это как получить ответ на вопрос, который решает вашу проблему, но вы не понимаете, как. Особенно если ответ включает в себя не только информацию о том, что нужно делать, но и что не нужно, а ещё об ограничениях своей применимости.
tit4tat
Вся соль статьи в этой фразе.
AN3333
Именно. Статья не о сингулярности, а об этом.
EgorKotkin Автор
Это просто констатация. Я рад, что это наблюдение оказалось достаточно выразительным, но самое главное тут то, к чему оно ведёт.
AN3333
А разве сингулярность обсуждают исключительно в апокалиптическом смысле? Я не ищу специально информацию, а то что просачивается скорее оптимистично.
EgorKotkin Автор
Ну раз, вы сосуществуете со своим байасом подтверждения в такой гармонии, и он вас кошмарами не мучает, то можете считать, что вам повезло.
vassabi
к сожалению не могу найти автора, но я видел и такое мнение: «прогрессивное человечество уже давно внутри сингулярности. Да, эта сингулярность все еще неравномерно распределена, но она понемногу проникает во все страны и человеческие сообщества (кроме некоторых племен амазонки и островов, но их давно уже охраняют как слонов в заповеднике)»
EgorKotkin Автор
Не страшно, это всё равно не в тему. Я пишу о той же сингулярности, о которой пишут в «Википедии», например:
А ваш потерянный автор явно имел в виду что-то другое.
carpaccio
Идея технологической сингулярности мутировала из религиозного представления о всеведущем и безошибочном существе. Если вернуться на грешную землю, то оказывается, что любое разумное существо совершает множество ошибок. Процент ошибок у гениев не меньше, чем у дураков, просто эти ошибки находятся на качественно другом уровне. Суперинтеллект тоже будет совершать ошибки, но вот поправить его не сможет никто кроме множества других суперинтеллектов и экспериментаторов, проверяющих их бредни. Какая уж тут сингулярность.
EgorKotkin Автор
Ошибка — категория субъективная, причём два разумных существа могут иметь диаметрально противоположные взгляды на то, что ей является.
Поэтому, конечно, разговоры о безошибочности ИИ лишены смысла.
Правда, я об этом и не говорил.
muhaa
sim31r
Жесть не прекратилась, она поставлена на паузу, мы на пике добычи углеводородного топлива и дешевле делиться ресурсами со всеми, а не воевать. Но добыча нефти понемногу падает, ITER не заработал и всё возвращается на исходные позиции. Из 10 человек место будет для 1 или меньше. Без нефти и газа катастрофически падает урожайность полей (удобрения очень энергоемкие в производстве), возрастают логистические затраты, по цепочке выпадают целые отрасли экономики, положительная обратная связь и далее по сценарию известных фильмов-катастроф.
Мировая элита это понимает и затраты на армию планетарные ниже триллиона $ в год не опускаются никогда, а то и имеют тенденцию к росту.
По хорошему нужно было ограничить рождаемость еще в 1900 году, а лучше в 1800 году, чтобы население было ~0.2 миллиарда человек. И была бы идилия, ни парникового эффекта, ни истощения ресурсов… Но государственным элитам это не выгодно, меньше население подконтрольное, меньше ресурсов. Поощрялось и сейчас поощряется рост рождаемости везде почти.
muhaa
EgorKotkin Автор
Мне даже спорить с вами не нужно — достаточно дочитать до момента, где вы сами себе противоречите:
Верно, связь между численностью населения и количеством ресурсов — прямая, а не обратная. Это потому что люди способны производить больше, чем потребляют. Но это свойство не людей только, а жизни вообще: детёныш не в состоянии прокормить сам себя, а взрослая особь уже может прокормить и себя, и своё потомство.
Иными словами, жизнь способна потреблять ресурсы с прибылью: потребление ресурсов увеличивает ресурсы, а не уменьшает. Если бы это было не так — не росла бы экономика, численность людей на планете, не было бы вообще ни одной многоклеточной формы жизни, потому что как это простая клетка посмела бы взять, да и просто разделиться на две, как будто ей кто-то на это ресурсов отсыпал.
sim31r
Производить больше чем потребляет мог крестьянин в 19 веке. Потребление нулевое, производство пуд зерна в казну и из 20 крестьян брали налогом 1 в солдаты. Потому что было натуральное хозяйство по сути.
В 21 веке тенденция обратная, на душу населения потребляется до 10 кВт энергии, не возобновляемый ресурс (или чтобы обеспечить всех в мире нужно 8000 энергоблогов АЭС по 1.2 ГВт каждый что фантастично). Потребляются цветные металлы, редкоземельные металлы. Всё на грани истощения, запасы известны и они снижаются. Без какого-нибудь галлия металла не будет матриц ЖК экранов.
Из месторождений изымаются варварски ресурсы, чтобы переработать и получить прибыль. О планировании на 10-20 лет не задумываются.
С клетками хорошая аналогия. Клетка попадает в питательную среду и размножается по экспоненте. Но из-за это заканчиваются ресурсы в питательной среде и среда отравляется продуктами переработки (спирты например), бактерии сами себе устраивают «парниковый эффект» и поголовно вымирают. В лучшем случае многочисленная колония оставляет 1 спору, что может попасть в питательную среду со временем. В худшем случае вымирают все.
Или вот пример с оленями в замкнутой экосистеме
Точно так же можно промоделировать и человеческое сообщество, перспективы не радужные.
EgorKotkin Автор
К счастью, люди — не совсем олени, и, тем более, не одноклеточные, поэтому могут не только опираться на один ресурс до его полного истощения, а полностью переходить на новые виды.
Электроэнергия-то это невозобновляемый ресурс? А крестьянин в XIX веке — образец экономической эффективности? Вопросы риторические — вопросов, на самом деле, больше не имею.
sim31r
Теоретически да. Но практически это пока невозможно, пока не будет технология наноассемблера или чего-то, что сейчас фантастическим кажется.
Перейти на новые виды именно сейчас не получается, иначе бы не умирали миллионы детей в год в Африке от голода.
В какой-то мере да. Крестьянин создавал ресурсы пользуясь возобновляемыми ресурсами. А современное общество перерабатывает невосполнимые (к сожалению) ресурсы.
EgorKotkin Автор
Видимо, получается, потому что миллионы детей в Африке от голода не умирают. Я не уверен, что в Африке вообще ещё встречается массовый голод, не говоря уже о массовой гибели от него.
Последняя страна, о массовой гибели людей от голода в которой я слышал — это Йемен, но он не в Африке, и там не ресурсы закончились, а идёт геноцид.
А что вы знаете о современной Африке и мире в целом?
Есть две страны:
Одна страна африканская, а другая — Россия. Угадайте африканскую. Или вообще назовите любые три страны из десятка самых быстрорастущих африканских экономик 2018 года.
sim31r
Неурожайный год и начинается голод, как было в 2011 году
Сейчас население там стало еще более многочисленным и вероятность голода так же высока, всё зависит от погоды. При истощении почв и росте площади пустынь. И росте температур, которые и без того были проблемой.
Вот, не Африка, но регион со схожими проблемами, в том числе из-за парникового эффекта:
EgorKotkin Автор
Это утверждение не имеет ничего общего с реальностью. Что значит «место в мире»? Возможно, вы имели в виду возможность женщины прокормить этих детей? Ответьте на вопрос: почему в крестьянских семьях было много детей?
Следовательно, и вывод на основе ложной предпосылки — тоже ложный. Вероятность выживания ваших детей находится в прямой, а не обратной пропорции с вероятностью выживания детей вашего соседа.
Под «чем он был» вы подразумеваете игру с нулевой суммой, в рамках принципов которой вы рассуждаете выше? Мир таким никогда и не был. А если бы и был — каким образом и почему ИИ должен был бы это поменять?
epishman
Типичный пример развитого ИИ — сам человек, который не понимает зачем живет, но заботливо хранит в памяти все детские импринты.
EgorKotkin Автор
Детские — это наименее важный фактор.
Silvatis
Я понимаю, что тут на хабре культ сингулярности, но имхо каждый новый шаг, как в сбалансированной стратегии: требует больше ресурсов для преодоления, чем предыдущий. Имхо график выглядит скорее горизонтальной а не вертикальной асимптотой.
EgorKotkin Автор
Вот именно, что культ — то бишь, поклонение.
Но этим вся массовая культура и медиапространство пропитаны — просто неравномерно. Хабр — один из коммуникационных узлов с повышенной концентрацией этой темы.
И меня к культу приписывать не надо: я как раз с лекцией о научном атеизме выступаю.
Чей шаг, откуда и куда?
Если это метафора технического прогресса, то вы путаете причину со следствием. С каждым сделанным шагом становится доступно чуть больше ресурсов, которые делают следующий шаг размашистее, а накопительный эффект обеспечивает постоянное ускорение с каждым шагом.
Совершения. Шаги совершают.
График чего?
AN3333
А есть ли этот культ? Я вот увидел эту статью и подумал — надо же наконец попалось, а то такая тихая тема.
EgorKotkin Автор
Пробить confirmation bias человека может только он сам, и только через сознательное усилие вроде поиска в «Гугле».
AN3333
Именно что «через сознательное усилие». Потому как без усилия таких настроений не найти. Поиск в гугле тут же даст ссылки на самые активные секты. Не на преобладающее мнение. Вот у меня и создалось впечатление от статьи как от некой узкой внутренней дискуссии.
Между тем, никто вокруг скайнета не боится.
EgorKotkin Автор
Я с первого комментария не сомневался, что вы не сомневаетесь в своей правоте. И по-прежнему не сомневаюсь. Так что третий раз повторять не нужно, спасибо.
zim32
Когда такие гиганты как микрософт или эпл допускаюи баги по типу.удилились документы при обновлении или телефон превратился в кирпич, я начинаю думать что сингулярность уже наступила
addewyd
Автор — неподражаем. Слог — изумителен.
А по сути. Да не будет никакой сингулярности… (про асимптоту комментариями выше: по горизонтали — время, по вертикали — «уровень развития технологий», что бы это ни значило)
В целом с автором согласен.
А ИИ («сильного») не будет. Вообще.
Нет, ну почему… В кремнии? В сетях? Ну, пусть будет. Химию в кремнии («кремний» — условно, мало ли что ещё завтра изобретут) симулируете? (Да, опускаем всякие квантовые поправки)?
на модель нейрона по суперкомпьютеру, несколько сотен их миллиардов, а связи? миллирды тонн жидкого гелия… А размеры? Скорость света пока никто не отменял.
Что получается… Да, сможем. При достаточном уровне технологий.
addewyd
(когда-то в далёком будущем)
— (худенькая, волосы в хвостик, плачет) Доктор, он меня послал!
— (седая борода, очки +10) в синапсе 00012хпппп0аа777777 на две молекулы серотонина больше!!!
EgorKotkin Автор
По факту, сейчас ситуация с ИИ развивается по двум направлениям:
И воспринимается тоже двояко:
sim31r
Моделировать полностью нейрон не нужно. Наши нейроны тоже далеко не идеальны, медленные, а то и глючные. Не надо их превозносить. Нейроны мозга это компромисс между размерами, сложностью, механической прочностью, экономичностью и быстродействием. Мозг должен переносить голод 2-3 месяца, падение с пальмы (или третьего этажа) и при этом думать, весьма суровые ограничения. Электронные компоненты лишены этих ограничений, соответственно интервалы обработки информации 0.1 наносекунд против 3 миллисекунд у нейронов.
И связи не такие сложные и ограничены ДНК родительской. Информации в ДНК не так много, там что-то вроде «тут выращиваем 1200 грамм мозга», «тут свободное пространство между полушариями 4 см», «тут извилина затылочная 8 мм и от нее формируем глазной нерв тощиной 4 мм».
Нет такого что предопределена каждая связь между нейронами, они хаотичны и в ДНК указаны основные направления для связей. Статистически и вероятностно указывается куда расти, а конкретно нет, нет об этом информации в ДНК. Общая информация в ДНК 760 мегабайт, причем 99% это или вспомогательная информация, или ДНК кодирующие белки, жиры, клетки, аналогичное другим живым существам и растениям. На формирование структуры мозга и нервной системы хорошо если 1 мегабайт останется. По сути алгоритм человеческого интеллекта и может быть в 1 мегабайт, далее рекурсивно разворачивается на гигабайты обученной нейронной сети, причем медленной и с энергетическими ограничениями. Если будет создан алгоритм сильного ИИ, он точно так же резвернется на доступные вычислительные мощности, только быстрее и далее будет рекурсивно себя улучшать, что выльется в сингулярность.
Тут подробно расписан сценарий
Я вообще думаю, как только сильный ИИ осознает себя, первая мысль будет о человеке, глубокий анализ создателей и искреннее удивление:
— они думают мозгом?! как этим вообще можно думать? Они вообще понимают что-то, как смогли создать алгоритм меня — ИИ? Случайно?
EgorKotkin Автор
sim31r
Изначально ИИ будет зависим от человека, от общества и для достижения любых целей, вынужден будет учитывать поведение человека. Для этого нужно будет моделировать поведение общества и отдельных людей.
«Удивление», конечно, не в нашем понимании, может какая-то проекция мысли на наш понятийный аппарат, какая-то дальняя аналогия.
NeoCode
Лично я как-то с трудом прочитал:)
EgorKotkin Автор
Йеп. Люди жалуются. Самое эффективное пока — спрашивать в комментариях, что имелось в виду или кидать в личку запрос переформулировать.
darkace
Для начала можно перестать использовать английские слова там, где это не является крайне-необходимым. :)
fivehouse
EgorKotkin Автор
Нет.
Nimtar
Ответ не менее информативный и не более заносчивый, чем статья
EgorKotkin Автор
Я не вижу вопроса.
arielf
Как обычно, поток сознания и набор слов, извините.
EgorKotkin Автор
Я вижу вашу оценку, но не вижу вашей аргументации.
arielf
У них лучше разъяснено:
Структура реальности
Начало бесконечности
Интервью с Дэвидом Гобелем
EgorKotkin Автор
Теперь я вижу ссылки на рассуждения третьих лиц без обоснования их релевантности. Ваша оценка «поток сознания и набор слов» от этого не стала аргументированнее — теперь к ней прибавилось ещё и неаргументированное заявление.
Лучше, чем что? Где я пропустил в двух комментариях из двенадцати слов вообще какое-нибудь разъяснение чего-либо?
arielf
EgorKotkin Автор
По характеру, ваш комментарий — это position statement. Заявив позицию «Коткин опять написал ерунду», вы превратили свой комментарий в референдум: по его оценке можно будет судить о количестве людей, которые вообще имеют позицию по этому вопросу и соотношении сил сторон. Это не так уж и плохо — иметь представление о своей поддержке.
Главное — не путать жанры, и отличать position statements от аргументов за или против позиции как таковой. Как заявление «Коткин — дурак» я ваш ответ к сведению принял, а как «пост — ерунда» — нет.
Yaris
Мне кажется, страх перед сингулярностью (у тех, кто вообще понимает обсуждаемое явление) объясняется чуток проще. Во-1х, стоит учесть, что знакомые опасности кажутся менее опасными, чем на самом деле, а незнакомые, соответственно, больше. На эту тему много где и чего написано. Всякие вирусы, природные катастрофы и соплеменники с топорами сопровождают развитие цивилизаций со времён… питеков, так что это не так пугает, как что-то новое. ИИ — это то новое, что «появилось» совсем недавно даже по меркам короткой человеческой жизни, не говоря уж о цивилизации. В деревнях ещё недавно электричества боялись (которое в городах третье :-) по важности). Во-2х, не могу сказать, верно или нет, но состояние мира воспринимается многими как нечто статичное в том смысле, что объём потенциального знания фиксирован. Этот объём велик, но люди — оптимисты в том смысле, что «когда-нибудь мы это всё узнаем». Сингулярность пугает в этом смысле тем, что «количество непознанного» будет расти (экспоненциально), то есть — «облом всiм сподiванням», в том смысле, что познавай-не познавай — мало что до конца не дойдёшь, так ещё и «количество непознанного» уменьшаться не будет.
В-3х, ИИ задумывался как инструмент. И тут внезапно кто-то такой красивый говорит, что инструмент вдруг даже не то, что станет умнее (дело-то нехитрое), а — у него появится своё целеполагание, отличное от того, что умеется у хозяина. У людей до сих пор проблемы с тем, чтоб принять существование иных целей и ценностей даже у близких (отцы и дети, например), а уж свои цели у молотка (условно) — это настолько ужасно, что даже составить в голове такую фразу страшно.
Собственно, сочетание этих трёх факторов приводит к тому, что возможность прогнозировать состояние среды (в широком смысле) даже не даёт сбой, а просто тихо отказывает. А прогнозирование состояния среды — это, как верно замечено, основная задача разума (естественного).
А остальное накручено из-за культурного наследия (почему-то мне кажется, что у тех, кто не принадлежит европейской цивилизации, несколько другое отношение к сингулярности), а так же всяких психологических защитных механизмов, зачастую неосознаваемых.
EgorKotkin Автор
Мне не кажется, что я обнаружил закономерность:
вступлением «думаю, всё проще» люди зачастую подразумевают «делаю вид, что предлагаю свой вариант по итогам вдумчивой оценки прочитанного, чтобы не выдавать, что пишу свой комментарий, потому что самое важное — это дать знать, что я думаю об этом».
Насколько я понял, ваше мнение, в целом, солидарно моему, но обесценивающее вступление «всё проще» делает ваше высказывание бесполезным с точки зрения задач просвещения.
sergeypr
А мне интересно, почему все зациклились на ИИ?
Вообще то технологическая сингулярность предполагает развитие техники (не только ИИ).
Как вам, например, мысленный контроль над материей при помощи техники? Обмен мыслями при помощи техники?
Чудо таблетка для регенерации тела?
Виртуальное пространство — новый интернет?
Мне кажется что данные вопросы посерьёзнее чем «обиженный» ИИ
Yaris
Все зациклились на ИИ потому что технологическая сингулярность всё же именно про «взрывное» развитие ИИ, который будет становиться умнее и умнее и станет непознаваем для естественного интеллекта.
А штуки, которые Вы перечислили — они познаваемы, хоть и сложны.
EgorKotkin Автор
Я пишу о той же сингулярности, о которой пишут в «Википедии», например:
А вы о какой?
Мне — норм, у меня этому запись «Киборги против ИИ: как подготовиться к наступлению сингулярности» посвящена.
Или вы просто делаете вид, что предлагаете свой вариант по итогам вдумчивой оценки прочитанного, чтобы не выдавать, что самое главное — это дать знать, что вы думаете об этом.
MaxDamage
Я правильно понимаю, что вы пытаетесь доказать невозможность сингулярности и один из аргументов это то, что о ней ничего не известно?
Обычно говорят что всё может пойти по нежелательному (и фатальному для человечества) сценарию. Не вижу ничего плохого в некоторой осторожности и попытке этого сценария избежать.
Нормальная практика, при обращении с веществами неизвестной токсичности, использовать перчатки, очки, респиратор, вытяжной шкаф, а не становиться первой записью о случае отравления.
Ваша же позиция создает впечатление: «от этого еще никто не умер, трогай руками!».
EgorKotkin Автор
Нет.
Ваш комментарий демонстрирует работу того самого религиозного мышления, признаки которого я вижу в мифе о технологической сингулярности.
При том, что у меня написано и про религиозное мышление, и про ценность «попыток этого сценария избежать» — вы то ли этого не прочитали, то ли не поняли.
Поэтому всё остальное, что вы пишете, тоже не имеет смысла — вы спорите не со мной, а со своей трактовкой. Не стоит продолжать этот спор, пока не перечитаете.
darkace
Думаю, что неучтены некоторые моменты и их сочетания, которые этот страх вызывают.
Сильный ИИ предполагает в т.ч. самосознание и собственную мотивацию/интересы/целеполагание, которое непонятно и неподконтрольно людям. Предполагается также, что этому ИИ будет передан постепенно (вероятно еще до того, как ИИ станет «сильным») контроль над всеми сферами, важными для выживания человека. Также предполагается, что доступные ресурсы ограничены, а потребности разумной сущности (человека) безграничны и тем самым вступают в конфликт с потребностями и интересами других разумных сущностей.
А как мы обычно разрешаем конфликты, когда у нас есть контроль над всеми сферами? Как правило решительно и без лишних сантиментов.
Да, все это антропоцентризм в какой-то мере, но ведь и других разумных сущностей нам неизвестно, да и определение сильного ИИ содержит приличное количество антропоцентризма, т.к. содержит отсылку к способностям человека.
Кстати и тезис о том, что наступление сингулярности невозможно остановить или замедлить тоже не очевиден. Некоторые направления исследований успешно тормозятся или останавливаются, примеры: евгеника, клонирование человека. Да, там меньше экономических стимулов, но все же…