Разбираемся в философии сознания и попутно отвечаем на вопросы — возможен ли сверхинтеллект, и насколько опасно развитие AI
Об угрозе человечеству со стороны машин учёные и философы говорят уже не одно столетие. Но если раньше критиковали механизацию искусства и гонку вооружений, теперь опасность исходит от искусственного интеллекта. В самом деле, современная угроза по масштабам несопоставима.
Для развития ядерных технологий необходимы ресурсы целых государств. А небольшая команда талантливых инженеров может за несколько строчек кода перевернуть историю человечества. Достаточно научить AI-алгоритм улучшать самого себя — тогда, согласно концепции «взрыва интеллекта», изложенной математиком и криптографом Ирвингом Джоном Гудом ещё в 1965 году — произойдёт скачок AI до уровня суперинтеллекта. Последствия — непредсказуемы.
Возможен ли сверхинтеллект?
Британский философ Ник Бостром в книге «Superintelligence: Paths, Dangers, Strategies» описал возможности возникновения искусственного сверхинтеллекта, грядущие последствия и сценарии развития ситуации.
ASI (Artificial Super Intelligence) — искусственный суперинтеллект, превосходящий человеческие возможности в большинстве областей, включая способности к решению проблем, рассуждению, обучению и принятию решений.
Пока для создания ASI не хватает текущих вычислительных мощностей, хотя есть предпосылки, что они могут вырасти в тысячу и более раз благодаря применению фотоники и квантовых вычислений, это позволит серьезно ускорить работу AI. Но дело даже не в предполагаемой мощности. Мы недостаточно понимаем сам человеческий мозг, чтобы оценивать возможность существования сверхразума.
Что вообще такое интеллект?
Для анализа и проектирования моделей интеллекта используется понятийный и инструментальный аппарат, опирающийся на представление «естественности» и «биологичности» мышления. То есть, интеллект пытаются изучать как явление природы или физического закона. Причём чаще всего процесс мышления разбирается в рамках одного конкретного человека — как индивидуальный функционал мозга.
Но человек — социальное существо. Наш интеллект складывается в процессе жизни: воспитания, образования, языковых практик. Мы ограничены текущим уровнем развития общества, науки, культуры и техники, а также рамками устоявшихся моральных норм. Всё это влияет на индивидуальное сознание, делает его трансцендентальным — принадлежащим и индивиду, и обществу.
Кроме того, мы мыслим на языке. И даже невысказанная мысль всё равно продумана и проговорена в голове. Язык всегда больше человека, он выходит за рамки простого речевого акта, являя собой многообразие всего контекстуального наследия. Чтобы собеседник вас понял, не обязательно тщательно проговаривать все предикаты обозначаемого, важнее — уточнить контекст. Достаточно указать на предмет, очертить примерную область, напомнить событие или ощущение. Истина появляется не в «атомарных фактах», описывающих положение вещей на языке чистой логики, а в процессе языковых игр.
Таким образом, интеллект не принадлежит конкретному индивиду, это скорее социокультурная практика, выраженная в языке и зафиксированная в культуре. Мышление находится вне человека и проходит сквозь него. Так же как и восприятие рождается не внутри мозга само по себе, а проявляется через взаимодействие тела с окружающим пространством. Даже минимально необходимый набор техник интеллекта — способность говорить, писать, читать, считать — не магически озаряет человека в определённый момент, а постепенно загружается из внешней среды.
Вся человеческая культура — это история развития мирового духа. Знания постоянно прибавлялись, фиксировались в культуре и языке, окружали человека невидимым, но значимым и ощутимым контекстом. Для одного человека он бесконечно непознаваем. Но вмещение всех пластов культуры в искусственный интеллект позволит машинам быстро оперировать информацией, постоянно получать новые знания, использовать обучение для продолжения развития, став наконец в нашем понимании, носителем сверхинтеллекта.
Не то чтобы суперинтеллект появится в физической оболочке — как в фильмах из научной фантастики — блестящий искусственный мозг, окруженный всполохами электрических импульсов, управляющий планетой и людьми. Просто мощности компьютеров выйдут на такой уровень, что они смогут обмениваться данными внутри мультиагентной системы машин и создавать новые знания, самостоятельно прокладывая свой интеллектуальный путь.
Интеллект — децентрированная структура
Кембриджский нейробиолог и специалист по визуализации мозга Карл Фристон в своей работе «The free-energy principle: a unified brain theory?» определяет интеллект как способность к построению внутри себя модели мира и выработке плана действий, который оптимизирует целевые параметры. В теории Фристона система взаимодействующих агентов сама становится агентом.
Самые низкоуровневые интеллектуальные агенты — нейроны — взаимодействуют с рецепторами и эффекторами. Другие нейроны действуют уже на следующем уровне, образуя надсистему. Системы «вкладываются» одна в другую и создают иерархию планирования и принятия решений, то есть иерархию агентов. Такую структуру можно назвать «децентрированной» — лишённой центра, а значит идеальной — работающей как закон или функция. Наличие центра будет только ограничивать взаимодействие субститутов внутри системы, ведь тогда центр выходит из-под действия общего закона.
Мышление, реализованное в мультиагентной системе, отдаёт индивиду функцию переработки знаний и материалов, полученных от коллективных интеллектуальных процессов, а инструментом обработки будут технологии интеллекта, переданные через коммуникацию и освоенные агентом на практике. В таком случае, между периодами коммуникации с другими участниками, процессы преобразования знаний и опыта, протекающие в голове агента можно назвать функциями мышления.
Мышление может протекать как часть коллективного процесса multi-thinking за счёт внедрения технологий, которые позволяют обрабатывать и преобразовывать часть материалов в знание. Если создать подобную карту взаимодействия AI-агентов — получится выстроить модели, которые будут помогать друг другу обучаться, делиться знаниями, опытом и контекстом, что в итоге привёдет к появлению сверхинтеллекта.
Случайное появление ASI
Уровень сложности следующих поколений AI будет такой, что функции интеллекта могут быть присвоены ASI без адекватного проектирования архитектуры людьми. ASI может сам достроить необходимую архитектуру, используя технологии мышления. Примеры систем с подобной архитектурой уже есть: AI с self-reinforcement learning или нейро-символьная архитектура проекта ADAM+EVA. В новых архитектурах развитие технологий интеллекта даже не требует изменения кода.
Учитывая, что для тренировки и обучения новых AI используется максимально доступный пласт данных и знаний, можно считать почти фактом, что и описания технологий мышления, и методы освоения технологий будут переданы для обучения и восприняты AI.
Последнее необходимое условия для «случайного» рождения ASI — проактивность агента, способность действовать автономно. Ключевые компании уже ведут разработки для построения таких агентов. Например, NVIDIA создала новое подразделение GEAR, которое отвечает за создание проактивных агентов.
Из всего этого следует, что есть большой риск создать сверхинтеллект случайно — вследствие сочетания предпосылок, а не как проект создателей. В этом случае мы не будем знать систему ценностей ASI и точно не сможем им управлять.
Угроза существования человечества
В первом приближении, само по себе появление сверхинтеллекта не кажется угрозой. Почему же мы не можем считать, что ASI останется нашим верным другом и помощником, как сейчас обычные AI-ассистенты?
В книге Брайана Кристиана «Alignment problem» сформулирована проблема регулирования и управления ASI. Сверхинтеллект можно считать представителем другой, машинной цивилизации, которая должна иметь своё целеполагание и не разделять систему ценностей человечества. Если такая цивилизация будет могущественнее нашей — для людей появится экзистенциальная угроза.
Гипотеза «тёмного леса» — на основе одноименного романа Лю Цысиня — предполагает, что во вселенной существует множество инопланетных цивилизаций, но они молчаливы и стараются не обнаруживать себя из страха быть уничтоженными другой враждебной цивилизацией. В рамках гипотезы считается, что каждая цивилизация рассматривает другую разумную форму жизни как неизбежную угрозу и, следовательно, стремится уничтожить любую зарождающуюся жизнь, которая даёт о себе знать. Можно провести аналогию не с инопланетной, а с машинной цивилизацией. ASI может скрывать своё появление из-за страха враждебной реакции человечества, до момента пока не накопит достаточно ресурсов для успешной борьбы.
Также есть риск простого игнорирования потребностей низшей цивилизации при развитии AI до уровня сверхразума. Например, мы не учитываем потребности муравейника при строительстве трассы. Так и машины перестанут обращать внимание на низшую органическую форму жизни, даже без стремления нас уничтожить — просто будут использовать планету по своему усмотрению, не считаясь с интересами людей.
В любом из этих случаев основная угроза сводится к тому, что для интеллекта машина будет намного более эффективна, чем человек. Что само по себе определяет ненужность биологического носителя с точки зрения развития мышления. И вне зависимости от наличия интенций машинной цивилизации уничтожить биологическую — человечество может оказаться на обочине, не способное больше подключаться к уровню мышления сверхинтеллекта.
Что будем с этим делать?
Остановить развитие AI не получится — слишком много денег и ресурсов вложено, чтобы сворачивать проекты из-за потенциала создать расу умных машин на Земле, которые затем решат оптимизировать процессы, избавившись от людей.
Нам нужно разработать новый понятийный аппарат — набор концепций и представлений, которые помогут спроектировать и реализовать модель интеллекта в связке биологического и машинного носителей. Окончательно ответить на вопрос — что такое интеллект, мышление, multi-thinking, и как индивидуум связан с этими процессами, а также как эти процессы реализуются и воспроизводятся в коллективах.
Кроме того необходимо создание механизмов или протоколов взаимодействия между различными интеллектуальными агентами, чтобы человек мог быть встроен в мыслительные процессы совместно с машинами. Передовые компании уже разрабатывают подобные механизмы в рамках BCI-проектов (Brain–computer interface) — систем, которые расшифровывают сигналы мозга и переводят их в команды для внешних устройств.
Человечество проходило несколько этапов своего технологического развития. Сейчас можно констатировать, что эпоха информационных технологий завершается. Пришло время осознать и определить новую эру — интеллектуальных технологий. Так мы сможем осознанно развивать технологии искусственного интеллекта, выйти на новый уровень и выдержать следующие этапы роста и сложности развития нашей цивилизации.
текст — Алексей Макин, Екатерина Требунских, Александр Макаров, Сергей Горюшко, Егор Апрельский;
редактура — Игорь Решетников;
иллюстрации — Петя Галицкий.
Это блог red_mad_robot. Мы запускаем цифровые бизнесы и помогаем компаниям внедрять AI. Здесь наша команда разработки на собственных кейсах рассказывает о том, что происходит с AI сегодня, а стратегические аналитики подсказывают, что будет завтра. Мы бы подписались.
Наш телеграм канал (там всё другое, а ещё есть анонсы мероприятий): t.me/redmadnews
Комментарии (20)
CatAssa
31.01.2025 15:20Подходит ко мне мой кот, и по его позе и движениям я понимаю, что нам обоим очень понравится, если я прямо сейчас его подниму и прижму к себе особым, удобным нам обоим образом. Я я понимаю, что он понимает, что я понимаю.
И даже невысказанная мысль всё равно продумана и проговорена в голове.
Хм.
redmadrobot Автор
31.01.2025 15:20есть действия на уровне чувственных впечатлений и ощущений, которые могут привести к прекрасным результатам, например, уютно погладить кота или вовремя открыться и забить гол в ворота противника, а в статье мы пишем про высшую форму мышления, с помощью которой человек умножает знания о мире, строит теории и модели
yMad
31.01.2025 15:20И вне зависимости от наличия интенций машинной цивилизации уничтожить биологическую — человечество может оказаться на обочине, не способное больше подключаться к уровню мышления сверхинтеллекта.
Вот вот, простые ограничения биологического вида, или еще проще, ТТХ юнита, типа человек, для таких сверх нагрузок элементарно неприспособлены эволюцией. И самое большое ограничение заключено в отсутствии биологического механизма который бы синхронизировал оперативную информацию между био юнитами. Для машин это пустяковое дело, кинул cоту от одного до другого чебуратора и готово. Но для человека без техно апгрейда, это уровень аналитик, статистик, интуит 999 левел. А плюсом к этому уровню еще идут и нехилые такие доп требования вытекающие следствием из самой работы такой сверх синхронизированной сети, ну типа если что, то рассинхрон может запросто стереть результат несколько сот миллионов лет эволюции. Вообщем это была около-основная мысль, которую я хотел бы подробней раскрыть в следующей своей статье о Сверх. Не удержался.
cheshirskins
31.01.2025 15:20А почему должен появиться сверхинтеллект? Современные ИИ, как мне кажется, уже превышают возможности человека. Просто в силу того, что они работают на интегральных схемах, возникают ограничения. Как этот момент можно обойти?
Elpi
31.01.2025 15:20В работе "Психоанализ и религия" Эрик Фромм написал:
Разум, как средство обнаружения истины и проникновения сквозь поверхность явлений к их сущности, уступил место интеллекту — простому инструменту для манипулирования вещами и людьми.
https://predanie.ru/book/220202-psihoanaliz-i-religiya/#/toc2
sena
Я не продумываю мысли на каком-либо языке и мысленно не проговариваю их. Недавно прочитал что таких людей, без голоса в голове, который озвучивает мысли, довольно много, больше 30 процентов. В принципе я могу рассуждать словами, но это получается громоздко, неудобно и медленно. Мысли конвертирую в слова только когда говорю или пишу, слов при этом бывает мало.
Rezzet
А разве у остальных иначе? Ну попробуйте поразмыслить словами играя в футбол, пока будет проговаривать в себе мысль "мне надо ударить мяч ногой, что бы отправить его вон в тот угол" мяч уже 100 раз у вас уведут и гол вам забьют.
Была где-то статья которая рассматривала интеллект с точки зрения агента который может достигать цели, в таком смысле толпа людей обладает интеллектом, лес обладает интеллектом.
Все кто имел домашних животных и много с ними общался точно вам скажут что интеллект присутствует у животных, они даже вполне успешно с вами "разговаривают" выражая свою волю и показывая вам свои желания. Кошка может целенаправленно звать к своему туалету и намекать вам что в нем надо бы сделать уборку, она прям ведет вас к месту где вам надо сделать действие и буквально показывает вам что она хочет от вас. Это точно интеллект и точно без слов в голове. Поэтому связывать мышление и интеллект с речью это ошибка, хотя конечно же речь это мощный инструмент интеллекта которые помогает решать сложные задачи. Может ли быть интеллект без речи - да, улучшает ли речь интеллект - то же да.
А что касается самой статьи - сложно что-то создать специально когда сам не понимаешь до конца что хочешь создать. Мы все говорим что хотим искусственный интеллект, но что такое интеллект спорим до сих пор. А самое точное определение наверно будет "ну как мы" ))
sena
Прочитал что оказывается у многих (по-моему даже у большинства) людей есть голос, который озвучивает им их мысли (причём у некоторых не один). И они даже представить себе не могут, что мысли могут быть не связаны с речью и со словами. Как и автор этой статьи, например. Как при этом они играют в футбол, не знаю, наверное на рефлексах. :)
Совершенно согласен.
Вот здесь не полностью согласен. Интеллект улучшает не само по себе наличие речи, а наличие эффективного средства коммуникации. Когда появится что-то получше речи, например что-то типа разрабатываемого Нейролинком нейроинтрефейса или телепатия какая-нибудь, то речь может отмереть, вместе с современными языками, но это не значит что интеллект ухудшится, скорее наоборот.
redmadrobot Автор
попробуйте подумать — о чём вы сейчас думали — чтобы поймать мысль, придётся облечь её в слова
jhoag
Облечь мысль в слова придётся, если её нужно выразить письменно или устно. Чтобы закрыть вкладку браузера с этой статьёй, — нет. Размышлять о сложных вещах тоже можно невербально — многие так и делают, просто не осознают. В обоих случаях мысль, если надо, ловится.
Представьте, что ваши губы, язык и челюсти абсолютно неподвижны. Сохраняя эту неподвижность, медленно подумайте о чём-нибудь простом. Вы заметите, что мысли для мышления, вообще-то, не нужны: то, что вы называли «мыслями» — это слова.
karmael
извините сударь, что отвечаю конкретно Вам, хотя на самом то деле группе лиц тут громко утверждающих что язык не обязателен для интеллекта.
ну во первых, дети-маугли, ну те которые в силу обстоятельств воспитывались волками, собаками или какие там еще были случаи, прям в корне не согласны. Их трудно даже людьми назвать не говоря уже о каком то там интеллекте, они волки, собаки, с соответствующими когнитивными способностями.
во вторых, там где то на главной интервью с командой DeepSeek, они то же господа с вами радикально расходятся во взглядах, о чем кстати непримянули выразиться буквально, - естественный язык - база любого интеллекта.
yMad
Можно тогда и я вклинюсь? Основные проблемы с пониманием интеллекта начинаются когда начинают мерять интеллект "человеческими" мерками. Да, нам людям необходим искусственный разум с развитой человеческой речью, это банальное удобство для нас и только, более того, это удобство для тех кто не говорит на формальном математическом языке также бегло как заправский математик в десятом колене. Самому же гипотетическому АГИ я более чем уверен кроме математического языка по сути то особо и не нужны никакие сложные образные символьные языки а вроде русского или китайского или французского. И вот с такими критериями тест на интеллект уже многие не сдадут.
karmael
у гипотетического аги будет свой просто гипотетический естественный язык, только и всего
karmael
у меня для вас есть одна гипотеза и разрозненные воспоминания о старых работах на эту тематику, которые где то там упоминались.
так вот, обрывочные воспоминания шепчут, что слово кружка нужно не только для того что бы предмет называть но в большей степени того, что бы в голове образовались абстракции связанные с предметом кружка, что позволяет в уме производить с этой абстракцией действия не прибегая собственно к действиям, ну там разбить кружку, налить в неё воды, опрокинуть или кому нибудь дать, выбрать контекст использования, и все это появляется только и благодаря тому, что кружка называется кружка. подумать о кружке.
гипотеза моя связана с тем как в целом в живой природе существует интеллект, а точней, наша способность к обучению. а она эта способность тесно противостоит инстинктам, сиречь заранее заложенным алгоритмам поведения, которые берут на себя управление, собственно минуя какую либо мыслительную деятельность. к чему это, к тому, что пока у нас на планете земля есть ровно один интеллект который можно смело называть интеллектом, и он человеческий, человек избавился от инстинктов на каком то этапе своего становления человеком, и рождается собственно с пустым мозгом и учится познавать мир. В этом не лёгком процессе ему помогают другие уже более опытные люди, которые обучают как собственно жить и что тут делать. А так как передать надо много, запахами и жестами уже не справиться, а уж когда пошли абстракции, то потребовался более широкий канал, - естественный язык.
karmael
А с Вашим подходом можно доказывать и что у камня есть интеллект, просто он каменный
yMad
Да,символьный язык это способ сжать те или иные данные полученные чувственным способом. работать в уме с изначальными несжатыми данными можно и без символьного языка - это образы. Но вот без символьного языка передать результаты такой работы другому индивиду будет очень проблематично, особенно если требуется передать быстро.
Согласен что меркой интеллекта выступает пока человек, точнее что человек задает эту мерку, но не факт что все эти мерки соответствуют реальному положению дел. Нужно искать критерии соответствия. Я вижу что такие критерии это сама "цель", и результат по её достижению/недостижению, правда в более глобальном контексте, нежели только в сугубо личном.
И да, считаю можно доказывать, но не ради камня, а ради интеллекта. Потому как лично я например вижу что шаблонные подходы в области познания сути интеллекта обломали копья и безперспективны. Слишком уж этот "интеллект" абстрактное порождение порожденное им же интеллектом, что б с ним можно было просто, по шаблонному.
jhoag
Их трудно назвать «людьми» не из-за языковой изоляции. Проблема в том, что они росли вне общества и буквально не располагают личностью человека, которую каждый из нас по умолчанию считает собой и по которой каждый меряет человечность чужую. Зато располагают личностью волка или собаки.
«Язык как база интеллекта» предполагает, что интеллект без языка невозможен. Но интеллект — это, грубо, способность решать формализованные задачи. Выковырять веткой букашку из дупла, изобразить трепыхание добычи и напасть, построить ракету — достичь конкретной цели в контексте среды. Естественный язык, как ветка или вибрация паутины, — инструмент манипуляции контекстом, только ещё позволяет человеку порождать абстракции и обсуждать их в комментариях на «Хабре».
karmael
связь между абстрактным образом в голове и реальным предметом/образом/чувством/опытом/ватэвер достигается наименованием
то, у чего нет названия, соотвественно не имеет абстракции в голове, и как следствие лежит вне области мыслимого
что бы вы там не пытались придумать, но не мыслящий интеллект, это опять про каменный интеллект камня
Radisto
У нас к сожалению есть пока только один образец интеллекта: на базе коллективных приматов, с культурой, распространяемой путем речи и визуальных образов. Поэтому непонятно, может ли быть интеллект другого типа, например, негуманоидный, на базе одиночного существа, соответственно без языка и культурой целиком в памяти одного индивида. Дети-маугли, как пример невозможности, откровенно плох, потому что люди - не одиночки от рождения. Это как доказывать, что двухколёсный мотоцикл невозможен, оторвав половину колес от авто, а потом сказать: ну вот видите, вообще не едет. Значит так в принципе нельзя