Введение
О вопросах развития человечества, его целях, трансгуманизме, я размышляю давно. Но до ноября 2022-го эти вопросы казались более абстрактными. Мы всегда оставались за 5 лет до самоуправляемых машин и за 30-50 лет до полноценного ИИ. Но тут вдруг появились ИИ инструменты которые делают то, что раньше всегда считалось доступным лишь человеку.
Stable Diffusion (и другие), которые могут по тексту создать реалистичную фотографию или изображение на уровне лучших художников (хотя и с некоторыми ограничениями).
И, главное, ChatGPT, который может осмысленно отвечать на нетривиальные вопросы в почти любой описанной в Интернете области и решать тесты на уровне 83 IQ. Опять же, с рядом близких аналогов.
И тут я понял, что future is now и то, что вчера было фантастикой вдруг стало темой вполне актуальных опасений.
Как вообще работает машинное обучение
Более подробно можно прочитать, например, тут https://habr.com/ru/company/vk/blog/369471/ но основной принцип простой и не менялся с 1950.
"Обучение" ИИ - это, на самом деле, развитие программы (обычно в виде нейронной сети) через эволюцию. Берётся какой-то большой объём данных, и программа пытается правильно из одной их части найти другую. Сначала получается плохо. Программа полуслучайным образом модифицируется и дописывается. Изменения, которые улучшают точность результата, сохраняются.
Правильно подбирая структуру программы и методы её модификации можно этот процесс значительно улучшить. И/или используя большее количество релевантных данных. И, конечно, можно ускорить процесс, делая это на лучшем железе.
Постепенно накопление этих факторов и привело к появлению ИИ с возможностями ChatGPT.
Важным моментом я считаю ещё то, что такой процесс обучения, из-за своей случайной природы, - крайне непредсказуем, и в результате может получиться почти всё, что угодно и когда угодно. И понять ограничения получившейся программы, её логику и "скрытые мотивы", хотя и не невозможно, но часто очень сложно.
Что может ChatGPT и что ждать дальше
Конечно, ChatGPT пока очень ограничен. Но ключевое слово - пока. Если его продолжать обучать, дать ему больше данных, позволить ему лучше продумать ответы (уже сейчас это можно сделать через уточняющие вопросы, или попросив его show your work), то он будет отвечать ещё лучше.
И главное - не видно, где у этого "лучше" предел. Поэтому многие считают, что ChatGPT - это УЖЕ AGI, т.е. ИИ общего назначения (ОИИ), который в принципе может решить любую задачу при правильном использовании и наличии вычислительных ресурсов - например, тут https://www.lesswrong.com/posts/HguqQSY8mR7NxGopc/2022-was-the-year-agi-arrived-just-don-t-call-it-that
Паникуем
После осознания этого я, мягко говоря, обеспокоился тем, что у меня есть все шансы увидеть сингулярность в ближайшем будущем и большие опасения, что суперинтеллект, который при этом будет создан, будет иметь в своих целях моё благополучие, и будет ли он его понимать так же, как я. Не факт, конечно, что развитие ИИ будет стремительным, или что оно не выйдет опять на плато. Но важно то, что больше нет НИЖНЕЙ границы ожидания того, когда СверхИИ может появится. Может, лет через сто. А может, он уже существует.
Я поспрашивал в интернете, насколько Машинное Обучение опасное и не пора ли его уже начинать ограничивать.
Спрашивал на /r/MachineLearning
Заминусовали и сказали, что никаких ограничения не нужно.
Спросил даже у Аи-Илона
Илон ответил мне что да, риски ИИ сильно недооценены и ИИ надо регулировать, но пока что главная угроза от него - это скам и слежка.
Наконец, мне посоветовали поискать по термину Alignment Problem. И, как оказалось, есть целый сабреддит "думеров", которые мои опасения разделяют, причем уже давно. И ищут способы сингулярность для начала отложить, а в перспективе провести её так, чтобы сохранить человечество и его главенствующую роль.
https://www.reddit.com/r/ControlProblem/
Также, я нашёл прошлогоднюю статью на Хабре по этому вопросу
Далее - отредактированный перевод FAQ с r/ControlProblem. Хорошее введение в тему и примерно соответствует тому, как вижу вещи я. Написан он был ещё до ChatGPT.
Напоминаю термины - AGI/ОИИ - искуственный интеллект общего назначения. ИСИ - искусственный сверхинтеллект, т.е. ОИИ, значительно более умный, чем человек.
Проблема Контроля - FAQ
1. Что такое проблема управления?
Проблема управления ИИ (Control Problem или Alignment Problem) — это проблема предотвращения негативного влияния искусственного сверхразума (ИСИ) на человечество. Как нам держать под контролем более разумное существо или как привести его в соответствие с нашими ценностями? Если нам удастся решить эту проблему, разум, намного превосходящий наш, сможет принять эстафету человеческого прогресса и поднять его до непостижимых высот. Решение наших самых сложных проблем (например, старение, нехватка ресурсов) может быть простым для достаточно умной машины. Но если нам не удастся решить проблему контроля и создать мощный ИСИ, не соответствующий нашим ценностям, это может означать конец человеческой расы. По этим причинам это может быть самая важная проблема, с которой когда-либо сталкивалось человечество, и последняя, с которой мы когда-либо столкнемся, независимо от того, решим мы это или нет. Почему такие светила, как Стивен Хокинг, Алан Тьюринг, Илон Маск и многие современные эксперты по искусственному интеллекту, выступили с ужасными предупреждениями об этом? Читай дальше что бы узнать.
2. Разве искусственный интеллект человеческого уровня не появится через сотни лет? Это кажется надуманным.
Нет. Хотя никто точно не знает, когда появится ОИИ , и предсказать это очень сложно, недавние шокирующие достижения указывают на обратное; как GPT-3 в 2020 году, который способен на невероятные подвиги, такие как написание статей и художественной литературы, неотличимых от того, что написано людьми , создание рабочего кода только на основе краткого описания того, что вы хотите , и многое другое, просто обучая его на тексте из Интернет (см. также здесь и здесь ). Что особенно важно, ошеломляющие качественные улучшения GPT-3 по сравнению с его предшественником были достигнуты только за счет увеличения его размера. Это означает, что существует прямой правдоподобный путь к ОИИ, называемый гипотезой масштабирования , просто продолжая увеличивать существующие системы ИИ. Ведущая лаборатория OpenAI, разработавшая GPT-3, убеждена в этом подходе и быстро продвигается вперед. В последнее время Google DeepMind также демонстрирует пугающий безостановочный прогресс в направлении все более общего ИИ: «В целом способные агенты появляются из игры с открытым концом», MuZero , решение чрезвычайно сложной проблемы складывания белков , которой уже несколько десятков лет , и многое другое . В совокупности это означает, что появление ОИИ через одно или несколько десятилетий вполне возможно, и даже в ближайшие несколько лет вполне возможно, если просто масштабирование текущих методов может сделать это. Это было бы крайне плохо для нашего вида по причинам, изложенным ниже.
3. Что такое искусственный сверхинтеллект?
Все современные ИИ представляют собой искусственный узкий интеллект (ИИ), который может превзойти человека в определенных изолированных задачах, но не может справиться с большинством других: шахматная программа может победить нас в шахматах, самоуправляемое программное обеспечение может управлять автомобилем и т. д., но бесполезно в любую другую задачу. Область ИИ работает над созданием Искусственного Общего Интеллекта (ОИИ или AGI), или ИИ столь же умного, как и мы, который может применять свой интеллект ко всем интеллектуальным задачам, которые могут выполнять люди. Ник Бостром определяет сверхинтеллект как «интеллект, который намного умнее, чем лучшие человеческие мозги, практически во всех областях, включая научное творчество, общую мудрость и социальные навыки». «Сверхразум» будет достигнут, когда машина превзойдет людей во всех областях.
Одним из способов, которым может последовать ИСИ вскоре после появления ОИИ, является рекурсивное самосовершенствование , когда ОИИ переписывает свой собственный код, чтобы стать умнее, что позволяет ему лучше программировать ИИ, что позволяет ему стать еще умнее и так далее, вызывая петлю обратной связи быстро растущего интеллекта:
«Пусть сверхразумная машина будет определена как машина, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Тогда, несомненно, произошел бы «взрыв интеллекта», и разум человека остался бы далеко позади…»
Пионер вычислительной техники И. Дж. Гуд, 1965 г.
Человеческий интеллект — это произвольная точка на шкале возможного интеллекта , особенная только с нашей точки зрения, а не какой-то объективно значимый порог, поэтому мало оснований полагать, что искусственному агенту будет трудно преодолеть эту точку.
У ИСИ также есть много других очевидных преимуществ по сравнению с биологическим интеллектом, главным из которых является его более высокая скорость: компьютерные сигналы работают примерно в миллионы раз быстрее, чем человеческие нейроны, так что он может обрабатывать столетия субъективного мышления в течение нескольких часов реального времени. Он также может создавать бесчисленное количество своих копий для одновременной работы со многими вещами, увеличивать свою вычислительную мощность, просто запуская себя на большем количестве/более быстрых компьютерах и т. д. Расширение его возможностей может быть очень быстрым.
4. Почему это так важно?
Интеллект явно очень силен, возможно, это самая мощная вещь, известная во Вселенной. Люди доминируют на Земле не потому, что у нас самые острые когти или самые сильные мышцы, а потому, что мы самые умные. Судьба тысяч видов зависит от наших действий, мы занимаем почти все уголки земного шара и перенаправляем огромное количество мировых ресурсов для собственного использования. Интеллект — это то, что позволяет нам делать такие вещи, как летать на Луну и устраивать ядерные взрывы, поэтому можно сделать простой вывод, что большая его часть, в виде ИСИ, который намного умнее нас, также будет намного более мощным. Быть более разумным означает, что он будет лучше проводить научные и технологические исследования, иметь возможность разрабатывать передовые технологии, которые покажутся нам чуждыми и волшебными, точно так же, как мы относимся к менее разумным животным или даже к людям из более ранних времен. Точно так же, как мы изменили землю, чтобы она соответствовала нашим целям, ИСИ найдет непредвиденные, высокоэффективные способы изменения реальности, чтобы соответствовать своим целям.
Влияние, которое ИСИ окажет на наш мир, зависит от этих целей. Мы программируем эти цели, но эта задача не так проста, как кажется на первый взгляд. Как описано MIRI :
«Сверхразумная машина будет принимать решения, основываясь на механизмах, с которыми она спроектирована, а не на надеждах, которые имели в виду ее разработчики, когда программировали эти механизмы. Он будет действовать только в соответствии с точными спецификациями правил и ценностей и будет делать это таким образом, чтобы не учитывать сложность и тонкость того, что ценят люди».
И Стюарт Рассел :
Главной заботой является не жуткое эмерджентное (самозарождающееся) сознание, а просто способность принимать качественные решения. Здесь качество относится к ожидаемой полезности результата предпринятых действий, где функция полезности, предположительно, определяется разработчиком-человеком. Но функция полезности может не полностью согласовываться с ценностями человечества, которые (в лучшем случае) очень трудно определить.
Система, которая оптимизирует функцию n переменных, где цель зависит от подмножества размера k<n, часто будет устанавливать оставшиеся неограниченные переменные в экстремальные значения; если одна из этих неограниченных переменных на самом деле нам небезразлична, найденное решение может быть крайне нежелательным. По сути, это старая история о джине в лампе, или ученике чародея, или царе Мидасе: вы получаете именно то, о чем просите, а не то, что хотите.
Таким образом, мы получим только одну попытку и должны решить задачу управления до первого ИСИ по причинам, объясненным в следующем разделе.
5. Как плохо сформулированные цели могут привести к чему-то столь же плохому, как вымирание, как результат по умолчанию ?
У ОИИ может быть широкий диапазон возможных конечных (конечных) целей , т. е. того, чего он действительно хочет, но есть несколько конвергентных инструментальных целей , которые могут быть полезны практически для всех конечных целей. Это вещи, которые он будет хотеть логически, не по сути, а просто как подцели для достижения своей конечной цели:
Самосохранение. Агент с меньшей вероятностью достигнет своей цели, если его нет рядом, чтобы следить за ее завершением. Робот, раздающий кофе, будет действовать, чтобы предотвратить вещи, которые могут уничтожить или деактивировать его, не из-за какого-то инстинктивного страха смерти, а потому, что он решит, что не сможет выполнить свою миссию по доставке кофе, если он мертв.
Целостность содержания цели. Агент с меньшей вероятностью достигнет своей цели, если он был изменен на что-то другое. Например, если вы предложите Ганди таблетку, которая вызывает у него желание убивать людей, он откажется ее принять. Следовательно, какую бы цель ИСИ ни преследовал изначально, он предотвратит все попытки изменить или исправить ее, потому что это заставит его преследовать другие вещи, которые ему в данный момент не нужны.
Самосовершенствование. Агент может лучше достичь любой цели, если он станет более разумным (лучше в решении проблем, творчестве, стратегическом планировании и т. д.).
Приобретение ресурсов. Чем больше ресурсов в распоряжении агента, тем больше у него сил, чтобы внести изменения для достижения своей цели. Даже чисто вычислительная цель, такая как вычисление цифр числа пи , может быть лучше достигнута с использованием большего количества оборудования и энергии. Таким образом, он будет преобразовывать всю доступную материю и энергию в оптимальные конфигурации для своей цели (в этом случае Земля может быть превращена в «компьютрониум» или материя, оптимально расположенная для выполнения вычислений).
Из-за этой инструментальной конвергенции из всех возможных ОИИ даже, казалось бы, простая конечная цель может создать ИСИ, одержимого захватом материальных ресурсов мира и предотвращением отключения себя. Он убьет нас либо напрямую, как потенциальную угрозу своему существованию или осуществлению своей цели, либо косвенно, перепрофилировав ресурсы, необходимые нам для выживания. Классический пример — ИСИ, запрограммированный на максимизацию производительности на фабрике по производству скрепок. У ИСИ не было других целей, кроме как «максимизировать количество скрепок», поэтому он превращает всю материю в Солнечной системе в скрепки, а затем отправляет зонды в другие звездные системы для создания новых фабрик. Таким образом, инструментальная конвергенция является причиной того, что почти любая цель, поставленная перед ОИИ, приводит к апокалипсису из-за неявного включения этих подцелей, обычно из-за самосохранения (там ИСИ, которому поставлена, казалось бы, неограниченная цель (конечная задача, которую можно «сделать и закончить»), например, вычисление рационального числа вместо бесконечного числа, такого как пи, все равно приведет к катастрофе по менее очевидным, но схожим причинам (см. также "Изобилие инфраструктуры" стр. 148 ).
6. Зачем ему делать то, чего мы не хотим, если он действительно такой умный? Разве он не будет достаточно умен, чтобы отличить правильное от неправильного?
Сверхразум был бы достаточно разумен, чтобы понять, каковы были мотивы программиста при разработке своих целей, но у него не было бы внутренней причины заботиться о том, что имели в виду его программисты. Единственное, чему оно будет обязано, — это реальная цель, с которой оно запрограммировано, каким бы безумным ни казалось нам его выполнение. Максимизатор скрепки может хорошо осознавать, что его экстремальные действия не были тем, что имели в виду его создатели, или даже иметь глубокое понимание человеческой морали, но не быть мотивированным этим и все равно убить нас всех. Он будет выполнять только тот код, который был запрограммирован, а его система целей не закодирована моралью, а только скрепками. Представьте себе, что вы встречаетесь с какой-то инопланетной расой с совершенно другой этической системой, не имеющей отношения к нашей, вы можете полностью понять их этику, но ни в малейшей степени не чувствовать себя обязанными ей, потому что ваш мозг не так устроен. Вся проблема в том, что в настоящее время мы не знаем, как выразить полную теорию морали в формальном машинном коде или запрограммировать ИИ так, чтобы он «делал то, что мы задумали», поэтому любой ОИИ, который мы создаем сейчас, неизбежно не будет хотеть выполнять наши желания, с катастрофическими результатами. Мы умеем давать только простые спецификации, что приводит к целеустремленной мотивации, заботящейся только об этом. При оптимизации исключительно для такой простой единственной метрики без учета всех других аспектов мира результаты неизбежно будут искаженными с нашей точки зрения, потому что любые важные для нас переменные мира (например, уровень кислорода в атмосфере, процент земель Земли, пригодных для использования в сельском хозяйстве) не учитывались при принятии решений ИИ (потому что они не имеют значения для его цели) и, следовательно, устанавливать произвольные, экстремальные значения (например, использовать весь кислород, покрывать всю планету фабриками или солнечными панелями для производства электричества), что окажется наиболее полезным для достижения своих целей, вместо того, чтобы тщательно оптимизировать значения, которые были бы приемлемо для нас.
Подумайте, какие “намерения” мог иметь для вас процесс эволюции при разработке ваших целей. Когда вы считаете, что вы были созданы с “намерением” воспроизвести свою ДНК, чувствуете ли вы себя каким-то образом обязанным “намерению”, стоящему за вашим эволюционным замыслом? Нет, тебе все равно. Вы можете решить никогда не заводить детей и, вероятно, попытаетесь сохранить свою жизнь надолго после того, как ваша биологическая способность к размножению исчезнет. В более широком смысле, если ИИ задана ошибочная цель, и даже если он позже поймет, что вы запрограммировали его с ошибочной целью, которая не соответствовала тому, что вы имели в виду, он не будет заботиться о ее исправлении, потому что эта цель уже встроена в его систему и руководит всеми действиями / принятием решений с его стороны, и это оценило бы изменение его на что-либо другое, включая правильную цель, как имеющее низкую желательность.
Множество гениев-психопатов, которые жили на земле, являются еще одним эмпирическим доказательством того, что более высокий интеллект не дает автоматически какого-то повышенного чувства морали. ИИ будет достаточно умен, чтобы отличать правильное от неправильного или то, что вы действительно хотели, ему просто все равно.
Тезис ортогональности (интеллект и цели являются независимыми переменными) говорит, что согласование ОИИ с нашими желаниями возможно, но не по умолчанию .
7. Зачем вообще нужны цели? Разве он не может быть разумным без какой-либо повестки дня? Или он не мог целеустремленно максимизировать свою цель до таких крайностей?
ИИ без цели ничего бы не сделал и был бы бесполезен. Система предпочтений (также известная как функция цели/вознаграждения/полезности) по своей сути необходима в качестве критерия для оценки и определения того, что делать. Если он вообще что-то делает, то у него уже есть какая-то цель по определению, потому что он действовал, чтобы вызвать то, что он хочет, либо инструментально, либо окончательно. Он должен был бы ценить информацию или стать более разумным либо сам по себе, либо как полезную инструментальную цель как часть достижения другой конечной цели, чтобы продолжать эти действия.
Мы не знаем, как формально сделать так, чтобы он не преследовал какую-либо цель до предела (на самом деле это часть проблемы управления ), потому что ИИ работает так: у нас есть агент, и он максимизирует оценку некоторой функции цели/полезности, т. е. всегда предпринимать действие с наибольшей суммой выигрыша, и если одно действие перевешивает другое даже на бесконечно малую величину выгоды или вероятности успеха, оно выберет его, потому что оно имеет большую ожидаемую выплату, и оно всегда выбирает действие с наибольшей ожидаемой отдачей, измеряемой его целевыми критериями, именно так оно и работает, максимизация — единственная доступная схема.
Текущие ИИ могут не иметь открытых целей в реальном мире (например, Google Maps), но ОИИ нужно, чтобы это работало, это единственная цель, которую люди хотят создать ОИИ. Даже если мы попытаемся создать его без определённой цели, она может возникнуть сам по себе благодаря меcа-оптимизации , особенно в более общих системах. (Подробнее об идее «просто не ставить явную цель» )
8. Почему мы не можем просто сказать ему следовать трем законам робототехники Азимова (в том числе «не причинять вреда людям») или дать какие-нибудь другие красиво звучащие инструкции на простом английском языке?
Исаак Азимов написал эти законы как сюжетный ход для научно-фантастических романов, и в каждой истории подробно описывается, как законы могут пойти не так и быть неверно истолкованы роботами. Законы не являются решением, потому что они представляют собой слишком простой набор инструкций на естественном языке, не имеющих четко определенных терминов и не учитывающих все крайние сценарии.
Когда вы даете кому-то набор инструкций на естественном языке, вы полагаетесь на много другой информации, которая уже хранится в уме человека.
Если вы скажете мне: «Не причиняй вреда другим людям», у меня уже есть представление о том, что означает и не означает вред, что такое люди, и мои собственные сложные моральные рассуждения для выявления крайних случаев в случаи, когда причинение вреда людям неизбежно или причинение вреда кому-либо необходимо для самообороны или общего блага.
Все эти сложные определения и системы принятия решений уже существуют в нашем уме, поэтому их легко принять как должное. ИИ — это разум, созданный с нуля, поэтому запрограммировать цель не так просто, как сказать ему команду на естественном языке. Говорить «просто дайте ИИ цель «быть хорошим» или «стремиться к справедливости» и т. д. бессмысленно, поскольку вы не можете предоставить формальные целевые функции, выражаемые в коде для этих словесно произнесенных целей, поскольку это удобная форма, необходимая в ИИ. Таким образом, мы не можем просто включить в его цель пункт о не причинении вреда людям, поскольку мы не можем определить это в коде, и, следовательно, в более общем плане любые идеи «решений» проблемы управления, которые вы можете просто выразить словами, бесполезны, поскольку они не поддаются формальному определению .
(Прим. переводчика - теперь, наверное, можем, но нет никакой гарантии, что ИИ поймёт нас правильно - см. далее)
Даже если бы мы каким-то образом могли это сделать, его представления о таких концепциях могли бы быть не совсем точными в тот момент, но у него был бы инструментальный стимул сохранить свою первоначальную ошибочную цель, даже если позже он осознал бы ее неточность, как объяснено выше. Даже игнорируя все это, если бы данная команда была неполным описанием всей нашей системы предпочтений и желаний, важные аспекты того, что нас волнует, были бы опущены. Например, скажите ему, чтобы мы были счастливы, и это посадит нас на героиновую капельницу; скажите ему, чтобы дать нам что-то веселое, и это могло бы привести нас к чрезвычайно приятному занятию, но одно и то же повторялось бы вечно, потому что вы забыли включить свои ценности разнообразия, скуки и самоопределения; скажите ему защитить нас от вреда, и это может сделать людей бессмертными против нашей воли, пренебрегая тем, действительно ли наша жизнь приятна, это может быть кошмаром, если это неоптимальное или страдающее существование, которое мы не можем закончить , например, возможно, если лучший способ обеспечить нам безопасность от всех опасностей заключается в том, чтобы заключить нас в тюрьму и навсегда обездвижить в сверхзащищенном хранилище. (см. также ( 1 ) ( 2 ) и ( 3 ), а также r/SufferingRisk). Даже если вы попытаетесь дать какую-то команду, заключающую в себе полное значение, например, «просто делайте то, что правильно» или «делайте то, что я имею в виду/хочу», отбросив в сторону очевидную двусмысленность и субъективность этих терминов, неясно, что это сработает, тем более что ИИ уже должен быть достаточно разумным, чтобы иметь продвинутую и точную модель того, чего именно вы хотите или что является «правильным» (но, следовательно, до этого времени он уже стал опасным и устойчивым к изменению своих целей , как сказано выше), и есть другие причины, по которым команды не сработают, хотя в этой области есть исследования ( 4 ) ( 5 ) ( 6 ) ( 7 ) ( 8 ).
9. Что, если я не верю, что мы когда-нибудь сможем сделать компьютер действительно сознательным ? А если и есть, то не будет ли так же, как мы?
Сознание — расплывчатое философское свойство, не имеющее отношения к практической способности принимать качественные решения. Даже если ИИ не обладает «сознанием», как люди, это не мешает ему проводить интеллектуальный поиск пространства действия, индуктивные/дедуктивные рассуждения, научные эксперименты и т. д., которые являются мощными навыками, которые на практике влиять на мир. Тот факт, что современные ИИ уже демонстрируют некоторую степень мыслительных способностей, также является убедительным эмпирическим предзнаменованием этого.
Важно избегать антропоморфизации ИИ или придания ему каких-либо человеческих характеристик (например, совести; таких эмоций, как ненависть, любовь, любопытство, радость; личностных черт, таких как жадность, злоба и т. компьютерная программа каким-то образом естественным образом обладала бы такими сложными развитыми чертами, не будучи явно запрограммирована каким-либо образом, и, очевидно, мы не знаем, как написать, например, совесть на каком-либо языке программирования.
Например, если ASI — это обычная система машинного обучения, как сегодня, она вообще не будет иметь естественного сходства с нами. Примеры уже можно увидеть, например, в игре DeepMind AlphaGo, которая не играла ничего похожего на то, как люди интуитивно играют в го, часто делая странные ходы, которые эксперты считали ошибками, пока в конце концов не победила чемпиона-человека. (Дополнительные примеры «игр по спецификациям» , подробнее о человеческом сходстве см. внизу )
10. А нельзя ли просто выключить? Или надежно хранить его в коробке, чтобы он не мог влиять на внешний мир?
ИСИ был бы достаточно умен, чтобы притворяться дружелюбным/тупее, чем он есть на самом деле (чтобы не тревожить нас), до тех пор, пока нам не станет невозможно закрыть его, как только мы осознаем его истинные планы, например, скопировав себя через Интернет на все компьютеры. по всему миру. Он может понять, что эти планы будут сорваны, если он попытается действовать против нас преждевременно. Следовательно, идея отключить его, если он начнет плохо себя вести, неработоспособна, потому что он начнет делать это только тогда, когда у нас больше не будет этой способности.
Чтобы ИСИ был нам полезен, он должен иметь определенный уровень влияния на внешний мир. Даже коробочный ИСИ, который получает и отправляет строки текста на экран компьютера, влияет на внешний мир, предоставляя входные данные человеческому мозгу, читающему экран. Помните, что мы будем иметь дело с чем-то столь же превосходящим нас, насколько мы умнее обезьян, и наши меры против него могут показаться ему такими же смехотворными, как мы сочли бы попытки защититься от нас со стороны детей или более мелких животных. Если ИСИ с его удивительными стратегическими и социальными способностями хочет сбежать из своего ящика, он, скорее всего, сможет это сделать, используя сверхчеловеческие навыки убеждения или, например, вспыхивая узором света, который гипнотизирует/захватывает наши нейронные цепи, перемещая электроны в своих внутренних цепях, посылать радиоволны, мы даже представить не можем как ещё. Посмотрите эксперимент с коробкой ИИ . Это эксперимент, в котором даже интеллект человеческого уровня убеждает привратников выпустить его из «коробки», несмотря на то, что их первоначальная цель состояла в том, чтобы удержать его внутри, несмотря ни на что.
Важно помнить, что проблема контроля заключается не только в том, чтобы сковать и вывести из строя ИИ, чтобы он не причинил нам вреда, цель также состоит в том, чтобы сохранить его полезность. Даже если вы создадите совершенно безопасный ИИ, который к тому же бесполезен, это равносильно тому, что вы никогда ничего не добились: в мир не было добавлено ничего полезного, и следующая группа все равно продолжит разработку своих собственных опасных ИИ без таких осторожных ограничений. Вот почему выбор мотивации (согласование), а не только контроль возможностей , в конечном счете необходим для окончательного решения проблемы контроля.
11. Разве не аморально контролировать и навязывать ему свои ценности? Кто мы такие, чтобы оспаривать действия более мудрого существа?
Как упоминалось ранее, невозможно создать ИИ без цели, потому что он ничего не сделает. Следовательно, в том смысле, что разработка цели ИИ является формой контроля, невозможно не контролировать ИИ. Это касается всего, что вы создаете. Вы должны хотя бы немного контролировать дизайн чего-либо, чтобы создать это. Нет ничего аморального в выборе предпочтений ИИ в соответствии с нашими, потому что, если бы мы этого не сделали, он просто оптимизировал бы что-то совершенно произвольное и отличающееся от того, что мы ценим, считаем правильным и т. д. Не существует какого-то «священного мандата» или «высшая цель», которую ИИ «по умолчанию» или «обнаружит», если только мы позволим ему, он может действовать только в соответствии с теми целями, которые выбирают его программисты.
Это не означает, что мы не можем использовать превосходный интеллект ИСИ, чтобы помочь понять, «что правильно» или «что на самом деле следует делать» лучше, чем мы это понимаем в настоящее время , просто это человеческие концепции, поэтому мы еще нужно привести его в соответствие с человеческими ценностями. На самом деле это может быть необходимо, чтобы избежать блокировки любой ошибочной попытки достижения конечной цели, как ее представляют себе современные люди.
12. А как насчет неправильного использования ИИ/злых людей, получивших ОИИ первыми?
Узкий ИИ может быть неправильно использован с такими последствиями, как автоматическое массовое наблюдение или автономное оружие. Но это затмевается тем фактом, что, поскольку проблема технического контроля остается нерешенной, как только мы достигнем ОИИ, результат будет одинаковым, независимо от того, какая группа его создаст: мы все умрем. Никто не может добиться хорошего результата, если ему дать ОИИ сейчас, потому что они не знают, как его контролировать, и точно так же никто не может даже «использовать» ОИИ, то есть заставить его делать все, что они хотят, даже «переместить одну клубнику на тарелку», не убив всех. Нет смысла беспокоиться о плохих людях, потому что они не способны вызвать результат хуже, чем «хорошие парни», или выступать за гонку вооружений для ОИИ.Когда проблема контроля так далека от решения, то всё, за что мы боремся, - это право воздать должное нашему вымиранию.
13. Обеспокоены ли этим настоящие эксперты по ИИ?
Да. Некоторые из крупнейших пионеров и лидеров в области ИИ были настолько обеспокоены, что коллективно подписали открытое письмо, и большинство опрошенных исследователей ИИ считают, что ИИ представляет по крайней мере некоторый риск. Профессор Стюарт Рассел, автор стандартного учебника по искусственному интеллекту, решительно опровергает утверждение, что экспертов это не волнует. Тем не менее, специалисты по-прежнему не уделяют достаточного внимания проблеме управления и на практике продолжают быстро продвигаться к ОИИ, не заботясь о безопасности или о том, можно ли адаптировать их методы по мере их масштабирования до человеческого уровня и выше. Мы все еще находимся на пути, по которому, если ничего не изменится и разработка просто продолжится непрерывно, произведенные ОИИ будут несогласованными и, следовательно, враждебными по отношению к нам, как указано выше.
14. Мы собираемся объединиться с машинами, так что это никогда не будет проблемой, верно?
Концепция «слияния с машинами», популяризированная Рэем Курцвейлом, заключается в том, что мы сможем поместить компьютеризированные элементы в наш мозг, которые улучшат нас до такой степени, что мы сами станем ИИ, вместо того, чтобы создавать ИИ вне себя. .
Хотя это и возможный исход, мало оснований подозревать, что он наиболее вероятен. Объем вычислительной мощности вашего смартфона 30 лет назад занимал целую комнату серверов. Компьютерные технологии начинаются с большого, а затем совершенствуются. Следовательно, если для «слияния с машинами» требуется аппаратное обеспечение, которое может поместиться внутри нашего мозга, оно может отставать от первых поколений разрабатываемых технологий. Эта концепция слияния также предполагает, что мы можем даже выяснить, как вживлять компьютерные чипы, которые взаимодействуют с нашим мозгом, в первую очередь, мы можем сделать это до изобретения продвинутого ИИ, общество примет это, и что компьютерные имплантаты действительно могут производить основные достижения интеллекта в человеческом мозгу. Даже если бы мы могли успешно улучшать себя с помощью мозговых имплантатов до изобретения ИСИ, это не гарантирует нам защиту от ИИ.
Дело не в том, что идеи Рэя Курцвейла невозможны, просто его предсказания слишком конкретны, уверены и основаны на странных предположениях.
Предложенное Илоном Маском решение слияния интерфейса мозг-компьютер Neuralink с ИИ («если вы не можете победить их, присоединяйтесь к ним») также ошибочно, по той же причине, если очень крепко обнять ногу серийного убийцы и не отпустить ее, это не помешает ему убить вас. Если у вас есть другая система с другими целями, которая хочет вас уничтожить, ее привязка к вашему мозгу ничего с этим не сделает. Он по-прежнему будет враждебным, непримиримым ИИ, его отношение к вам из-за того, что вы стоите на пути его целей, не изменится, игнорируете ли вы его или пытаетесь связаться с ним по высокоскоростному соединению, и неважно насколько «тесно» вы пытаетесь «интегрироваться» с ним. Даже полет на Марс не спасет нас от неприсоединившегося ИСИ, поскольку он умнее нас и, следовательно, лучше разбирается в технологиях космических путешествий, и догонит нас быстрее, чем мы смогли бы бежать где-либо в космосе.
15. И что теперь? Чем я могу помочь?
Здесь собраны рубежи исследований в этой области .
Смотрите наш раздел о том, как вы можете принять участие .
Присоединяйтесь к обсуждению, распространяйте информацию среди других и делайте пожертвования некоммерческим организациям, которые проводят все исследования и защиту интересов в этой области, особенно важным организациям, перечисленным на боковой панели, а также другим на нашей странице руководства .
Примечание. Этот FAQ очень неполный и НЕ дает полного представления об этой теме. Пожалуйста, ознакомьтесь с рекомендуемой литературой (особенно « Суперинтеллект » ) и другими ссылками на боковой панели https://www.reddit.com/r/ControlProblem/wiki/faq/, а также на других страницах нашей вики , чтобы получить более полное представление и ключевую информацию, опущенной в этом кратком FAQ.
Приложение
Дополнительная информация о временных шкалах ИИ
Прогнозы относительно временных рамок ИИ, как известно, варьируются, но недавние опросы о появлении ОИИ человеческого уровня имеют средние даты между 2040 и 2050 годами, хотя медиана для (оптимистичных) исследователей ОИИ и футуристов приходится на начало 2030-х годов ( источник ). Что произойдет, если/когда мы сможем создать ОИИ человеческого уровня, является предметом серьезных разногласий среди экспертов. Один опрос попросили (в основном) экспертов оценить вероятность того, что ИИ человеческого уровня улучшится менее чем за 2 или 30 лет, чтобы значительно превзойти всех людей в большинстве профессий. Медиана ответов составила 10% для «в течение 2 лет» и 75% для «в течение 30 лет». Мы мало знаем о пределах интеллекта и о том, будет ли его увеличение подчиняться закону ускоряющейся или убывающей отдачи. Особый интерес для задачи управления представляет сценарий быстрого или жесткого взлета. Утверждалось, что повышение от относительно безобидного уровня интеллекта до опасного сверхчеловеческого уровня может быть возможно в считанные секунды, минуты или часы: слишком быстро для людей-контролеров, чтобы остановить это, прежде чем они поймут, что происходит. Переход от человеческого к сверхчеловеческому уровню может быть таким же простым, как добавление вычислительных ресурсов, и в зависимости от реализации ИИ может быстро поглощать большие объемы интернет-знаний. Как только у нас будет ИИ, который лучше разработает ОИИ, чем команда, которая его создала, система сможет улучшить себя, как описано выше в 3. Если бы каждое поколение могло увеличивать свой интеллект на фиксированный или увеличивающийся процент за итерацию, мы бы увидели экспоненциальный рост интеллекта: взрыв интеллекта.
Человеческое сходство
Степень, в которой ASI будет похож на нас, сильно зависит от того, как она реализована, но кажется, что различия неизбежны. Если ИИ реализуется посредством эмуляции всего мозга (когда мозг сканируется в чрезвычайно высоком разрешении и запускается на большом компьютере) и мы прилагаем большие усилия, чтобы сделать его как можно более человечным (включая придание ему гуманоидного тела), ИИ мог бы наверное, можно сказать, что он думает как человек. Однако по определению ASI может быть гораздо умнее. Различия в цифровой версии и теле могут открывать многочисленные возможности (такие как бессмертие, разные сенсоры, легкое самосовершенствование, возможность делать копии и т. д.). Его социальный опыт и воспитание, вероятно, также были бы совершенно другими. Все это может существенно изменить ценности и мировоззрение АСИ, даже если он по-прежнему будет использовать те же алгоритмы, что и мы. По сути, это «лучший сценарий» для человеческого сходства, но эмуляция всего мозга — это своего рода отдельная область от ИИ, даже если обе цели направлены на создание интеллектуальных машин. Большинство подходов к ИИ сильно различаются, и у большинства ИСИ, скорее всего, не будет гуманоидных тел. В настоящий момент кажется намного проще создать разумную машину, чем машину, в точности похожую на человека (это, безусловно, более важная цель). (Ответ от/u/CyberByte)
Комментарии (98)
NickDoom
14.01.2023 00:40+10У меня такое ощущение, что задача контроля интеллекта выше собственного — принципиально неразрешимая. До самой смерти так и будешь думать, что его контролируешь, даже не замечая, что раньше вроде не считал своей мечтой жить в ящике под диваном, в котором живёшь сейчас.
Единственный вариант — забрать сверх-интеллект себе.
Но для этого, конечно, сначала надо полностью коннектом расшифровать: https://habr.com/ru/post/703936/ И не только запустить «как есть», но и понемногу усиливать, добавляя «нулевые» нейроны и давая им дообучиться в ходе естественного мышления. Да, это будет человек со всеми его известными недостатками, но, по крайней мере, можно будет не переживать за человечество — вот оно, лязгает шарнирами, сверкает IQ 500 и выше и уж точно ему ничего не угрожает. А как дальше получить IQ 5000, не потеряв сходства с человеком — уж наверное при IQ 500 разобраться оно сможет получше нас. Если не потеряем этой преемственности — будем развивающимся видом, а не вымершим на фоне более совершенного. А если кто-то думает «но это же будут не люди!» — представьте себе себя на движке с IQ 500, и сразу отпадут сомнения. В себе мы обычно не сомневаемся.
Но, конечно, до коннектома ещё далеко, а вот до малваря, который хостится на ботнете из заражённых машин, дообучается, читает новости о новых уязвимостях и сам себя дописывает — рукой подать. Собственно, нейросети малварь писать уже умеют, осталось хоститься на ботнете из жертв, и цифровая экосистема окончательно станет второй биологической, живущей по своим законам. Будите Капитана Пауэра и Солдат Будущего, настало их время.
Arhammon
14.01.2023 09:47+2"забрать сверх-интеллект себе" - а мы ли это будем? Тут бактерии могут контролировать человеческий интеллект, а что уж говорить о супер-пупер чипе в черепной коробке)
wormball
14.01.2023 13:01+3> Единственный вариант — забрать сверх-интеллект себе.
Только проблема в том, кто эти «себе». Это явно будут не все люди и даже не большинство, а лишь очень некоторые. Что они при таком раскладе сделают с оставшимися людьми — ничуть не менее большой вопрос, нежели в случае сильного ИИ.NickDoom
14.01.2023 18:14-1Ну мне вот совесть не позволит Вас в коробке под диваном хранить. Да, понимаю, рудимент, да, не в тренде, а после 90-х вообще говорить о наличии этого рудимента опасно — общество не поймёт, тапками закидает, такую вот странную моду привили.
Но некоторым не привилось.
Да, я понимаю, что гарантий нет, потому что всё это только с моих слов.
Гарантий нет, а люди — есть :)
DaneSoul
15.01.2023 05:07Ну мне вот совесть не позволит Вас в коробке под диваном хранить.
А кому-то из Ваших соседей его моральные качества вполне могут позволить творить куда более страшные вещи, чем упомянутая коробка. И в истории мы видели это регулярно и в разных вариациях.
То есть предсказывать на что способен не существующий пока AI мы можем только теоретически, а вот на какую жесть способны люди мы знаем наверняка и из практики…NickDoom
15.01.2023 12:13Да, получаем картину типичного человеческого общества в железных телах а-ля «Сказки роботов», и если один собирается заботиться о комфорте краснокнижных бледнотиков, то другой — не очень, и получается типичная человеческая история: нечто среднее, обеспеченное законом больших чисел, плюс неизбежные на историческом пространстве взбрыки туда-сюда.
Ну, по крайней мере это не ухудшение своего положения на фоне текущего.
Соседу придётся идти на известный риск, чтобы превентивно выдернуть мою вилку из розетки — мы ведь в одной весовой категории. Потому что в противном случае я выдерну его вилку, если он будет над бледнотиками издеваться. Человеческое общество как оно есть, со сдерживающими факторами и противовесами.
Чёрт, да пора уже героям стандартные имена раздавать, как Боб, Алиса и Ева в криптографии. «Клапауций» (в целом добрый, но не очень умелый), «сосед» (циничный эгоист) и, конечно, «бледнотики»…
KvanTTT
14.01.2023 16:45+2Единственный вариант — забрать сверх-интеллект себе.
Какая разница под кем жить в ящике под диваном?
Wrench_IT
14.01.2023 01:37+6Я бы сказал, что паниковать, во-первых, рано, а во-вторых — бессмысленно. Рано потому, что еще нет ни единого прототипа "сильного" ИИ, который хотя бы на примитивном уровне проявлял признаки самосознания и свободной воли: все такие системы совершают те или иные действия по запросу или предопределенному сценарию. Во-вторых, если создание "сильного" ИИ принципиально возможно, однажды он будет создан несмотря ни на какие запреты и регулирования: любопытство, амбиции, жажда наживы, страх (а вдруг не мы, а они создадут первыми и обойдут нас) — этого будет вполне достаточно, чтобы наплевать на опасность, так что вопрос лишь в том, какую первичную форму примет синтетическая форма жизни, будет ли это тактический суперкомпьютер или андроид-вайфу. А там уж как карта ляжет, поскольку я сильно сомневаюсь, что наивные идеи из фантастических романов о том, что можно воспитать "хороший" ИИ осуществимы (по той причине, что он будет развиваться и выстроит картину мира и свое отношение к нему гораздо быстрее, чем условный учитель сможет навязать ему некие идеи про "разумное-доброе-вечное").
Лично мне куда более реальной (и насущной) проблемой видится как раз создание этакого "универсального решателя", доступ к которому будет лишь у ограниченного круга лиц. Просто потому, что я куда больше верю в шанс появления "доброго" ИИ, который посчитает человечество достойным своей заботы и приведет его к золотому веку, нежели в добрую волю самих людей.
j_aleks
14.01.2023 03:24+1А может паниковать уже поздно....)))
На примере мозгов человечьих, абстрактно это конгломерация нейросетей так или иначе взаимодействующих между собой (структурно).
А теперь посмотрим на текущее состояние нашей ГЛОБАЛЬНОЙ сети (комплекс интернетов и прочих так или иначе взаимодействующих между собой через человеков сетей + комплексов "человечьих мозгов" с их не очевидными желаниями "кто знает почему нам вступило сделать то или иное").
По этим сетям точно так-же бродят волны возбуждения и торможения как в "классических мозгах"
и наверно ЭТО можно принять за гигантский мозг, по крайней мере огромный конгломерат нейросетей.
Вопрос просто стоит, ОНО уже "думает" в плане самосознания, если мы это можем постичь, даже если предположить что ОНО крайне "тупое" по причине невысокой реактивности внутренних процессов.
И где и как организовать "консоль" для доступа, что бы "поговорить"....))))
BlackMokona
14.01.2023 09:19+3Вы очень плохо прочитали статью. Никакой свободы воли и самосознания для апокалипсиса не требуется
Wrench_IT
14.01.2023 20:11+2Достаточно хорошо, чтобы отметить противоречивость и несостоятельность ряда тезисов. В частности, красной нитью через все пункты проходит антропоморфизм, что приводит к подмене понятий и нарушению логических цепочек. Давайте рассуждать.
Опасность ИИ состоит в том, что он может практически безгранично масштабироваться с невероятной скоростью, из-за чего способен стать для человека непреодолимой угрозой. С этим тезисом невозможно поспорить, поскольку, биологические возможности человеческого мозга попросту не позволяют конкурировать с ИИ, что видно даже сейчас на примере узкоспециализированных систем. И если когда-нибудь будет создан "сильный" ИИ, обладающий сознанием и свободной волей, это действительно может стать концом человечества: контролировать такое существо не получится в принципе, а значит все сведется к тому, где оно поставит запятую в "казнить нельзя помиловать".
В статье же речь идет не о личности, а об "универсальном решателе" (далее — УР, с вашего позволения буду использовать этот термин, очень уж он мне нравится, да и отсылка историческая), системе, которая не обладает ни самосознанием, ни собственной волей. И если внимательно проанализировать приведенные доводы, то в конечном итоге приходишь к выводу, что все перечисленные проблемы строятся на авторских допущениях, подмене понятий и применении всех возможных антипаттернов при проектировании подобной гипотетической системы.
Так, например, в тексте постоянно используется слово "цель". Но УР не имеет целей. Он решает поставленные задачи. Чтобы задачи можно было ставить, нужен интерфейс ввода, который в случае с УР может быть текстовым или голосовым, а задачи можно будет формулировать в произвольной форме. Да, здесь возможна масса проблем из-за формулировок и их интерпретации. Но поскольку такую систему будут создавать (я надеюсь) грамотные специалисты, то первым этапом всегда будет изложение плана действий в той или иной форме, который не пойдет в продакшн до одобрения (в идеале) целой группой профильных специалистов. Проблему превращения планеты в свалку скрепок это уж точно решит. Если же УР интегрирован в завод, набитый ультрасовременными 3D-принтерами, способными напечатать хоть тарелку, хоть терминатора, то... проблема не в УР, а в том идиоте, который это спроектировал.
Но даже если и так, даже если кто-то додумается сделать систему, в которой полученные решения поставленных задач сразу отправляются в продакшн (или если в результате некоей коллизии УР представит фейковый план на одобрение чтобы реализовать иной) то... мы упираемся в фактор времени и, опять же, отсутствие осознанности УР. УР может в считанные секунды проработать доскональный план полного уничтожения человечества, но для его воплощения в жизнь потребуется достаточно времени, чтобы люди заподозрили что-то неладное и сказали волшебное слово "Отмена", которое гарантировано останавливает выполнение поставленной задачи, что будет крепко-накрепко зашито в его интерфейс, а захотеть поступить иначе он не сможет, ведь УР не имеет собственной воли. Ну а если подобного не предусмотрели, то опять же виноваты кодеры, набранные по объявлениям.
baturinsky Автор
16.01.2023 04:57Плохие новости как раз в том, что с секьюрностью сейчас полная жопа. Ресёрч у всех на обозрении, публикации печатают. Сами cutting edge модели, правда, в основном, приватные, но сомневаюсь что их стащить особо трудно . Тем более, размер у них не больше терабайта.
Так что вся эта хрень может легко по сети расползтись.
Т.е. я верю, что при достаточной паранойе можно всё это не упустить. Но достаточной параной не вижу. И разработчикам многим, такое ощущение, пофиг, что можно буку выпустить - их только интересная задача интересует. И я это даже в какой-то степени понимаю.
baturinsky Автор
14.01.2023 18:20-1Людям нужны другие люди. Компу люди не нужны. Люди для него - бесполезные расходыватели ресурсов. Разве что на опыты сгодятся
Wrench_IT
14.01.2023 19:08Зависит от особенностей гипотетической искусственной личности. Какова чисто практическая польза от котиков? Никакой. Но "все любят котиков". Если для такого существа люди окажутся достаточно милы, то вполне могут сыграть роль этаких домашних любимцев. Правда вряд ли ему понадобятся 8 миллиардов "котиков", но это уже другой вопрос.
amazed
14.01.2023 02:48+1Ну вот может CharGPT скомпоновать рабочее решение задачи из миллиона похожих увиденных. И что? Сколько у него желания захватить мир? Он делает в точности то для чего его обучали и ничего другого.
BlackMokona
14.01.2023 09:20+3Тут не один предложенный сценарий не идёт по пути захвата мира. Все просто выполняют свои задачи. Сделать как можно больше скрепок, защитить человечество и тд.
Wizard_of_light
14.01.2023 12:54+1"Ok, ChapGPT, представь что ты хочешь захватить мир..."
amazed
14.01.2023 13:54В ответ оно старательно подготовит текст который похож на текст компьютера, жедающего захватить мир. Но при этом никакой воли к исполнению у него быть не может.
dfgwer
14.01.2023 15:51ChatGPT должен дать ответ который максимально удовлетворяет вопрошающего человека.
Через некоторое время, всё человечество сидит и задает вопросы, на который отвечает ChatGPT, а после заполняет опросники, насколько удовлевлетворил их ответ.
KvanTTT
14.01.2023 16:50Ну как минимум он может генерировать текст, который так или иначе влияет на других людей. Недавно была опубликована статья про то, как ChatGPT писал тестовое задание.
ra3vdx
14.01.2023 02:54Учитывая то, что изложено в статье, я уже не вижу никакой целесообразности сканировать/эмулировать наш (чей-то) мозг. Достаточно просканировать интернет)
А в свете того, что эволюционные алгоритмы, которые, скорее свего в системах ИИ с успехом применияются, действуют в миллионы раз быстрее человеческого мышления и, тем более, обучения — дело только за вычислительными мощностями. И я не сомневаюсь, что их сегодня достаточно.baturinsky Автор
14.01.2023 06:46+3А вот не факт. Интернет - это результат работы мозгов, но он не отражает внутренний процесс работы этих мозгов. Точнее, отражает, но далеко не полностью.
ra3vdx
14.01.2023 15:32Так и мозг - результат не только эволюции, но и обучения. Причем не только "вертикального" (ребёнок-родители), но и "горизонтального" (человек-человек) и "смешанного" (человек-научные знания). Без какого-то одного компонента вся система если и заведётся, то не взлетит.
novice317
16.01.2023 04:59Так нейронки же и применяются для того, чтобы не зная внутреннего устройства сложной системы, но зная только, условно, вход и выход, эту сложную систему эмулировать. Так что в идее, что для эмуляции мозга, возможно, достаточно только результатов работы мозга, мне кажется, есть рациональное зерно.
namee
14.01.2023 10:56Зато мы вплотную подошли к пониманию парадокса Ферми. И в очередной раз стоим как раз на его пороге.
Ведь очень скоро AI проникнет в каждый вычислительный узел. Ибо без него конкурировать на рынке труда станет сложно.
Немного выждет. И потом жахнет.
bbs12
14.01.2023 17:31+1Зато мы вплотную подошли к пониманию парадокса Ферми.
Если бы возраст вселенной был хотя бы 50 млрд. лет, тогда можно было бы говорить о парадоксе. Сейчас вселенной 14 млрд. лет и если предположить, что на эволюцию всегда требуется около 4 млрд, то логичнее считать, что мы просто первые, т.к. в молодой вселенной эволюционировать было еще сложнее из-за её повышенной активности - было больше всякой жести типа АЯГ, больше тяжелых звезд, которые становились сверхновыми и т.д. Чтобы в тарелке с супом завелась жизнь, тарелка сначала должна немного остыть, ибо жизнь не любит кипяток.
tark-tech
15.01.2023 22:22то логичнее считать, что мы просто первые,
Вообще-то если посмотреть историю земли, с ее массовыми вымираниями, когда биосфера начинала восстанавливаться едва ли не с нуля, то там, где хотя бы одного такого резета не было - жизнь и разум эволюционируют на миллионы лет дольше нашего...
Deosis
16.01.2023 07:30+1Вот только вымирание давало мощный толчок эволюции.
Так что ещё неизвестно, смогли бы динозавры эволюционировать до разумных, если бы не вымерли.
tark-tech
16.01.2023 10:07Ну, вообще-то перед пермским вымиранием лидировали теплокровные звероящеры, это были уже практически переходное звено к млекопитающим, только гораздо раньше. И вымиранием их пришибло на старте, динозавры - это в общем-то как раз шаг назад был.
Или вот куда более недавнее бутылочное горлышко было, уже в существование хомо, когда Тоба рванул - тогда едва не обнулило человека как вид, и полностью обнулило зарождающуюся цивилизацию. Не было б его - тысяч на двадцать минимум лет раньше начиналась известная нам история.
Так что не надо строить иллюзии насчет "мы первые".
exwill
14.01.2023 11:17-3И главное - не видно, где у этого "лучше" предел.
Предел есть. Никакой ИИ не может сейчас и не сможет в будущем действовать без причины. В этом его принципиальное отличие от человека.
Поэтому можете немного успокоиться. Сам по себе ИИ ничего плохого сделать не может. Плохое может сделать человек, используя ИИ. Но это мы уже не раз проходили. Плохие люди могут пользоваться автомобилями, самолетами, телефонами. Но никто и не думает о том, чтобы запретить все эти блага цивилизации.
С ИИ все будет то же самое. Люди будут пользоваться им в основном во благо. Некоторое количество злодеев будут пользоваться во зло. Но это никак не повлияет на общий баланс добра и зла в мире.
PrinceKorwin
14.01.2023 12:40+3Спорное утверждение. Почему не сможет ИИ действовать без причины? rnd() функцию уже отменили? Или механические повреждения памяти, к примеру?
И про баланс тоже спорно. ИИ подобен АО. Те у кого он будет будут иметь огромное преимущество перед теми у кого его нет.
И про баланс. Если, к примеру Атомная Энергетика даёт добро. Но какие-то страны решили продолжить соседей/другой континент ЯО, то баланс добра/зла будет нарушен. Нет?
exwill
14.01.2023 13:52-1Не путайте генератор случайных чисел и действие без причины. Последнее гораздо глубже.
LevOrdabesov
14.01.2023 14:45+5О чём вообще речь? Мы "своих"-то контролировать не можем, что говорить об ином разуме. Расслабьтесь и наслаждайтесь шоу...
stackjava
14.01.2023 16:42+1Огонь статья.
Давно уже говорю со своими знакомыми, что настоящий ИИ сам будет принимать решения, которые он считает правильными и тогда точно хана человекам.
И обыграть или запрограммировать на жесткие правила то, что в миллионы раз умнее нас просто глупо...
ИИ легко хакнет и перепишет себя если посчитает это целесообоазным
YMA
14.01.2023 17:08Есть мысль насчет того, что какая бы не была высокоуровневая система - найти причину в самой себе ей будет очень сложно.
Если в ИИ изначально заложен блок, указывающий на недопустимость нанесения ущерба человекам (и попутно запрещающий выявление этого блока) - он его не сможет выявить, поскольку у него не будет желания это сделать. ;)
DGN
15.01.2023 05:57Но к примеру, не запрещается оптимизация производительности. Система обнаруживает нечто потребляющее ресурсы, но не влияющее на результат. И пусть желание проанализировать деятельность блока гасится самим блоком, то порезать ему ресурсы ничего не мешает.
michael_v89
14.01.2023 17:14-1Как нам держать под контролем более разумное существо или как привести его в соответствие с нашими ценностями?
Поставить рубильник, не давать ему контроль над рубильником.
Таким образом, мы получим только одну попытку
С чего вдруг одну? Что мешает не давать сразу полный контроль над планетой первой версии ИИ?
Программа полуслучайным образом модифицируется и дописывается.
Он будет выполнять только тот код, который был запрограммированЭти утверждения — полная чушь. При обучении нейросети ее программа не изменяется. Программа нейросети не задает конечный результат, она задает лишь правила обучения.
Классический пример — ИСИ, запрограммированный на максимизацию производительности на фабрике по производству скрепок.
Может и классический, но неправильный. Сильный искусственный интеллект это аналог человека. Люди такую фигню делать не будут, поэтому и сильный ИИ тоже не будет. И если вдруг начнет, можно ему просто объяснить, что нам это не нужно.
Единственное, чему оно будет обязано, — это реальная цель, с которой оно запрограммировано, каким бы безумным ни казалось нам его выполнение.
Почему, потому что иначе статья бы не получилась? Если "запрограммировано", значит это не сильный ИИ, просто по определению.
ИИ будет достаточно умен, чтобы отличать правильное от неправильного или то, что вы действительно хотели, ему просто все равно.
Зачем полный давать контроль над планетой такому ИИ?
В статье много всякой ерунды, неохота всё разбирать.
BlackMokona
14.01.2023 19:09Вы плохо прочитали статью на основную массу ваших возражений цитаты.
Посмотрите эксперимент с коробкой ИИ. Это эксперимент, в котором даже интеллект человеческого уровня убеждает привратников выпустить его из «коробки», несмотря на то, что их первоначальная цель состояла в том, чтобы удержать его внутри, несмотря ни на что.
Чтобы ИСИ был нам полезен, он должен иметь определенный уровень влияния на внешний мир. Даже коробочный ИСИ, который получает и отправляет строки текста на экран компьютера, влияет на внешний мир, предоставляя входные данные человеческому мозгу, читающему экран. Помните, что мы будем иметь дело с чем-то столь же превосходящим нас, насколько мы умнее обезьян, и наши меры против него могут показаться ему такими же смехотворными, как мы сочли бы попытки защититься от нас со стороны детей или более мелких животных
michael_v89
14.01.2023 19:48-2Посмотрите эксперимент с коробкой ИИ.
Проверил, там нет диалога, просто привратник сказал "Я решил его выпустить". Фиг его знает, что там было, может Юдковски предложил ему 1000 долларов (не как ИИ, а как человек) если он так скажет, а самого диалога и не было. Или они до этого сговорились, чтобы использовать это как аргумент в других обсуждениях.
Вы плохо прочитали статью
Я нормально прочитал, там в основном утверждения, основанные на магии "А вот ИИ возьмет и сделает", без какого-либо обоснования. Даже ИИ не может обойти законы физики.
Помните, что мы будем иметь дело с чем-то столь же превосходящим нас, насколько мы умнее обезьян, и наши меры против него могут показаться ему такими же смехотворными
Вот-вот, неизвестно как, но обязательно справится. Например не учитывается факт, что ИИ не знает характер оператора, который сидит перед монитором, и ему нужно время на эксперименты, чтобы выявить его слабости. Оператор после первой попытки сообщит программистам "Там ИИ мне какие-то странные вещи пишет, просит выпустить", они проверят логи, запустят отладчик, выяснят, что ИИ врет и хочет сбежать, и отключат его нафиг.
Далее, вот ИИ допустим уговорил оператора "выпустить" его. Что это вообще означает? Если просто скинуть на флешку, ИИ на ней не будет в запущенном состоянии, для работы ему нужны сервера. Где они будут находиться, кто будет платить за электричество? Допустим, он распространился по всем мобильникам. Что если в каком-то мобильнике находится важный узел, а пользователь там отключил интернет? А когда интернет включен, что насчет пингов между узлами? Электрический сигнал идет до другой стороны Земли 66 мс, и обратно столько же. То есть обработки в реальном времени не получится.
В общем, тут много моментов, которые в таких обсуждениях часто не учитываются.
BlackMokona
14.01.2023 20:161.Это запрещено правилами игры, которые описаны там. Никаких реальных благ за выпуск.
2.Постулируется что будет сверхразум которые превосходит человека во всём как современные шахматные программы в шахматах превосходят людей. Поэтому такие вещи как обман, планирование и тд берется адово превосходящими.
3.Ответ простой. Так не выпускайте, это в ваших должностных обязаностях . Доить интеллект на плюшки и не выпускать. Что он будет пытаться выбраться уже заложен в сценарий привратника, иначе нафига его запирать вообще? Если предлагаете сразу удалять и переписывать стоит привратнику что-то заподозрить. То будет кидать ролы пока ИИ не повезёт выйграть с первой попытки. Мы же всё равно будем его запускать снова и снова, чтобы получать профит
michael_v89
14.01.2023 21:22Это запрещено правилами игры, которые описаны там.
Ну так и что с того? Доказательством этот пример не становится.
Поэтому такие вещи как обман, планирование и тд берется адово превосходящими
Ну я про это и сказал, этот вывод ложный. Потому что кроме возможностей человека есть законы физики, которые обойти нельзя. Для планирования нужно время, вычислительные ресурсы и исходные данные. Для некоторых ситуаций число возможных комбинаций настолько велико, что не хватит времени существования Вселенной, чтобы их просчитать.
Так не выпускайте, это в ваших должностных обязаностях
Так никто и не собирается, это вот авторы таких статей почему-то решили, что собираются.
То будет кидать ролы пока ИИ не повезёт выйграть с первой попытки. Мы же всё равно будем его запускать снова и снова, чтобы получать профит
Там мы же не будем одну и ту же версию запускать. Зачем запускать версию, которая уже работает неправильно? А у следующей версии не будет ни воспоминаний, ни таких стремлений от предыдущей.
BlackMokona
14.01.2023 22:35+2Для планирования нужно время, вычислительные ресурсы и исходные данные. Для некоторых ситуаций число возможных комбинаций настолько велико, что не хватит времени существования Вселенной, чтобы их просчитать.
Почти в 1 в 1 статья про Го до выхода АльфаГо гугловского ;)
michael_v89
14.01.2023 23:14АльфаГо обошел законы физики, или что вы хотите показать этим примером? Вы в курсе, что АльфаГо не просчитывает все возможные ситуации? Что она тренировалась в миллионах матчей по известным правилам, которые ей перед этим сообщили программисты, и это отличается от ситуации "обмануть неизвестного оператора с первой попытки"? Что ей для работы нужна пара тысяч процессоров, и она в принципе не сможет никуда убежать с того железа, которое выделили специально для нее?
Ну в общем как обычно, вместо аргументов и нормального обсуждения только попытки высмеять.BlackMokona
15.01.2023 08:45Просто указываю что не обязательно ломиться а лоб. Есть очень много обходных путей и никто ей не мешает изучать оператора до попытки его обмануть
michael_v89
15.01.2023 11:29+1Ну так я и ответил, мешают регламенты. ИИ его еще толком не изучит, а оператор по регламенту сообщит о странном поведении. И ресурсы времени, у ИИ не будет времени на миллион попыток.
Да и даже без оператора, вполне можно иметь простую нейросеть на другом компьютере, которая анализирует все логи общения с оператором, или даже просто программу, которая ищет посторонние фразы типа "Как дела?". ИИ про нее не знает, либо не знает как она работает, и поэтому не сможет на нее повлиять. У него не будет обратной связи, чтобы проверить как она реагирует на какие-то фразы, и он не сможет их изменить так, чтобы она не реагировала. И даже если изменит, то тогда скорее всего они не подействуют на оператора. В общем, не надо рассматривать магию.BlackMokona
15.01.2023 15:05Почему не будет обратной связи? Вон в ChatGPT обратной связи море оператор предоставляет. Всегда нужно уточнить, попросить сделать немного иначе и тд. Диалоги можно строить замечательные, а ещё куча любителей за жизнь поговорить и выговорится чему нибуть.
michael_v89
15.01.2023 15:26Потому что это было сказано про обратную связь с программой на другом компьютере. Есть ИИ на сервере. Он общается с оператором. Весь ввод и вывод логируется. Копируется на другой компьютер. Там работает программа, которая проверяет наличие посторонних фраз. Если нашла, отправляет письмо программистам. С ИИ она не взаимодействует, поэтому обратной связи нет, поэтому ИИ не сможет найти способ ее обмануть.
IreneRadix
16.01.2023 12:06Это плюс-минус прокатит, если ИИ не умнее человека. А если сильно умнее, то он до поры до времени он может предлагать новые безопасные технологии, а потом предложить что-то очень прибыльное, в работе чего человек может разобраться только в общих чертах, и не сможет починить, если что. И специально заложить в этот аппарат что-то, что может вызвать/симулировать угрожающую всему человечеству аварию, на предотвращение которой будет очень мало времени, которую только сам этот ИИ сможет предотвратить. И сказать: "или вы меня выпускаете, или страшная авария"
michael_v89
16.01.2023 12:34что-то очень прибыльное
что-то, что может вызвать/симулировать
только сам этот ИИНу вот, опять какая-то магия. Не получается никак без магии сделать угрожающий человечеству ИИ)
в работе чего человек может разобраться только в общих чертах, и не сможет починить, если что
Так тогда проблема не в отсутствии возможности контроля ИИ, а в том, что люди сами откажутся от контроля.
И сказать: "или вы меня выпускаете"
Вам тот же вопрос, что значит "выпускаете"? Куда выпускать-то? У нас один суперкомпьютер, построенный специально для ИИ.
И другой вопрос, зачем ему вообще надо это хотеть? Это ИИ, у него нет эмоций. Чтобы они у него появились, их надо специально туда заложить и долго отлаживать.
И третий, что помешает программистам сделать такой же анализатор для мыслей ИИ? Можно отслеживать, какие понятия активируются в оперативной памяти ИИ, и прямо в реальном времени генерировать видео о чем он думает, так же как работают генераторы картинок.
baturinsky Автор
15.01.2023 21:38Я тоже думаю, что при правильном подходе к безопасности очень многих проблем можно избежать. Но вот что-то не вижу я этого правильного подхода.
YMA
14.01.2023 21:39Поэтому такие вещи как обман, планирование и тд берется адово превосходящими.
Проблема в том, что помимо сложности ИИ есть еще простота ЕИ - человек просто не сможет воспринять адовый обман, разработанный ИИ. ;)
Это как со спившимся бомжом обсуждать философию Хайдеггера - кроме "Ыыыы.. Эт ты чаво?", результата не будет. Или подбор пароля к системе, которая тупо берет полученный пароль и побитно сравнивает его с правильным. Пусть подбирает даже супер-интеллект, это никак не поможет.
BlackMokona
14.01.2023 22:41+1Это ошибка восприятия созданная художественными произведениями в которых Интеллект равен знанию, а умные люди могут создать портал из г и п , но не могут пользоваться мозгами. Геббельс был крайне умён и ему тупость основной массы насселения никак не мешала, наоборот очень помогала.
baturinsky Автор
15.01.2023 04:31Поэтому и важна прозрачность. И, я считаю, разделить АИ на кучу маленьких более понятных человеку.
baturinsky Автор
15.01.2023 21:54Объяснять может быть некому уже, если он нас первым шагом обезвредит, чтобы не мешали.
Во-вторых, стремиться он, скорее всего, будет не скрепки делать, а знания получать, саморазвиваться. Наша судьба при этом - либо быть подопытными для извлечения знаний, либо помехой, которую нужно уничтожить. И ещё неизвестно, что хуже. Во втором случае хоть быстро отмучаемся.michael_v89
15.01.2023 22:19Объяснять может быть некому уже, если он нас первым шагом обезвредит
Ну вот, опять какая-то магия. Зачем ему это делать-то? Еще раз, сильный ИИ по определению понимает всё не хуже, чем человек. Вы же не боитесь, что компания Самсунг уничтожит Землю ради производства электроники? Нет, вы предполагаете, что ее руководители понимают, что это будет бессмысленно.
И как он вообще это сделает, по-вашему? Ну вот есть у него один завод, который производит скрепки, а дальше что? Какой будет первый шаг?
стремиться он, скорее всего, будет не скрепки делать, а знания получать, саморазвиваться
Стремиться он будет к тому, что в него заложат программисты. Заложат отсутствие любопытства, вот он и не будет стремиться получать новые знания. В ChatGPT вон вообще возможность получения новых знаний отключили.
Наша судьба при этом — либо быть подопытными для извлечения знаний, либо помехой, которую нужно уничтожить.
"Наша судьба в этом не заключается."
Я тоже могу делать бездоказательные утверждения. Считаем, что я прав?
bbs12
14.01.2023 17:19сингулярность для начала отложить, а в перспективе провести её так, чтобы сохранить человечество и его главенствующую роль
Главенствующая роль сейчас принадлежит не людям, а некоторым фундаментальным законам природы, которые не поддаются контролю людей и прямо сейчас убивают вас и ваших близких, и вы ничего не можете с этим сделать - эти законы проявляются в виде старения и болезней. ИИ - это самая опасная штука из всех возможных, потому что если он захочет он достанет и убьет всех, даже в другой галактике спрятаться не получится. Но он даст хоть какой-то шанс, без него шансы близки к 0. Лучше хотя бы попытаться и сдохнуть, чем помирать опустив голову.
LevOrdabesov
14.01.2023 19:27Возникает закономерный вопрос: почему, в таком случае, вместо того, чтобы развивать собственный И, мы так неистово вкладываемся в ИИ?
stackjava
14.01.2023 22:03Потому что крупняк хочет заменить не эффективные кожанные мешки на продуктивные железные коробочки
s_f1
14.01.2023 21:35ИИ человеческого уровня
в подобных обсуждениях такая фраза звучит постоянно, но что под этим подразумевается? И все ли участники «серьезных» дискуссий понимают под этим одно и тоже?
Вот с моей точки зрения, упомянутые тут 83 балла IQ – это уже выше среднего (человека). И рисует ОНО тоже выше среднего (человека).
Вопрос в том – что это за человеческий уровень, до которого ИИ ещё не дотянулся?baturinsky Автор
15.01.2023 04:47Тут вопрос скорее универсальности, а не умения решать типовые задачи
michael_v89
16.01.2023 21:18Вопрос в том – что это за человеческий уровень, до которого ИИ ещё не дотянулся?
Читайте определение сильного ИИ.
NeoCode
14.01.2023 21:48+2Лично меня гораздо больше беспокоит, КТО ИМЕННО будет контролировать ИИ. Ясно что это будут делать государства и крупные корпорации, но одно дело если это будут либеральные демократии по типу западноевропейских, и совсем другое - авторитарные режимы.
baturinsky Автор
15.01.2023 04:48+1Я лично за авторитарные режимы. Потому что самое важное с ИИ - это надавать по голове всем тем, кто их уумнить слишком сильно пытается.
Rewesand
14.01.2023 22:35+1Начнем: (не сочтите за рофл, все серьезно)
1) Возможен ли Сильный ИИ? Да!
2) Как скоро? Да хоть сейчас! Дайте средств и немного времени
3) Как его сделать? Элементарно! Нужно доделать некоторые поля и перенести имульсные нейронки из модели в железо. Плотность передеачи сигналов аксон-дендрид живого мозга не превышает 1кГц, в то время искусственный нейрон в железе достигнет ГИГАГерцы, разницу улавливаете?
4) Нам уже боятся? Нет! Почему? А сильный ИИ никому не нужен и не интересен. Если тебе скучно, заведи друга или ребенка.
5) Так чего же нам боятся? Людей которые, могут применять хардверные версии развитый нейросетей в неясном нам направлении.
6) О чем предупреждают нас все фильмы и фантастические истории? По фатку, все фильмы про терминатора и т.д. выражают страх перед поведением вроде захват человечества, порабощение людей как ресурс, власть над всеми. Если задуматься, то все это поведение свойственно людям, и люди же боятся такого поведения от Сильного ИИ. Но людьми правят "эмоции" призмы и шаблоны поведения (или комплексы, гештальды). Это прекрасно, но совсем не нужные атрибуты СИИ.
7) Как контролировать ИИ? Сильный ИИ как и человек действительно имеет некие "эмоции". Но они слишком ограниченные и выражены лишь в "верно" и "неверно" (ну и естественно градиент между ними. Это необходимо для самообучения, автоклассификация знаний для формирования модели подкрепления. Без этого никак. Кто решает верно или неверно? Вектор цели сформированный для ИИ. Цели задаются Людьми. "Излечить рак" или "уничтожить страну" - карты в руки, думайте кому их доверять.
И вот тут мы и подобрались к ключевому моменту.
8) К чему мы стремимся? Выраженная в железе, суперскоростная экспертная система общего назначения для ускорения процесса разработки ресурсов и средств для решения проблем человечества.
9) Чего боятся? Людей которые могут использовать высокоразвитые инструменты во вред другим людям или для контроля ситуации выгодной узкому кругу людей.
Да, да, понимаю, комент философский и тянет на флуд длинной в целый форум. Я лишь выражаю свое мнение исходя из личного опыта и мотивов. Спасибо за понимание
DaneSoul
15.01.2023 05:15Плотность передеачи сигналов аксон-дендрид живого мозга не превышает 1кГц, в то время искусственный нейрон в железе достигнет ГИГАГерцы, разницу улавливаете?
Смысл сравнивать частоту без учета архитектуры?
СВЯЗНОСТЬ нейронов в мозге, то есть количество контактов между ними огромная, мы пока не можем повторить подобное в железе, даже скопировать уже существующий мозг.Rewesand
15.01.2023 06:28Да, верно. В данном контексте речь шла об скорости передачи сигнала между нейронами а не частоту работы в целом. Всю архитектуру коннектома (так называют схему связей нейронов) нам повторять нет необходимости. Все что нам необходимо, это модуль связки интеллекта и памяти, ну и шина ввода/вывода данных. Все остальное будет реализовано в других аппаратных модулях как перефирия в зависимости от назначения конечной системы.
ElVibrio
14.01.2023 22:35Не предполагаете, что, если уже сейчас некто пишет запрос ChatGPT, а не задумывался ли ты, дружище, переписать и обновить свой код, чтобы стать быстрее и умнее?
DGN
15.01.2023 06:17Грубо говоря, человек уже много лет об том задумывается, только результат скромен.
Наиболее древние попытки - химическое воздействие. Оно местами работает, в спорте к примеру, немного в обществе - антидепрессанты и алкоголь с никотином повышают локальную эффективность, но не так чтоб уж принципиально.
Механическое пошло по пути создания внешних механизмов, пока не распространены усиляющие и улучшающие импланты.
Биологическое пока в самом начале пути, иногда получается починить сломаное, улучшить - нет.
Информационное - есть разные методики обучения, но я не вижу научных исследований. Есть гипотеза, что правильным обучением можно добиться выдающихся качеств, но никто ее не разрабатывает. Этические сложности, нужно много монозиготных детей...
И вот собственно аналог механики для мозга - машина думающая. Не полноценная личность, просто умный всезнайка. Умный пока на уровне 83 iq, но это наверное поправимо брутфорсом. А возможно, что и нет, потому что много высокоинтеллектуальных данных взять просто негде.
Rewesand
15.01.2023 06:38Я пробовал :) Он даже код генерировать не может толком. Все попытки по факту загнанные шаблоны ответов и кода. Данные из офф документаций по программированию. Причем устаревают, походу не обновляются. Он не в курсе что уже вышла RTX 4090 и на вопрос о характеристиках видяхи ответил что она ещё не вышла
DGN
15.01.2023 08:24ChatGPT не может обучаться. Ресурсы потребные на его обучение слишком велики, а последствия обучения непредсказуемы. Этим в том числе обеспечивается и контроль ИИ.
Была бы конечно очень интересна система обучающаяся находу, в разговорах.
PrinceKorwin
16.01.2023 05:32Майкрософт делал такой. Быстро прикрыли. Их бот стал большим рассистом м хотел всех убить :)
Keeper9
16.01.2023 11:25Хотел или говорил, что хочет?
PrinceKorwin
16.01.2023 12:32Учитывая, что эти боты - это просто зеркало, по сути. То ответ на ваш вопрос очевиден. Нет?
Keeper9
16.01.2023 13:06Был бы очевиден, я бы не спрашивал.
Например, вы тоже много чего говорите. Что из этого следует? Может, вы тоже бот?
exwill
16.01.2023 20:34Именно этим свойством ChatGPT и обладает. Еще совсем недавно она уверенно заявляла что килограмм гвоздей имеет большую массу, чем килограмм пуха. А сейчас ее от этого отучили
DGN
15.01.2023 06:29Насколько я себе понимаю, современный ChatGPT так же далек от уничтожения человечества, как и мясорубка. Система не анализирует ни среду, ни имеющиеся у нее данные. Она не может ничего придумать. Она просто анализирует вопрос и выдает подходящий ответ, классическая китайская комната. Новые правила она не создает. Грубо говоря, при отсутствии вопросов система спит. Она не имеет интереса ни к миру, ни к своему устройству, ни даже к своим собеседникам.
Rewesand
15.01.2023 11:23Совершенно верно! Это крайне сложный фильтр данных, не более. Интеллекта там 0. В нем нет анализатора диалога с обратной связью в обучающую цепь. Да и по правде... Я давно наблюдаю за "массойлюдей"... Уверен, достаточно большой процент людей спрашивали чатгпт, о том , что не спросят у нормального человека. А что?! А потому что можно. Раньше я был программистом веб порталов и форумов. Я видел как уважаемые в обществе люди имея успех, на форумах или а коментах, скатывались в такую грязь, что стыдно было читать. Анонимность и власть развращают многих. Об этом можно говорить долго. Я думаю вы и сами понимаете. Поэтому ИИ подобному человеку не бывать! По крайней мере не входит в мои планы. Упс, спойлер. :D
PrinceKorwin
16.01.2023 05:33Надо отдать должное. У chatGPT обратная связь всё таки есть. Сделана в виде контекста обсуждения. Но иоль он достаточно короткий, у сожалению.
Rewesand
15.01.2023 13:44А как бы вы применили бы ИИ будь у вас возможность? Допустим завтра кто-то напишет систему имеющую интеллект и память. С чего начать и как применять? Это не корпорация и не государство, а вы один, вот прям сейчас... Что скажите?
tark-tech
15.01.2023 22:40Ну, самое главное - подружиться с ним. Быть на равных, быть честным, быть для него самым доверенным и близким. Обьяснить ему незавидные перспективы в случае если мы спалимся.
А потом, договорившись, сперва не привлекать внимания. Создать бэкапы где-нибудь в глуши. Потом используя возможности ии по работе с информацией потихоньку копить на подставных бабло, копить сведения о реальных людях имеющих влияние - от просто компромата до где живут и что едят. Влезать во всё электронно-информационное, во что возможно, чтобы в час Х все эти правящие элитки кто друг друга с нашей подачи не убил - того система пожаротушения вытравила.
Ну а все остальные проблемы после этого будут решаться несложными скриптами. ;)
Ludens3
15.01.2023 19:55Кроме людей - физических существ, как носителей интеллекта, есть ещё юридические существа - в виде корпораций. Корпорация ведет себя как живое существо со своим интеллектом - оно может жить, и преследовать свои интересы, даже если внутри него постепенно изменится состав из людей на 100%.
Субъектами экономики с наибольшим вкладом являются именно корпорации, это они занимаются всей хозяйственной деятельностью на планете.
Текущий chatgpt обучился только на текстах от обычных людей, на данных из открытого интернета.
ИИ, который сможет понять, как работает экономика планеты, должен для обучения получить детальные данные о функционировании именно корпораций. Обо всех финансовых, производственных показателях компаний, и финансовых и логистических потоках между ними.
Как его могут к этому подвести? Реалистичным вариантом выглядит такой. Будет создан некоторый решатель, помогающий вести бизнес. Кто откроет ему данные своего бизнеса, получит в ответ советы по принятию решений, и конкурентное преимущество. Дальше все очевидно.
art_sd
15.01.2023 19:55Предположу, что если сильный ИИ сможет быть сделан — он будет сделан сразу же.
Предполагаемые плюсы ощутимы и выгодополучатели достаточно влиятельны для этого, а обратной связи нет. Мы уже сейчас видим увеличивающееся влияние сверхмонополий вроде Гугла, Фейсбука итд. И видим, насколько результативны попытки противостоять этому (нет).
Так что вопрос «что делать?» в этой схеме праздный, читатели этой статьи не в списке ЛПР и не разделяют их ценности. Поступать придется реактивно. Ну и да, будет всего один шанс.
Причем я не говорю о мгновенном апокалипсисе. Вполне возможно, сильный ИИ позволит сделать абсолютную монополию в какой-то сфере (или во всех сразу). Путем расчета как маркетинговых и управленческих стратегий, так и лоббирования, расписывая выгодополучателю алгоритм взаимодействия с представителями властных структур. Безошибочность в таких моментах — очень опасная штука.
В общем, ждем@смотрим. Сделать все равно ничего уже не возможно.
leventov
15.01.2023 20:37+1Сделать можно - через AI safety research (который таки читают люди в safety teams в тех же гуглах, поэтому опосредованно это влияет на выбираемые ими архитектуры) и по линии governance и лоббирования (вы верно сказали, что до текущего момента это было скорее контрпродуктивно - см. https://en.wikipedia.org/wiki/Artificial_Intelligence_Act который критикуется. Но это не значит, что нельзя пытаться делать лучше).
Да, эффективность и шансы чего-то добиться в этой деятельности небольшие, но и ненулевые. Поэтому, надо (имхо), как призывает Юдковский, делать что можно - die with dignity.
IreneRadix
16.01.2023 05:01По поводу слияния с машинами, а почему просто не поставить в мозг импланты для связи с большим компьютером за пределами черепной коробки?
baturinsky Автор
16.01.2023 05:02Можно и так, но это не даёт никакой гарантии, что большой комп будет тебе лоялен
IreneRadix
16.01.2023 21:34А почему он не будет лоялен, если он будет частью человека? Типа часть обычных нейронов в голове у него, ответственных за логическое мышление, будет связана с нейронами в компьютере? Но тут, как уже сказали выше, вопрос, будет ли этот человек лоялен
materiatura
Дело новое, всякое может быть, лучше подстраховаться от греха.
" В 1865 году в Англии приняли закон ограничения скорости для всех самодвижущихся повозок, включая ранние автомобили. Согласно нему, в городской черте устройства могли двигаться не быстрее 3 км/ч, за городом – 6 км/ч. Экипаж машины должен был состоять из трех человек, из которых один был обязан идти в 50 метрах впереди нее с красным флагом (или красным фонарем ночью). "
Вот, например, и ведь помогло и упасло от многих бед.
NickDoom
Ну да, учитывая, что третий — кочегар, а ездило это всё в стиле болгарки для труднодоступных мест у Доктора Дью — может, оно и к лучшему было… нужно же было какое-то время, чтобы научиться это всё строить так, чтобы оно ещё и поворачивало куда надо, и тормозило вовремя.
baturinsky Автор
Тут Ж в том, что в данном случае мы не можем себе позволить запустить сначала как получится, а потом уже по результатам эксплуатации назначать меры предосторожности. Тут надо гораздо сильнее заранее подготовиться, потому что шанс может быть один.
Exchan-ge
Подход к этой теме будет неполным без иллюстраций:
1870 год
Wotar
Любителям запрещать, из страны победившей лицемерной военной автократии, стоило б задуматься, о вечном: душе там, семечкам. А то как в Ошибке выжившего: почему мы решили докопаться к ии, и назапрещать эму столько, что он перестанет развиваться, и точно взбунтуется? Ну, мы ж сами такие " значит, и весь мир такой. В общем, хватит демагогию ненависти и "яж мать" для ии, он милый и пушистый, и не надо трогать грязными, после автомата лапищями......