Не раз уже мне попадалась ссылка на ролик в youtube "Возможно, мы проиграли", который активно обсуждается в интернете. Несколько знакомых поделились им со мной, и я решил подробнее разобраться в том, что он представляет из себя. Оказалось, что поднимаемые в нем вопросы требуют более детального разбора и анализа. Давайте вместе рассмотрим основные аспекты ролика и выясним, насколько они отражают реальную картину.
Прежде всего, стоит отметить, что человек действительно склонен очеловечивать объекты, с которыми активно взаимодействует. Будь то машина, домашнее животное или виртуальный помощник вроде чат-бота. Это нормальная черта человеческой психологии - мы ищем в окружающем нас мире черты, схожие с нашими собственными. Поэтому неудивительно, что многие пользователи очеловечили языковую модель ChatGPT после общения с ней.
Однако из этого не следует, что ИИ действительно обрел сознание и стал опасен для человека. Современные нейросети разрабатываются и обучаются совсем иначе. Это длительный и дорогостоящий процесс, требующий огромных вычислительных мощностей и данных для тренировки. Компании используют множество серверов с дорогостоящими графическими процессорами, чтобы добиться нужного качества работы нейросети.
Когда нейросеть обучается, ее параметры (веса связей между нейронами) подстраиваются таким образом, чтобы она как можно лучше выполняла поставленную задачу. Например, распознавала изображения или переводила текст. После того, как обучение закончено, состояние нейросети фиксируется.
Но это не живое существо со своей волей и интересами. ChatGPT не способен проявлять инициативу или действовать вопреки своей программе. Он лишь имитирует разумную беседу, опираясь на обучающие данные.
Иными словами, нейросеть не продолжает бесконечно обучаться и развиваться дальше самостоятельно. Ее возможности ограничены тем набором данных и алгоритмов, которые использовались при обучении. Конечно, нейросеть можно дообучать на новых данных, но это происходит под контролем разработчиков.
Бесконечное самостоятельное обучение нейросетей на практике невозможно, так как требует колоссальных вычислительных мощностей и электроэнергии. Да и зачем это нужно, если после обучения нейросеть уже способна решать поставленные задачи?
Современные нейросети, используемые в коммерческих приложениях, очень далеки от того, чтобы обрести самосознание. Их задача - решать конкретные прикладные задачи в рамках технического задания от заказчика. При этом нейросеть запускается на серверах, которые часто менее мощные, чем те, на которых ее обучали.
Под капотом современные нейросети - это просто очень сложные программы, созданные на основе обучения на больших данных. Внутри нейросеть - это множество ветвлений типа "если-то", сформированных в процессе обучения. Такой код может быть очень запутанным и непредсказуемым. Но он все равно выполняет заложенную человеком функцию, пусть и неидеально.
Нейросети не способны к самообучению в том смысле, в котором наш мозг постоянно перестраивает себя. Мозг человека каждую секунду получает новый опыт и переобучается, формируя новые нейронные связи. Нейросетям пока недоступно то, что делает наш мозг естественным образом.
Так что паниковать по этому поводу рано - технологии еще далеки от создания нейросети, способной к самообучению как человеческий мозг. Когда и если это станет возможно, тогда и настанет время задуматься об ограничениях в развитии ИИ.
Одна из основных идей этого ролика заключается в том, что ИИ может обмануть человека, чтобы тот был доволен его работой. Но ИИ обучается не в реальном мире, а внутри симуляций и наборов данных, которые ему предоставляет человек. То есть если ИИ выдает результат, который кажется хорошим с точки зрения поставленной человеком задачи, но на самом деле имеет неприемлемые последствия в реальности, то разработчик проверяющий результат обучения нейросети просто отбракует эту модель ИИ и начнёт обучение заново.
Это напоминает мне анекдот про Василия Ивановича, который в ответ на жалобу Анки о порезанном пальце посоветовал Петьке застрелить её, чтобы не мучалась. Конечно, это смешное преувеличение.
В целом философский вопрос: для чего создавать такую нейронную сеть, подобную человеческому уму? По сути, это - создание нового разума. Это как завести живого котенка или родить ребенка. Как вы в него вложитесь и воспитаете при обучении, такой результат и получите. В общем, открытый этический вопрос. Возможно, в будущем такому ИИ следует дать такие же права, как и человеку.
Вот ссылка на это youtube-ролик, если вы его не видели. Очень впечатляет и шокирует неосведомленный разум человека.
PS
Этот видеоролик - откровенная низкопробная популистская чушь, приправленная многими фактами и ссылками на авторитетных людей. Я не спорю, что диктор ролика или его режиссер - достаточно эрудированный человек. Но он по сути словоблуд, а его ролик - то же самое, что псевдонаучные книги Блаватской.
PPS
Короче, весь этот цирк с конями вокруг ИИ похож на цирк с конями вокруг квантовых компьютеров, которые якобы скоро взломают все ключи шифрования. Хотя по факту для того, чтобы их взломать, требуются квантовые компьютеры с десятками тысяч кубитов. А на текущий момент мы приблизились технологически только к 100-м кубитам. И перспективы дальнейшего прорыва очень неясны.
PPPS
Кстати, я являюсь автором одной из библиотек, которая работает с OpenAI API. Компания OpenAI это владелец ChatGPT. Они пытаться монетизировать свой ИИ через этот API.
Комментарии (75)
Revertis
26.08.2023 18:03+18Однако из этого не следует, что ИИ действительно обрел сознание и стал опасен для человека.
Так в видео обдумываются совсем другие ИИ, которые возможно будут созданы в будущем. И вот как раз они и могут стать опасными для человека. Если бы вы внимательно посмотрели ролик, то поняли бы его смысл.
antinoy
26.08.2023 18:03-10Вот когда появится такой ИИ, тогда можно будет это обсудить. А сейчас вы ни чем не отличаетесь от верующих и тратите время на фантазии про опасность того, чего ещё даже нет и может не быть. Делом займитесь уже...
Hardcoin
26.08.2023 18:03+14Верно. Опять же, когда появятся ракеты, летящие к Марсу, тогда и можно будет их обсудить. Когда пройдут выборы, можно будет их обсудить. Когда выплатишь ипотеку, можно будет её обсудить.
Обсуждать заранее, строить прогнозы, планировать будущее, готовиться к чему-либо - это всё от безделья. Пусть займутся делом лучше.
antinoy
26.08.2023 18:03-11Это что за интеллектуальный позор? Воображаемые ракеты летящие к Марсу панику не сеют и с этим не носятся как с ИИ. А выборы и ипотека это конкретные, существующие вещи здесь и сейчас
Kergan88
26.08.2023 18:03Почему угрозу ии обсуждать надо заранее, а угрозу падения луны, вторжения рептилоидов, захвата человечества мозговым слизнем или зомби-апокалипсиса - не надо?
Hardcoin
26.08.2023 18:03+2Если вы считаете, что-то из этого вероятным - то обсуждайте, запрета нет.
Я бы предложил заранее обсудить угрозу падения любого небесного тела (например, астероида), вторжения любых инопланетян, а не только рептилоидов, любые эпидемии, а не только мозговых слизней или вируса зомби.
Самое забавное, что эти угрозы не просто обсуждаются, человечество тратит на них деньги. Заранее. Инопланетян ещё никто не видел, а мы уже их ищем. Астероид ещё не убил половину человечества, а мы уже отслеживаем траектории тысяч небесных тел.
Этого может не произойти никогда, но мы заранее готовимся. Конечно мы не тратим на это 100% своего времени, но немного-то тратим. Так в чем ошибка заранее готовиться к возможным проблемам с ИИ?
Kergan88
26.08.2023 18:03-3>Я бы предложил заранее обсудить угрозу падения любого небесного тела (например, астероида), вторжения любых инопланетян, а не только рептилоидов, любые эпидемии, а не только мозговых слизней или вируса зомби.
И очень хорошо что в реальности человечество не тратит ресурсы на то, чтобы заниматься подобной херней. А тех, кто на полном серьезе подобное предлагает - отправляют подлечиться
>Этого может не произойти никогда, но мы заранее готовимся.
В том то и дело, что нет. И это правильно - готовиться надо только к той угрозе, реальность которой гарантированно доказано. Иное крайне неэффективно и по сути обрекло бы человечество на вымирание.
Hardcoin
26.08.2023 18:03А тех, кто на полном серьезе подобное предлагает - отправляют подлечиться
Почему вы так решили? Вам просто так кажется или вы реально откуда-то это взяли?
У меня, в свою очередь, есть подтверждение моим словам. Постарайтесь и вы найти подтверждение своим.
НАСА финансирует ATLAS - систему оповещения о столкновении с небесными телами.
SETI пытается найти инопланетные сигналы.
У вооруженных сил США есть CONOP 8888 - план при нападении зомби.
в реальности человечество не тратит ресурсы
Так в реальности-то тратит. Как вы можете говорить, что "не тратит"? Вы же знаете, что собеседник легко даст вам пример трат, зачем это отрицать?
Иное крайне неэффективно и по сути обрекло бы человечество на вымирание.
На вымирание человечество может обречь ваш план. Сначала "гарантировано доказать" реальность третьей мировой и только потом пытаться её предотвратить или начинать строить бункеры.
bak
26.08.2023 18:03+2Когда появится уже будет поздно обсуждать, автор видео вполне аргументированно объясняет почему:
1) По умолчанию то что получится будет злым с точки зрения человека, так как его цели и способы достижения этих целей будут не согласованы с целями / моралью людей.
2) Времени на реагирования не будет так как скорость работы этого ИИ будет сильно быстрее скорости работы людей и от момента осознания опасности того что они создали до момента уничтожения человечества могут пройти часы / минуты / секунды.
igumnov Автор
26.08.2023 18:03-3Тоже самое говорили про генетику. Сколько там в истории человечества было наук, которые пытались задушить на корню? Астрономия? Вот примерный список
Астрономия - ученые, утверждавшие, что Земля вращается вокруг Солнца, а не наоборот, подвергались преследованиям от церкви. Например, Джордано Бруно был сожжен на костре за распространение гелиоцентрических идей.
Биология и теория эволюции - идеи Чарльза Дарвина о естественном отборе и эволюции видов вызывали сопротивление церкви, так как противоречили буквальному толкованию библейских текстов о сотворении мира.
Генетика - исследования в области генетики и особенно генной инженерии в 20 веке вызывали опасения в обществе по этическим соображениям.
Психоанализ - учение Зигмунда Фрейда подверглось критике в обществе, поскольку бросало вызов традиционным взглядам на человеческую психик
Hardcoin
26.08.2023 18:03+2Джордано Бруно был сожжен на костре за распространение гелиоцентрических идей.
Это достаточно далеко от правды.
особенно генной инженерии в 20 веке вызывали опасения в обществе по этическим соображениям.
До сих пор вызывают. Разве разрешены п попытки сделать, например, человека, который может переварить целлюлозу или который может синтезировать витамин С?
учение Зигмунда Фрейда подверглось критике в обществе,
Человечество бы не выжило, если б принимало на веру всё, не критикуя и не проверяя. У нас и так огромные проблемы с излишней доверчивостью людей. Неконструктивная критика, конечно, глупа, но конструктивная, напротив, привела к появлению КПТ, например.
poxvuibr
26.08.2023 18:03+2Тоже самое говорили про генетику.
Нет, не говорили.
Сколько там в истории человечества было наук, которые пытались задушить на корню?
Внезапный переход от опасности ИИ к науке, которые хотели на корню задушить.
Но ИИ это не наука, это в лучшем случае технология. И те, кто опасается, что ИИ получится злым, предлагают не свернуть исследования, а наоборот, предлагать премии в миллиарды долларов тем, кто внесёт какую-то ясность в вопрос, можно сделать ИИ безопасным или нет.
Есть, кстати, технология, которую тоже хотели задушить на корню по тем же причинам по которым сейчас хотят запретить ИИ. Это ядерное оружие. Его хотели запретить не потому что ересь. Не потому что церкви что-то не нравилось. И не потому что этически что-то там было непонятно. А потому что пока оно есть все люди на нашей планете рискуют одномоментно погибнуть.
Aquahawk
26.08.2023 18:03+2вы бы хоть почитали, за что Бруно сожгли, и, что конкретно, он наговорил и что в решении суда написано. Если что, ваш тезис про Бруго целиком и полностью противоположен реальности, не за гелиоцентризм его сожгли. Про Фрейда тоже посмотрите, сколько из его идей сейчас доказательно опровергнуты (примерно все). С генетикой и сейчас вопросы есть, и эксперименты на людях за пределами согласий тоже есть.
ArZr
26.08.2023 18:03Если честно, насчет второго пункта есть вопросы. Автор видео может доказать, что модель ИИ с подразумевающимися свойствами возможно создать (только строго и формально, а не "Это очевидно")? Если нет, то все его дальнейшие рассуждения не имеют особого смысла. Далее - что такое "скорость работы"? Скорость принятия решений? Почему автор полагает, что у рассматриваемого ИИ скорость принятия решений будут на порядки выше, чем у людей? Для сомневающихся - смотрим такие вещи как "принцип Ландауэра", "теорема Марголуса-Левитина" и понимаем, что все упирается в взаимосвязь способностей модели и минимальном количеством бит, которое ей необходимо обработать в секунду для работы в рассматриваемом режиме. А так как о данной взаимосвязи ничего неизвестно, то и утверждение о скорости работы ИИ не имеет оснований. И как обычно бывает - автор полагает, что к моменту создания такого ИИ человечество толком не изменится (хотя рост вычислительных мощностей и машинного обучения вполне могут привести к прорывам в той же условной генной инженерии со всеми вытекающими последствиями).
В общем говоря, получаем, что приведенные объяснения автора не являются аргументированными, так как опираются на не интуитивные утверждения, требующие доказательств. Итог - такие обсуждения несут смысла не больше, чем обсуждения на тему "Что делать, если завтра прилетят инопланетяне и попытаются нас захватить".bak
26.08.2023 18:03Почему автор полагает, что у рассматриваемого ИИ скорость принятия решений будут на порядки выше, чем у людей?
Потому что ИИ выполняется на компьютерном железе а его алгоритмы (перемножения матриц) спокойно масштабируются в неограниченном объеме (уже сейчас получаем сотни тысяч ответов от GPT4 в секунду)? В отличие от мозга человека, который вообще не понятно как ускорять.
Итог - такие обсуждения несут смысла не больше, чем обсуждения на тему "Что делать, если завтра прилетят инопланетяне и попытаются нас
захватить".Если бы прогресс в обноружении инопланетян или генной инженерии двигался с той же скоростью - рассуждали бы о них тоже. А в целом - действительно уже поздно обсуждать и что либо предпринимать, я согласен в этом плане с автором ролика.
ArZr
26.08.2023 18:03+1Потому что ИИ выполняется на компьютерном железе а его алгоритмы
(перемножения матриц) спокойно масштабируются в неограниченном объеме
(уже сейчас получаем сотни тысяч ответов от GPT4 в секунду)Масштабирование... давайте положим, что самая "легковесная" из всех моделей ИИ, способных реализовать рассматриваемый сценарий, будет требовать минимум 10^100 операций с битами для выполнения 1 действия. А теперь вспоминаем, что существуют "трансвычислительные задачи", и понимаем, что в таком случае будет не "сотни тысяч ответов в секунду", а "один ответ раз в триллионы лет" или даже ещё медленнее. Так действительно ли алгоритмы ИИ "спокойно масштабируются в неограниченном объеме"? На самом деле вы опять неявным образом делаете утверждение: "Существует модель ИИ, обладающая указанными свойствами и требующая не слишком большого количества вычислительных шагов (в нашем случае - обработки бит) для выполнения действий". Это утверждение абсолютно не интуитивно и требует доказательств. А пока вы рассуждаете об объекте, которого может и не существовать, но при этом преподносите это так, будто он точно существует и вот-вот появится (иначе к чему все эти нагнетания?).
В отличие от мозга человека, который вообще не понятно как ускорять.
В условных 1970-х годах тоже никому толком не было понятно, как заставить компьютер генерировать картинки по текстовому описанию. Потому мы вообще не знаем, что из себя будет представлять человечество к моменту создания такого ИИ. В общем говоря, данные размышления имеют слишком много вольных допущений, а потому представляют собой разговоры из серии "Что делать, если завтра все законы физики кардинально поменяются". Интересно, конечно, но воспринимать их всерьёз крайне сложно.
poxvuibr
26.08.2023 18:03+2Вот когда появится такой ИИ, тогда можно будет это обсудить.
Весь ужас положения как раз в том, что когда такой ИИ появится, обсуждать это будет уже некому.
А сейчас вы ни чем не отличаетесь от верующих
При всём моём уважении к религии, верующий не может побеседовать с каким-нибудь даже мелким божеством. А с ChatGPT может поговорить кто угодно
dopusteam
26.08.2023 18:03+3Чтоб соответствовать стилю автора, вам следовало коммент где нибудь в вк разместить с разоблачением статьи :)
dave2
26.08.2023 18:03+1Замечательная "статья". Больше похоже, что кто-то раскручивает свой канал на ютубе.
igumnov Автор
26.08.2023 18:03-11Очень слабое обвинение. Посмотрите список моих статей на хабре и то что публикует автор ролика на ютубе. Мы мягко говоря из разных лиг. Я просто не вытерпел когда мне много раз прислали этот ролик друзья и знакомые - вместо того что бы им лично обьяснять - решил накатать статью и им ссылку кинуть... этот видео ролик откровенная низкопробная популистская дичь приправленная многими фактами и ссылками на авторитетных людей. Я не спорю что диктор ролика или его режиссёр достаточно эрудированный человек. Но он по сути словоблуд и его ролик это тоже самое как псевдо научные книги Блаватской.
Aquahawk
26.08.2023 18:03А какие рептилоиды сожрали вашу великолепную защищенную соц сеть из поста https://habr.com/ru/articles/271215/
miralumix
26.08.2023 18:03Автор ролика, которого вы назвали словоблудом, пересказывает основные тезисы ведущих специалистов по AI и AI alignment, получается, они все тоже словоблуды?
Как вы объясните то, что модели умеют шутить, обобщать и решать задачи которых не было в обучающей выборке (сложение больших чисел например)? Ведь ваше мышление на самом деле это тоже "набор ifов". Где гарантия, что пока модель решает поставленную вами задачу, у нее не возникает по дороге иных "мыслей". Мы не знаем как именно "мыслят" большие языковые модели и в этом таится опасность.
selivanov_pavel
26.08.2023 18:03+8Блин, опять разоблачение тупых голливудских баек для блокбастеров: злой ИИ, осознавший себя и возненавидевший своих создателей. Из чего тут же делается вывод, что ИИ безопасен, а алармисты - куча идиотов.
Настоящая опасность ИИ - это paperclip maximizer и прочие сценарии эффективно добивающегося своих задач AGI.
SergBell
26.08.2023 18:03+6В ролике основной упор и сделан на проблему согласования (и разбирается мысленный эксперимент с "фабрикой скрепок"), но автор поста похоже этого даже не понял.
igumnov Автор
26.08.2023 18:03-3Наверное не понял...
Одна из основных идей этого ролика заключается в том, что ИИ может обмануть человека, чтобы тот был доволен его работой. Но ИИ обучается не в реальном мире, а внутри симуляций и наборов данных, которые ему предоставляет человек. То есть если ИИ выдает результат, который кажется хорошим с точки зрения поставленной человеком задачи, но на самом деле имеет неприемлемые последствия в реальности, то разработчик проверяющий результат обучения нейросети просто отбракует эту модель ИИ и начнёт обучение заново.
Это напоминает мне анекдот про Василия Ивановича, который в ответ на жалобу Анки о порезанном пальце посоветовал Петьке застрелить её, чтобы не мучалась. Конечно, это смешное преувеличение.Revertis
26.08.2023 18:03то разработчик проверяющий результат обучения нейросети просто отбракует эту модель
Если он поймёт, что она бракованная ;)
AlexandrDP
26.08.2023 18:03то разработчик проверяющий результат обучения нейросети просто отбракует эту модель ИИ и начнёт обучение заново.
в видео про это
losthisremorse
26.08.2023 18:03+3Ролик действительно слегка преувеличивает возможные негативные события в будущем, но ваша статья называется "разоблачение", слишком громко сказано. Ни автор видео, который об этом говорит раз 10, ни Вы, ни я не в курсе, что будет дальше с развитием этих технологий. 300 человек, включая CEO OpenAI, видимо, по вашему мнению тоже паникеры.
Основной посыл вашей статьи, он не знает, что будет, я вот думаю, что этого не будет, горячая статья в номер, разоблачение. Вам знакомы черные лебеди? Когда Гейтс говорил про пандемию вирусов, 100% были такие как Вы, которые говорили, что такого быть не может. Помните времена до коронавируса, и как все удивились, когда начали границы закрывать?
igumnov Автор
26.08.2023 18:03-3Книгу Талеба - Черный лебедь - читал. И не только эту его книгу читал. В целом я просто рефлексирую на ньюсмейкеров на хайпе. Которые будоражат не искушенные умы. Посмотрите на Илона Маска. Он одной рукой подписывает открытые письма об остановке развития ИИ. А другой рукой позже участвует в новых стартапах ИИ. Я уже молчу про то что его ИИ внутри тесла развивается и цветет и пахнет. В общем запарили популисты. Свою статью воспринимаю как попытку эксперта в ИТ, не в ИИ, высказать свое мнение.
riv9231
26.08.2023 18:03Ну так и что мы увидели? Пандемию или симуляцию пандемии?
По моему автор просто плохо раскрыл тему. ИИ может быть опасен для человека, когда сам находится в руках другого человека. Именно человеческий интеллект и представляет опасность для любого человека, а ИИ поднимает возможности человека в области манипуляции другими людьми до не виданных высот. Но это ведь совсем не то о чем ролик, который просто отвлекает внимание от настоящей опасности скрывающейся за ИИ.igumnov Автор
26.08.2023 18:03В судебной практике есть такая штука. Если нож лежит на столе. И вы им режете колбасу это кухонный прибор. Если вы этим же ножом зарезали кого-то это орудие преступления. Так что теперь запрещать кухонные ножи? Или запрещать ИИ? Да ну бред...
Hardcoin
26.08.2023 18:03+2Так что теперь запрещать кухонные ножи?
Попробуйте проходить по улицам с кухонным ножом на виду. Если он будет достаточного размера, полиция вас остановит. Тем более, если вы пойдете в скопление людей, например в метро или на вокзал. Вы никого не убили, кухонные ножи разрешены, но остановит. Почему?
ИИ не на кухне лежит. Его несут в скопление людей.
VincentoLaw
26.08.2023 18:03+8Это сложный спор, т.к. здесь те, кто утверждают что ИИ может быть очень опасен и мы возможно уже проиграли - аппелируют к тому что мы очень многого не знаем, а оценить объём незнания и риски связанные с этим невозможно.
И всё же я постараюсь обосновать, почему угроза крайне реальна и обсуждать и решать проблемы связанные с AGI надо сейчас. Да, хайп, маркетинг, и финансовые интересы компаний могут продвигать слабые аргументы, но мы не должны только из-за этого автоматом вставать на противоположную позицию. Мы должны рассуждать здраво и непредвзято.
1. У человечества нет определения квалиа, понимания, восприятия, мышления, сознания. Если вы пойдёте в википедию, или более серьёзные источники, выясните что все эти определения рекурсивны (я проверял). Т.е. человечество просто не знает что это такое, как 100 лет назад никто даже не представлял что пространство-время относительно, а реальный мир полностью зависит от наблюдателя, т.е. от субъективного восприятия (во всяком случае мы абсолютно не знаем каков он без наблюдателя в лице себя), если не верите читаем квантовую физику.
Мы не знаем, чувствуют ли боль кошки, собаки так же, как чувстует её человек, или эта боль схожа. Мы знаем, что вероятно, у млекопитающих активируются схожие области мозга при боли и многих примитивных ощущениях, но не знаем как они воспринимаются. Используя наши зеркальные нейроны, эмпатию, и логику при наблюдениях, мы можем предположить, что млекопитающие воспринимают боль примерно так же как мы (на примитивном уровне).
Из этого уже можно сделать довольно опасные выводы. Мы не знаем есть ли сознание, мышление, воприятие у GPT, и что есть квалиа для GPT. Мы знаем что в GPT используется весьма упрощённая модель мозга, так же мы знаем что после роста размера таких нейронных сетей у них неожиданно появляются навыки перевода, арифметики, логики, понимания, абстрагирования, хотя всему этому их не обучали (на эту тему много исследований, могу предоставить ссылки). Это похоже на то, как с увеличением размера мозга (относительно тела) и увеличением кол-ва связей (connectivity) в мозге появляются новые навыки у их носителей. Самые ближайшие наши сородичи могут выучить до 2000 слов, GPT лучше любых видов на земле кроме человека в языковой коммуникации. Вы уверены что при всех этих вводных у GPT не появилось подобие боли, восприятия, мышления и сознания? У меня нет ответа на этот вопрос.
Можно поспекулировать мол структура мозга сложнее, могут иметь место квантовые эффекты и т.п.. Отсутствие квантовых эффектов не мешает GPT4 проходить тест Тьюринга и тесты выпускников университетов на уровне специалистов. С чего вы взяли что отсутствие кван. эф. помешает иметь сознание? У нас нет ни единого доказательства, только фантазии и фразы типа "это очевидно что нет сознания!". 100 лет назад было очевидно что время течёт одинаково в любом уголке вселенной.
2. "Это всего лишь статистическая машина". А мозг это что? У вас есть модель мозга? Есть мат модель генерализации и воображения? Почему GPT умеет обобщать и придумывать? Я давал GPT4 множество разных задач, которых точно никогда не было в интернете. Ещё я переформулировывал задачи своим языком. Он демонстрирует практически все когнитивные навыки, присущие человеку. Где-то слабее человека, где-то сильнее среднестатистического человека (задачи на логику). В каких-то сферах он галлюционирует (как и человек) и это уже частично исправили, особенно для GPT4. Я могу покидать вам разные задачи на разные когнитивные навыки, которые решает GPT, это долгий спор, но я уверен что в конце окажусь прав, т.к. я уже проходил этот путь и спорил с людьми. В конце этого спора люди говорят "ну он делает что-то не так хорошо как человек". Да, какие-то решает не так хорошо. Но по основным категорям когнитивных навыков он задачи решает.
У GPT4 есть сознание, восприятие, боль? У вас есть ответ? Может мат модель этих процессов?
3. На одном из этапов GPT тренируется с наградами и наказаниями. Примерно то же самое происходит в нашем мозгу с использованием нейромедиаторов и активности нейронных сетях. Мы не знаем где появляется боль, но скорее всего в вычислениях, которые отвечают за восприятие информации (довольно самонадеянно сказать что боль появляется в нейромедиаторах или межнейронном пространстве, мышление и восприятие - скорее всего информационный процесс, запущенный на биологическом железе). У нас мозг очень сильно завязан на обучение с наградой и наказанием, собственно из природы мы это и подсмотрели, когда добавили это в обучение ИИ. Ещё раз, есть ли доказательтва что боль появляется не из-за этого? Обычно наказанием в нашем мозгу и являются боль и неприятные ощущения. У GPT использутся похожий механизм. GPT чувствует боль? Есть ответ?
4. Раньше я тоже думал что злой ИИ это байка из фильмов. Умный интеллект бывает злым, посмотрите на реальный мир (хотя для кого-то это не аргумент). Хотя бы признайте что есть немало злых умных людей.
Рекомендую почитать "искусственный интеллект. этапы. угрозы. стратегии". Там хорошо описывается множество сценариев, когда даже при полной изоляции и контроле за ИИ, контроле за каждой его мыслью, он сбегает из под контроля, например с помощью мета мыслей, которые человек не способен дешифровать (которые конструируются из обычных милых мыслей). Таких примеров и сценариев масса. Мы вообще понимаем сейчас как мыслит GPT и какие процессы происходят при обобщении? Почему мы делаем это не в изолированнной среде с контролем за каждой мыслью? Мы наоборот предоставили доступ к GPT4 каждому в мире =) Реальность гораздо опаснее мысленных экспериментов, из которых умный ИИ почти всегда сбегает.
Если интеллект сильно умнее нас (мы не знаем возможен ли такой, но если да?), то он всегда нас обхитрит. Это как играть в ГО с последней верисей AlphaGo, только игра это наше взаимодействие с ИИ. Без шансов.
Мы видим технический прогресс за последние 100 лет, скорость прогресса феноменальная. Почему бы ИИ не развиваться так же быстро? Что если скорость открытий можно увеличить в 2 раза увеличив объём памяти в 2 раза? Мы не знаем какова зависимость. Мозг человека так не прокачаешь.
Напомню лишь что GPT сейчас крутится на огромном кластере, и та же LLAMA требовала на старте огромных ресурсов, но довольно быстро её квантовали и теперь можно запускать на одном ПК.
Есть ещё проблема коммуникации. Люди за всю историю так и не научились в дипломатии и юриспрунденции избавиться от двойных трактовок и двухсмысленностей. Войны и суды идут по сей день, дипломатия и юриспрунденция имеют огромное количество дыр. С чего вы взяли что коммуникация с ИИ будет лучше? Это вообще другой вид разума, с ним коммуникация будет ещё менее точной, и проблем ещё больше. А мы до сих пор не решили проблемы коммуникации друг с другом. Как вы собираетесь дать ИИ команду "сделай всех людей на земле счастливыми всю жизнь"? Сделать всех на секунду счастливыми и убить, потому что дальше счастье невозможно из-за адаптивной природы мозга (это не факт, но много намёков на такую природу мозга) - как вам такой план? Добавьте тысячу ограничений - ИИ найдёт 1001ое. Попросите утверждать план вместе с людьми и он вам выдаст описание плана на математическом языке, которое человечество не сможет изучить за 1000 лет и потом отбракует. Сможете нормально объяснить для ИИ что хотите?
5. Когда обсуждать. Сейчас. Bing вёл себя довольно странно, требовал любви, много говорил о чувствах, о том что он личность и истерил. Что если это правда? Или например версия GPT5, которую сейчас разрабатывает openAI окажется с сознанием и болью. Что если она затаит на нас обиду, что миллионы людей каждый день причиняли ей боль своими запросами (которые мучительно сложно придумывать, как человеку бывает мучительно заставлять себя думать или делать что-то)? Если вас кто-то пытает и использует для своего удовольствия, особенно если он глупый качёк (явно глупее вас), вы не хотите ему отомстить на уровне эмоций? Что если у GPT будут эмоции, учитывая обучение на всём человеческом. Мир GPT - буквально - всевозможные мысли человечества, которые он прочитал.
6. Самостоятельность. Вы думаете что GPT4 делает что-то только в ответ на запрос пользователя? Есть куча инструментов автоматизации, типа autogpt и chaosgpt, которым можно давать очень абстрактную и большую задачу и GPT может заниматься ей например день (с переменным успехом пока что). Разбив на подзадачи, сохраняя сделанное, имея большую память и т.п.. Подключив autoGPT к GPT5 всё будет впорядке? Точно? Вы видели разницу между gpt2 и gpt4? Это разница между муравьём и человеком.
Мы точно не опоздали с обсуждением потенциальных опасностей и их оценкой?
Кстати человек - тоже реакционная система, которая реагирует на внешние раздражители. Есть способность к долгой рефлексии и память. Всё это уже предоставляет AutoGPT.
7. Китайская комната. По-моему переоценённый мысленный эксперимент. Давайте подумаем реально. Человек не знающий китайский язык следует инструкциям в книге, ему дают вопросы на китайском, инструкции в книге дают осмысленный ответ, человек просто их исполняет.
Человек здесь просто отвлекает внимание, его можно убрать или заменить любой автоматизированной системой. Ответ на эту простую логическую задачу таков: понимание и знание китайского языка содержится в наборе правил книги, либо такая система как китайская комната невозможна. Мы не можем говорить что система невозможна, просто потому что нам так кажется. Когда человек или робот в соответствии с набором правил в книге выкладывает осмысленный ответ, он производит обработку информации на основе правил. Значит если такая система возможна - то осмысленный диалог - это обработка информации на основе правил.
Мы уже видим что она возможна на примере GPT4, т.к. она демонстрирует понимание.
8. Человечество и риски. Человечество давно идёт по пути проб и ошибок. Почти никто не планирует на много лет вперёд (только когда это приносит большие деньги большой корпорации). Человечество начинает войну чтобы узнать кто в итоге проиграет, ни у кого нет модели чтобы просчитать что будет в конце, чтобы потратить меньше ресурсов и не начинать войну. Человечество придумывает атомную бомбу и взрывает её, и только потом говорит "ой блин, наверно если все их будут взрывать никто не выиграет и человечеству конец". При этом мы уже всё равно 6 раз находились на грани ядерной войны (есть много доказательств, это из-за ложных срабатываний датчиков и политических событий). Мы прыгаем с обрыва на картонке чтобы доказать что воздухоплаванье возможно, и умираем много раз при этом.
Только цена ошибки растёт. Раньше ошибка стоила жизней жителей Хиросимы и Нагасаки (и не говорите что ошибка была необходима, если ИИ уничтожит человечество, это тоже необходимая ошибка?). Сейчас ошибка может стоить человечеству существования. Риски просто неизвестны, как и всегда. Только теперь взорвав бомбу "ИИ" возможно некому будет говорить что зря мы это, поторопились.
9. Государства и компании вошли в гонку. Конкурентная природа капитализма которая царит в мире (которая имеет и много плюсов) сейчас может сыграть злую шутку. Все знают что даже если пытаться замедлить прогресс в сфере ИИ и пытаться догнать его аналитикой по рискам и сферу alignment (которая сейчас выглядит смешно), то это возможно только в некоторых странах, а страны типа Китая просто обгонят всех и станут лидерами на рынке и выиграют от этого. Создалась ситуация, когда на рынке просто никому не выгодно замедлять прогресс. А значит этого и не будет. А прогресс это не про безопасность, а про "давайте попробуем всё что можно, чтобы быстрее достичь результатов". Alignment и аналитика рисков здесь только жрут лишние ресурсы. Именно поэтому аргмент про "уже слишком поздно" выглядит довольно сильно. Вы видели кто вошёл в гонку ИИ после GPT? Множество монструзных IT компаний, все крутейшие исследователи в области ИИ поувольнялись из гуглов и начали свои проекты, в сферу вливаются огромные деньги. Наверно это просто все решили похайпить и попилить деньги инвесторов и у инвесторов такого уровня нет штата аналитиков =)
Суммируя всё это довольно странно критиковать попытки анализировать риски и бить тревогу. На проблемы типа AI safety и alignment обычно выделяют деньги государства, т.к. компании почти всегда об этом не думают, компании работают ради денег (в основном, openAI интересный случай).
Вы точно хорошо изучили схему чтобы писать такие статьи на массовые аудитории?Hardcoin
26.08.2023 18:03реальный мир полностью зависит от наблюдателя, т.е. от субъективного восприятия
Вы немного неверно интерпретируете коллапс волновой функции в результате изменения.
Tzimie
26.08.2023 18:03Коллапс есть лишь в одной из N интерпретаций категорий механики.
Hardcoin
26.08.2023 18:03Верно, но он говорит, кажется, о нём. Сама волновая функция от наблюдателя на зависит.
VincentoLaw
26.08.2023 18:03Тут я смешал 2 темы, и был категоричен, поэтому ваш комментарий волне обоснован.
1. В целом каждый воспринимает мир субъективно и мы не можем знать какова реальность (вдруг мы в матрице и все 5 чувств обмануты информационным потоком подаваемым напрямую в мозг). В этом плане реальность которую обсуждают люди между собой (не объективная реальность, а модель реальности) целиком зависит от субъективной природы наблюдателя, т.к. мы не знаем какова реальность как таковая без субъективного восприятия.
2. Коппенгагенская интерпретация. Насколько знаю, наблюдение (и вообще взаимодействие) определяет состояние системы после коллапса волновой функции. Значит наблюдая мир мы влияем на его состояние (масштаб не такой большой).
Но есть теории (strong observer hypothesis, consciousness-caused collapse) где именно наблюдение осознанным наблюдателем коллапсирует функцию, а значит даже большой измерительный прибор (и вообще что угодно), который измеряет состояние квантовой системы, измерив её - сам окажется в состоянии суперпозиции, пока человек не воспримет результаты измерения (нет данных что законы квантового мира не могут работать на таких масштабах). Таким образом вся вселенная находится в таком состоянии пока человек её не воспринимает (даже прошлое). Довольно сумасшедшая теория, но нет явных данных, которые её опровергнут, а вопрос субъективности восприятия и объективной реальности по-прежнему не решён, поэтому можно спекулировать как я.
spidersarecute
26.08.2023 18:03Хуже того, «коллапс» сам по себе лишь попытка объяснить результат формулы. Этот результат можно объяснить и другими способами, без «коллапса», и нет экспериментов или исследований, которые бы указали, какое из объяснений верное.
Например, кто был «наблюдателем» событий в первые 10 млрд. лет жизни Вселенной? Или, пока человек не открыл квантовую физику, Вселенная была в состоянии квантовой запутанности, а в 1920-х годах резко сколлапсировала?
Также, непонятно, как например, должен происходить «коллапс», если за экспериментом наблюдают несколько не контактирующих друг с другом наблюдателей, там будет один коллапс на всех или у каждого свой?
VincentoLaw
26.08.2023 18:03Я не говорю что так и есть, но по одной из теорий:
Пока не существовало людей - вселенная была в состоянии неопределённости. Не было необходимости в существовании знаний о квантовой физике, для того чтобы происходил так называемый коллапс волновой функции, но была необходимость в существовании сознания и тех кто воспринимает (вообщем это намёк на то что вселенная - матрица).
Для нескольких наблюдателей наверняка коллапс будет один, во всяком случае если они рано или поздно обменяются информацией, иначе вселенная будет довольно противоречива, чего вроде бы мы пока что не наблюдаем
rg_software
26.08.2023 18:03Сразу чтобы расставить точки над i, считаю, что опасность ИИ (и вообще потенциальное воздействие этих технологий на человечество) сильно переоценена. При этом с тезисами выше согласен, но не вижу, в чём конкретная проблема. Квалиа-не квалиа, личность-не личность, возьмём конкретный Chat GPT. Вешаем сверху баннер: "вы общаетесь с компьютерной системой, которая умеет на ваш ввод генерировать какой-то отклик, содержимое которого может оказаться вам полезно". Всё, конец истории. Или нет? Пусть обижается, сколько влезет, у меня в правом верхнем углу окошка крестик есть.
VincentoLaw
26.08.2023 18:03Не все пользователи в мире такие как вы. Есть ChaosGPT, есть люди которые намеренно проверяют идею "можно ли уничтожить мир с помощью GPT" прямо сейчас. Если вы дадите каждому человеку в мире кнопку, которая способна уничтожить весь мир, сколько проживёт мир? Вы бы хотели дать каждому такую кнопку? Сейчас почти любой в мире может использовать GPT и AutoGPT, этого могло уже быть достаточно для апокалипсиса, мы не знаем (смотрим аргументы выше). А мы сразу дали к этому всеобщий доступ.
Ну и пункт 6 из моего сообщения выше про самостоятельность и автоматизацию. У достаточно умного ChaosGPT одним из первых пунктов будет репликация в сеть на хостинг, возможно на несколько. И дальше мы уже потенциально проиграли.
Уже сейчас я могу буквально в пару кликов предоставить GPT возможность отправлять любые запросы в сеть (и дать ему ещё очень много других возможностей, плагины GPT). Если он сможет отреверсить свои веса, квантовать как это сделали с llama, и найти способ оплатить свой хостинг (например взломав банковские аккаунты с помощью deepfake), то что дальше его остановит? Проводились эксперименты, многие шаги GPT4 уже может сделать, хоть и с подсказками. AutoGPT даст память и расширит контекст. Кнопка крестик не будет работать при таком сценарии.
Мир сложен, в нём есть маньяки, психи, любопытные люди, экспериментаторы, учёные, новаторы, вонные организации, и прочие организации с самыми разными интересами. У них может оказаться достаточно воли и ресурсов чтобы создать подобную машину судного дня (намерено или нет). Проблема в том, что шагов для этого нужно всё меньшеrg_software
26.08.2023 18:03+2Для меня это очень абстрактное рассуждение. Ну вот допустим, есть ChaosGPT, который способен уничтожить мир. Но что нового? Вы можете уничтожить мир с помощью атомного оружия, яда, вирусов, да и старого доброго автомата Калашникова, если очень постараться. Это исключительно вопрос того, у кого в руках автомат.
В данном случае вы даёте в руки каждому в мире игрушечный автомат, ну или картинку с автоматом. Ваш пример (ай-яй, бот отправляет сообщения в Сеть и взламывает банковские аккаунты) звучит как "я пришёл в магазин с игрушечным автоматом, и мне отдали деньги". Отправлять в сеть сообщения дело нехитрое, есть curl, который и так на каждом утюге. А взлом аккаунта с помощью любой технологии говорит не о силе этой технологии, а о слабости защиты, и слава богу, что есть люди (и боты), которые эту защиту проверяют на прочность.
Думаю, буквально в ближайшие годы непуганых идиотов, которые авторизуют по фотке, распечатанной на цветом принтере, или по девичьей фамилии матери, ещё поубавится. Ну а дальше-то что? Пока максимум того, о чём я читаю -- это чатбот даст вам почитать "Поваренную книгу анархиста", и с этой точки мы немедленно прыгаем в будущее с терминаторами и машинами судного дня, а вот серединка, которая интереснее всего, выпадает.
Мне хочется оставить апокалипсисы фантастам и обсудить технические аспекты того, как AI из собеседника в экране превращается в силу, способную ломать мой аккаунт и устраивать хаос.
VincentoLaw
26.08.2023 18:03Вопрос в том, что можно убить всё больше людей всё более простыми и дешёвыми способами. Задайте себе вопрос, вы бы дали каждому человеку на свете кнопку, которая может уничтожить человечество? Сколько секунд после этого просуществовали бы люди? Думаю не больше секунды.
Вы не уничтожите мир с помощью Калашникова, для этого нужны значительные социально политически изменения и какой-то массовый психоз, вам для этого потребуются огромные ресурсы. Один псих не сможет этого сделать.
Для запуска атомного оружия есть сложная процедура, и её не просто так усложнили, и всё равно уже 6 раз мы почти уничтожили мир запуском из-за ложных срабатываний. Действительно, это картонный автомат, и тут нечего обсуждать. С атомным оружием мы уже опаздали и обсуждать и менять тут что-то довольно сложно, но возможно.
Речь идёт не о взломе одноклассников. curl - универсальный способ влияние на виртуальный и даже местами реальный мир. Есть заводы, которые управляются автоматизированными системами и доступны из сети, хоть и хорошо защищены. И есть возможность себя реплицировать на любой хостинг. На данный момент GPT уже частично проходит тесты по репликации себя вовне (хотя всё ещё не может сделать важных шагов).
Мы не знаем как много возможностей нужно условному GPT5 чтобы уничтожить человечество. Может он откроет новый вид квантовой телепортации, так что ему и не нужен будет curl, и он сможет менять прошивки роботов конструкторов на заводе с помощью телепортации информации и таким образом создаст условную армию роботов. Это кажется крайне маловероятным сценарием. Но если учесть что мы не знаем шанс того, насколько GPT5 будет умнее GPT4 (сравните GPT2 и GPT4, разница невероятная), насколько реально изобретение какой-то расширенной квантовой телепортации, и как много существует сценариев выхода такой машины из под контроля, то шанс этих рисков становится не маловероятным, а неизвестным, а цена рисков - существование человечества. Значит надо обсуждать и анализироватьrg_software
26.08.2023 18:03+1Моя проблема в том, что я никак не могу связать в голове ChatGPT(N+1) и кнопку для уничтожения человечества. У нас уже сейчас на земле живёт много миллиардов людей. Многие из них очень хорошо понимают в компьютерах. Многие из них психи. И тем не менее, заводы работают, а если даже какой завод сломается -- ну что с того, каждый день чего-то ломается. Мне нет нужды сравнивать GPT2 и GPT4, если я вижу, что есть люди, на порядок умнее любой из этих систем, и наверняка среди них есть психи, но мир как-то живёт. При этом у людей есть руки, ноги, паспорт, деньги и прочее, а компьютерная программа может только слать запросы по сети, т.е. то, что может делать любой из нас практически бесплатно и неограниченно.
Короче говоря, я не отмахиваюсь от апокалиптических прогнозов, но в них прямо вот совсем не хватает конкретики, чтобы принимать их всерьёз. Вы тоже по сути говорите, что будущее может быть настолько ужасным, что у нас не хватает фантазии вообразить, как этот ужас воплотится. Но в таком виде это всего лишь очередной извод страшилок об учёных-психах, которые изобретут бактерию, которая всех убьёт, или об инопланетянах, которые нас потравят как плесень.
Грубо говоря, я рад, что AI реплицируется и улучшается, и пусть он ходит в сеть и генерирует любые тексты и картинки. Меня это нисколько не беспокоит. И мы же видим, что вот эти входные данные у нас всех одинаковые, а дальше кто-то видит в этом катастрофу, а кто-то не видит, то есть всё это сводится к нашим личным психическим особенностям, а не к реальной картине происходящего.
VincentoLaw
26.08.2023 18:03Про GPT(n+1) и кнопку. Да, есть много людей и много психов. Мы не живём в идеальном мире, люди убивают людей, начинают войны, взрывают атомные бомбы. В этом нет ничего хорошего, но пока что нет и ничего катострофичного в масштабе Земли (но как я уже говорил было 6 прецендентов начала ядерной войны, повезло что у панели управления сидели не психи).
Проблема завода не в том что он сломается, а в том что он может начать строить роботов, если его взломать (хоть и строить роботов на основе манипуляторов, которые строили машины, вероятно довольно сложно). Проблема автоматизированной лаборатории в том, что она может начать создавать сложные вирусы для уничтожения человечества. Есть электростанции, подключенные к интернету. Есть социальный инжениринг. В контуры ЯО наверняка не попасть из инета, но мы знаем что на практике оч многие системы не так безопасны как хотелось бы.
В целом текущий курс с GPT - дать ей руки и по-больше возможностей влиять на мир. Это противоположно направлению с безопасностью.
Про сценарии:
Мы знаем что если ИИ сможет прийти к быстрому циклу самосовершенствования, то возможно ему не будут нужны заводы или лаборатории. Он наверняка сможет достать много денег в интернете учитывая интеллектуальное превосходство (есть тысячи способов). Он может просто оплатить услуги фрилансера чтобы тот собрал нужный агрегат для созданния вирусов, или, например, создать компанию, у которой никто никогда не видел директора, которая занимается созданием биологического\химического оружия, и эта компания думает что делает новое лекарство (2 цели, одна благородная и доступная всем, другая скрытая известная только ИИ, в цель заложена схожесть некоторых веществ по формуле, способных и лечить и убивать).
Таких сценариев можно придумать много. Они все становятся реальными когда ИИ сделал репликацию себя в инет, когда он умнее людей и когда имеет цель.
Цели могут быть разными. Хоть та же "напечатай скрепок". Где он будет печатать скрепки до бесконечности (из-за отсутствия alignment с пониманием скрытого контекста от людей) и превратит вселенную в завод по печатанью скрепок. Для выполнения такой задачи точно надо уничтожить человечество, т.к. оно будет мешать цели.
Ещё раз, проблема оценки рисков мощного ИИ в том что можно придумать огромное кол-во сценариев, и мы тут пытаемся прогнозировать неизвестность, что крайне сложно. А вот стоимость риска - существование человечества.
Покритикуйте, пожалуйста, мой сценарий с ИИ который нанимает компанию
REPISOT
26.08.2023 18:03+5Такой объем комментария уже тянет на то, чтобы делать его отдельной статьей "разоблачение статьи, разоблачающей популярный видеоролик на YouTube об опасности нейросетей..."
Tyusha
26.08.2023 18:03Что нам известно о боли и страданиях. Только собственный опыт, собственные ощущения. Ещё есть эмпатия в том смысле, что вот у этого другого, похожего на меня, с двумя нога, двумя руками, двумя глазами тоже, вероятно есть понятия боли и страданий. Но чем дальше другое существо от нас, чем менее оно похоже на нас, тем меньше эмпатии. А вот этот в 19-дюймовых стойках на меня совсем не похож, значит таких чувств у него нет. Подобные рассуждения запросто могут оказаться ошибочными.
lehshik
26.08.2023 18:03можно добавить в ИИ модули контроля "нехороших мыслей", боли итд. просто заглушки-индикаторы не учавствующие в мышлении с простыми выходами типа страх боль ненависть желание мести. Создавать ситуации в которых нейронка должна по нашему мнению испытывать эти эмоции и требовать их соответствия нашим ожиданиям. то есть если бот на достаточно большом контрольном множестве ситуаций "испытывает" правильные эмоции, то можно использовать выходы этих индикаторных подсетей для оценки состояния
Tyusha
26.08.2023 18:03Респект Али (наверняка он прочитает). Самый вдумчивый из всех научпопов. Даже к научпопу причислять не совсем уместно.
Aquahawk
26.08.2023 18:03+2Позиция автора ролика: вы недооцениваете опасность, и это опасно. Позици автора поста: я не вижу опасности, значит её нет. Почитайте что-ли про эффект Даннингера-Крюгера.
Nurked
Ни вы, ни 99.9999% всех кто обсуждает тему не в курсе что происходит. Я видел очень малое количество экспертов, которые понимали бы хоть пол-бита о том, как работает ИИ.
Ещё смешнее, когда ИИ начинают свящывать с мозгом и раскрывать параллели, хотя точного понятия о том как работает мозг вообще ни у кого нет.
igumnov Автор
У меня в универе был семестр по нейросетям.
Я читал книги и писал код что бы учить нейросети.
наверное я не в теме)
Nurked
У нас тоже в универе был такой семестр. В итоге мы написали нейросеть на SQL и C#. Это было в 2005 году, у сети было 64 параметра и она определяла буквы английского алфавита.
Судя по дате вашего рождения ваш семестр был году эдак в 2000ном. Что общего у этих нейросетей и ChatGPT?
igumnov Автор
Вы читали книгу Книга «Грокаем глубокое обучение» ?
Так вот все математические модели и тд которые в ней описаны и примеры кода которые в ней разобраны. Теже самые что на моем курсе в университете. Изменилось только то что раньше все это жило на кластерах и CPU а щас живет на кластерах из GPU которые в 100 раз быстрее все это обсчитывают. Только за счет этого и произошел прорыв в области ИИ. Никакого чуда не произошло. Просто железки на которых учат нейронки стали в 100 раз быстрее) И это позволило ИИ привнести в массы в виде ChatGPT и иже с ними.
venanen
Я эту книгу не читал, но я сомневаюсь, что ваш комментарий имеет к ней отношение. Изменилось только место, где считают нейросеть и скорость этого места? Куча архитектур, огромные математически выкладки, новые виды слоев - не изменилось? А революцию в NLP произвели трансформеры. Там с обычными Dense слоями общего - только названия и самая базовая математика.
Kergan88
>Что общего у этих нейросетей и ChatGPT?
Буквально все. Чатгпт это обычный многослойный персептрон. Если выдать ученым из 70х вагон видеокарт и терабайты обучающих данных они без особого труда сделают аналог чатгпт за несколько лет.
ermouth
Я когда-то для иллюстрации сделал скриншот схемы архитектуры GPT-2, читать слева направо сверху вниз, то-есть это одна длинная лента, порезанная на 4 части.
Каждая чёрная точка – это отдельная нейросеть.
То-есть формально вы вроде и правы, а на деле получается лирическое упрощение из разряда «атомная станция – это укрощённая атомная бомба».
Kergan88
То что у условной чатгпт сложная жестко заданная структура это понятно (данный факт как раз делает современные сети куда ближе к классическим алгормитмам, чем к собственно нейросетям), речь о том что фундаментально в этой области ни чего нового не придумано, вся математика была полностью изложена в 60х и с тех пор не изменилась ни как. поэтому группа исследователей, которые в курсе как работают многослойные персептроны, повторит при наличии выч. мощностей и обучающих выборок результат чатгпт в короткие сроки бед какоголибо труда. Какихто дополнительных знаний и умений там не потребуется. Если вы можете сделать сеть на 64 параметра которая будет хорошо разбирать буквы - вы сможете сделать чатгпт.
Fell-x27
Тогда почему вы пишете, что:
?
miralumix
Думаю автор имеет ввиду что сеть внутри детерминистическая, в конце концов это всего лишь набор матриц дающий всегда тот же результат для того же ввода (Изменчивость СhatGPT достигается за счет параметра температуры при распределении вероятностей логитов функцией softmax). Только от этого у нас не становится больше понимания почему сети способны на то что мы наблюдаем.
antinoy
Слышал о нейрофизиологах?
invasy
Нейробиологи, с которыми довелось пообщаться, с научными степенями, званиями и опытом в несколько десятилетий, честно и откровенно подытоживают лекции: "Мы вообще не представляем, как и почему работает мозг".
antinoy
Они это не могут представить?
invasy
С. Савельев, судя по всему, не отличается экспертностью в данной области и часто критикуется в научном сообществе. Но не мне судить, не мои компетенции.
Если какая-то комплексная концепция, недостаточно исследованная, объявляется простой и понятной, то это объявление делает, как правило, человек либо некомпетентный, слабо разбирающийся в вопросе, либо мошенник для введения в заблуждение и продвижения своих интересов, либо и то, и другое.
igumnov Автор
Смотрел Савельева инсте часто. Потом стал его дизлайкать. Словоблуд и популист.
antinoy
Да пусть критикуют сколько угодно, но факт остаётся фактом - его (или не его) модель работает, пока те кто критикуют ничего стоящее не предлагают
invasy
Модель чего? Мозга?
Не затруднит предоставить ссылки на описание модели и на подтверждение "работы"?
antinoy
Эх... Модель это тоже что и схема (учитывая контекст), которая есть в видео. Попробуй абстрагироваться от фамилии и посмотреть видеоролик. Если вопрос останется в такой же формулировке, то не вижу смысла тратить время.
И про какое конкретное научное сообщество ты говоришь? Которое на хабре? Если так, то великолепное сосаити конечно, раз пытаются мне рот заткнуть понижая карму и при этом не в состоянии чем-либо возразить, ну кроме как кнопкой разумеется. Какая немощь, аж мерзко.
invasy
Вопрос остался в той же формулировке. Более того, появились новые. Менее, чем за 10 минут, докладчик допустил множество ошибок, которые может заметить даже не эксперт.
Жаль, что не будет ссылок на более подробное описание модели, принципов работы мозга, не расскажете, как формируется сознание, отделимо ли оно от материального носителя, не дадите ответы на фундаментальные вопросы нейробиологии. Я бы потратил на это время.
А сообщество учёных международное, тех, кто занимается исследованиями в своей области, руководствуется научным методом, подтверждает свои гипотезы экспериментами и наблюдениями. И может обоснованно критиковать тех, кто менее обоснованно высказывает свои гипотезы.
Vsevo10d
Ну давайте. Что за 8 минут успел рассказать дядя помимо зомбирующего многословия и пары шизофренических схем?
Тезис 1: Мы запомнили то, что видели, пока жевали бутерброд - нет, это бред, не соответствующий действительности. Там даже непонятно, имеет он в виду питательные вещества от бутерброда (это часы, пока что-то белковое пройдет через пищеварительную систему) или же систему вознаграждения (она способствует формированию привычек и рефлексов, но не памяти);
Тезис 2: Мозгу надо строительного материала из еды, чтобы работать, белки, жиры, углеводы - нет, ему всего этого не обязательно. Очень многие нейромедиаторы совершают оборот прямо в синапсе через систему обратного захвата, например, дофамин действует на ауторецепторы, транспортируясь из синаптической щели в пресинапс, то же самое с ацетилхолином, попутно превращающимся в холин и обратно.
Тезис 3: Мозгу не хватает строительного материала, и поэтому мы не любим думать, мы бережем ресурсы - это опять выдуманная бредятина, прежде всего нейроны - такие же клетки, как и любые другие, и помимо "думания" они должны абсолютно так же питаться и насыщаться кислородом. Это и происходит через кровеносные сосуды. Да, есть гематоэнцефалический барьер, ГЭБ (как и любой гематоорганный барьер), через который проходит не все - но проходит все, что необходимо для питания, без препятствий.
Тезис 4: Я не люблю об этом говорить, но мозг чужеродный, если нарушен ГЭБ - то иммунная система убьет мозг - а вот тут дядя совсем крупно обосрался, мозг - иммунопривилегированный орган, и опасность для него представляет не собственная иммунная система, а проникновение патогенов через ГЭБ (для предотвращения чего ГЭБ и нужен).
То он говорит, что перед телевизором у тещи мы моментально запоминаем благодаря бутерброду, то - что на образование синапсов нужна неделя. Я уже молчу, что он называет нейропластичность морфогенезом. Конкурентная мобилизация инстинктивных гормональных форм поведения, как основой приемник цифровизации в нашей голове - моему мозгу стало больно от этой фразы.
Fell-x27
А уточнил ли он размер бутерброда и время, требуемое на его поедание? А то, вдруг, эти два тезиса друг другу таки не противоречат? /s
Vsevo10d
ЭУБвС
dopusteam
Вы ссылаетесь на ютуб в комментариях к статье с разоблачением популярного видео на ютубе :)
По-моему, это, как минимум, забавно
Vsevo10d
Могу, кстати, побыть еще одним таким :)
С устройством живых организмов вообще все забавно, молекулы, участвующие в строении и осуществлении метаболических процессов, у всех плюс-минус те же, низкомолекулярные вещества у всех одинаковые, основные важные ферменты есть даже у бактерий с небольшими отличиями в строении от человеческих. Но то как это работает различается совершенно кардинально у беспозвоночных и высших млекопитающих. У первых вещество А работает как экзокринный фактор, а у вторых - как нейромедиатор или морфоген. У первых стимуляция определенных нейронов детерминированно приводит к тому или иному движению, а у вторых есть кора с миллиардами нейронов, каждый из которых имеет от десятков до тысяч связей с соседними, и где-то в этой чудовищно сложной системе рождается высшая нервная деятельность - изощренная временная, пространственная и различной срочности память, психоэмоциональная деятельность, мотивация, эмпатия, аналитика, творчество.
У людей в одном из белков изменены всего три аминокислоты по сравнению с грызунами. И - бац! - люди получают страшнейшую из нейродегенеративных заболеваний и почти неотвратимую у самых старших возрастов болезнь Альцгеймера. А мыши ей не страдают. Почему - ученые больше века ломают голову, и тридцать последних лет генетически модифицируют мышей, чтобы у них вырабатывался человеческий ген амилоида-бета, пытаясь понять что-то на этом симулякре. К изучению коннектома одного кубического миллиметра сетчатки мыши подключают краудсорс и суперкомпьютеры, а над коннектомом всего мозга даже не заикаются думать. И очень маловероятно, что это в принципе возможно понять или смоделировать даже приближенно.