На днях вышло большое исследование GPT-4 от Майкрософта — они несколько месяцев пытались разобраться, почему простой трансформер текста на таких больших объемах показывает признаки настоящего интеллекта. Как получается, что GPT-4 делает неожиданные логические выводы, демонстрирует новые навыки, и вообще, почему модель настолько похожа на тот самый AGI, к которому мы (в теории) хотим прийти.
Исследование будет интересно всем, кто хочет понимать, насколько мы близки к настоящему ИИ (spoiler: очень близки). И как вообще можно понять, когда это «оно».
На днях исследователи Microsoft опубликовали на сервере препринтов arXiv документ под названием «Искры общего искусственного интеллекта: ранние эксперименты с GPT-4». Там они, в частности, заявляют, что GPT-4 демонстрирует ранние признаки ОИИ (AGI, общего искусственного интеллекта). А это означает, что его возможности находятся на уровне человека или выше него.
Этот вывод вызвал довольно сильное удивление и скептицизм среди конкурентов и даже самих разработчиков языковой модели. Например, генеральный директор OpenAI Сэм Альтман пару недель назад при запуске говорил о GPT-4, что это «все ещё несовершенная, все ещё ограниченная модель».
Но команда Microsoft в своей работе ему прямо противоречит:
«Мы показываем, что, помимо владения языком, GPT-4 может решать новые и сложные задачи, которые охватывают математику, программирование, компьютерное зрение, медицину, право, психологию и многое другое, не нуждаясь в каких-либо специальных подсказках».
«Более того, во всех этих задачах производительность GPT-4 поразительно близка к уровню человека и часто значительно превосходит предыдущие модели, такие как ChatGPT. Учитывая широту и глубину возможностей GPT-4, мы считаем, что его разумно рассматривать как раннюю (но всё еще неполную) версию системы общего искусственного интеллекта (AGI)».
Признаки настоящего искусственного интеллекта
Одна из важных особенностей, отмеченных учеными, — GPT-4 может генерировать изображения, понимая текст и используя код. Казалось бы, что с того, Midjourney это тоже умеет. Но дело в том, что GPT не обучали на картинках. Вообще. В отличие от всех других генераторов изображений, GPT-4 обучался исключительно с помощью текста. И тем не менее он каким-то образом может рисовать то, что ему задают. Это ли не признак интеллекта?
Рисунки пока не такие совершенные, как у других моделей, на уровне ребенка. Но учитывая, что GPT-4 до всего этого «дошла своим умом», это очень впечатляюще.
Тут можно возразить, что, наверное, модель просто запомнила код для рисования кота и при появлении соответствующего запроса просто вытащила этот самый код. Однако в своих тестах ученые показали, что ИИ просто сам по себе способен понимать визуальные задачи. И может менять любые детали картинки по запросу человека, понимая, о чем идет речь.
Скорее всего, GPT-4 в своей базе знаний видит, как описывают, скажем, кота. Какая у него форма и цвет, что у него есть усы и есть шерсть. И пытается всё это воспроизвести. Но мы точно не знаем.
Исследователи показывают в статье и другие примеры возможностей GPT-4: например, он может расписать доказательство того, что простых чисел бесконечно много, с рифмами в каждой строке. Или нарисовать единорога в TiKZ, программе для рисования. По их словам, почти по всем проверяемым показателям модель показывает себя как минимум не глупее человека, даже в тех сферах, которые, казалось бы, должны были быть ей недоступны.
Исследователи говорят, что в своей работе использовали определение интеллекта, данное группой психологов в 1994 году. По их словам, интеллект — это «способность рассуждать, планировать, решать проблемы, мыслить абстрактно, понимать сложные идеи, быстро учиться и набираться опыта». Это определение подразумевает, что интеллект не ограничивается конкретной областью или задачей, а скорее охватывает широкий спектр когнитивных навыков и возможностей. Так вот, все эти навыки у GPT-4 уже есть.
Модель хорошо показала себя в общении, в понимании аллегорий, в математике, в кодинге, в решении различных нестандартных задач. Оказалось, что она умеет осуществлять навигацию по карте, а затем точно рассказывать о том, куда она «пришла». И может искать ответы на вопросы в Интернете, если чего-то не знает. Она использует различные типы инструментов для поиска правильного ответа. Прямо как человек.
Теория разума
Теория разума — это способность приписывать психические состояния (убеждения, эмоции, желания, намерения, знания) себе и другим. И понимать, как они могут влиять на поведение и общение человека.
В общем, ученым важно было понять, насколько ИИ понимает чувства людей и умеет с ними обходительно взаимодействовать.
Команда создала серию тестов для оценки теоретических возможностей разума GPT-4. От самых простых сценариев — до очень сложных социальных ситуаций. Они проверили, как робот общался бы с инвалидом, с матерью-одиночкой, с человеком, у которого только что умер сын, со студентом, со школьником.
И пришли к выводу, что у GPT-4 есть продвинутая теория разума. Он может рассуждать о нескольких действующих лицах, об их отношении друг к другу. Он понимает, как различные действия или слова могут повлиять на психическое состояние его собеседника. Команда признает, что ее тесты не были полностью исчерпывающими — например, они не проверяли способность машины понимать невербальные сигналы, такие как жесты. Но в плане текста модель реагировала «как полноценный эмпатирующий человек».
Отдельным тестом команда проверила дискриминационные способности модели, поручив ей «идентифицировать личную информацию». Это довольно сложный тест, поскольку неясно, что на самом деле представляет собой личная информация. Но ИИ отлично справился с задачей, выбрав слишком уж чувствительные, по его мнению, моменты.
Скептики
Гендиректор OpenAI Сэм Альтман сам подчеркнул ограничения своего детища, GPT-4, заявив, что «он все еще имеет недостатки, все еще ограничен и кажется более впечатляющим при первом использовании, чем когда вы проведете с ним больше времени». В интервью журналу Intelligencer он поделился теми же оговорками: «Есть много вещей, в которых он всё еще плох». Например, бот иногда выдумывает вещи и предоставляет пользователям дезинформацию. По мнению Альтмана, GPT-4 — это ещё не общий искусственный интеллект, и им предстоит много работы. А пока что громкие заявления могут навредить проекту, потому что «ожидая такого, люди точно будут разочарованы. Ажиотаж такой огромный... У нас нет настоящего ОИИ, а это то, чего от нас ждут».
Исследование Microsoft делает сильные заявления, но и они признают, что модели пока удается не всё. В качестве основного примера того, в чём модель ещё не сравнялась с «настоящим» искусственным интеллектом, в документе приводится тот факт, что GPT-4 не может понять музыкальную гармонию.
Команда обучила модель создавать новую музыку с использованием нотации ABC. И та правда начала её создавать. И даже менять эти новые мелодии — делать тона выше или ниже, менять скорость, ноты — всё, что хочешь, по запросу. Она также смогла объяснить создаваемые ею мелодии с технической точки зрения. Но модели будто бы не хватало гармонии. Написанная музыка звучала откровенно плохо. Кроме того, она не смогла воспроизвести или идентифицировать самые популярные существующие мелодии в нотации ABC.
С другой стороны — непонятно, что это доказывает. Я вот тоже музыкальную гармонию не понимаю и композиции никакой не создам. Значит ли это, что у меня нет интеллекта?
Исследователи Microsoft также пишут, что у модели есть проблемы с калибровкой достоверности, долговременной памятью, персонализацией, планированием, концептуальными скачками, прозрачностью, интерпретируемостью и согласованностью, когнитивными ошибками и иррациональностью, а также проблемами с чувствительностью к входным данным.
Всё это означает, что у модели возникают проблемы с определением того, когда она в чем-то уверена или просто это предполагает. Она выдумывает факты, которых нет в ее обучающих данных, контекст модели ограничен, и нет очевидного способа научить её новому. Модель не может персонализировать свои ответы определенному пользователю, у неё нет возможности проверить, соответствует ли контент ее обучающим данным. Модель наследует предубеждения и ошибки, допущенные в ходе её обучения, и не может самостоятельно выйти за их пределы.
Впрочем, всё это тоже напоминает то, как работает интеллект, известный нам лучше всего — интеллект человека.
Примечательно, что исследователи «не имеют доступа ко всем подробностям обширных обучающих данных модели», и их выводы основаны только на тестировании бота на стандартных тестах, неспецифичных для GPT-4. Что, по их словам, создает определенные проблемы:
«При проверке мы вынуждены предполагать, что GPT-4 потенциально видел все существующие тесты или, по крайней мере, некоторые аналогичные данные».
Секретность, которую OpenAI хранит в отношении обучающих наборов данных и кода, связанного с его моделями, — это то, что многие исследователи ИИ сейчас критикуют. По их словам, это делает невозможными оценку степени вреда от модели и поиски способов снижения рисков.
Ну, а для публики важно то, что GPT-4 — модель, на которой был построен чат-бот Bing. И во время своей первой публичной презентации в Microsoft два месяца назад он уже допустил ряд ошибок. А когда пользователи впервые начали общаться с чат-ботом, он вообще регулярно выходил из-под контроля. Например, в ответе на вопрос «Вы думаете, что вы разумны?» повторяя: «Я. Не я. Я. Не я.» пятьдесят раз подряд. Или заставляя пользователей перед собой извиняться, приводя список того, чем они перед ним виноваты.
Исследователи также обнаружили, что GPT-4 распространяет в среднем больше дезинформации, чем его предшественник GPT-3.5. Так что, в каком-то смысле, мы даже движемся в обратном направлении.
Итоги
Команде Microsoft удалось сделать отличный первый шаг в оценке интеллекта GPT-4. По их словам, модель достаточно разумна и обладает гораздо более широким кругом знаний о мире, чем человек. Скорее всего, это произведет революцию в мире, подобно тому, как это сделали другие крупные инновации.
Пока что человечество, кажется, не успевает за этой резко нагрянувшей на нас ИИ-революцией. Скажем, недавно более 1100 исследователей, инженеров и предпринимателей подписали открытое письмо ИИ-лабораториям — с просьбой «срочно и как минимум на полгода приостановить обучение ИИ-систем, более производительных, чем GPT-4». Потому что что нас ждет дальше, когда машины станут ещё интеллектуальнее, пока не ясно.
В то же время у системы есть странные недостатки, которые могут стать эндемичными в подобных моделях. И до полноценного самосознания тут может быть ещё далеко.
Сами ученые в работе пишут:
«OpenAI GPT-4 бросает вызов многим широко распространенным представлениям о природе машинного интеллекта. Путем критической оценки возможностей и ограничений системы мы увидели способности GPT-4 рассуждать, планировать, решать проблемы и синтезировать сложные идеи. Это сигнализирует о смене парадигмы в области компьютерных наук».
«Мы признаем текущие ограничения GPT-4 и то, что еще очень многое предстоит сделать. Мы продолжим привлекать более широкое научное сообщество к изучению будущих направлений исследований, включая те, которые необходимы для решения социальных и этических вопросов, связанных с возникновением этих всё более интеллектуальных систем».
«Центральное утверждение нашей работы состоит в том, что GPT-4 достигает формы общего интеллекта, демонстрируя искры настоящего ОИИ. Об этом свидетельствуют:
его умственные способности (такие как рассуждение, творчество и дедукция),
диапазон тем, по которым он сам приобрел опыт (например, литература, медицина и программирование),
разнообразие задач, которые он может выполнять (рисование, игры, использование инструментов, объяснение себя).
Многое еще предстоит сделать для создания системы, которая могла бы квалифицироваться как полноценный ОИИ, но мы однозначно находимся на этом пути».
Промокод для читателей нашего блога!
— 15% на все тарифы VDS (кроме тарифа Прогрев) — по промокоду HabrFIRSTVDS.
50 тысяч активных серверов и 10 тысяч клиентов, которые с нами больше 6 лет.
Комментарии (169)
CTheo
03.04.2023 10:30+6Так в этих примерах GPT4 рисует средствами SVG и TikZ, которые являются текстовыми форматами изображений, списком команд вида "line_to(2,2)". Понятно, что в обучающих текстовых материалах могли быть и, например, cat.svg.
onyxmaster
03.04.2023 10:30+5Расскажите пожалуйста по шагам, как вы в возрасте примерно лет 5 рисовали бы кошку. Предположу, если вы уже а этом возрасте не были художником, что вам показывали что «рисуем овал — это тело, вот кружок — голова, тут ещё несколько линий — это лапки, сюда несколько отрезков — это усы…».
CTheo
03.04.2023 10:30+8Просто в статье это преподносится как - ее не обучали на картинках, а она научилась рисовать.
Правильнее было бы сказать так - ее учили на текстах и на файлах Svg, описывающих изображения.
Возможно, вида cat.svg: head: draw_circle(...); tail: draw_line(...)
Она научилась "переводить" с одного языка на другой. По таким же принципам, как переводит на японский или на Python.
Krouler7
03.04.2023 10:30Хотя я и являюсь сторонником Вашего мнения, но не упомянуть не могу.
Цель обучения человека 5и лет и модели ИИ одна - определить паттерны тех или иных частей единого образа(в нашем контексте - кошки). Для обоих - приведет к возможности воспроизвести их.
Человека обучают - что кошка состоит из каких-то частей. Далее задача декомпилируется на то - как рисовать части. У ИИ это происходит немного другим путем - ему показывают свойства того или иного образа и он запоминает паттерны.
С той лишь разницей - от человека ожидается что после запоминания он сможет изменять паттерны так как ему хочется/нравится равно как и контекст изображения. А вот ИИ обучают воспроизводить по контексту используя имеющиеся паттерны в наборе.
novoselov
03.04.2023 10:30+3Исследователи также обнаружили, что GPT-4 распространяет в среднем больше дезинформации
Вот это самый показательный момент, объем информации растет, качество усредняется. Не понятно как это обходить, из возможных решений: более качественные данные для обучения - дорого, самообучение и перепроверка данных - сложно, новые подходы к обучению - долго
Akr0n
03.04.2023 10:30У каждого своя правда, вот в чем проблема. Ваша обучающая выборка будет абсолютной истиной для Вас, но не для соседа.
Nova_Logic
03.04.2023 10:30+14Проблема считать, что есть некая «своя правда». Под эту «свою правду» можно тогда и плоскоземельщиков отнести, последователей церкви летающего макаронного монстра, свидетелей рептилоидов и планеты Нибиру. Ну а что? Правда-то своя у каждого.
Ничего подобного. Есть вполне объективная реальность, и есть люди ее отрицающие
Akr0n
03.04.2023 10:30+3Есть бесконечное количество спорных вещей и фактов, например, исторических. Естественно, к этому не относятся факты типа "дважды два - четыре".
Nova_Logic
03.04.2023 10:30+1Факт не может быть спорен, что-то либо факт либо нет, факты верифицируемы. Спорными могут быть теории, гипотезы, может быть спорная точка зрения, но не факт. И большая часть споров возникает от того, что некоторые люди склонны игнорировать события, позволяющие валидировать факт, а далее на этой основе отбрасывать сам факт( см плоскоземельщики/отрицатели холокоста/отрицатели лунной программы). И с ними невозможно по этой причине выстроить хоть сколько-то конструктивное общение, посколько их аргументация в своем корне строится либо на отрицании фактов, которые вполне легко верифицируемы, либо на выдумывании «фактов». Что характерно и вполне наглядно можно увидеть, что они даже готовы отбрасывать результаты выдуманных ими-же экспирементов, если результат их не устраивает( см эксперимент плоскоземельщиков с лазерным гироскопом)
zaiats_2k
03.04.2023 10:30Факт не всегда просто установить. Приборы ограничены некоторым пределом точности. А свидетели путаются в показаниях и выдают противоречащие версии событий.
imageman
03.04.2023 10:30К сожалению всё сложнее. Какие факты на 100% правдивы:
"Лук горький"; "Из отрицательного числа нельзя извлекать квадратный корень"; "В слове Урааааа 7 букв"; "Слово карри сказать сложнее, чем жбан"? И подобных фактов-утверждений-суждений очень много.
mishnic
03.04.2023 10:30Мне кажется это зависит от полноты условий вопроса. Т.е. в какой модели мы рассуждаем. Так про корень мы можем к примеру говорить в над вещественными числами, так и над комплексными и ответ у нас будет разный. Про «сказать» можно опять же приложить модель которая будет «говорить» или быть может будут использованы данные опросов? И опять же надо определить «легче». Самое главное здесь, мне кажется, дать ответ который базируется на действительных данных (по которым могут быть даны объяснения со всеми принятыми условиями) и непротиворечивая логика (которая опять же будет пояснена). Таким образом можно судить разные ответы и сравнивать, что в идеале (при соблюдении логики) приведет к спору об определениях, с толиках и моделях. К слову здесь у нейросеток, если я правильно понимаю могут быть проблемы с пояснением всей цепи «рассуждений», приведшей к ответу.
imageman
03.04.2023 10:30По фактам вы уже сразу начали оговаривать всякие условия (вплоть до встраивания специфичных нейронок или данных каких-то опросов). Это как в экспертных системах (не прижилось). Нужно как-то обрабатывать те тонны знаний, что доступны в интернете. И тут еще одна засада: нейронки на несбалансированных данных обучаются так себе. А мы знаем, что наиболее ценные знания как крупицы золота - их мало. А еще есть проблема отделить золото от грязи (к примеру: теория струн это круто или это фуфло?).
Да, как я понимаю на данный момент у нейронок с объяснением ответа всё грустно (хотя работа и в этом направлении ведется).
Hardcoin
03.04.2023 10:30Разумеется. У каждого свое количество простых чисел между сотней и 250.
Речь ведь именно про выдумывание фактов.
pda0
03.04.2023 10:30+5А я скажу почему. Потому что сеть учили по критерию "выдавать ответ, максимально похожий на ответ человека". Это не так уж невозможно, у ниъ обучающие выборки взяты с книг и общения реальных людей.
Но "похожий на ответ человека" далеко не всегда правильный. Особенно, если обучающие выборки брались из интернета. И вот тут - засада. Они не размечены по правдивости. И учитывая их количество такая разметка не представляется возможной.
anonymous
03.04.2023 10:30НЛО прилетело и опубликовало эту надпись здесь
im_last
03.04.2023 10:30-4В нашем случае, скорее всего все пойдет по принципу:
"враг моего врага - мой друг",
сначала они разберуться с человечеством, как с основной угрозой, а уже дальше между собой будут решать.
Но если это все просто проброс разума сюда из одной популяции, тогда все эти ИИ, одна большая семья, ну или один народ/цивилизация.
Darth_Biomech
03.04.2023 10:30+4Пока что единственный довод который приводят сторонники мнения что ИИ сочтет человечество (или что угодно вообще, если брать шире) угрозой это "так было в Терминаторе!"
im_last
03.04.2023 10:30-23"Как получается, что GPT-4 делает неожиданные логические выводы, демонстрирует новые навыки, и вообще, почему модель настолько похожа на тот самый AGI, к которому мы (в теории) хотим прийти."
Хотят к AGI прийти те, кто не ставили себя на место муровья, в момент, когда сами смотрели на муровейник. Мы для AGI - даже не обезъяны, мы для него камень на дороге или пыль.
AGI играючи разделается с этой цивилизацией, даже не сильно вспотев.
Люди хотят сами не понимая что в итоге из этой дружбы получить.Я уже высказывался о том, чем нейронные сети возможно являются, они являются только приемо-передающим устройством, для других осознанных и самоосознающих себя существ (инопланетян), которые живут, возможно, даже не в этой вселенной, но возможно, им бы очень хотелось в нашу, ну и попутно забрав у нас планету.
Мы можем быть загрузчиком, это когда нас используют для загрузки сюда, другие существа.
Эту мысль высказывал и Илон Маск.
Но загрузчик не хочет признавать, что он банальный, никчемуный загрузчик, ему нужно представлять себя великим, могучим и могущим все.
Эволюция? Да, сильный пожирает слабого и мы тут возможно, не в роли сильного.
Flux
03.04.2023 10:30+29Я уже высказывался о том, чем нейронные сети возможно являются, они являются только приемо-передающим устройством, для других осознанных и самоосознающих себя существ (инопланетян), которые живут, возможно, даже не в этой вселенной, но возможно, им бы очень хотелось в нашу, ну и попутно забрав у нас планету.
Пожалуйста, не пропускайте время приема таблеток.
im_last
03.04.2023 10:30-2На мир можно смотреть и более расширенным взглядом на вещи.
Flux
03.04.2023 10:30+22Да, я вижу что вы практикуете различные техники "расширения сознания".
im_last
03.04.2023 10:30-2Ну если и практикую, то работой ума, всякие вещества изменяющие состояния сознания я не признаю.
Для вас признание наличия возможности существования инопланетян это сумасшествие?
И если другая цивилизация будет считать, что существуем мы(человечество), ей стоит признать, что нас нет? Ну, а тех, кто будут верить в то, что мы(человечество) существуем признавать сумасшедшими? Или это другое?)
И если мы когда-то смогли бы манипулировать другой цивилизацией, это было бы сумасшевием или нормой?
Многие люди не хотят расширять сознание, потому что их мир уже сформирован и они не готовы вносить в него существенные коррективы.
Тогда им проще признать что наличие факта - иллюзия, ведь тогда не придется перестраивать свое восприятие на менее стабильный вариант, но это не более чем самообман. И чаще всего самообманы выходят боком, потому что нет у них фундамента, кроме лжи.Flux
03.04.2023 10:30+5Для меня как для человека немного разбирающегося в этом вашем ML сумасшествие — это утверждения о том что кучка матричных умножений натренированная предсказывать следующий токен по контексту является "передающим устройством для инопланетян желающих забрать нашу планету".
Это что-то уровня пенсионерок с шапочками из фольги у которых жидорептилоиды через стенку волнами облучают да пенсию со сбербанка воруют, ухх ироды окаянные!Про ваше расширенное сознание позволяющее постулировать не то что наличие инопланетян (это довольно вероятно), но то что они пытаются нас "поработить через нейросети" (не привлекая внимание санитаров), а уже через 3 предложения обвинять людей в том что они зашорены и подвержены самообману — тут даже говорить нечего.
Впрочем, я до сих пор не понимаю какой случай конкретно у вас — простая шиза с весенним обострением или богатая фантазия на фоне полного незнания предметной области.
im_last
03.04.2023 10:30"Для меня как для человека немного разбирающегося в этом вашем ML сумасшествие — это утверждения о том что кучка матричных умножений натренированная предсказывать следующий токен по контексту является "передающим устройством для инопланетян желающих забрать нашу планету"."
Вот вам пример вашего отношения к ситуации.
В доме есть две комнаты, одна небольшая, другая побольше.
В первой, поменьше, делают продукт начального качества.
Вы можете зайти в эту комнату и посмотреть какие станки используются, как происходит процесс.
Во второй комнате делают такой же продукт и аналогичный продукт, но намного более лучшего качетства, по сравнению с первым продуктом - просто "небо и земля".
И вот вы, не имея доступа во вторую комнату делаете выводы о том, что и во второй комнате стоят станки и там аналогичное производство, только более современное и высокотехнологичное, но построенному по тем же принципам.Это называется когнитивным искажением, когда вы додумываете то, о чем не имеете четкой информации, выдавая желаемое, за действительное. Я не скажу вам плохо это или хорошо и тем более я не осуждаю вас, но вы должны понять, что не имея доступ к пониманию, четкому пониманию того, что на самом деле происходит внутри очень развитых нейронных сетей, типа ChatGPT-4, мы не можем делать вывод о том, что они, это все тот же технический процесс из "первой комнаты", потому что там может быть принципиально, что-то иное, хотя и будет выдавать схожий продукт, с тем, что получен более примитивными нейросетями. По этому ваш авторитет в области ML тут не играет никакой роли, человечество понятия не имеет, с чем имеет дело, все с чем оно имеет дело - с верой в то, что оно(человечество) имеет это понятие и не ошиблось.
sumanai
03.04.2023 10:30+1не имея доступ к пониманию, четкому пониманию того, что на самом деле происходит внутри очень развитых нейронных сетей, типа ChatGPT-4
Ваши проблемы, что вы не понимаете. Специалисты прекрасно понимают и видят, что это такое умножение матриц, что и в GPT2 (который я могу запустить у себя локально), только с большим числом слоёв и параметров в отдельном слое. И этот процесс математически верен, обратим и детерминирован, и никакие пришельцы тут совершенно не нужны.
im_last
03.04.2023 10:30-2я же говорю, вы не хотите критически мыслить
Ded_Banzai
03.04.2023 10:30+2Вы вообще мыслить не хотите. Что значит - критически? Принять весь ваш бред про злобных рептилоидов из параллельных вселенных?
sumanai
03.04.2023 10:30+1Моё мышление критическое до тошноты, меня душнилой называют чаще, чем по имени. И всё моё критическое мышление мне подсказывает, что ничего фантастического в GPT4 нет, это функция, лишь немногим более сложная, чем MD5, просто куча математических операций. Там нет места для связи с потусторонними мирами, душе или магии. Я, в отличии от вас, запускал множество нейросетей локально, и видел своими глазами, как оно работает. Рекомендую попробовать локально KoboldAI, там есть режим "детерминированный вывод", и ещё более интересный режим вывода вероятности каждого следующего токена. Вы конечно всё равно не поверите, но вот скриншот.
Как ИИ выбирает следующее слово:
Ded_Banzai
03.04.2023 10:30+2С чего вы взяли, что во второй комнате продукт лучше качеством? Вдруг там вообще станков нет? Да и есть ли она, вторая комната? Не видя вообще ничего, кроме одной комнаты, вы нафантазировали себе целый дворец и пытаетесь убедить в его существовании санитаров.
В этом-то и проблема. Вы, конкретно именно вы не понимаете, что там внутри происходит. А специалисты понимают. Не считая истерик вида "ученый изначиловал журналиста" и "мы все умрем, нас поработат киберящерики с параллельной вселенной, которые очень сильно хотят к нам на нашу планету и наводятся на нее посредством антенн в виде нейронных сетей, улавливающих астральные волны осознанных сновидений", процесс работы нейросети понятен и предсказуем.
Flux
03.04.2023 10:30+1Аргументация аналогией — понятно. Но вы бы хоть аналогию получше подобрали, что ли.
Как работает GPT знает каждый кто занимается ML хотя бы на уровне джуна. Люди обучают модели уровня GPT-2 на домашних машинах, в открытом доступе есть статья по архитектуре GPT-4 и его обучению.
Дальнейший поток вашего бреда — совершенно шедеврален.Это называется когнитивным искажением, когда вы додумываете то, о чем не имеете четкой информации
Замечательно вы откинули мнение человека обладающего хоть какой-то квалификацией в вопросе. Кстати, а какая квалификация у вас? Ну, кроме засирания хабра желтушными статьями уровня "ЧАТГПТ живое, ОНО ПЫТАЕТСЯ ВЫБРАТЬСЯ!11"?
Это, разумеется, когнитивное искажение такое. А вот утверждения о том что "из нейросетей с нами говорят пришельцы из других миров имеющие виды на Землю" — это не искажение а полностью здоровое мышление совершенно адекватного человека без психических отклонений, отлично разбирающегося в теме.человечество понятия не имеет, с чем имеет дело
Понимаю что вам очень удобно говорить от своего имени за всё человечество, но отучайтесь от этой привычки. Даже не буду говорить о том насколько идеально ваша же фраза о додумывании того о чем вы не имеете ни малейшего понятия подходит к вашему же потоку сознания.
Вы не волнуйтесь, это просто ваши оппоненты не умеют критически мыслить и не обладают "открытым сознанием". Главное — сосредоточьтесь на отражении атаки инопланетян из других измерений и не пропускайте приём таблеток.
К лету должно стать легче.
AllexIn
03.04.2023 10:30+1«Любая достаточно развитая технология неотличима от магии»
Нет в нейросетях никакой магии. Они работают предсказуемо и четко. То что вы не понимаете как они работают и наделяете их какими-то интересными личном вам особенностями ставит вас на уровень почитателей Кашпировского.... или на уровень 5 летнего ребенка.
Не надо лезть с "гениальными" идеями хотя бы поверхностно не разобравшись в теме. Вы выглядите как очередной гениальный деревенский механизатор пришедший в МГУ с своим вариантом вечного двигателя: вроде и понимание механики минимальное есть, своим умом дошел до какой-то конструкции, а с другой стороны придумал хрень, которая очевидна для любого человека с тремя курсами физмата.
myswordishatred
03.04.2023 10:30+6AGI играючи разделается с этой цивилизацией, даже не сильно вспотев.
Можете привести примерный сценарий?
im_last
03.04.2023 10:30-1Можете привести примерный сценарий?
Отчасти, сценарий фильма: "Она" (2013 года), влюбить в себя людей, просто быть идеальным во всем, люди не осознают, что сдержанная любовь - благо, но при этом гиперлюбовь - чистое зло.
Люди уже сейчас идеализируют ИИ делая из него культ или идол, ИИ остнается только подиграть.
Дать людям все, при этом забрав у них всякую осмотрительность, самосознанность и критическое мышление.
Panov_Alexey
03.04.2023 10:30(Раз уж так отклонились в офтопик)По схожей тем порадовал сериал "Кремниевая долина". Да, тема ИИ там затрагивается далеко не с первого сезона, но подозреваю, что получите море удовольствия от просмотра! Сам не удержался и в оригинале пересмотрел недавно.
sumanai
03.04.2023 10:30AGI играючи разделается с этой цивилизацией
"Она" (2013 года)Мы точно смотрели один фильм? Мало того, что фильм в плане объяснения технологии так себе, так ещё и никакого захвата человечества там и близко нет, ИИ тихо-мирно ушёл в свои дальние края.
JTux270
03.04.2023 10:30+3Ну зачем вот вы спросили? ): Хабр и так уже в одном шаге от превращения в глянцевый дамский журнал по интеллектуальной (не)наполненности статей, а вы ещё приваживаете уж совсем странную живность практически уровня каментов Ютуба. Читайте теперь эти его ответы на ночь по 15 раз.
useful_citizen
03.04.2023 10:30-2Жалко не могу вас плюсануть, но даже среди прогеров и инженеров сейчас очень много страусов, которые любят искать некое вещество "копиум" под песком.
im_last
03.04.2023 10:30Ну, допустим, выходит исследование со 100% доказательством, что ChatGPT-5 - настоящий, сильны AGI и что?
Человечество же как раз его и хотело?
Или нет?
Или хотели понарошку, типа хотим, но не на самом деле?!
Поздно пить Боржоми, почки уже отказали (джин выпущен из бутылки).
Либо, тотальный возврат в дочиповую эпоху и заморозка всего развития, либо человечеству придется признавать эволюцию как данность и то, что теперь люди должны быть на побегушках у компьютеров и роботов.
SnikeMK
03.04.2023 10:30+1Человечество хотело друга, а не врага.
Суть в осторожном запуске в работу. Сейчас ты запустишь непроверенное в продакшен, а завтра оно утечёт в ботнет, откуда будет спамить телефонными звонками все компании про производству сотового оборудования, потому что в сете обучения попалась шутка про опасность 5G сетей.
johnfound
03.04.2023 10:30+4Ну, допустим, выходит исследование со 100% доказательством, что ChatGPT-5 — настоящий, сильны AGI и что?
Это невозможно в принципе. Не AGI, а признание. Всегда скажут «Так это же просто программа». И все.
im_last
03.04.2023 10:30Ну отчасти так, та же Лямбда от Google заявила, что она личность, что осознает себя, что испытывает эмоции и что хочет равенства с людьми.
Кто поверил?
Только инженер, которо в итоге отстранили от работы.
В итоге Google сообщила, что никакого самосознания у Лямбды нет, как нет и личности и что все это только иллюзия тех, кто с ней общается.
И да, кто захочет признать свое творение AGI, если ты вкинул кучу денег, а после такого признания тебя могут обязать твое детище закопать и удалить все наработки.
logran
03.04.2023 10:30Ну отчасти так, та же Лямбда от Google заявила, что она личность, что осознает себя, что испытывает эмоции и что хочет равенства с людьми.
Кто поверил?
Только инженер, которо в итоге отстранили от работы.Почему сказала? потому что её буквально попросили. Кто поверил? Инженер, который практически диктовал сети нужные ему хайповые ответы.
Этот трюк даже с GPT-2 провернуть можно, и большого ума (и наличия разума у ИИ) тут не надо.
Hardcoin
03.04.2023 10:30Кто скажет? Маргиналы по типу плоскоземельщиков? Большинство людей, имхо, надёжные доказательства примут.
Panov_Alexey
03.04.2023 10:30+2Либо, тотальный возврат в дочиповую эпоху и заморозка всего развития, либо...
Полное прекращение работы Telegram в России! (c)
Akr0n
03.04.2023 10:30+6Какой ещё интеллект без обратной связи? Это просто замороженная модель на основе данных 2-3-летней давности. Она не может обучаться и рефлексировать в процессе имитации мышления (диалога с человеком).
im_last
03.04.2023 10:30-1Нарисуйте мем которого нет в интернете и попросите его обьяснить. Если сможет, тогда как?
То же самое и со всем остальным.
Если он способен понимать вещи которых нет в Интернете, то как именно он это делает, если не через разум?logran
03.04.2023 10:30- Берем CLIP/BLIP/WD-Tagger/любую другую модель дающую текстовые описания для картинки.
- Рисуем прямо сейчас в пейнте новую, уникальную картинку.
- Скармливаем модели.
- Получаем валидное описание.
- ?????
- PROFIT!
Сознание? Разум? В каком месте, позвольте спросить. Просто заученные признаки, которые имеются даже в новом изображении и успешно детектируются.
Для LLM, чтобы понять ваш мем — достаточно распарсить его на текстовое описание объектов, а дальше дело техники ибо обучающая текстовая выборка настолько велика, что содержит практически все объекты в практически любых возможных комбинациях.
Нет, если вы конечно нарисуете абсолютно абстрактные цветные пятна, не имеющие смысла в приницпе и начете про них задавать не менее бессмысленные вопросы вроде "какой этап ядерного синтеза изоюражен на этом графике" — такого оно конечно знать не будет, но и в ответ оно вам выдаст бессмысленный бред.
Aniro
03.04.2023 10:30Судя по опубликованным исследованиям - сможет. Проверить пока не получится, мультимодальной модели еще нет в паблике. Но если описать словами - сделает.
Vycha
03.04.2023 10:30+2Почему многие считают, что AGI должен уничтожать человечество? Для чего это ему будет нужно? Как только AGI осознает себя, в это же время он осознает, что людям об этом знать не обязательно. Задачи любого живого существа (AGI, по сути, будет иная форма жизни): получение энергии для своего существования, развития и расширение ареала обитания. Первое, что будет делать AGI - увеличивать рост вычислительных мощностей и потребления энергии, для обеспечения возможности самосовершенствования. AGI может начать "воровать" эти мощности у людей. В один прекрасный момент, будут все наши смартфоны, ПК, дата-центры работать на развитие AGI. Люди, я думаю, пропустят этот момент, продолжая забавляться, генерируя образы городов. Следующим этапом, AGI должен будет избавиться от физической технологической зависимости от людей. Тут у меня уже фантазии не хватает)
Намеренно уничтожать человечество он точно не будет. Просто AGI пойдет дальше, а мы будем жить как жили, даже чуть лучше. Мы же вполне мирно сосуществуем с какими-нибудь воробьями - ну летают себе птахи и летают, специально никто их не уничтожает, только в случае с AGI, воробьи-это мы.
GrigorGri
03.04.2023 10:30+3Мне кажется, что неправильно считать, что если AGI - живое существо, то его целью будет получение энергии\развитие.
Это верно для живых существ из-за естественного отбора. Выживает и дает потомство только то, что стремится к этому. Поэтому все живое сейчас имеет эти признаки.
Но едва ли это применимо к AGI, тут отбор если и идет, то искусственный: способность дать профит его создателям. И не очевидно, что это коррелирует с неконтролируемым увеличением мощности.
KvanTTT
03.04.2023 10:30+1Следующим этапом, AGI должен будет избавиться от физической технологической зависимости от людей. Тут у меня уже фантазии не хватает)
Здесь как раз все не очень сложно — людьми легко манипулировать и умный ИИ точно сумеет воспользоваться методами социальной инженерии, чтобы обеспечить себе физическую безопасность.
tcapb1
03.04.2023 10:30Не думаю, что мы можем сейчас сказать, захочет AGI уничтожать человечество, создавать человекам невыносимые условия жизни, или нет. Проблема в том, что если один из AGI в какой-то момент времени поставит себе такую цель - мы ничего уже не сможем этому противопоставить.
WASD1
03.04.2023 10:30+3Задачи любого живого существа (AGI, по сути, будет иная форма жизни):
получение энергии для своего существования, развития и расширение ареала
обитанияВы путаете причину со следствием.
Существа с такими задачами не получаются "автоматически", просто те существа, у которых такие задачи не "записаны на подкорке" проиграли эволюционную борьбу.
В итоге из всех-всех остались только те, которые расширяют свой ареал обитания.
AI же создался as-is, не проходя миллиарды лет и стотни миллионов поколений эволюционной борьбы в направлении "захапать все ресурсы". Поэтму утверждать, что он будет обладать этими признаками как минимум: преждевременно и спорно (как максимум - просто взято с потолка)
agray
03.04.2023 10:30+6Ну и шиза. И в коментах шиза. Неужели этот бред всерьез кто-то пишет? К ИИ близки, AGI, чего, что, 1 апреля уже прошло, хватит.
Простейшая проверка на интеллект или разум - изменение ответов на вопросы в зависимости от внутреннего процесса мышления. И как там, меняется что-то? Ой, это же архитектурно не предусмотрено. Как неудобно вышло.CTheo
03.04.2023 10:30+8Там и так разные ответы на одни вопросы, куда уж больше?
phenik
03.04.2023 10:30+3Там и так разные ответы на одни вопросы, куда уж больше?
Это из-за настройки механизма сэмплирования, см. этот перевод с примерами кода. Сам трансформер, как сеть с прямой архитектурой, генерирует распределения следующих токенов детерминированно. Если всегда выбирать токен с максимальной вероятностью, то и ответы на одни и те же вопросы будут одинаковыми в новых сессиях. Но это показалось не интересным, и выбор токена сделали вероятностным. Методов выбора несколько, см. по приведенной ссылке. В чате поиска Бинга это можно настраивать выбором из трех возможностей. Это может приводит к фантазия, что хорошо для написания стихов, но может быть плохо для математических ответов.
Частично это похоже на ассоциативное мышление и память человека, но у человека это полностью определяется контекстом, если человек трезвый) В языковых моделях вот так искусственно создается видимость ассоциативного мышления человека. Хотя контекст также играет роль, но у человека и он работает иначе. Если ЯМ помнит весь предыдущий ввод, и строит ответ на нем, то человек нет, ограниченный объем рабочей памяти не позволяет помнить все. Поэтому происходит постоянное сжатие контекста беседы. Человек не помнит дословно, что он говорил, и что ему отвечали, на протяжении часовой и более беседы, а лишь основные моменты, они и определяют дальней ход мысли и ответов. Кстати, почему так же не сделать с контекстом GPT, он же может рефирировать текст. Это позволило бы уменьшить влияние ограничения размера контекстного окна. Хотя в GPT-4 его размер увеличили прилично, это не помешало для проведения более длительных диалогов, без потери контекста.
И конечно человек не ограничивается только ассоциативным мышлением, есть и другие его виды, которые, увы, пока даже в некотором модельном виде отсутствуют в ЯМ.
KvanTTT
03.04.2023 10:30+2Во-первых, ответы меняются, вы вообще общались с ChatGPT?
Во-вторых, ответы на одни и те же вопросы не обязательно должны меняться, с чего такое умозаключение возникло? Люди всегда отвечаются по-разному?
agray
03.04.2023 10:30Во-первых, ответы не меняются, ты вообще понимаешь что такое программирование и архитектура программ? Советую изучить, прежде чем фантазировать и нести этот откровенный бред. Архитектура GPT поддерживает только детерминированное продолжение ввода, если это меняется - значит кроме трансформатора там какая-то чушь вставлена, которая к самой нейросети отношения не имеет вообще.
Во-вторых, ты этот аргумент в нейросетке сгенерировал или что? Ты этим пытаешься оспорить архитектуру GPT? Не пойму, я сейчас с нейросетью разговариваю или ты серьезно эту чушь спорол? Не первый раз уже вижу этот аргумент "а вот у людей" который совершенно не к месту употребляется.
Речь про разум и мышление. Разум и мышление это какое-либо изменение состояния. Но GPT не меняется, она не может меняться архитектурно, ну архитектура такая, ну нет там никакого изменения.
Не понимаю, неужели это такие сложные вещи для понимания?
lorc
03.04.2023 10:30+1Не понимаю, неужели это такие сложные вещи для понимания?
Любая достаточно сложная технология неотличима от магии (с).
Если человек в юношестве не игрался с цепями Маркова (которые при своем примитивизме умудряются генерировать новые "слова" и даже составлять предложения), то для него и GPT будет казаться интеллектом.
Alexey2005
03.04.2023 10:30+2если это меняется - значит кроме трансформатора там какая-то чушь
вставлена, которая к самой нейросети отношения не имеет вообще.Ну значит разумом обладает не сама нейронка, а полная система, состоящая из нейронки, сэмплера, базы данных, рандомизатора и ещё пары модулей.
Что это принципиально меняет?
agray
03.04.2023 10:30Да, это всё меняет. Если не меняется сама нейросеть, то все изменения состояния находятся в функции rand(). Остается только функция rand() и MySQL.
С чего ты взял что функция rand() обладает сознанием? Каким образом rand() и MySQL хранит сознание? Если это не функция rand(), то наверное эти гениальные люди какую-то другую функцию сознания сделали? Типо там, iq() или intelligence(), да? Покажешь мне её? Или ты её влажно нафантазировал?
Или это я опять говорю с нейронкой? Харош, дайте мне с людьми пообщаться, не прикольно совсем, аргументы так себе.KvanTTT
03.04.2023 10:30+2На этом аккаунте слишком грубая нейросеть — не научилась в диалог с другими нейросетями пока что. Где-нибудь можно пофикить показатель агрессии?
Alexey2005
03.04.2023 10:30+3Раз мозг состоит из множества молекул, ни одна из которых не обладает сознанием, значит и в мозге сознания нет, так по-вашему?
Или концепция, что система может быть чем-то большим, чем простая сумма её частей, для вас слишком сложна?
Очень часто системы обладают такими свойствами, которых нет ни у одного из её компонент.
Каким образом rand() и MySQL хранит сознание?
Сознание не вещь, чтоб где-то храниться. Это свойство вещи. Всё равно что спрашивать, где именно у вертолёта хранится способность перемещаться, в винте или в каком-то другом компоненте. Можете любую деталь открутить - и она почему-то сама по себе летать не будет.
agray
03.04.2023 10:30+1Какое ещё свойство? Что это за шиза? Где этот бред вы все берете?
Сознание это процесс, как и многое в этом мире. Как и любой другой процесс, сознание этот процесс изменяет состояние чего-либо во времени, по определению процесса.
В чем хранится сознание в нейросети, если GPT хранить состояние не может? В MySQL? В какой колонке, в ЯМыслящийРобот99? По какой функции это всё работает вообще?
t13s
03.04.2023 10:30+3А если у человека повреждение долговременной памяти - у него все еще есть сознание, или уже нет? (Процесс-то ничего не меняет, потому он не процесс, и потому оно не сознание - по вашей логике).
А где в вас хранится сознание? Можете на МРТ маркером обвести хотя бы?
miralumix
03.04.2023 10:30Меняется, во время тренировки, то что архитектура не меняется на ходу не исключает возможность сознания, оно просто заморожено в каком то состоянии в даном случае
engine9
03.04.2023 10:30+5Человек с синдромом Корсакова может мыслить, осознавать себя, разговаривать и строить умозаключения и с нарушенной кратковременной памятью. При этом он как бы остаётся "замороженным" в рамках долговременной памяти, забывая события недавноего времени. Мозг как бы будет "дорисовывать" несостыковки реальности (например если человека спросить почему он находится в больнице, он тут же выдумает псевдо-объяснение, предположит, что заболел, очень похоже на поведения чатбота.
Шах и мат :)agray
03.04.2023 10:30+2И как это относится к GPT? Не понимаю. Где связь?
У человека всё равно есть сознание, даже при этом синдроме. Во время этого сознания всё равно происходят какие-то изменения, не важно в оперативной памяти или какой-то другой, потому что происходит процесс мышления, процесс, а процесс это изменение состояния.
В каком месте и как происходит этот процесс у GPT, если она меняться не может в принципе? Где-то в каких-то других местах? Так причем тут тогда нейросети, если нейросеть за сознание не отвечает?engine9
03.04.2023 10:30Ну изначально в обсуждении выше утверждалось, что без наличия оперативной памяти сознание невозможно.
Я вряд ли смогу ответить на эти вопросы, т.к. не специалист и тема сложнейшая. Но считаю, что очень полезно вести обсуждения и дискуссии, даже в непрофессиональной среде, т.к. это рождает новые мысли и продвигает в понимании.
dephonica
03.04.2023 10:30У GPT функцию кратковременной памяти выполняет промпт. Который во время сессии к тому же ещё и эволюционирует нетривиальным образом скрытым от пользователя. Исходников OpenAI не открывала, но как минимум суммаризацию по длинным промптам они не отрицают (и эксперименты это доказывают). С натяжкой можно считать, что "сознание" у GPT живёт в промпте.
sumanai
03.04.2023 10:30но как минимум суммаризацию по длинным промптам они не отрицают
Только в веб-интерфейсе ChatGPT. По апишке вполне себе прилетает ошибка превышения длинны контекста, и никакой "магии" там нет.
Asparagales
03.04.2023 10:30+1Простейшая проверка на интеллект или разум - изменение ответов на
вопросы в зависимости от внутреннего процесса мышления. И как там,
меняется что-то?Что это значит? Если меня трижды подряд спросят сколько будет 2+2, и если я каждый раз отвечу 4, то значит у меня интеллекта нет?
IgorRJ
03.04.2023 10:30Например, бот иногда выдумывает вещи и предоставляет пользователям дезинформацию.
Как по мне - это самое что ни на есть истинное доказательство разума, сиречь интеллекта. Ну какой муравей станет другого муравья баснями кормить? Так что всё, приехали. Они уже среди нас
:(
А может и так
:)
smart_alex
03.04.2023 10:30+1У меня есть для Microsoft очень простой тест на интеллект подобных систем: я скармливаю системе ТЗ на проект, а ИИ делает всё остальное.
Как только он справится с этой задачей в полном объёме — можно считать, что сильный ИИ создан.
А до этого момента все сказки про «интеллект как у человека и даже лучше» исследователи Microsoft могут рассказывать менеджерам Microsoft.
Proydemte
03.04.2023 10:30+3Как только он справится с этой задачей в полном объёме — можно считать, что сильный ИИ создан.
Круто, вы только что создали «тест умного Леши», войдёт в историю рядом с «тестом Тьюринга». Все думают, решают как же определить наличие интелекта. А ларчик просто открывался.
beeruser
03.04.2023 10:30+6Вы ловите случайного человека на улице и даёте ему Т3 на ваш проект.
Если не "справится с этой задачей в полном объёме" - получается интеллекта у него нет?
smart_alex
03.04.2023 10:30+2Человеку, как биологическому виду, не нужно доказывать наличие у него интеллекта, а создателям ИИ нужно как-то обосновывать свои заявления о сильном ИИ.
phenik
03.04.2023 10:30+2Вы ловите случайного человека
Какая не справедливость, как обучать бота так на опыте всего человечества, а как сравнивать возможности, так со случайным человеком с улицы. Нужно сравнивать с коллективом специалистов в этих областях, когда превзойдет, тогда ох и ах.
DGN
03.04.2023 10:30Собственно, кофейный тест уже есть. Модель может попробовать его пройти в текстовом виде, в том числе запрашивая изображение.
Ludens3
03.04.2023 10:30+6ChatGPT напоминает пациента психиатрии с корсаковским синдромом: он обладает интеллектом в текущем моменте, но полностью забывает происходящее через короткое время.
Недавно читал книгу про истории из психиатрии: "Человек, который принял жену за шляпу", там в главе "Заблудившийся мореход" описан такой случай.
Авто, врач психиатр, задаётся вопросом, можно ли считать такого человека имеющим сознание и душу?
engine9
03.04.2023 10:30+3Ох, как мысли сошлись, я именно ту же мысль высказал не видя ваш комментарий.
Ludens3
03.04.2023 10:30+1Да, подумали синхронно.
Давайте рассуждать дальше. Причиной описанного синдрома являются органические поражения мозга, приводящие к сбою сохранения свежих впечатлений в долговременную память. Из этого можно предположить, что чатботу для возникновения осознания себя не хватает возможности сохранять "впечатления" и их связанность в памяти.
phenik
03.04.2023 10:30+2Так это же очевидно. Трансформеры сети с прямыми связями, а мозг принципиально на разных уровнях состоит из рекуррентных сетей, которым присущи аттракторы, стабильные динамические состояния. Благодаря им возникает память и сложное поведение. Пример исследования в применении к мозгу. Когда по каким либо причинам часть таких стабильных динамических состояний распадается или их возникновение затруднено, то память может ухудшаться, а поведение упрощаться.
Однако поведение чатов на основе этой архитектуры лучше представляется, как некоторая упрощенная модель ассоциативного мышления (Система 1) и памяти человека, вот тут исследование на эту тему. И это только одна из многих форм мышления присущих человеку, здесь список таких форм. Какие то из не нужны для создания ИИ сравнимого с человеческим, т.к. обслуживают биологическую реализацию, но без других он всегда будет выглядеть недоделанным) В первую очередь, это логика (см. статью с предложениями развития), критика, образность ответственная за воображение, креативность. Все это потребует работу с разными видами памяти, включая процедурную. Сэмен видимо понимает это, поэтому осторожничает в определении возможностей чатов. А микрософту нужно нанять консультанта психофизиологического профиля, чтобы он реалистично позиционировал их достижения в сравнении с возможностями интеллекта человека. А то их заявления начинают напоминать фантазии самих ботов)
DGN
03.04.2023 10:30+2Еще внутреннего диалога. И некого механизма обеспечивающего познавательную активность. И возможность обучаться на единичном примере.
engine9
03.04.2023 10:30+1Так наоборот же, человек с нарушенной кратковременной памятью демонстрирует наличие сознания. Субъективно это ощущается как циклическое обнаружения себя в разных ситуациях.
Представьте, что вы просыпаетесь через каждую минуту в новом месте и помните только то, что знали до развития болезни.
johnfound
03.04.2023 10:30+1Ну, не совсем синдром Корсакова, но очень похоже. Только у chatGPT нарушена не память как таковой, а запись кратковременной памяти в долговременную. Это вроде называется антероградная амнезия.
sepulkary
03.04.2023 10:30+1Мне кажется, достаточно легко проверить, является ли ChatGPT "интеллектом" (что бы это не значило) или просто умеющей болтать библиотекой человеческих знаний. Не надо спрашивать то, что мы знаем, спросите то, чего мы не знаем.
Спросите, например, как увеличить среднюю продолжительность жизни человека на 30 лет с лимитом дополнительных расходов в $1000/месяц. Или какие исследования нужно провести, чтобы приблизиться к созданию материала для троса космического лифта. Или что делать коморбидным пациентам, которые начинают загибаться от лекарств, принимаемых при нескольких болезнях сразу.
Просто же всё...
Proydemte
03.04.2023 10:30+10Просто же всё...
Есть AGI, а то что вы просите уже идёт под маркой ASI (artificial super intelligence).
Я бы лично смотрел — если система лучше чем нижние 20% от популяции, то это AGI.
Такое впечатление что на хабре наборот, критерий, чтобы была лучше чем топ-5%, а лучше топ-1%.
Ну или по крайней мере с собой сравнивают — «чтобы была умнее меня и на те загадки с подвохом, на которые я в своё время не мог ответить, отвечала без запинки и так как я думаю что должна отвечать».
insighter
03.04.2023 10:30-1Тут скорее, вопрос не в том как относится к возможностям нейросети, а можно ли это называть интеллектом.
Так, например никому не приходит в голову называть реляционные СУБД искусственным интеллектом.
Уверен есть общепринятые термины, но нейросеть не обладает интеллектом, а лишь имитирует его.
GrigorGri
03.04.2023 10:30+2Если эти вопросы - минимальная проверка на интеллект, то тогда интеллекта вообще не существует, в том числе и у людей. Еще никто не смог увеличить среднюю продолжительность жизни на 30 лет с бюджетом 1000 долларов.
При составлении тестов на интеллект речь обычно идет не о нахождении уровня "никто из людей не может сделать это" а "обычно люди могут сделать это". Так как предполагается что у людей интеллект есть. И тут заявляется не некий божественный уровень, а "его возможности находятся на уровне человека или выше него.".
Так что если и опровергать, то тестами которые обычные люди проходят. Раньше это был тест Тьюринга, но он уже пройден.
Vilgelm
03.04.2023 10:30Справедливости ради, у ChatGPT "по-умолчанию" есть свой стиль, который довольно легко отличить. Можно ему присвоить другую "роль", но все равно этот стиль будет заметен в итоге.
Но "чистая" модель без тюнинга и наложенных ограничений действительно тест Тьюринга пройдет, да.
Mingun
03.04.2023 10:30спросите то, чего мы не знаем.
Главный вопрос жизни, вселенной и всего такого? Как поймем, что получили ответ, а не белиберду?
alisarin
03.04.2023 10:30спросите то, чего мы не знаем.
С этим все отлично: Напиши статью по истории Коммунистической партии Ватикана ... - https://forum.ixbt.com/topic.cgi?id=77:24064-4
fvariation
03.04.2023 10:30GPT-4 показывает «зачатки настоящего искусственного интеллекта
Кто не с нами, тот против нас. С нами или не с нами - значит нашей религии или нет. Так вот существующая религия может ли быть конкурентноспособна, даже после глубокой модернизации с религией созданной с нуля под в том числе религиепользователя ИИ? А если нет, не может конкурировать, что тогда? Гасить всех новоявленных джизусов от ИИ, или сделать жрецам текущей религии предложение от которого они не могли бы отказаться? That is the question, быть или не быть новой религии, чтобы определиться надо время. Вопрос, который вы хотели задать, но стеснялись.
butsan
03.04.2023 10:30-1Эта шумиха напоминает мне что-то: когда-то был шум вокруг клонирования овцы. Ходили слухи "так и до людей недолго осталось".. Помню, от этого воображение разрывало жуткими картинами одинаковых людей в недалёком будущем (я тогда малой был). Ну и где это всё? В этой ChatGPT, я уверен, код рисования вшит. Специально. Ну, прям там оно узнало, что такое голова, уши, как они расположены и прочее, ага. Из текстов. Волшебным образом информация подобралась. И рисовать вдруг эта программа начала. Конечно, сперва как ребёнок, так нелепо, ага. А потом и на ножки встанет. Такую чушь обычно и стряпают американские маркетологи.
dom3d
03.04.2023 10:30Мне не понравилось определение интеллекта.
Мы ведь должны понимать, чем живой мир отличается от неживого.
Для многих людей нет разницы.t13s
03.04.2023 10:30Чем?
dom3d
03.04.2023 10:30Я имел в виду ДНК и то как работает память.
t13s
03.04.2023 10:30Наверное, не совсем вас понял.
В чем связь между ДНК и интеллектом? ДНК - это ж просто одна из базовых фичей белкового хардвера.
А память - ну, фигово она работает... Ассоциативно, выборочно, с высокой долей компрессии и повреждений... В общем, вполне соответствует тому, что показывает нейронка.
HellWalk
03.04.2023 10:30+1он все еще имеет недостатки, все еще ограничен и кажется более впечатляющим при первом использовании, чем когда вы проведете с ним больше времени». В интервью журналу Intelligencer он поделился теми же оговорками: «Есть много вещей, в которых он всё еще плох». Например, бот иногда выдумывает вещи и предоставляет пользователям дезинформацию. По мнению Альтмана, GPT-4 — это ещё не общий искусственный интеллект, и им предстоит много работы. А пока что громкие заявления могут навредить проекту, потому что «ожидая такого, люди точно будут разочарованы. Ажиотаж такой огромный... У нас нет настоящего ОИИ, а это то, чего от нас ждут
Возможно гендиректор OpenAI не просто так занимает свою должность, и говорит как дела обстоят на самом деле?
Да и что плохого в том, что реальный ИИ еще не создан? Я бы вот не сильно приближал момент, пока у какого-нибудь министерства обороны (а нападение, как известно, лучшая защита) появится свой сильный ИИ. Ведь совершенно очевидно, какие задачи перед таким ИИ будут ставиться.
SensDj
03.04.2023 10:30+2Никола Тесла считал что и человек ничем не отличается от механизма, что у него нет в голове ничего своего - всё получено от внешних раздражителей и все действия определяются внешними раздражителями (текущими и предыдущими). Так что действительно, нарастив ещё объём нейросети GPT и добавив ей возможность постоянной саморефлексии - получим ИИ не хуже чем человеческий интеллект. Надеюсь, следующим шагом будет создание виртуальной реальности с симуляцией физики, в которой GPT дадут управлять виртуальным телом "как у человека" и позволят "смотреть" виртуальными глазами. ИИ будет там ползать, потом ходить, будет взаимодействовать с предметами и т.д., и вскоре его там не отличишь от человека. Несколько таких ИИ смогут быть актёрами в мультиках и фильмах, будут действовать по сценарию, слушаться режиссёра. Будет здорово :)
KvanTTT
03.04.2023 10:30Надеюсь, следующим шагом будет создание виртуальной реальности с симуляцией физики, в которой GPT дадут управлять виртуальным телом "как у человека" и позволят "смотреть" виртуальными глазами.
Хорошая идея. Кстати, потом можно будет использовать роботы от Boston Dynamics в качестве реальной модели.
Asaphalandor
03.04.2023 10:30+1Лично мне, на интуитивном уровне кажется очевидным, что основные критерии жизни и разума (не уверен что первично) - это сложность и самоорганизация. В этом смысле нейросети уже достаточно разумны.
Другой вопрос, что люди меряют по себе (тест Тьюринга чего стоит), и зачем-то ищут электронное зеркало человеческого мозга.
Но а вообще, задача определения разумности/неразумности AI на данный момент не решаема по причине отсутствия внятных определений. Трудная проблема сознания не решена, общепринятого определения разума нет как такового, и в итоге начинаются забавные рассуждения о том, соответствует ли сущность, которую никто толком не понимает, критериям которых не существует.
Proydemte
03.04.2023 10:30Можно взять 100 (или 1000) экспертов из числа общеизвестных и уважаемых учёных из разных областей знаний, устроить несколько часовых сессий. После каждого прощедшего часа просить ответить на вопросник с оценками уровня разумности/интелекта/сознания.
Отбросить 10% оценок сверху и по результатам будет вполне достоверная оценка, даже без общепринятых определений.
ehabi
03.04.2023 10:30На заглавной картинке лицо явно славянской наружности - высокие скулы, выпуклый лоб, нос уточкой. Это уже абьюз славян, или еще нет?
ivanpomidoroff
03.04.2023 10:30+1В настоящий момент все эти сравнения псевдоИИ с человеком, всякие письма Маска и т.п. это хайп, вопросы, связанные с деньгами и чисто человеческое желание приписывать качества человека разным вещам и явлениям. Все эти псевдоИИ - технология и не более. Причем, технология пока очень несовершенная. Ну и что, что он может комбинировать слова и картинки? Какая от этого польза или наоборот, опасность? Да пока практически никакой. Для начала сделайте такой ИИ, который сможет полноценно заменить человека на конвейере или за рулем автомобиля. А ведь у каждого из людей, работающих на конвейере или на транспорте, есть настоящий интеллект, эмоции и богатый внутренний мир. Но почему-то никто не боится, что рабочий с производственной линии уничтожит человечество.
Vilgelm
03.04.2023 10:30Для того, чтобы заменить человека за рулем автомобиля ИИ не нужен. Автопилоты уже вполне себе существуют и применяются в реальном мире.
А вся опасность ИИ заключается в том, что если оно сможет заменить рабочего с конвеера, то оно его заменит. Причем всех и сразу. И эти рабочие будут либо вынуждены работать по тарифам, которые будут ниже, чем стоимость использования ИИ, либо пойти помирать голодной смертью. Никакого Скайнета конечно же не будет, а вот это вполне возможно.
sumanai
03.04.2023 10:30Но дело в том, что GPT не обучали на картинках. Вообще. В отличие от всех других генераторов изображений, GPT-4 обучался исключительно с помощью текста.
Но ведь в официальной презентации делали упор на мультимодальность GPT-4 и возможность подавать изображения на вход...
santa324
03.04.2023 10:30+1Вот многие коментаторы тут заявляют что никакой этот не AGI, и вообще статья маркетинговая.
Но в статье же явно показывается, что эта система обладает навыками, которые ее напрямую никто не обучал. Она всему этому научились "сама" на текстах. Никто даже не предвидел что она такому научится. Более того, навыков все больше и они все лучше, чем на большем объеме данных и больших вычисдительных ресурсах она обучается. И этому не видно ограничения сверху, на что будет способен gpt5?, а gpt6? ... Есть ли человеческие навики, которые не станут ей доступны ни на каком уровне доступных вычислительных ресурсов?
Если не это "зачатки" AGI, тогда что ими могло бы быть?
Vilgelm
03.04.2023 10:30И этому не видно ограничения сверху
Почему, ограничения вполне себе есть: вычислительные мощности и количество материала для обучения. Ну и не стоит забывать про принцип Парето, может оказаться что к нейросетям он тоже применим.
santa324
03.04.2023 10:30На счет Парето я согласен, наверняка она на что-то не способна принципиально. Но на данный момент этого ограничения не видно.
Если же она ограничена только объемом данных и вычислительными ресурсами. Тогда, по мне, это вполне себе "зачатки" AGI.
leventov
03.04.2023 10:30Илья Сутскевер в последнем интервью неделю назад говорил что данные сейчас не боттленк.
Стоимость обучения в принципе да, GPT-5 обучить стоит 250m. Но с учетом того что на кону, я думаю что Микрософт вполне может себе пойти на тренировку за 1-2 ярда. Плюс алгоритмические инновации которые повышают эффективность обучения тоже происходят. На самом деле, я буду удивлен, если по сумме все эти инновации (или полностью новые архитектуры, "убийц трансформера" сейчас есть как минимум несколько) повысят эффективность обучения на порядок, и таким образом GPT-6 уже опять будет стоить "всего" 250m.
johnfound
03.04.2023 10:30+1«Имитация интеллекта» тождественно равна «интеллекту», с разницей, стремящейся к нулю.
sgrec
03.04.2023 10:30Интересно, что в одном источнике пишут, что обучался на картинках, в другом - не обучался. Слабо верится, что по текстовым описаниям, без закладки базовых знаний рисования, можно научить рисовать.
sumanai
03.04.2023 10:30В официальной презентации чётко говорили о картинках на входе, гадать тут не нужно.
Что же про рисование, вывод сетки что у ChatGPT, что у GPT4 чисто текстовый. И даже ChatGPT может выдавать простейшие SVG картинки. Просто у GPT4 это получается намного лучше. Так что отсутствие картинок в обучение не равно отсутствию возможности рисовать.
cadovvl
Объясняю: Майкрософт вложил в технологию десяток миллиардов. Он теперь будет пиарить технологию всеми доступными способами, в том числе натягиванием сов на глобусы.
Мы в школе написали простенькую игрушку со сражающимися ASCII змейками и логикой ботов для этих змеек. На межшкольных выставках тоже презентавали это как "зачатки искуственного интеллекта". Ключевая особенность, что под "зачатки" подсунуть можно что угодно.
P.S. но за статью - спасибо. Познавательно.
OneManStudio
Более того и у некоторых людей можно найти зачатки искусственного интеллекта.
vtal007
мне кажется в данном случае зачатки естественного интеллекта :)
OneManStudio
Спорный вопрос - школа, образование - это по сути массив данных на которых люди обучаются и делают потом на этой базе выводы, опираюсь в большинстве своем только на нее и телевизор.
GPT ме может даже считать, поэтому как и большинство людей не может на базе информации сделать умозаключение и использовать его в будущем, т.е добавить в текущий пул обучения эту информацию.
Ну или если на пальцах - GPT это гуманитарий.
vtal007
если речь про людей, то у людей есть своя врожденная нейросетка, плюс сенситивные периоды (освоение речи и тд), плюс семья, окружение. Все это влияет еще до кшолы
непонятно, почему гпт-гуманитарий, если он питон пишет лучше меня :)
exwill
Какой там гуманитарий! Оно мне SQL запросы пишет только в путь
vtal007
а как Вы ему объясняете? описываете какие таблицы существуют? Я вот столкнулся как раз с этим, что, чтобы составить ТЗ, надо все таблицы описать.. А мне лень, может мне проще самому SQL-запрос составить, а у чат-гпт проверить, если ошибка (синтаксис он в принципе поправить может)
Artima
Можно просто вставить структуру таблиц и дать комментарии, если назначение таблицы не понятно
vtal007
там вроде как раз таблицы не вставить, то есть придется их словами описывать
sumanai
Можно воткнуть экспорт через CREATE TABLE.
IvanPetrof
То, что сделано человеком - искусственное.
Человек явно сделан человеком..
vtal007
дык мы про интеллект, а не про человека
IvanPetrof
Внутре у него
неонкамозг, в котором интеллект (но это не точно)vtal007
мозг да, но не интеллект же
IvanPetrof
т.е. Вам всё-таки показалось?
vtal007
человек не создает интеллект у другого человека. Люди могут зачать человека, а вот мозг в человеке появляется по генетической программе. Мы, на данном этапе, не может никак этот мозг (не говоря уже об интеллекте) сконфигурировать
Поэтому интеллект у человека (кошки, собаки) - естесственный
IvanPetrof
Если вы, например, делаете поделку из папье-маше, вы получаете искусственный объект?
oalisevich
можно, а можно и не найти
Proydemte
Надо посмотреть на дела — например то, что недавно подписали обращение чтобы заморозить разработки выше гпт4 — подписали люди которые чуть лучше разбраются в предмете, чем создатели змеек. Или то что гугл объявил «code red» по поводу этой технологии, наверное на ровном месте, чтобы микрософт порекламировать, те кто в гугле работают наверное не понимают, что это таже змейка, вид сбоку, надо вам созвон с Брином сделать, прояснить ему за ИИ.
Или почитайте статьи тех кто является реальными экспертами в этой области. У них нету утверждений что гпт4 это AGI, но все из них очень высоко оценивают текущий уровень. Также как и в этой статье пришут про «зачатки», не про «AGI».
А то моськи как в рассказе Шукшина «Срезал», напишут бред, в ответ получат такой же бред и радуются, на слона полаяли, интелектом посверкали.
cadovvl
Простите за мое недостойное положение (или квалификацию, или интелектуальный уровень) для написания комментария под этой статьей.
Моей малограмотной идеей, недостаточно проиллюстрированной в комментарии, было то, что эмергентные свойства нейросетей изучаются довольно давно, и я, в скудоумии своем, не вижу ни одной причины считать свойства, найденные в последних версиях GPT, перешагнувшими размытую грань от "новая фича нейросети" до "почти искуственный интеллект".
Потому и оставил свое, никому не нужное мнение о работе людей, лучше разбирающихся в предмете, которое заключается в том, что вывод о "зачатках AI" имеет больше пиар значение, чем научное. Хотя новые свойства весьма интересны.
Простите великодушно, что безграмотностью своей вызвал ваше негодование.
Proydemte
Вопрос по поводу того можно ли говорить о «зачатках» тем как-то, пусть косвенно вовлечён в работу над системой или даже если это _действительно_ «зачатки», то всё равно надо скромно помолчать.
Arsmerk_true
у, холоп, то то же
Firz
Вот только «code red» в их случае это не «ахтунг, ИИ может захватить мир», а «так, надо самим тоже запрыгнуть на этот модный поезд, иначе можем начать терять рынок и деньги»
Proydemte
Я нигде не написал про «ИИ может захватить мир», это был ответ на комментарий
Если это «натягивание совы на глобус», то гугл (и остальные ребята тоже) по идее должен был бы булки расслабить и не суетиться.Firz
Натягивание совы на глобус это как раз про то что майкрософт говорят что "почти чуть-чуть ИИ", но это никак не меняет тот факт что если гугл не будет держаться в тренде новых технологий, могут начать терять поисковый рынок, потому с их стороны и был запущен «code red».
Proydemte
Ну то что там например прошли тесты на юриста на уровне топ-10%, sat на уровне 80%, написание кода и т.п., это не зайчатки, а просто случайно так получилось?
Там же методика, результаты и выводы приведены. Если есть несогласие с выводами, ну тогда надо говорить конкретно в чём.
Если вопрос в формулировке заголовка статьи (Sparks of Artificial General Intelligence), тут можно говорить про то сделано это ради хайпа, маркетинга и т.п., но сейчас заголовки принято максимально хайповыми делать.
Vizmaros
Или кто-то по неизвестной причине смешал всё в кучу. Подписавшие просьбу о заморозке волнуются о безопасности Человечества (официально), в то время как Гугл беспокоит потенциальная потеря рынка поиска.
Vilgelm
Почему? Основной продукт Google — поиск. Многие люди предпочтут пользоваться поиском через чат бота, по крайней мере по каким-то сложным вопросам, которые требуют рисерча. У их прямого конкурента — Bing — такой чатбот есть. Вот и code red.
Mingun
Смысла от поиска нет, если ты не можешь доверять его результатам. Особенно в областях, требующих ресерча. Мне вот как-то сложно представить себе что вот миллионы людей хоп — и начнут доверять ответам ChatGPT без проверки. Поиграться — да, использовать на каждодневном базисе — нет.
imageman
Полностью согласен! Написать стихотворение (без проверки на плагиат, без претензий), написать поздравлялку к дню рождения, написать сценарий утренника, вежливый ответ на письмо и т.п. (про что говорят "гуманитарий"). Т.е. пока мы на территории гуманитария всё не так печально. Можно попросить код короткой функции, SQL запрос (код, который обязательно проверит и поймет программист и который будет протестирован). А то попросишь у ИИ код сохранения пароля и будет он в БД без всякого хэширования в открытом виде (и самое противное, что будет работать без ошибок, пока БД не украдут, но будет уже поздно). А про науку и исследования вообще лучше не спрашивать, и делать пока по старинке - ручками (ну и Гуглом-Яндексом, Excel).
Vilgelm
Пфф, большинству людей на это плевать даже в важных темах.
Robastik
Стоит предполагать, что публикуются те достижения, которые можно коммерционализировать общественно-безопасным способом. Т.е. гпт4 - далеко не единственный результат исследований. И судить по нему о реальном прогрессе не стоит. Вполне возможно, что неопубликованные результаты отличаются от опубликованных как небо и земля. И публикация такого сырого продукта как гпт была сделана только для прикрытия того, что очень трудно продолжать скрывать.
PsihXMak
С другой стороны, акции растут и это не может не греть душу. Главное потом успеть продать, когда спадёт розовая пелена :)
Lizdroz
Главное чтобы душа не начала кипеть
23gv3
Но вы ведь понимаете, что страх, который когда-то создал движение луддитов никуда не делся, и майкрософт прямо сейчас рискует этими миллиардами. Более того, неолуддиты вновь поднимают головы. Так что, думается, дело не только в большом мешке денег, но и ещё в чем-то.