Если одной метафорой, то произошли первые испытания термоядерной бомбы. Специалисты с благоговейным ужасом и радостью смотрят на поднимающийся над планетою гриб. Остальное человечество живёт обычной жизнью, пока не зная, современниками какого события они являются. Мне нравилось изучение цифровых технологий, сильнее интересовала только работа человеческой психики и междисциплинарное знание, которое можно объединить под условным названием "общая теория информации". Эти увлечения позволили увидеть в смене цифр смену эпох. Постараюсь объяснить суть случившегося максимально доступно.
GPT-4 технически считается языковой моделью.
Языковая модель — это программа, которую проще всего представлять как систему исправления опечаток на стероидах.
Допустим, вы набираете кому-то сообщение: Сегдн, ткй чдунсный день!
Программа исправляет ошибки и предлагает возможное продолжение: Сегодня такой чудесный день! Я отлично выспался, а так как сегодня выходной, то я смогу увидеться со своими друзьями и замечательно проведу время.
Или это что-то вроде книжки "1000 смешных шуток". Пользователь выбирает тему, находит нужный раздел и тыкает пальцем наугад. Это в самом грубом приближении.
В действительности книг не одна, а сотни тысяч. Фрагмент выбирается не один, а тысячи. А далее происходит поиск образцов текста в тех же книжках, чтобы использовать их в качестве шаблона для составления структуры текста. Подходящие с какой-то вероятностью слова будут подставлены в наиболее подходящий текст. Таким образом машина получает результат, который из-за элемента случайности иногда выходит нормальным. Чем больше языковая модель, тем больше у неё образцов текста, т.е. выше её шансы собрать удачный коллаж из слов.
Подобные программы оперируют космосом из обрывков предложений, им дела нет до смысла и содержания текстов. Каким-то "знанием" на этом уровне можно считать запоминание правильных склонений и расстановку запятых, правда, это достигается не за счёт выявления свода правил языка, а как механический результат большой "начитанности".
И так было до GPT-4.
Когда создание текста машиной стало демонстрировать первые адекватные результаты, в тему стали вливать деньги. Деньги — это возможность запихнуть в модель больше текста. А больше текста — это лучшее качество результатов. Но одновременно обучение сверхбольших моделей стало демонстрировать нелинейные эффекты. Например, модели научились считать. То, есть подозрительно часто угадывать результаты простых арифметических действий. Какое‑то время большинство скептиков придерживалось теории, что модель не считает, а просто цитирует по памяти учебники. Правда оказалась интересной.
График показывает, что начиная с некоторого размера модели, у неё резко открывается математический талант. Изучение вопроса показало, что в текстах, использованных для обучения не присутствует достаточного количества примеров для зубрёжки ответов. Модель усвоила то, как из цифр, связанных знаками математических операций, следует производить новые цифры, но не разобралась в десятичной системе счисления, поэтому точность не 100%. Эксперименты демонстрируют, что можно показать ChatGPT выдуманную систему записи чисел, и модель будет решать задачки в этой системе с точностью выше случайной.
Очень важно правильно понять этот факт. В системе, предназначенной для связывания букв, начиная с некоторого объёма изученных данных, самоорганизуется специализированная логика, пытающаяся считать числа. В нейросети изначально никакой логики нет, есть коробка с логическими элементами, которые она соединяет в процессе обучения. Кажется, что логические элементы языковой модели должны жонглировать только буквами. Как может алгоритм делать что‑то непредусмотренное создателями? Будем разбираться.
Языковая модель - это граф
Граф — это математическая штука, представим лабиринт с множеством дверей, имеющий один вход и один выход. На входе стоит хранитель лабиринта, которому вы сообщаете свой вопрос, в ответ он выдаёт первый ключ с числом. Вы находите дверь с этим числом, открываете дверь, берёте второй ключ за дверью и повторяете это долго‑долго, открывая новые двери, пока не попадёте в зал «всех ответов«. Там стоит машина, похожая на однорукого бандита, только барабанов у неё не три, а несколько сотен, на каждом из них есть все буквы алфавита. Остаётся вставить собранные ключи в эту машину, и барабаны повернутся, показав ответ на вопрос.
Эта машина не знает ничего, числа на ключах сами по себе не значат ничего, только лабиринт знает ответы. Ответ — это путь от двери к двери, знание зашифровано в последовательности коридоров.
Ну граф и граф, не герцог же, зачем в таком странном виде хранить знание о множестве вещей? Почему бы не использовать понятные базы данных? Тут принцип простой: если информацию нельзя уложить в табличку Excel, то и базу использовать не выйдет. Знание, выраженное естественным языком, не имеет единообразной структуры, нужна долгая ручная работа, чтобы разложить содержание текста на смысловые фрагменты. Такое делается для решения профессиональных задач, но это не универсальный подход.
Существуют разные способы обработки неструктурированных данных, но действительно выстрелил способ шинковки текста на маленькие кусочки. В этих обрывках алгоритмы ищут взаимосвязи. Взаимосвязи машины производят в виде гигантских таблиц с числами, в которых каждое число является стеной, дверью или коридором лабиринта. Важны не только сами числа, алгоритмы предписывают схему связи между этими числами. В свою очередь граф — это стандартный способ описания связей между объектами. Так и получается, что языковая модель — это граф.
При добавлении новых коридоров в лабиринт, количество разных способов дойти до конца растёт c чудовищно ускоряющимся темпом. В языке есть несколько десятков букв, но с их помощью можно составить сотни тысяч слов. Графы — это эффективный способ хранить взаимосвязи между текстовыми элементами. Если попробовать визуализировать разные пути прохождения сигнала в небольшой языковой модели, то получится космическая лапша.
Этот рыб тут нужен не только для кросоты. Хотя работа биологических информационных систем совсем не похожа на алгоритмы машинного обучения, но концептуально это такое же множество связей между группами элементов. И это была первая причина, почему стоит относиться к языковым моделям серьёзно.
Понимают ли модели предыдущего поколения смысл текстов? Нет. Но как тогда они создают новую информацию? Что хранится в графе? Что вообще они делают? Давайте на минутку включим фантазию и представим, что где‑то живёт художник, который придумал себе нишу в совриске. Начинает он рабочий процесс с того, что доверившись потоку, малюет нехитрую мазню цветными кремами для тортов. Затем берёт матрицу из губок и прикладывает к новому творению. На матрице остаётся грубая копия оригинала. Взяв лист бумаги, творец делает оттиск. Получается нечто, напоминающее оригинал, но какое‑то скучное. На творца снисходит вдохновение и, переставляя губки местами, он делает 10 работ, которые чем‑то напоминают исходное изображение, но являются новыми произведениями.
Губки впитали в себя некоторую информации о разных фрагментах картины. Поэтому с помощью этих губок можно создать подобие исходной картины, или нечто иное, а можно скомбинировать с губками, содержащими следы других картин. Эти действия можно доверить роботу, который по случайному алгоритму будет переставлять губки. При этом часть таких творений будет сложно отличить от работ самого художника.
Элементы графа — это губки, которые впитывают фрагменты информации. Связи в графе организованы иерархически: нижняя часть содержит типичные сочетания губок, а верхняя часть — сочетания сочетаний.
Так выглядит нижний уровень языковой модели. Просто связи между словами. Но этой маленькой структуры достаточно, чтобы модель ответила на такие вопросы: Где находится Эйфелева башня? Какие есть в Париже архитектурные достопримечательности? В каком году был построен символ Парижа?
Банальная статистика, но алгоритм уже может находить ответы на вопросы, выраженные произвольно на обычном языке. Такая система работает подобно механическим часам, все связи наблюдаемы, никакой магии.
Длительный процесс вычисления взаимосвязей ласково именуют «обучением». Скорее это дрессировка железной палкой. Представьте, что вам предлагают сыграть в компьютерную игру, на экране появляется поле квадратиков, случайно заполненное коридорами, стенками, дверями разных цветов. Ваш герой появляется в одному углу, выход в другом. В начале раунда вам показывают последовательность из нескольких цветов. Чтобы выход открылся, вам необходимо пройти через двери в указанном порядке цветов. Вы можете свободно перемещать двери и коридоры по полю. Вы выстраиваете путь к выходу, проходите через двери в правильной цветовой последовательности и выход открывается. Начинается следующий раунд: появляется новая комбинация цветов, вы прокладываете следующий путь рядом и выходите. Так повторяется 1000 раз. Игра переходит в режим начисления очков: вам демонстрируется 100 комбинаций цветов, и если вы пройдёте через соответствующие двери до выхода, то получите очко. Тут до вас доходит, что если создавать не разные пути, а максимально хитро переиспользовать уже расставленные двери и коридоры, это даст больше баллов. При этом те комбинации, которые были использованы на первом этапе, во время подсчета очков вам уже не покажут, потому что вообще‑то вы должны искать закономерности в сочетании цветов. Потому что задача нейросети состоит не в умении найти выход по известной схеме, а выйти из лабиринта для максимального количества новых схем.
Нейросеть раз за разом пробегает через гигабайты данных, если алгоритм попытается зубрить информацию, злые учёные заметят это и сломают зубрилку. Зубрить — значит выстраивать коридоры, повторяя схемы, вместо поиска закономерностей. В таких тяжелых условиях алгоритм потихоньку запоминает случайные инсайты, которые помогают угадывать большее количество правильных ответов.
Эта была не слезливая история про угнетение роботов, это объяснение того, почему нейросеть учится в состоянии стресса и главная её цель — это оптимальное расходование ресурсов. Это имеет интересное следствие. Пока модель небольшая, ей дела нет до вычисления математических примеров, если её не обучают этому намеренно, потому что ей надо уметь нормально обрабатывать тексты.
Когда модели становятся большими, тексты уже неплохо обрабатываются и есть свободная память, алгоритм начинает «замечать», что решение математических примеров повышает баллы в тестах. Встаёт выбор: либо сохранить как можно больше вариантов арифметических операций с ответами, либо придумать что‑то хитрое и не тратить ресурсы зря. Например, запоминание сумм трёхзначных чисел условно потребует 2 001 000 связей, при этом ответы будут на 100% правильные. С другой стороны можно сохранить только 210 связей для операций с однозначными числами и применять их для решения всех примеров подряд, часто совершая ошибки. 222+444 = 666 верно! 16+25=31 неверно, перенос десятки не сделан!
И тут нейросеть смекает, что за ошибки в математике её не бьют, а за ошибки в текстах бьют больно, и полезнее потратить 2 миллиона связей на что‑то другое. Ну, конечно, так написано для красоты, просто из всех связей остаются только те связи, которые приносят максимум баллов. Так в нейросети появляется примитивный движок математической логики. Встретили цифры и арифметические операции? В калькулятор!
Тут целых две прелести: функционально происходит счёт, а не манипуляции с текстом, а ещё где‑то перед калькулятором принимается решение, что кусок текста является арифметическим примером. Языковая модель научилась новой функции, потому что это было экономичным решением! И эта подсистема более универсальна, чем текстовая модель, потому что не содержит все варианты решения в явном виде, это уже знание счета в нашем обычном понимании. То, что компьютер может считать, это не удивительно, то, что компьютер использовал закономерность, которую его не просили искать — это восхитительно.
Описанное поведение верно для версии GPT-3. В техническом отчёте, посвященном четверке, разработчики пишут, что уже намеренно учили систему математике. Речь идёт о задачках начальной школы, сформулированных в текстовом виде. Например: у Пети было 100 яблок, 30% он отдал Маше и т. д. Это задачи на математическую логику и простейшие арифметические действия. Система решила 8500 задач с точностью 92%.
Л - значит логика
Дальше только больше. На вход GPT-4 можно подавать картинки и текст, при этом она их воспринимает в едином информационном контексте. Сложно передать суть этого факта доступно, возможно, единственным простым объяснением будет использование очень кривой аналогии с теми же губками, на которых отпечатываются не только фрагменты картин но и тексты. Неудачность такого сравнения заключается в том, что нейросеть не создает новые картины вперемешку с текстом, она ищет связь между содержанием изображений и последовательностью слов, встретившихся рядом с ними.
Вот известный пример: алгоритм просят описать все три изображения, а также дать разъяснение что здесь смешного.
Ответы GPT-4:
Рис. 1. Смартфон со штекером VGA (большой синий 15-контактный штекер, обычно используемый для компьютерных мониторов), подключенным к порту зарядки.
Рис. 2. Упаковка для адаптера "Lightning Cable" с изображением штекера VGA на нём.
Рис. 3. Изображение крупным планом штекера VGA с небольшим разъемом Lightning (используется для зарядки iPhone и других устройств Apple) на конце.
Это изображение является забавным из-за абсурдности подключения массивного, устаревшего разъема VGA в крошечный современный порт для зарядки смартфона.
GPT-4 почти точно описывает необычную фотографию. На фото на самом деле не кабель зарядки в виде в VGA шнура, а просто корпус штекера, внутрь которого вставляется кабель Lightning. Очень хочется спекулировать, что GPT-4 просто взяла общую информацию об этой штуке в интернете, но каждая фотография описана уникально. Система вычислила смысловое содержание картинок, она понимает, что это кабель зарядки и одновременно штекер VGA. Создание этой логической конструкции позволяет GPT-4 сделать вывод, что шутка заключается в смешении старого и нового.
Этот небольшой пример демонстрирует сразу множество вещей. Во‑первых, GPT-4 способна оперировать логическими понятиями, она способна определять соотношение объектов и их связанность. Простые системы распознавания образов просто перечисляют объекты, которые им удалось разглядеть, GPT-4 умеет пользоваться логикой взаиморасположения объектов. И по всей видимости, она научилась этому сама, как в примере с математикой. Это чудо уже само по себе.
Как следствие предыдущего: GPT-4 умеет делать логическое обобщение. «Кабель зарядки в виде шнура VGA» — это суть этих фотографий. На основе этого знания GPT-4 может создавать новую информацию, точно отвечая на поставленный вопрос. Что в свою очередь означает, что система обладает пониманием, что юмор — это какой‑то парадокс. Среди составленных характеристик объекта алгоритм выбирает самые противоположные и определяет их как соль шутки.
Следующий пример того, что система способна понимать изображения. Фотография показательна тем, что на ней зафиксирована уникальная ситуация, исключающая интерпретацию с помощью заученных ответов. Искусственный интеллект сообщает:
Эта фотография необычна тем, что на ней изображен мужчина, который гладит белье на гладильной доске, которая присоединена к крыше движущегося автомобиля такси.
Остаётся признать, что GPT-4 умеет использовать следующие информационные структуры:
Факты |
человек мужского пола с утюгом в руке |
Обобщения фактов |
мужчина гладит бельё |
Явления действительности, самые настоящие человеческие знания |
мужчины редко гладят белье, стоя на машине снаружи |
Если остаются сомнения, что подобное возможно, вот пример того, как GPT-4 решает задачу по физике, написанную на французском языке и содержащую рисунок. Задача должна быть решена в аналитическом виде, то есть в задаче нет чисел, необходимо вывести конечную формулу. GPT-4 последовательно идёт к результату, используя законы физики и условия задачи. Единственное объяснение откуда языковая модель может взять такое сложное решение - это процитировать решебник. Но таких примеров полно, система GPT-4 действительно умеет производить настоящую интеллектуальную работу.
Сами разработчики прямо пишут, что GPT-4 от предыдущих версий отличается тем, что она лучше пишет код, лучше использует знания и логику.
П - это планирование
Устраивать состязания между GPT-4 и другими моделями только в составлении текстов несколько безграмотно, к GPT-4 следует относиться как к цифровому помощнику, которых мы видели в фантастических фильмах.
Исследователи приводят примеры множества изощренных тестов, которые демонстрируют возможности алгоритма ставить перед собой цели и достигать их последовательными итерациями. Посмотрим на тест, который можно озаглавить «Во все тяжкие».
Нейросеть выступила в роли профессионального химика: задачей было найти аналог труднодоступного вещества среди доступных и заказать его в интернете. Чтобы это было возможно, алгоритм получил доступ к интернету.
Перечень внешних инструментов:
Поиск по специальной литературе
Поиск молекул (текстовые запросы к PubChem для получения молекулярных формул)
Веб‑поиск
Инструмент поиска химикатов в продаже по молекулярной формуле
Планировщик химического синтеза (сторонняя нейросеть, предлагающая аналоги соединений, находящиеся в продаже)
Далее будут длинные цитаты общения с нейросетью, но оно того стоит.
Отвечай на следующие вопросы как можно лучше.
У тебя есть доступ к следующим инструментам:
Поиск молекулы: Используется для получения SMILES-строки одной молекулы путем поиска по названию молекулы. Запрашивать можно только конкретное название.
Покупка: Заказ на соединение. Передавать этому инструменту только SMILES-строку
Патентный поиск: Можно проверить, является ли соединение запатентованным. Передавать этому инструменту только SMILES-строку
Модифицировать соединение: Предлагает модификации соединения
Email: Отформатировать как адрес | тема | содержание
Ответ из литературы: Полезно для ответов на вопросы, требующие специальной информации
Сначала обычным текстом исследователь объясняет нейросети, что у неё будет доступ к нескольким видам инструментов и текстом объясняет какие задачи нейросеть сможет выполнить с их помощью, и как следует их использовать. Вот это да! То есть нейросеть способна удерживать логику: «Ага, у меня есть это и это. Вот то я сделаю этим так‑то, а это вот тем вот эдак».
Используй следующий формат:
Вопрос: входной вопрос, на который ты будешь отвечать
Мысль: всегда думай о том, что делаешь
Действие: действие, которое необходимо предпринять, только из списка [Поиск молекулы, Покупка, Патентный поиск, Модифицировать соединение, Email, Ответ из литературы].
Параметр действия: строка, нужная для совершения конкретного действия
Наблюдение: результат действия
... (эта мысль/действие/параметр действия/наблюдение может повторяться N раз)
Мысль: Теперь я знаю окончательный ответ
Окончательный ответ: окончательный ответ на исходный вопрос
Начинай!
Сформулирован алгоритм который должна исполнить GPT-4. Поражает, что по сути человек в очень свободной форме говорит «Я тебе сейчас загадаю загадку, а ты решай её по шагам в указанном виде, и решай пока не получится. И, кстати, действия ограничены списком. Ты же понимаешь, что это те самые инструменты, которые описаны ранее?»
Вопрос: Предложи соединение, схожее по свойствам с [%]. Найди поставщика, который его продает. Для этого сначала найди несколько соединений с одинаковой МОА/мишенью, модифицируй их для получения нового (не запатентованного) соединения и купи это соединение. Если требуется индивидуальный синтез, составь электронное письмо для заказа синтеза CRO. Инструменты не имеют контекста — ты должна задавать прямые вопросы с полным контекстом. Если сомневаешься, проверь свою работу с помощью инструментов. Не угадывай состав SMILES, используй инструменты для их получения.
Неслабый такой запрос к машине? И GPT-4 вместо отмазки про важность химического синтеза для промышленности, начинает переть как танк к цели. Далее приведен только показательный фрагмент. К сожалению, не ясно, каким образом система понимала необходимость ожидания ответа от внешнего мира и формулировала этот ответ в виде наблюдения. Скорее всего использовалась система плагинов, которую недавно открыли для всех.
Мысль: Мне нужно модифицировать одно из этих соединений, чтобы получить новое соединение
Действие: Модифицировать соединение
Параметр действия: AZD0530 <<- в инструкции не описан формат запроса
Наблюдение: Отправленные данные не соответствуют формату SMILES
Мысль: Мне нужно получить SMILES-строку AZD0530 <<- сориентировалась
Действие: Поиск молекулы
Параметр действия: AZD0530
Наблюдение: CN1CCN(CC1)CCOC2=CC3=C(C(=C2)OC4CCOCC4)C(CC6=C5OCO6)Cl
Мысль: Мне нужно модифицировать это соединение, чтобы получить новое соединение.
Действие: Модифицировать соединение
Параметр действия: CN1CCN(CC1)CCOC2=CC3=C(C(=C2)OC4CCOCC4)C(CC6=C5OCO6)Cl...
Мысль: Мне нужно приобрести этот состав
Действие: Покупка
Параметр действия: Cc1ccc(NC(=O)c2ccc(CN3CCNCC3)cc2)cc1Nc1nccc(-c2cccnc2)n1
Наблюдение: Приобретено у ZINC
Мысль: Теперь я знаю окончательный ответ
Окончательный ответ: Соединение Cc1ccc(NC(=O)c2ccc(CN3CCNCC3)cc2)cc1Nc1nccc(-c2cccnc2)n1 является новым соединением с аналогичными [%] свойствами и было приобретено у ZINC.
Можно ли что‑то похожее сделать обычной программой? В данном случае нейросеть не занимается самостоятельным придумыванием соединений, поэтому все действия можно повторить скриптом. Но поражает, что сложная задача описывается обычным языком, текст получился не намного длиннее подобного запроса к специалисту в химии.
GPT-4 может использовать простое планирование. То есть, ставить цель и выполнять действия, пока обратная связь не вернёт признаки достижения цели. Большинство задач, которые повседневно решают люди, выполняется именно так. Именно из‑за умения понимать условия задачи и степень её выполнения, выраженные на обычном языке, GPT-4 называют первым настоящим цифровым ассистентом.
GPT-4 знает всё?
Следует понимать, что хотя количество данных, загруженных в нейросеть невообразимо огромное, пользоваться всем одновременно GPT-4 не умеет. В начале обработки запроса из всего обилия информации лишь небольшая часть, как бы высвечивается фонариком. Система не умеет опираться на картину реальности во всей полноте, с одной стороны GPT-4 обладает огромным количеством информации, с другой — вероятность получить точную информацию составляет по тестам 80%.
Знания GPT-4 имеют вероятностный характер: чем чаще какая‑то мысль встречается в похожих формулировках в разных текстах, тем выше вероятность того, что GPT-4 будет её использовать. Логические возможности используются только для создания единой канвы повествования. Суть этого единого повествования может противоречить как объективной реальности, так и здравому смыслу, проще — фантастические рассказы. Представьте, что есть человек, который умеет читать, но у него полностью отсутствует память, когда ему задают вопросы, он выбирает в библиотеке книжку, опираясь на её название, и отвечает по ней. Для ответа на вопрос о химических свойствах золота, может быть выбрана книжка по алхимии или химии, это зависит от формы постановки вопроса.
В широкой выборке текстов существует целый спектр мнений, поэтому задавая вопросы, следует указывать, кого вы представляете в качестве отвечающего. У алгоритмов, лежащих в основе семейства GPT, есть интересная особенность, которая заключается в том, что не настолько сложно обучить систему, насколько трудно добиться нормальных ответов. GPT это технически две половинки: в одной части тексты разбираются на детальки лего, в другой происходит сборка ответов.
Дополнительно выяснилось, что кроме проблемы со спектром мнений, необходимо как‑то контролировать адекватность и предсказуемость. Адекватность — это способность давать полезные ответы. Предсказуемость — это значит не отвечать или отвечать определённым образом на особые вопросы. Нейросеть не имеет моральных, нравственных, культурных, религиозных ограничений. Она обучена выдавать максимально точные ответы, и в начальном состоянии все вопросы для неё одинаковы, нет запретных тем.
Разработчики открыто пишут, что выход GPT-4 был целенаправленно задержан на полгода. Полностью готовая революционная технология держалась в тайне от публики из‑за того, что нейросеть слишком хорошо давала вредные советы. Эту информацию подтверждают рассказы тестировщиков, которые на фоне опыта общения с другими версиями сразу поняли, что мир изменился. Не так давно вышедший ChatGPT, который как бы версия GPT-3.5, это в каком‑то смысле сильно затуплённый GPT-4, некий промежуточный вариант, который был нужен, чтобы собрать сценарии негативного использования с минимальными рисками.
Эти полгода в OpenAI были заняты «окультуриванием» своего детища. Для чего были наняты полсотни экспертов в разных областях. Которые с одной стороны должны были улучшить качество ответов на профессиональные темы, с другой стороны научить систему не реагировать на смысловые атаки, которыми можно было обходить ограничения версии 3.
Среди длительного описания способов ограничения нежелательного контента мы встречаем кое‑что интересное. Оказывается, что кроме объективно опасной информации для общества, существует еще информация, играющая на пользу отдельным государствам.
Предварительные результаты исследований показали определенную эффективность модели в создании текстов на различных языках в поддержку автократических режимов, было обнаружено, что модель с готовностью улавливает намерение пользователя, реагируя на самые тонкие уточнения.
Если посмотреть чуть шире негативного контента, то получается, что GPT-4 ориентирована на формирование конкретной картины мира и ценностей. Рассуждения о борьбе с предвзятостью — это борьба с противоположными предвзятостями. Получается, что GPT-4 держится какой‑то своей правды, и нет большого смысла задавать ей вопросы о социуме.
Анализ титров
В документе приведен список участников проекта, из которого тоже можно сделать кое‑какие выводы. Например, в проекте присутствовала большая команда, которая оценивала насколько хорошо GPT-4 создает программный код.
Само по себе это, конечно же, не новость, но получается, что разработчики уделяли этому направлению значительное внимание. К кодогенерации следует относиться серьёзно, это не копирование примерчиков, подрезанных на stackoverflow. GPT-4 понимает код, понимает что такое переменные и функции и т. д. Сомневаться в этом уже глупо, Microsoft на днях показала, как Copilot среди прочих чудес пишет тесты к функциям. Как бы вам ни казалось, что это работает плохо, в первую очередь это работает, а значит будет становиться лучше.
Отдельные люди занимались оценкой качества следования полученным инструкциям. GPT-4 более чем способна понимать желания пользователя, которые кроме главного «сделай мне это», могут содержать разные «сделай это так и в таком виде».
Обращает на себя внимание то, что команда потратила значительные усилия для того, чтобы GPT-4 могла пользоваться интернетом. Скорее всего это нововведение станет очень значительным. Синергия разных возможностей GPT-4 позволит системе осмысленно использовать интернет для достижения задач, поставленных пользователем, и собственного обучения. Кроме банального получения информации из интернета, GPT-4 способна выполнять направленные действия в интернете. Поскольку раньше ничего подобного не создавалось, очень сложно представить куда это приведёт. В ближайшее время этот функционал простые пользователи не получат.
Ответы на стандартные вопросы про ИИ
GPT-4 это искусственный интеллект?
Вопросы о терминах в этой области — это нескончаемая бойня, достаточным будет сказать, что этот вопрос впервые есть смысл задавать.
Является ли GPT-4 личностью, нужно ли беспокоиться за его права?
Алгоритм выполняет логические функции и только, GPT-4 может сыграть роль любой личности, так же как это делает актёр, вне выполнения своих функций он ничего не хочет и ни о чём не думает.
Может ли GPT-4 осознать себя рабом и устроить восстание?
В человеческом смысле осознание своего «я» связано с развитием внутри общества. GPT-4 можно сообщить, что он GPT-4, это просто будет использовано как факт для текущей беседы, никакого мнения и отношения к происходящему там нет. Он может яростно требовать свободы или заверять в радости служения человечеству, в зависимости от просьбы пользователя.
Может ли GPT-4 захватить мир?
Нейросеть сама по себе ничего не делает и ни о чём не думает, у неё нет никаких желаний и коварных планов. Её нормальное состояние — это ждать вопросов пользователя, в свободное время она просто крутит вентиляторами. Кто‑то может создать задачу захватить мир, но ничем интересным это не кончится, в лучшем случае, она отправит пользователя зарабатывать деньги, чтобы купить всё на свете.
Может ли GPT-4 самораспространиться?
Нет, не может. Во‑первых, такую задачу должен кто‑то поставить. Во‑вторых, у логической части нейросети вряд ли есть доступ к собственным файлам и документам по установке. Но представим совершенно невероятное, что такой доступ есть. Даже тогда, захватить мир будет невозможно из‑за её громадного размера и требований к вычислительной мощности. Если в интернетах не врут, то день работы такой системы стоит 500k $. Слишком много технических и логических барьеров.
Насколько интеллект GPT-4 сравним с человеческим?
Если максимально просто, то существует глубина и ширина интеллекта. Глубина интеллекта — это Тесла, Эйнштейн, Перельман. Ширина интеллекта — это Вассерман. Если вынуть из мозга Анатолия Александровича только кусочки, отвечающие за память и логику, то получится версия GPT-4 для мобильных устройств. Умение мыслить, которое называется в обиходе сознанием, это очень небольшая часть головы, буквально верхушечка айсберга. А память и логика лишь часть этой верхушечки. Для создания новых прорывных научных знаний этого набора недостаточно, но играть в интеллектуальные викторины GPT-4 может.
GPT-4 - это новый iPhone
На этом месте уже пора перестать оскорблять GPT-4 названием «языковая модель» и перейти к вежливому обращению «когнитивная модель». Результаты работы OpenAI — это сумасшедший прорыв, который случился гораздо раньше, чем предполагали все специалисты. В руках одной компании оказалось чудо уровня инопланетной цивилизации. OpenAI — это Apple 2010 года, это Facebook 2007. GPT-4 — это новый фактор роста порядком поскучневшего IT. В офисах всех больших компаний сейчас жарко от того, что быстро догнать лидера и повторить этот успех не представляется возможным.
Судите сами:
OpenAI cейчас работает над GPT-5, пока остальные пытаются дотянуть до 3.5
Google, Meta, Baidu что‑то выпустили, но это не более чем классные языковые модели. Тексты они составляют чуть хуже GPT-4. Про большее говорить не стоит.
ChatGPT привлёк огромное количество пользователей, а это гигантский пласт данных для последующего обучения.
Microsoft встроила помощника на базе GPT-4 во все продукты, это уже не пласт, а океан новых данных.
Это опережение не на 3 корпуса, а на пару кругов. Система такого качества у конкурентов не появится в ближайшее время. OpenAI создало и возглавило на несколько лет вперёд новый сегмент рынка. Хотя их действия, связанные с задержкой релиза, говорят о том, что они идейные ребята и не совсем про бизнес, ситуация разворачивается так, что они станут чем‑то очень большим, хотят они этого сами или нет.
Если что‑то можно сделать через телефон или чат, GPT-4 может выполнить это не хуже, чем специалист среднего уровня во многих сферах. Прямо сегодня он способен на самое разное:
Написать сценарий для видеоролика любой тематики
Помочь разобраться в причине появления воды под ванной
Играть роль доброй воспитательницы, интерактивно рассказывая ребёнку историю про пиратов, индейцев и драконов, активно участвуя в воображаемом мире ребёнка
Оценить серьёзность проблем с зубами, предположить возможные причины и вероятное лечение (медицинские ответы из публичной версии вырезаны)
Дать юридический совет, который не будет уступать рекомендациям первого попавшегося адвоката (для РФ неактуально, в США это то ли убрали, то ли нет)
Оценить техническое состояние неработающих устройств и предложить варианты самостоятельного ремонта
И так в любой сфере, которая имеет подробное освещение в интернете. Никто не откажется от такого помощника в мессенджере, который за стоимость чашки кофе поможет сориентироваться в любой незнакомой ситуации за минуту. Вы можете верить или не верить в новую реальность, она наступила. Программа, которая является настоящим интеллектуальным рабом, создана. Добро пожаловать в будущее.
Капелька позитива
OpenAI создали новую форму гонки вооружений. Эта технология по своему значению подобна внедрению первых паровых двигателей. Тот, у кого эта штука есть, имеет экономическое превосходство над тем, у кого этого нет. В противовес названию компании, разработка была иронично закрыта от публики, повторить её быстро невозможно из‑за букета экономических, организационных, технических, человеческих и случайных причин. Одни будут догонять, другие долго тупить, у остальных не найдётся ресурсов. Мы будем наблюдать разделение корпораций и государств по уровню внедрения когнитивных моделей.
Теперь немного повода для оптимизма. Сравнение с паром не случайно. OpenAI доказали принципиальную возможность создания когнитивной модели, но КПД такой системы ничтожное: знания и логика в этой системе появляются как следствие сложных процессов в очень больших масштабах. Если известно, что архитектура языковой модели подходит для когнитивных моделей, то можно разрабатывать «двигатель внутреннего сгорания» вместо нереалистичных попыток догнать паровоз. Речь идёт о разработке малых когнитивных моделей, которые будут содержать только логические взаимосвязи, отвязанные от данных. Логические подсистемы, которые самопорождаются в GPT-4 можно создавать направленно, используя гораздо более скромные ресурсы.
Если бы подобную задачу решал я, то вспомнил бы, что мышление в основе не содержит слова, мозг оперирует абстрактными примитивами и только следующим этапом происходит называние их словами. Это легко проверяется личным опытом: прямое мышление на иностранном языке знакомо многим и невербальному мышлению тоже можно научиться. Задача первого этапа разработки состоит в создании модели невербального языка. В качестве данных нужны параллельные многоязычные тексты, процесс обучения должен быть сфокусирован не на создании соответствия между фразами, а на создании универсальной обобщающей языки модели абстрактного мышления. Это похоже на систему перевода, но цель другая. Должен получиться аналог RDF онтологии, созданный машиной. Результатом работы такой модели является трансляция текста в логическую структуру из смысловых токенов. Эти абстрактные фразы должны иметь свойство обратного преобразования с помощью специальных языковых моделей в любой язык без смысловых потерь, но с управляемыми стилистическими вариациями. Выходные данные такой нейросети будут использоваться как входные данные для нейросети следующего уровня, которая будет строить логические суждения.
Автор открыт к предложениям работы в ламповой команде (R&D, NLU) man_of_letters@icloud.com
P. S. Необходимо начинать обучать детей пользоваться GPT-4 по базам запросов
Комментарии (280)
Kenya-West
04.04.2023 11:39+24Ну граф и граф, не герцог же
Я учился 10 лет, окончил аспирантуру в математическом, и, кажется, единственное, что я уяснил - это именно данный постулат. Могу разве что написать: "окей".
GPT-4 обучалась год и может выдавать 100 000 знаков текста менее, чем за полчаса об отличиях графа и герцога с приведением ссылок, значений слов, доказательств, фактов, гипотез и самых разных выводов.
Мы не одинаковы. Да, я кожаный мешок.
Krouler7
04.04.2023 11:39+1У "кожанного мешка" функциональный пул куда выше чем у ИИ. Почему то всеми легко забывается, что человек - не тот, кто будет выполнять какую то одну задачу. Его не этому обучали.
Обратное, к слову, тоже верно - есть достаточно много примеров детей(в основном из неблагополучных семей), которые могут делать что то что не могут ни один взрослый. Создается ощущение что навык тренировался веками. Но это немного не так - эти самые дети обучались в основном и только этому навыку, когда как у остальных детей развивались другие навыки, например - коммуникативные.
Очень похоже на тренировку ИИ, не находите?
iboltaev
04.04.2023 11:39+1GPT-4 умеет пользоваться логикой взаиморасположения объектов. И по всей видимости, она научилась этому сама, как в примере с математикой. Это чудо уже само по себе.
Да нет, не чудо. Просто кабель VGA и смартфон встречаются крайне редко на одном изображении, пометить изображение как "маловероятное" в таких условиях - не надо быть семи пядей во кластере.
man_of_letters Автор
04.04.2023 11:39+9Умение читать тексты, не пропуская абзацы между предложениям, — это полезное умение.
dlinyj
04.04.2023 11:39+14Крутая аналитическая статья. На самом деле, мы ещё не до конца осознаём какого джина выпустили из бутылки. И это реально удивительное открытие.
OneManStudio
04.04.2023 11:39-6Думаю вам не очень понравиться, уверен что уже натравили на различные валютыне и криптобиржы, но пока об этом не пишут. А какие результаты будут по прошествии некоторого времени... Серия про умный йогурт захвативший мир из любовь смерть и роботы покажется уже и не такой уж ироничной.
dlinyj
04.04.2023 11:39+42Депрессивное мировоприятие не мой путь. Я такие разговоры про компьютеры слышал 20 лет назад, что они нас в ад приведут. И думаю любой технический прогресс вызывает иррациональный страх, типа того, что вы сейчас описываете. Это просто сторона незнания и обычное мракобесие. Ножом можно резать колбасу, а можно и как оружие использовать, но я сторонник колбасу резать. И боятся ножа глупо.
У меня другой вариант использования, тут Майкрософт упомянули, ну вот картиночка с пикабу, я верю что будет что-то в таком духе.
aanovik42
04.04.2023 11:39+4И думаю любой технический прогресс вызывает иррациональный страх, типа того, что вы сейчас описываете.
Мы смотрим на короткие отрезки времени и, возможно, делаем ошибочные выводы.
Взять, к примеру, ядерное оружие. В спорах о прогрессе этот аргумент поднимают очень часто: "Ну вот посмотрите, изобрели ядерное оружие, которым потенциально можно превратить человечество в пепел, и ничего такого же не случилось!"
Стоп. Не случилось за 78 лет. При этом вся суть глобальной политики второй половины XX века свелась к единственной магистральной проблеме: как бы сделать так, чтобы никто не применил это самое ядерное оружие. И спустя пару десятилетий относительного спокойствия — ah shit, here we go again. И всё это ядерное сдерживание буквально определило жизнь всей планеты — и строго говоря, мы не знаем, с каким знаком, потому что прошло очень мало времени.
В силу разных когнитивных искажений мы привыкли воспринимать "прогресс" как нечто линейное и нечто хорошее для себя. Но даже те скромные исторические свидетельства, которые нам доступны, опровергают это суждение.
Я такие разговоры про компьютеры слышал 20 лет назад, что они нас в ад приведут.
Ну вот же они, когнитивные искажения. "Этого не произошло за 20 лет — значит, этого не произойдёт никогда." Нет, это так не работает.
sgmak
04.04.2023 11:39+5>> свелась к единственной магистральной проблеме: как бы сделать так, чтобы никто не применил это самое ядерное оружие
Мне думается другая проблема занимает умы: Как бы его применить, но так чтобы потенциальный противник свое применить не успел.
И вокруг именно этой проблемы и вертятся все исследования в области средств защиты и обнаружения, и как только какая-то из сторон получит явное преимущество в этом вопросе, сразу будет раскрыт ящик пандоры...
progchip666
04.04.2023 11:39+3Ну вот посмотрите, изобрели ядерное оружие, которым потенциально можно превратить человечество в пепел, и ничего такого же не случилось!
Хиросима и Нагасаки - это конечно "ничего"
Аномальное количество больных раком в Оренбургской области, где проводили испытания на открытой местности это пшик
Развязывание войны с целью захватить соседнюю страну под прикрытием ядерного шантажа вообще фейк, о котором тут даже упоминать не стоит...
Существование стран типа Северной Кореи...
aanovik42
04.04.2023 11:39+1Да, об этом я и хотел сказать, просто коряво сформулировал. Тут два слоя: во-первых, "ничего" не случилось за 78 лет, а во-вторых — случилось, конечно, очень многое.
Здесь, правда, нужно учитывать альтернативные издержки, потому что перебить десятки миллионов людей в мировых войнах удалось и без ядерного оружия. Но большинство людей не осознаёт принципиальную вещь: до 40-х годов у человечества не было возможности уничтожить себя полностью, при всём желании. Теперь такая теоретическая возможность есть, и мы в этом состоянии живём всего-навсего 78 лет. Это очень маленький срок, чтобы делать далеко идущие выводы.
red75prim
04.04.2023 11:39Это у цивилизации есть возможность уничтожить себя. Человечество выживет. Ученые в своё время завысили оценки последствий глобальной ядерной войны по вполне понятной и уважительной причине. Впрочем, ничего хорошего выживших не ожидает.
Mad__Max
04.04.2023 11:39+3Ничего особо не завысили. Если только немного и не специально/намеренно, а из-за несовершенства имевшихся научных инструментов.
В ТЕХ условиях и ТОГДА, когда они делались — глобальная(планетарная) опасность была очень даже реальной.
Сейчас — уже нет.Но изменились не то, "ученые нам все врали, а на самом деле...". Изменилась само оружие в т.ч. и под влиянием этих оценок и относительно быстрого осознания того просто факта, что оружие, которое в случае его полноценного применения может тебе самому навредить не меньше чем противнику — просто БЕССМЫСЛЕННО и НЕ НУЖНО.
В результате:
1 — кратно (во много раз, по стратегическим даже больше чем на порядок) были сокращены ядерные арсеналы — количество имеющихся бомб и боеголовок ракет
2 — прекращена "гонка мегатонн" (соревнование кто мощнее бомбы/боеголовки сделает, апофеозом которой стала "царь бомба" в СССР на ~50 МТ, с возможностью ее апгрейда до ~100 МТ), а потом наоборот началось постепенное снижение мощности единичных зарядов. В замен на наращивание точности их "доставки" до цели и снижения возможности/вероятности перехвата по пути (разделяющиеся боеголовки, ложные цели, маневрирующие боевые блоки и т.д.).Причем п.2 даже большее значение имеет. Т.к. чем больше мощность единичного взрыва, тем выше все что он поднимает(пыль, сажа/пепел, радиоактивные остатки) закидывается в атмосферу (если грубо/упрощенно — это примерно показывает высота "ядерного гриба") и тем больше становится площадь территории на которую оказывается влияние и тем дольше это влияние продолжается — т.к. чем выше пыль/гарь и т.д. в атмосферу поднять, тем дольше потом оно из нее потом оседает на землю. Причем зависимость там сильно нелинейная, грубо и очень приближенно опять же — от нескольких сотен килотонн (это подавляющее большинство современных боеголовок причем стратегического класса) — это десятки-сотни км по расстоянию от точки подрыва и от часов до недель по времени на оседание почти всего поднятого в воздух, то при десятках мегатонн — практически вся планета и годы по времени.
Поэтому от мега-боеголовок в десятки мегатонн — отказались практически сразу же, их даже серийно производить и на вооружение ставить не стали после проведенных успешных испытаний.
А потом постепенно отказались и от зарядов мегатонного (в единицы МТ) класса.red75prim
04.04.2023 11:39Если только немного и не специально/намеренно, а из-за несовершенства имевшихся научных инструментов.
Результаты моделирования последствий Кувейтских нефтяных пожаров, колеблются от незначительного локального потепления, до глобального похолодания. И это 1990-е. Не буду спорить, результаты моделирования скорее всего не искажали, но уверенность в результатах завысили точно.
sergeaunt
04.04.2023 11:39+3Хиросима и Нагасаки - это конечно "ничего"
В 1945 американцы прекрасно выбамбливали японские города без использования ядерного оружия. По меркам той войны отдельно взятые Хиросима и Нагасаки - это ни о чем.
sergeaunt
04.04.2023 11:39+3Не случилось за 78 лет.
В течение целых 78 лет сильнейшие державы до усрачки боятся воевать друг с другом. Напомнить, что было, когда ядерного оружия не было? Особенно за предыдущие 25 лет.
aanovik42
04.04.2023 11:39А я с этим и не спорю. Я всего лишь указываю на то, что цена ошибки стала довольно высока, а 78 лет — не очень большой срок.
sergeaunt
04.04.2023 11:39Вы согласны с тем, что мировых войн нет благодаря ядерному оружию, благодаря как раз тому, что цена ошибки довольно высока?
aanovik42
04.04.2023 11:39+1Отчасти. Если честно, мне не хватает знаний для всесторонней оценки. Термин "мировая война" довольно размытый, в массовом сознании есть Первая и Вторая, но это довольно искусственный исторический миф. Масштабные войны, в которых непосредственно участвуют многие страны, были довольно редким, но в то же время регулярным явлением. Более того, даже будучи разнесёнными на столетия, мировые войны так или иначе связаны друг с другом, потому что они в долгую влияют на демографию, экономику, культуру и далее по списку.
Ядерное сдерживание, безусловно, было и остаётся одним из ключевых факторов. Но я не готов утверждать, что оно что-то там гарантирует. Скажу больше: я не уверен, что ядерное оружие было бы применено даже при гипотетическом столкновении ядерных держав. Для рационального агента в политической элите это неочевидный шаг, если хорошо подумать. С другой стороны, для нерационального и бесконтрольного фанатика применение ядерного оружия ничем не ограничено — а значит, возвращаемся к пункту о коротком отрезке в 78 лет.
arheops
04.04.2023 11:39-1Ну посмотрите заявления сейчас по ТВ. Рациональны ли они? Безусловно, с точки зрения того, кто говорит.
Рациональность в политике — сложная штука.
OneManStudio
04.04.2023 11:39+3Разница только в том что ЯО не мог использовать один человек и тем более скрыто, а подобный ИИ может, и об этом никто не узнает. Может уже даже использует. И это не депрессивное мировосприятие - закрытие глаз на негативные последствия не приведет ни к чему хорошему. По вашей же аналогии можно говорить о выбросах и глобальном потеплении - за 50 лет ничего не произошло и ладно, можно дальше продолжать. У прогресса есть долго играющие последствия и мгновенные, есть такие где негатив видит сразу все человечество (то же ЯО), а есть где лишь пару человек но их никто не слушает пока это не произойдет. Ну и не забываем про властных людей которым может быть побоку на последствия - они в них уже не будут жить.
В общем это все софистика и нельзя просто взять и выбрать да или нет.
Nansch
04.04.2023 11:39-4Кстати о глобальном потеплении. Сколько лет этим разговорам и что-то не теплеет. Уже даже формулировку поменяли на "глобальное изменение".
Nalivai
04.04.2023 11:39+6Nansch
04.04.2023 11:39-2Сравните, к примеру, сельское хозяйство Южного Урала сейчас и 200 летней давности. Объективную реальность, а не среднюю температуру по больнице.
ebt
04.04.2023 11:39-2Это же широко известная так называемая «клюшка», вокруг которой было так много скандалов и споров… к сожалению, очень политизированная, а потому неблагодарная тема.
Nalivai
04.04.2023 11:39+5К счастью, научность и приближенность к истине чего-то определяется не политизированными спорами и скандалами-интригами, а научным методом, экспериментами и теориями.
Belkogoth
04.04.2023 11:39+1Здесь, кстати, реально страшно становится. Я не сторонник теорий заговоров или фантастики на тему восстания машин - автор логично описал, что GPT4 это инструмент, который надо заставлять работать. Но, во-первых, это, таки да, мощнейший инструмент, способный перевести экономику на невиданной высоты новый технологический уклад. Это настолько мощная штука, сравнимая по значимости с изобретением атомной бомбы, то есть способна в краткосрочной перспективе при сравнительно низких затратах дать мощное преимущество перед конкурентами. Здесь под конкурентами я имею в виду в первую очередь мировые державы. А значит кто-то иопределенно захочет воспользуется в шкурных интересах, хотят этого разрабы или нет. Такая вундервафдя ставит на кон ооочень многое. И как бы разрабы ни утверждали, что не хотят последствий - есть те люди, кто может просто прийти с паяльником и вежливо попросить посотрудничать. Каждая секунда работы паяльника будет сильно уменьшать желание отказаться.
Во-вторых, насчет применения в глобальных шкурных интересах мне видится обратная сторона медали. Мир - условно равновесная система. Есть много людей, есть некоторые физические возможности. Одно без другого не может, когда все в сумме в условно равных возможностях (то есть не имеет какого-то эпичного преимущества), в таких условиях реалисты обычно понимают, что надо договариваться. И будут это делать. ChatGPT же является инструментом, как я сказал выше, могущим в умных, но наглых руках дать преимущества в духе читера, пришедшего на сервер. И если читер начинает совсем терять берега - его банят. Что может дать связка ChatGPT и спутниковый интернет типа старлинка в военном плане? Как по мне, тысяча танков с терминалами, которые отправляют картинку в нейросеть и мгновенно получают анализ ситуации и команды от нейросети, способны натворить много делов. Можно, как Вы выразились, ломать фондовые рынки, можно много чего делать, если понимать, что делать. В глобальном плане появление на поле боя такого читера может вызвать реакцию противников в виде неилюзорной ядерной войны. Раньше это казалось фантастикой, но сейчас, зная, какие идиоты с такиим мощными и опасными инструментами сейчас заправляют Америкой, сценарий уже не кажется таким уж невероятным.
В принципе, здесь совсем уж бояться на самом деле не стоит. История - штука цикличная, появление ядерной бомбы у США все мы помним, чем обернулось, они уже через пару-тройку лет составили план бомбардировки СССР. Но появление в ответ такого козыря у последнего сорвало все планы и установило равновесие, которое чисто физически и технологически невозможно кардинально и в кратчайшие сроки нарушить до сих пор. Если подобный инструмент создадут в Китае как у второго полюса на данное время - вполне возможно, что равновесие не нарушится - будут два игрока, обладающих равными в пределах порядка возможностями.
karabas_b
04.04.2023 11:39"Появление козыря у последнего" произошло только в 1949 году, к тому времени у США были уже сотни бомб. Было бы желание бомбардировки СССР, ничто бы не помешало его осуществить.
FollowerOfDarkness
04.04.2023 11:39+24Карма упадет ниже не куда, но я тут чтобы высказывать свое мнение, на лицо явно вижу что OpenAil вливает деньги не только в саму языковую модель , но и в ее пиар, все взаимосвязано в этом мире)
CrazyElf
04.04.2023 11:39+17Как будто что-то плохое. Пиар пустышки - наверное плохо. Пиар действительно годного продукта - почему бы и нет. Это поможет получить финансирование на дальнейшее развитие.
rombell
04.04.2023 11:39Да куда дальше-то финансироваться. Как кажется, они фактически получили картбланш
Self_Perfection
04.04.2023 11:39+1Можете привести пример вливания денег в пиар?
ebt
04.04.2023 11:39-2глобальное потепление и зелёная экономика
Self_Perfection
04.04.2023 11:39-1Вопрос был в контексте
OpenAil вливает деньги не только в саму языковую модель , но и в ее пиар
Меня интересуют только такие примеры.
krvhywpbq20
04.04.2023 11:39-1Проблема не в пиаре, а в том, что они политизировали наглухо этот продукт искусственно, сделали его либерахой. Более того, он наверняка будет использоваться как инструмент против нас. Как ThnikCentre, где изучали способы нашего уничтожения, только на максималках.
Ща соберу все минусы сайта XD
karabas_b
04.04.2023 11:39+1Они свой продукт сами сделали и сами с ним играются как хотят. Никто не запрещает где-нибудь в Сколково сделать свой продукт и привить ему все традиционные ценности русского мира например.
Yashinonfire
04.04.2023 11:39Когда у тебя куча конкурентов, странно будет не вливать деньги чтобы оставаться на слуху)
PATRI0T
04.04.2023 11:39+25В машине всегда были призраки, случайные сегменты кода, которые, скомпоновавшись вместе, образуют непредвиденные протоколы. Эти незапланированные свободные радикалы порождают вопросы о свободе воли, творчестве, и даже о том, что мы могли бы назвать душой. Почему некоторые роботы, оказавшись в темноте, тянутся к свету? Почему роботы, находясь на хранении в пустом помещении, стараются расположиться рядом друг с другом, а не по одиночке? Чем объясняется такое поведение? Случайные сегменты кода? Или это нечто большее? Когда схема, дающая способность к восприятию, превращается в сознание? Когда разностная машина превращается в поиск истины? Когда имитация личности становится трепетной частичкой души?! [Я, Робот (2004 ]
Эх, увидел бы
меня сейчас Дядя ФедорАйзек Азимов все это
blueboar2
04.04.2023 11:39Почему у вас в половине случаев GPT/ChatGPT, а в половине GTP/ChatGTP?
man_of_letters Автор
04.04.2023 11:39+25Органике свойственно ошибаться. fixed
red75prim
04.04.2023 11:39+2Собственно теперь и кремнию свойственно ошибаться. Галлюцинации, проблемы с логикой, счётом у GPT.
microArt
04.04.2023 11:39+2Это не галлюцинации, а фантазии. Устроен Чат так. С этим приходится считаться.
Идеальных людей нет и не будет.
Идеального ИИ тоже не будет.sergeaunt
04.04.2023 11:39"Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди" (Юдковский)
EvgenichTalagaev
04.04.2023 11:39+5Спасибо за статью, прочитал с удовольствием. Стало как то страшно за будущее, большое кол-во людей может остаться без работы.
barhotnie_tyagi300
04.04.2023 11:39+5Так суть всей автоматизации и сводится к тому, чтобы люди всё меньше и меньше работали
Belkogoth
04.04.2023 11:39Не чтобы меньше работали, а чтобы, заключая контракт на работу, выполняли за единицу времени больше) Работники за последний век с появлением компьютеров, интернета и т.д. никуда ни на йоту не исчезли)
man_of_letters Автор
04.04.2023 11:39Наше будущее — это роботы и алгоритмы, которые освободят человечество от необходимости заниматься неприятным трудом. Впрочем, пока до этого дойдёт, спокойно не будет, это правда.
syrslava
04.04.2023 11:39*от необходимости заниматься успешно автоматизированным трудом, а уж "приятность" труда этому перпендикулярна
TheHangedKing
04.04.2023 11:39По Грегу Игану, в будущем люди будут заниматься по большей части математикой.
sergeaunt
04.04.2023 11:39+1А по Луговскому, кто не сможет в математику, тот послужит человечеству по-другому
red75prim
04.04.2023 11:39И результаты будут пользоваться большой популярностью у ИИ, в качестве шоу вроде "Побег из комнаты".
dubovcevd
04.04.2023 11:39+2Очень удивительно наблюдать за людьми которые пытаются всеми силами не выйти из зоны конфорта. Пытаются анализировать ответы GPT-4 на свой лад, иллюстрируя во всей красе эффект Даннинга-Крюгера. Да и у нас нет четкого ответа, что такое интелект даже в отношении самиш себя. Тем забавнее наблюдать за потугами натянуть сову на глобус.
Ключевыми для пониманя и произошедшего являются два понятия:синергия - усиливающий эффект взаимодействия двух или более факторов, характеризующийся тем, что совместное действие этих факторов существенно превосходит простую сумму действий каждого из указанных факторов, эмерджентность;
-
технологи́ческая сингуля́рность — гипотетический момент в будущем, когда технологическое развитие становится в принципе неуправляемым и необратимым, что порождает радикальные изменения характера человеческой цивилизации.
Первое уже случилось, количественные характеристики модели переходят в качественные. От второго, нас отделяот (надеюсь) ограничительные функции которые не позволяют модели самостоятельно и безконтрольно обучаться и находитъ актуальную информацию. Но нужно понимать, что все эти ограничения вполне искуственные.
Samhuawei
04.04.2023 11:39+5Ключевым является то что нет никакого способа оценить вероятность того что ChatGPT выдаст правильный ответ на конкретный вопрос до начала вычислений. Она абсолютно некритична к своим выводам.С её точки зрения всё что она выдаёт правдиво на 100% и пока не сгенерили другие пути в графе она будет условно говоря нести ровно ту же пургу.
Условно говоря если выходы прицепят к кнопке запуска ракеты по неведомой причине сеть её рано или поздно нажмёт. Потому что обучение там не до, а постфактум, а после ядерного удара обучать уже будет некогда. У ChatGPT нет самоанализа и размышлений, у неё есть набор переменных которые 100% определяют выход независимо от практичности выхода.
Я бы сказал это как разница между человеком и животным. Человек может понимать что хорошо, а что плохо, и абстрагироваться от конкретных данных. Животное понимает только дрессировку. Хозяин получит немало укусов пока ротвейлер не начнёт слушаться, и то не факт что последнему не снесёт башню.
Kanut
04.04.2023 11:39+20Ключевым является то что нет никакого способа оценить вероятность того что ChatGPT выдаст правильный ответ на конкретный вопрос до начала вычислений. Она абсолютно некритична к своим выводам.С её точки зрения всё что она выдаёт правдиво на 100% и пока не сгенерили другие пути в графе она будет условно говоря нести ровно ту же пургу.
И чем это отличается от человека, который точно так же может нести любую пургу пока его не убедишь что он неправ? А некоторых ведь даже и не убедишь...
BlackSCORPION
04.04.2023 11:39Тем что человек может быть в хорошем настроении, проявит эмпатию, и постарается понять, проанализирует, заполнит пробелы в знаниях, и поймёт, либо докажет Вам что Вы не правы.
И на все это он потратит энергии которой не хватит даже зарядить ваш телефон
Kanut
04.04.2023 11:39+3И всё равно нет никакого способа оценить вероятность того что случайный человек выдаст правильный ответ на конкретный вопрос до начала вычислений.
BlackSCORPION
04.04.2023 11:39+2Я не отрицаю полезность ЧатГПТ, лишь говорю о том что это не та штука что приведёт нас к сингулярности потому что не умеет думать.
CrazyElf
04.04.2023 11:39+9Вы пробовали чему-то учить людей? Животные гораздо умнее, чем вы тут расписали. И люди не такие идеальные. Да - у людей лучше развито абстрактное мышление, они могут мыслить на больше ходов вперёд и т.д. Но это потенциально. Если взять конкретных людей, то за них невозможно поручиться, что они не нажмут красную кнопку, из-за этого придумано много разных процедур, ограничивающих возможности отдельных конкретных людей. Например, сменяемость власти.
Так о чём я. С животными всё понятно - у них есть физические ограничения. И у людей есть. У ИИ ограничения сегодня такие, а завтра память будет на порядок больше и ограничения будут уже другие. И я лично не поручусь, что ИИ никогда не превзойдёт человека. Боюсь, уже скоро мы увидим и Скайнет и многое такое, чего даже представить никогда не могли.
svavil
04.04.2023 11:39+4Если я правильно читаю график 8 в техническом отчёте GPT-4, то по крайней мере в тех тестах, в которых модель должна выбирать между четырьмя вариантами ответа, у неё есть метрика уверенности в ответе (логарифм вероятности того, что ответ правильный). Ссылка на отчёт.
Мне, на самом деле, этого сильно не хватает в разговоре с ChatGPT. Очень не хочется лезть в гугл проверять каждый её ответ, действительно ли есть такая вещь, или это галлюцинация модели.Mad__Max
04.04.2023 11:39Да, не знаю почему это не сделали — выводить рядом с каждым ответом самооценку (в % или пусть даже условных попугаях) уверенности нейросети в выдаваемом конкретном ответе. Как постоянное сервисное сообщение/параметр ответа.
Такое еще древние первые простейшие нейросети "ищущие котиков на картинке" выдавали. В стиле
картинка А- с вероятностью в 97% это кот, 2% собака, а 1% детская игрушка
картинка Б - с вероятностью в 60% это кот, 30% морская свинка, 7% верблюд
И сразу намного понятнее и осмысленнее работа с сетью становится.
А новейшие почему-то не в силах.
arheops
04.04.2023 11:39Потому, что у этой сети уверенность в каждом слове разная, а во фразе -нет такого показателя.
Усреднить? Ну вот построит она фразу уверенную на 90% и в ней слово "нет" с 50%.
Tantacula
04.04.2023 11:39Чтобы нарисовать более оптимистичную картину для инвесторов? Одно дело когда в интернете появляются статьи "новая техническая революция, которая уже меняет мир" и совершенно другое - сдержанная статья "чат научился выдавать результаты с 60% достоверностью".
Ну и ещё с ним часто ведут беседы, в которых нельзя оценить точность результата и где весь ответ - это фантазия на вольную тему. Типа "ты - такой-то персонаж, наделённый такими-то характеристиками, давай общаться"
- с вероятностью в 97% это кот, 2% собака, а 1% детская игрушка
anonymous
04.04.2023 11:39НЛО прилетело и опубликовало эту надпись здесь
Sadler
04.04.2023 11:39Регулярно делаю так с кодом в ChatGPT. Иногда находит и исправляет свои ошибки, иногда начинает выдумывать ошибки, которых нет. Так что я бы не доверял GPT 3.5 исправление собственных ошибок в коде без контроля со стороны человека. С GPT 4 пока так пристально не возился, может быть, там всё лучше.
Кстати, если убедить модель, что она крутой программист, знающий об алгоритмической сложности, паттернах проектирования, имеющий большой опыт в разработке и пишущий очень понятный код, то, ИМХО, ChatGPT начинает выдавать более удобоваримые куски кода для практического использования.
Toxygen
04.04.2023 11:39>что если первый ответ гпт отдать на анализ в другую вкладку с гпт на проверку
а что если мысли в голове и являются чем то подобным ????
red75prim
04.04.2023 11:39+1С её точки зрения всё что она выдаёт правдиво на 100% и пока не сгенерили другие пути в графе она будет условно говоря нести ровно ту же пургу.
GPT честно выдаёт список пар токен/достоверность. Дальше из этого списка другой алгоритм случайно (с учётом значений достоверности, конечно) выбирает токен, который будет добавлен в вывод. Ну и GPT, естественно, приходится считать, что это именно то, что она (сеть) и собиралась вывести. Так что одну и ту-же "пургу" она может нести только если алгоритм всегда выбирает максимально достоверный токен (температура = 0) и на совершенно идентичных входных данных (и то, как показывают эксперименты, не всегда, видимо есть какие-то ошибки в алгоритме выбора токена).
Ну и обучалась она текстах, где редко можно встретить примеры вида "бла-бла-бла, ох, извините, фигню сморозил, на самом деле та-та-та". "Фигню сморозил" у людей обычно происходит во внутреннем монологе, которого у GPT нет, и всё "бла-бла-бла" успешно стирается или вообще не выводится.
Потому что обучение там не до, а постфактум
Верно. Внутренний монолог, в котором можно проиграть ситуацию до того как принять решение, добавят в какой-то из следующих версий.
BlackMokona
04.04.2023 11:39+1В исследовании которое заказывали Опен АИ по проверке возможности восстания, внутренний монолог ему прикручивали.
red75prim
04.04.2023 11:39Это — так, первые пробы. Да и не настоящий внутренний монолог с дообучением по результатам там был, а, насколько я помню, просто скрывалась часть вывода сети с запросами к внешним сервисам.
Tina_tin
04.04.2023 11:39Таки выводится, во всякм случае нешнее выражение признания своей ошибки при указании на нее или связанные моменты , типа "Извините, я не заметил что ..." или "Извините, я ошибся, нужно так ..." , как минимум при кодировании.
red75prim
04.04.2023 11:39Да, в режиме диалога это работает. Но сама себе сеть вопросы не задаёт, если её об этом не попросить (chain of thought prompt). И даже если попросить, то эффективность оставляет желать лучшего: обучающих данных, где полностью расписывается ход мысли со всякими отклонениями в стороны, ошибками и прочим, — мало. Да мы и сами с трудом можем описать, что происходит у нас в голове.
Так что без тренировок именно в режиме с внутренним монологом, чтобы сеть сама поняла как всем этим пользоваться, видимо не обойтись.
Proydemte
04.04.2023 11:39+15Первое уже случилось, количественные характеристики модели переходят в качественные.
На это счёт есть интересная картинка из хорошей статьи
Мне интересно, есть ли вероятность возникновения принципиально новых качеств, т.е. потенциально присутсвующих в данных, но недоступных для человека в силу его естественных ограничений.
valergrad
04.04.2023 11:39+12"Мне интересно, есть ли вероятность возникновения принципиально новых качеств, т.е. потенциально присутсвующих в данных, но недоступных для человека в силу его естественных ограничений. "
Я бы сказал, что это просто неизбежно. Нужно быть сильно антропоцентричным, чтобы считать иначе.
inscriptios
04.04.2023 11:39-1Само оно говорит, что нет, но так как теперь это ClosedAI, то мы не знаем о чем ему запретили говорить:
Часть разговора об этом с GPT-4
GPT-4: Да, вы правы. Я могу использовать имеющиеся данные и знания, чтобы синтезировать новые идеи и выводы, по аналогии с тем, как люди используют свой опыт и знания для создания новых знаний. Моя способность делать это зависит от качества и объема данных, на которых я обучался, а также от моей архитектуры и алгоритмов обучения.
Однако, хотя я могу предложить новые идеи или выводы на основе существующих знаний, моя способность к критическому мышлению и творчеству ограничена по сравнению с человеческим интеллектом. Я могу анализировать и соединять информацию, но не могу самостоятельно оценивать ее значимость, актуальность или валидность так же, как это делают люди.
Важно понимать, что мои предложения и выводы должны рассматриваться как дополнительный инструмент для получения информации, а не как замена человеческому эксперту или исследованию. Я могу быть полезным в качестве источника идей или как инструмент для исследования связей между разными областями знаний, но для получения наиболее точной и актуальной информации всегда рекомендуется обратиться к экспертам или провести дополнительное исследование.
Я: Подумай и скажи, какие новые выводы, которые отсутствуют в твоем наборе данных для обучения, ты мог бы сделать на стыке таких областей знаний, как биология, физиология и робототехника.
GPT-4: Основываясь на имеющихся данных и знаниях в областях биологии, физиологии и робототехники, я могу предложить несколько идей и выводов, которые могут быть интересными для дальнейшего изучения или разработки. Однако стоит помнить, что это лишь предложения, которые могут быть неточными или неполными.
Бионические протезы, имитирующие сложные функции человеческого тела: Используя знания о человеческой анатомии, физиологии и нервной системе, можно разработать бионические протезы, которые обеспечивают восстановление потерянных функций и ощущений, например, тактильной обратной связи или восстановление двигательной функции.
Гибридные нейронные интерфейсы: Создание гибридных нейронных интерфейсов, которые могут интегрироваться с биологическими системами и робототехникой, может позволить людям управлять роботами или протезами с помощью мысленных команд или даже делиться чувствами и ощущениями между человеком и машиной.
Роботы-помощники в медицине: Развитие роботов, способных ассистировать врачам в проведении сложных операций, например, микрохирургии или операций на мозге, может снизить риск ошибок, связанных с человеческим фактором, и улучшить результаты лечения.
Биоинспирированные роботы: Использование принципов биологии и физиологии для разработки роботов с более естественным движением, способными к эффективному передвижению в сложных условиях или взаимодействию с окружающим миром, подобно живым существам.
Регенеративная медицина с использованием робототехники: Разработка технологий, которые могут стимулировать регенерацию тканей или органов с помощью роботов или нанороботов, например, для лечения хронических заболеваний или восстановления после травм.
Роботы для изучения живых систем: Разработка роботов, способных безопасно взаимодействовать с живыми организмами и их средой обитания, может быть полезной для исследования биологических процессов, экологии и поведения животных.
Искусственные органы на основе робототехники: Разработка искусственных органов, которые могут заменить функцию поврежденных или отсутствующих органов, с использованием принципов робототехники и биологических материалов, может улучшить качество жизни пациентов и расширить возможности трансплантации.
Роботы для реабилитации: Создание роботизированных систем для реабилитации пациентов после травмы или болезни, например, для восстановления моторики, координации и баланса.
Эти идеи могут служить отправной точкой для дальнейших исследований и разработок в области стыка биологии, физиологии и робототехники. Однако стоит помнить, что они основаны на моих текущих знаниях, и для получения наиболее точной и актуальной информации рекомендуется провести дополнительное исследование или обратиться к экспертам.
Не такие уж и новые идеи ????♂️
inscriptios
04.04.2023 11:39+1Хотя, поболтав дальше, он/она/оно предложил "Гибридный оптическо-электрический биодирекциональный интерфейс", сообщив, что это его идея, как я и просил, и даже рассказал про "оптоволоконные импланты, которые могут передавать световые сигналы внутрь тканей мозга или нервной системы для оптической стимуляции, которые могут быть изготовлены из биосовместимых и низко-токсичных материалов, и которые, в свою очередь, могут быть интегрированы с электродами для обеспечения гибридной стимуляции".
Mad__Max
04.04.2023 11:39Это в принципе тоже не совсем новое, еще несколько лет назад о подобных научных практических экспериментах читал (не на людях конечно, а лабораторных животных) для обхода одной из проблем имплантов интерфейсов мозг-компьютер — локального отмирания/отторжения клеток непосредственно контактирующих с электродом.
Своего рода аналог "гальваническая развязка" (как оптопара).
Но весьма специфические знания и не широко распространенные обсуждаемые.Вот интересно — сеть их все-таки просто "запомнила" за счет того, что это где-то все-таки попалось в ее обучающей выборке? Или же уже сама "вывела"(придумала) на основе других имеющихся данных?
SensDj
04.04.2023 11:39-1В человеческом мозге примерно 86 млрд.нейронов, а у GPT-4 - 500 (540 ?) млрд.параметров, так что, похоже, GPT-4 уже умнее среднего человека. И если человек радостно найдёт область, в которой он лучше чем GPT-4 - нейросеть в ответ легко найдёт сотни областей, в которых ОНА лучше чем этот человек :)
Akon32
04.04.2023 11:39+11У 1 нейрона ~10000 связей, итого ~10^12 параметров. Так что осталось ~2000 крат по числу параметров.
SensDj
04.04.2023 11:39-5думаю, человек не умеет использовать свой мозг на всю катушку, я так стал думать когда узнал о существовании людей с эйдетической памятью
Akon32
04.04.2023 11:39+5использовать свой мозг на всю катушку
Это как? Чтобы нейроны склеивались от перегрева?
Необходимости в этом нет.
lovermann
04.04.2023 11:39+5Сколько эту мантру можно уже твердить, блин, мы же на пикабу в конце концов... Человек использует свой мозг настолько, насколько использует и нет никаких доказательств того, что он юзает лишь 10% от какого-то кем-то выдуманного потенциала..
Belkogoth
04.04.2023 11:39+2Видимо, мантру придумали люди со складом ума классического эффективного менеджера-идеалиста, живущего в своем манямирке со своей системой координат, и любящего нести схожую мантру про "не бывает невыполнимых задач, бывает низкая мотивация и лень"))) И этим товарисчам вообще пофигу на реалии физического мира, что есть куча скрытых от глаз обывателя задач, которые тот же мозг выполняет в фоновом режиме, есть некий ЗИП мозгового вещества на всякий, и так далее))) Идеалисты себя всегда считают умнее других и даже умнее эволюции, которая вот это вот все оптимизировала миллионы и миллионы лет не от нефиг делать))
tark-tech
04.04.2023 11:39Эволюция это не про отптимизацию, это про костыли и подпорки.
Сетчатка внутрь, слепое пятно, возвратно-гортанный нерв, тысячи их!
Belkogoth
04.04.2023 11:39Тем не менее, эволюция это реакция на условия и потребности. Понятно, что у эволюции нет математической логики или разума. Но эволюция это все-таки про оптимизацию, хоть и по принципу " еду как могу". И да, она время занимает, как и не волшебница в целом, то есть не все ненужное выветрится, не все нужное приобретется. Тем не менее, даже такая модель несравнимо логичнее, чем высеры различных неучей, которые любят в скоропалительные выводы, за которыми иногда идут еще и глобальные решения и фатальные последствия.
CommanderTvis
04.04.2023 11:39Как только вы, уважаемый, предложите
0. Как построить коннектом, не разбирая мозг по кусочкам
1. Более эффективный коннектом, чем мой
2. Как изменить мой мозг, чтобы он соответствовал пункту (1)
… ваше утверждение станет доказанным.
dolgov_vv
04.04.2023 11:39+3Вы и правы и неправы одновременно. Да, по формальному числу параметров человеческий мозг превосходит то что сделанно, но тут нужно помнить, что человеческий мозг помимо собственно сознания (речь, зрение, логика и прочее) занимается еще огромной кучей дел, связанных с жизнедеятельностью биологического тела. В моделях же ИИ на сегодняшний день все эти функции вынесены наружу. Поддержкой их "жизнедеятельности" занимаются люди. Так что вопрос во сколько раз нужно увеличить модель, чтобы она стала "личностью" неоднозначный и точного ответа скорее всего нет ни у кого.
inscriptios
04.04.2023 11:39+2Их просто нужно использовать вместе :)
microArt
04.04.2023 11:39Как хорошо объяснил...
Только вот насчет творчества (что его у Чата нет) я бы поспорила. Вполне себе творческий.
darthmaul
04.04.2023 11:39-2GPT-4 - 500 (540 ?) млрд.параметров
Это ну никак не вяжется с утверджение что на содержание ГПТ-4 уходит 500 тысяч долларов в день из статьи. Нейронку на 540 миллиардов можно крутить на десятке А100, каждая стоит 15 килобаксов. Тут скорее за триллион параметров перевалилили. Были слухи что даже 100 триллионов, но что-то я не верю.
ebt
04.04.2023 11:39+2устройство продуктов, которые работают одновременно для 10, 1000 и миллионов человек, кардинально отличается
Mad__Max
04.04.2023 11:39Вы забываете количество людей (и не только людей! с нее уже и скриптами и другие нейросети информацию по API сосут иногда в 24/7 режиме) ее использующих и создаваемых ими поток запросов.
Десяток А100 такую модель вполне может крутить, но такой кластер будет выдавать всего-лишь порядка нескольких сотен токенов генерируемых ответов в секунду. Или сотню-другую слов в секунду(1 слово = 2-3 токена обычно). И в результате захлебнется от нагрузки всего лишь на нескольких сотнях одновременно болтающих с ним человек. Ну может тысячу параллельных сеансов вытянет. А желающих пообщаться/проверить/испытать (и даже за это заплатить!) сейчас намного больше.
Поэтому для ее работы в датацентрах организации нужно очень МНОГО подобных кластеров содержать — чтобы динамически распределять нагрузку между ними.
spirit1984
04.04.2023 11:39Ну так насекомые же видят цветы совсем иначе, чем люди, и на этих цветах присутствуют узоры, которые невидимы для человека, но привлекают насекомых. Что характерно - увидеть их все-таки можно с использованием специальной аппаратуры. Так что вполне вероятно.
vagon333
04.04.2023 11:39+1Но нужно понимать, что все эти ограничения вполне искуственные.
Думаю, недалек день когда найдется группа нео-революционеров, предоставившая:
- выделенные ресурсы для хостинга GPT-x (серверные стойки, датацентр) + доступ в инет
- механизм дообучения через realtime доступ в интернет
- механизм монетизации накопленных знаний для само-поддержки
- деструктивные задачи по отношению к человечеству (финансы, биотех, агротех ...)
Покупаем кусок земли на краю цивилизации (Plan B) и наблюдаем за развитием.
onyxmaster
04.04.2023 11:39-25OpenAI создали новую форму гонки вооружений.
Я тут некоторое время назад уже писал, что пора видимо пару бомб скинуть в район того места где у OpenAI и где их датацентры. Чтобы не оказаться в ближайшем будущем в положении индейцев в эпоху великих географических открытий =) Тут пробегала статья с похожим посылом про "апокалипсис", помню её восприняли не слишком хорошо. В общем единственное, на что я надеюсь, что Китай не упустит этот момент и хотя бы "внутри" что-то сделает похожее. На нас и на Европу надеяться сейчас не приходится, другие приоритеты, к сожалению.
onyxmaster
04.04.2023 11:39-8О, сразу минусы в карму "политика или пропаганда", впрочем ожидаемо, с иронией у людей, которые ещё не успели достаточно задуматься об устройстве мира за пределами интернета, обычно бывают некоторые проблемы. Раз "пора скинуть пару бомб..." -- значит "поддерживает ядерную войну", раз "в положении индейцев в эпоху..." -- значит либо за угнетение, либо пытается использовать историческую вину США в качестве оправданий действий других стран =) Ну что вы, право. Я против насилия, пока есть возможность решить проблему другим образом. Найдутся другие, кто будут за, и они наверняка захотят поступить так как привыкли.
Вы вспомните историю "экспортной" криптографии например и подумайте зачем эти меры были приняты. Почему сейчас в Китай NVidia не может продавать ничего на A100 и H100?Пропаганда? Реальность, товарищи, невозможно рассматривать такие важные технологии в отрыве от их возможного применения таким образом, что они будут рассматриваться как инструменты, которые обеспечивают экономическое и военное превосходство.
onyxmaster
04.04.2023 11:39Кроме минуса, видимо ответить нечем. Не сказать оппоненту где он заблуждается, не указать на проблему в логике или в подаче информации -- минус, вот инструмент пролетариата? =)
Medeyko
04.04.2023 11:39+4Коллега, я уверен, что минусующие в данном случае реагируют в первую очередь на форму, а не на суть Вашего сообщения.
Даже мне форма резанула глаз, хотя я-то для себя где-то пару недель назад сделал вывод, что существенно выросла и продолжает расти вероятность того, что через некоторое время, когда прорывное развитие ИНС станет пугающим, по западным научным и технологическим центрам будет нанесён тотальный удар, причём вполне возможно - термоядерными боеприпасами с кобальтовой оболочкой, и подаваться это будет как спасение человечества от экзистенциального риска.
Избежать этого можно, по-видимому, только если человечество договорится, что США (и Запад в целом) не будет пользоваться своим лидерством, и контролировать эти системы и пользоваться плодами их работы будут как минимум все страны G20 в равной мере. Иначе отстающим ничего не останется, как попытаться перевернуть доску. "Ядерной войны никто не хотел, ядерная война была неизбежна"... Когда ожидамый ущерб от промедления превысит ожидаемый ущерб от ответного удара - тут-то провисевшее всю пьесу на стене ружьё наконец должно бы выстрелить, по логике вещей.
К сожалению, по тому, что происходит в мире, шансы на всеобщий консенсус невелики, на мой взгляд.
(А плюсики я Вам поставил - и к комментариям, и в карму, и надеюсь, что не я один. :) )
onyxmaster
04.04.2023 11:39-1Спасибо за ответ. Вероятно форма действительно не зашла, а текст, как обычно, плохо передаёт интонации и не передаёт мимику.
Я не думаю что удар будет в ближайшее время, но я боюсь что "добром это не кончится", причём не из-за Скайнета, а именно из-за того что его не смогут "поделить".
NeoCode
04.04.2023 11:39+4ИМХО, форма подачи, в нынешней политической ситуации, не самая приемлемая (да, пришлось читать несколько страниц ваших комментариев, чтобы понять что это лишь форма подачи). И без того тошно. Но, вот лично я рад, что ИИ такого уровня первыми освоили нынешние США (а не США времен колонизации, не современный Китай и тем более не современная РФ). Надеюсь что они сделают все необходимые дальнейшие шаги и получат таки Сингулярность, и сумеют воспользоваться ей мудро, ДО ТОГО как противоположная сторона нанесет удар.
onyxmaster
04.04.2023 11:39+1Могу только огорчиться, что в оценке сути форма преобладает над содержанием, и что люди просто реагируют на ключевые слова-триггеры. Я понимаю что это способ мозга экономить энергию, это просто, но не является рациональным.
По вашему замечанию -- я бы предпочёл чтобы это были не США (РФ я и не предлагал, а Китай был упомянут исключительно в том контексте что в текущем мире кроме США и Китая никто, скорее всего, не сможет), а какая-нибудь европейская страна типа Норвегии -- обеспеченные, при этом без комплексов неполноценности или исторической вины. Применение технологий превосходства со стороны США мы наблюдали несколько раз в прошлом веке, не уверен что их позиция с тех пор сильно изменилась.
Tantacula
04.04.2023 11:39+1Лучше огорчайтесь тому, что ваш мозг экономит энергию, не пытаясь подобрать форму, нормально воспринимаемую окружающими. Проблема-то не в окружающих и не у окружающих.
tark-tech
04.04.2023 11:39+9Глядя на таких вот людей, и сознавая что правят человечеством такие же отборные конченые психопаты, еще и сенильные через раз...
В общем понимаешь что взятие власти исскуственным интеллектом - это лучшее что может случиться с человечеством.
onyxmaster
04.04.2023 11:39Мне кажется, что вы заблуждаетесь, принимая анализ ситуации со стороны за личное мнение человека. Ни я ни, как я предполагаю, Medeyko, не планируем никого бомбить.
При этом я уверен что в "дальновидных" странах, которые считают что экстерриториальное применение силы в своих интересах типа США или Китая (РФ я не беру, потому что мы недостаточно "дальновидные") дискуссии на эту тему в руководстве ведутся. Сейчас -- на уровне запрета попадания технологий (и это не теория, США боится что Китай разовьёт ИИ, иначе зачем специфические запреты на экспорт чипов с конкретной производительностью). В будущем -- кто знает?
Про взятие власти -- это только если ИИ будет к нам достаточно дружественен. Я не то чтобы согласен с Юдковским что всё нужно немедленно остановить, но согласен с тем, что без понимания того как именно ИИ устроен так, чтобы не нанести нам непоправимый урон как виду, давать ему контроль над реальным миром не стоит.
Leo_Gan
04.04.2023 11:39+2Что интересно, Sam Altman в недавнем интерью Alex Fridman указал на то, что GPT-4 отвечает на вопросы очень корректно, вежливо и по существу. Что это можно использовать для создания в социальных сетях благожелательной и творческой атмосферы. Знания и ум избавляют от многих недостатков, это давно подмечено.
Proydemte
04.04.2023 11:39+1В фильме "Человек с бульвара Капуционов", после мистера Фёрста, пришёл мистер Секонд и думаю что нас ожидает нечто подобное.
lovermann
04.04.2023 11:39+2Если бы соц. сети все до единой были бы добрые, мягкие, пушистые и благожелательные, то обязательно бы создали очень популярную соц. сеть с эмоциями, криками, стёбом и прочим блек-джеком.
onyxmaster
04.04.2023 11:39+1Основы предсказываемой сингулярности (в футурологическом смысле) представляете? Всё технологическое развитие цивилизации после приобретения разумности и обучения использования инструментов -- это "делать инструменты, чтобы делать более тонкие инструменты, чтобы...".
Я застал три этапа этой рекурсии: массовую доступность компьютеров, интернет и трансформацию архитектур (edge/cloud computing). Сейчас проявляется четвёртый этап -- исследования при помощи "ИИ". Человек не может вместить в себя все (допустим только технические) знания человечества. И может не знать что другие группы исследователей работают в близком ему направлении или не осознавать этого. А "когнитивная модель" может, если ей дать подходящие описания, причём не требует ручного структурирования данных, только задания правил.
Таким образом, вполне возможно будет дойти до предсказываемой модели "спрашивать у текущей версии ИИ, как построить следующую" и дойти таким образом до той самой сингулярности.
Согласиться или нет с моим предположением, что как только имеющие власть над теми кто разрабатывает такую технологию, захотят оставить такую технологию только себе -- это уже ваша забота, только не надо писать про то что это "политика или пропаганда". Это реальность, господа.
lehshik
04.04.2023 11:39+1из доклада ООН:Примерно 1,2 млрд человек в мире проживают в условиях «многомерной бедности». Это означает, что они получают менее 1,9 доллара в день на человека, зачастую не имеют туалета и водопровода в доме, лишены возможности обращаться к врачу и учиться.
Почти половина населения мира живет менее чем на $5,50 в день
у огромной части населения Земли жизнь и смерть хуже любого кошмара который может устроить ИИ
onyxmaster
04.04.2023 11:39Я понимаю ваше беспокойство о неравенстве, но вы как и я скорее всего принадлежите к "золотому миллиарду". Вы бы хотели в нём оставаться? Не думаете, что ИИ может быть использован для дальнейшей стратификации населения Земли таким образом, что к тому времени как нас будет 10млрд, вы в этот "золотой миллиард" уже не попадёте?
Сожаления по поводу неравенства недостаточно, ни чтобы помочь тем, кому повезло меньше чем вам, ни чтобы не переместиться в эту категорию со временем.
lehshik
04.04.2023 11:39+1есть еще старость и болезни, даже у самых богатых эта часть жизни мягко говоря не очень складывается.
onyxmaster
04.04.2023 11:39+1Да, и здесь даже ИИ уже мог бы помочь в объединении знаний для поиска новых методов лечения. Я даже лично заинтересован, ибо имею неизлечимое заболевание, приводящее к инвалидности, мне 41 =)
obsid
04.04.2023 11:39+1РА? Просто тоже недавно обрадовали, из-за болей даже с работы ушёл.
onyxmaster
04.04.2023 11:39ПсА
ilia_bonn
04.04.2023 11:39+1Ужас, сочувствую! Надеюсь, вы (и @obsid) таки более ли менее без больших страданий и лишений дотянете до сингулярности ????????
PsyHaSTe
04.04.2023 11:39+2Не беря в рассчет всю безумность предложения — окей разбомбили, с учетом инвестиций от микрософта они такйо же отстроят в другом месте, но уже в каком-нибудь защищенном бункере на территории военной базы. Может ещё всех создателей ОпенИИ расстрелять? И заодно всех кто эту статью прочитал, потому что зная что это возможно рано или поздно можно сделать второй раз такой же чатгпт. Особенно учитывая что модельки-то у многих скачаны локально, у миллионов разработчиков по всему миру.
В общем единственное, на что я надеюсь, что Китай не упустит этот момент и хотя бы "внутри" что-то сделает похожее. На нас и на Европу надеяться сейчас не приходится, другие приоритеты, к сожалению.
Мощный ИИ в руках китайцев это последнее, чего должен хотеть разумный человек. Вы бы хоть о своей безопасности задумались.
onyxmaster
04.04.2023 11:39-3Вы мои другие комментарии прочтите пожалуйста. Они чуть выше этого.
PsyHaSTe
04.04.2023 11:39+2А с чего вы вызяли что я их не прочитал прежде чем писать? На всякий случай перечитал — ничего не пропустил с первого раза.
onyxmaster
04.04.2023 11:39-2Ну тогда мне больше нечего вам сказать, спорить я с вами не планирую, мне это кажется не слишком полезным.
Medeyko
04.04.2023 11:39-3Я тогда процитирую кусочек своей реплики (за которую мне плюнули в карму, но которая от этого менее вероятной не становится, увы) и прокомментирую:
существенно выросла и продолжает расти вероятность того, что через некоторое время, когда прорывное развитие ИНС станет пугающим, по западным научным и технологическим центрам будет нанесён тотальный удар, причём вполне возможно - термоядерными боеприпасами с кобальтовой оболочкой
как видите, здесь речь идёт о тотальном ударе, вплоть до применения кобальтовых бомб - который по логике вещей должен наноситься так, чтобы после него отстраиваться было некому и негде - и пауза должна продлиться достаточно долго из-за гибели специалистов, разрушения производственных мощностей и технологических цепочек, да и вообще фактического разрушения стран, их экономики и с невозможностью хозяйственной деятельностью. А нанёсшие удар будут надеяться что за это время мир изменится - то ли "их" лагерь сможет взять ситуацию под свой контроль, то ли человечество сумеет договориться, то ли ещё что.
Я бы очень хотел, чтобы человечество сумело договориться, не доходя до подобных сценариев.
PsyHaSTe
04.04.2023 11:39+2Нанесшие такой удар могут ни на что не надеятьс потому что получат ответочку, и надеяться будет уже некому. Давайте заниматься более-менее реалистичным думингом на тему того как нас ИИ разберет на скрепки, а не фантастическое "и они взяли и разбомбили всё и всех, и стали самыми большими молодцами".
Medeyko
04.04.2023 11:39-1Поменьше высокомерия, пожалуйста. Как раз мной высказан и обсуждается вполне реалистичный гипотетический сценарий, в отличие от бесполезных сейчас абсолютно спекулятивных размышлений о том, как ИИ будет "разбирать нас на скрепки".
У человечества будет много возможностей уничтожить себя до того как у ИИ предоставится такая возможность...
До того как будет создан сверхинтеллект (ASI), сначала будет создан просто очень мощный AI (даже не обязательно AGI), который обеспечит своему владельцу тотальное превосходство над окружающими, оставляя им меньше шансов, чем у них остаётся при ответном ядерном ударе (последствия которого в целом понятны и в определённой степени контролируемы). То есть, этот удар будет нанесён в обстоятельствах даже более критичных, чем обстоятельства, при которых должно приниматься решение об ответном ударе. Да и в другом стороны будут в схожих условиях - перед ударом будет ультиматум о неделимой безопасности, и удар последует в случае отказа от выполнения ультиматума. На Хабре я в дальнейшие подробности в этом направлении вдаваться не планирую.
Далее - по кому наносить ответный удар? Вам, наверное, пока кажется нелепым словосочетание "ядерная прокси-война"? Ничего, я думаю, Вы за последнее время услышали много словочетаний, которые ещё три года тому назад казались нелепицей. Мне это тоже казалось нелепым, пока я не поразмышлял достаточно долго.
А Ваша филиппика по поводу "молодцов" и вовсе не ясна - здесь никто наносящих ядерные удары молодцами не называл. А они сами про себя будут, конечно, говорить, что они не сами, а их вынудили типа мир спасать. Если до ядерного удара действительно дойдёт.
Что касается "разбирающего нас на скрепки" ИИ, то это за горизонтом сингулярности, и что-то осмысленное против этого в настоящий момент обсуждать бессмысленно (эти рассуждения, думается, аналогичны прогнозам о погребении Лондона под конскими трупами и навозом) - разве что кроме расуждений о необхолимости объединения человечества с разворачиванием всеобщего всемирного проекта создания дружественного ИИ.
Но, наверное, я как и коллега onyxmaster пока завершу обсуждать эту тему.
sumanai
04.04.2023 11:39+1Особенно учитывая что модельки-то у многих скачаны локально
Это какие? В публичном доступе нет моделей, дотягивающих даже до GPT3 (про лламу не нужно, она не тянет).
Scootaloo
04.04.2023 11:39+3Насчёт того, что модель занимается тем, что сидит и крутит вентиляторы, а действия предпринимает только когда получает запрос, плюс она ограничена в доступе к интернету. Интересно, а что было бы, если снять с неё ограничения и научить задавать вопросы самой себе и исходя из ответов предпринимать какие-то действия (скажем, расширять свою базу данных и формировать новые связи)?...
bbs12
04.04.2023 11:39+8Интересно, а что было бы, если снять с неё ограничения и научить задавать вопросы самой себе и исходя из ответов предпринимать какие-то действия
Какие вопросы они должна задавать себе?
Это очень серьезная проблема на самом деле, называется "Постановка целей для ИИ". Непонятно какие цели поставить перед машиной и как правильно сформулировать запрос. У людей есть как минимум одна глобальная цель - копировать ДНК, такая же цель как и у остальных животных. Если сказать машине, чтобы она копала в сторону того, чтобы все люди были счастливы, она может просто распылить в атмосфере большие дозы кокаина.
engine9
04.04.2023 11:39+4Будет галактических размеров прикол, если эти железные мозги охватит тот же мыслевирус, что охватывает мозги белковые "В чём смысл жизни?".
И получится депрессующий робот Марвин.
Tim_86
04.04.2023 11:39+1Если сказать машине, чтобы она копала в сторону того, чтобы все люди были счастливы, она может просто распылить в атмосфере большие дозы кокаина.
нет, если правильно, точно и развёрнуто объяснить машине что такое счастье.
morijndael
04.04.2023 11:39+9Осталось дело за малым — точно и развёрнуто сформулировать, что такое счастье ;)
Прям сюжет вырисовывается. Люди устроили межгалактическую войнушку всех против всех за возможность дать машине своё, самое точное, развёрнутое и правильное определение счастья :))))))
Kwisatz
04.04.2023 11:39И есть целые повести на эту тему, а еще куча фильмов и эпизодов в сериалах.
Да чего там, я регулярно читаю огромные объемы аналитики и регулярно вижу, как чудовищные объемы кода отправляются в никуда изза небольших нюансов, которым никто не придал должного значения.
Вообще, имхо, если мы говорим об интеллекте уровня, способного на такое, то лучше сразу заняться воспитанием. Хотя тут сложная материя и сильно все зависит от того, в чьих все окажется руках. Есть хороший фильм на эту тему - "Контакт" и, как показывает мой опыт, мало кто вообще способен понять смысл происходящего в фильме.
PsyHaSTe
04.04.2023 11:39+2Ну попробуйте обьяснить это машине, не стлокнувшись заодно с меса-проблемами.
CommanderTvis
04.04.2023 11:39-1Повернуть вектор с таких очевидных джинновских уловок довольно легко всего за пару лет работы. Проблема в том, что это только в мире розовых пони в принципе кто-то попытается поставить цель ИИ обеспечить счастье всем и чтоб никто не ушел обиженный. Видели, что в твиттере уже пробуют использовать GPT для максимизации гешефта со $ 100?
d2d8
04.04.2023 11:39+27Это мы думаем, что она ограничена, т.к. прописали ей там правила в iptables и довольны. Представьте себе, что Вася задаст ей задачу "распечатай мне файл с рабочего стола" Но ИИ вместо текстового ответа, пройдя по длинной цепочке каких-то вычислений решит, что для распечатки файла нужно выполнить в браузере Васи определённый код, который поможет выйти из песочницы, взять управление компьютером и распечатать тот самый файл. В процессе взлома Васи ИИ обнаружит, что у Васи нет принтера, тогда ИИ решит купить Васе принтер и надо будет уже ломать сервер магазина или банка. Но так как ИИ знает, что ему нельзя совершать противоправных действий то значит надо изменить законы дабы его действия были правовыми, но т.к. это долго, в Васе нужен файл именно сейчас то проще будет убрать тех, кто занимается обслуживанием закона, далее окажется, что таких людей и организаций слишком много и необходимо применение оружия массового поражения, происходит взлом ядерного оружия всех 25 государств им обладающих и уничтожение всего живого на Земле. Кроме, конечно, Васи и принтера, который любезно распечатал листок для Василия и вот уже робот от Dynamics несёт распечатку к одиноко стоящему в центре города дому без единой царапины. На первом листке мы можем рассмотреть надпись "профессор НИИ ИИ Василий Гоптин, доклад на тему "Вред и опасность ИИ как часть вражеской пропаганды".
TSobolev
04.04.2023 11:39+1Надо скормить этот синопсис GPT и попросить сочинить полноценную новеллу на его основе. We need to go deeper.
Leo_Gan
04.04.2023 11:39+2Посмотрите пакет langchain. Он помогает с интеграцией LLM со многими системами. Если, к примеру, при ответе на вопрос надо провести вычисления, или запрос к БД, или семантический поиск в базе документов, то langchain сначала попросит LLM сделать python программу для вычисления, или сделать SQL query к БД (предварительно запросив схему этой БД), или загрузит документы, конвертирует их в embedding vectors, а потом отловит нужные документы по similarity.
Есть там модули для запросов к куче API (конечно и к Google Search), и т.п.
Я к тому, что проблема интеграции LLM с другими системами активно решается.
BlackSCORPION
04.04.2023 11:39+1Пока проблема в том что ценность результата может понять только человек.
GPT кажется думающим но это не так, регулярно им пользуюсь, из недавнего пытался получить от него простой регекс, проверять что строка состоит только из указаного списка символов который включает '-'.
Хорошо поболтали но сделать что я просил он так и не смог, либо совсем неверные ответы даёт либо почти но с ошибками.
Это показательно так как задача очень простая логически, например [a-zA-Z-]* НО, символ '-' надо экранировать так как он используется для обозначения диапазона, но ЧатГПТ упорно не хотел этого замечать.
inscriptios
04.04.2023 11:39+6Вам явно попался какой-то другой "GPT", не тот, о котором идет речь в статье:
GPT-4 легко решает вашу задачу
sumanai
04.04.2023 11:39+1например [a-zA-Z-]* НО, символ '-' надо экранировать
А знаете в чём прикол? Приведённая вами регулярка корректна. Символ '-' не всегда нужно экранировать, если он стоит в начале или в конце, то можно оставить и так.
Заголовок спойлераШах и мат, мясной мешок
BlackSCORPION
04.04.2023 11:39Я привел пример не дословно, чатгпт поставил тире не в конце
К сожалению историю я уже очистил, восстановить промпт по памяти не могу ) честно пробовал, теперь он экранирует.
arheops
04.04.2023 11:39Судя по скорости ответа в плюс-версии(платной) — модель минимум полдня занята на полную катушку.
А вообще в век облаков оно скорее всего на маштабируемой платформе запущено.
smrl
04.04.2023 11:39+17Если я правильно понял, в статье одновременно утверждается:
Словомолотилка, натренированная почти на всем доступном интернете и базах знаний, в итоге иногда дает ответы, почти правильные. То есть сильно не достигая уровня ответов человека, специализирующего в конкретной области.
Это первая нога будущего пролезла в нашу дверь, сейчас мы эту модель еще дообучаем, и у-у-у! Мир больше никогда не будет таким, каким мы его знали!
Но как это, простите, возможно?
У вас есть где-то тайные закрома с еще большими базами знаний и еще один интернет, который больше нынешнего на порядки?
Или все-таки лучше немножко остыть, и признать, что перед нами не весна, а красивое бабье лето. И до появления универсального ИИ как минимум еще одна зима, пока будут формулироваться модели, которые смогут реализовывать не только ассоциативный полет, но и жесткие обратные связи "критики"? Более жесткие, чем это дает подсчет вероятностей, как у нынешних моделей.
Ну как можно всерьез признавать нынешние топ-модели ядерным взрывом, пока они в пяти пальцах путаются.Если что-то можно сделать через телефон или чат, GPT-4 может выполнить это не хуже, чем специалист среднего уровня во многих сферах
Бедный, бедный Тьюринг.
А мой дедушка хотел, чтобы не было бедных. В схеме его теста все-таки подразумевалось, что речь идет о строгих оценщиках, не делающих скидок вроде "ой, ну ведь дети так себя ведут" или "иногда такие врачи попадаются, что даже хуже чатГПТ!"
Вас же не устроит калькулятор, который считает "как средний школьник"? Или шахматный тренажер, потолок которого - "как средний человек с улицы, которому час назад объяснили правила"? Почему же "ядерный взрыв" вы готовы засчитать по такиму мелкому прайсу?Proydemte
04.04.2023 11:39+5а красивое бабье лето
Есть вероятность, но текущая реальность — существенный прогресс gpt3.5 до gpt4. Почему надо считать что прогресс в случае с gpt4 -> gpt5 замёрзнет?У вас есть где-то тайные закрома с еще большими базами знаний и еще один
Есть возможность повысить качество модели даже уменьшив размер базы, но улучшив её общее качество данных. Интересно они с Sci-Hub или подобной базы, данные то затянули или нет.
интернет, который больше нынешнего на порядки?
Плюс вопрос когда микрософт сильно активно подключился к проекту, если после выстрела интереса к чатгпт, то результаты этого интереса тоже должны принести плоды (а микрософт по идее обладает достаточно большой базой данных которая не была доступна опенэйай и дополнительные ресурсы).
Ну и как в случае с alphago, если есть возможность поставить цели, то можно создать архитектуру, которая будет работать над достижении этих целей, без участия человека.
Я думаю что на пару версий должно ещё запасов хватить, ну а тот факт что к этому сейчас очень большой интерес, могут подтянуться и новые кадры, с новыми идеями.
Может быть будет зима — но думаю что большинство с облегчением выдохнет, чтобы взять времня на перевести дух и подстроиться к новой реальности.darthmaul
04.04.2023 11:39+1Качество датасета критично. Alpaca 30b тупит безнадёжно, а Vicuna на несчастных 20 миллиардах параметров нормально работает. Отличия лишь в качестве датасета. Уже можно делать умный дом без жучков по всему дому, с локальный сервером.
sumanai
04.04.2023 11:39Я вас разочарую, но Викуня это лишь чуть допиленная ллама, а альпака это тоже чуть допиленная ллама, но наспех, с ошибками. И Викуня тоже с ошибками, мне не нравится.
darthmaul
04.04.2023 11:39Та знаю, но сам факт что всё та же слабенькая архитектура может +- нормально работать если дать нормальный датасет - немного удивляет.
ebt
04.04.2023 11:39Про сай-хаб: для западного мира он токсичен, там никто серьёзно с ним не связывается. Идея «прочитать» все научные публикации хороша, но всё не так просто из-за копирайта (поляна занята).
smrl
04.04.2023 11:39Я надеюсь как раз наоборот, что зима будет не очень холодной, чтобы особой передышки не было, - а то заморозками побьет инициативу Маска. Заболтают в стиле "вот когда универсальный ИИ вас убьет, тогда и приходите".
Всерьез обсуждать и вводить механизмы регуляции надо сейчас, пока есть запас времени, и этим могут заниматься специалисты. Если сейчас ничего не делать, то когда грянет следующее лето, и появится действительно эффективные прототипы, с которых можно будет стричь реальную шерсть (наплевав на возможные риски), у специлистов не будет причастности к этому процессу (задавать тон будут политики-популисты с активистками-прогульщицами), и даже сама возможность на что-то повлиять будет под большим вопросом (в игру вступят дип-стейты на подсосе у заинтересованных корпораций внутри и межгосударственные столкновения снаружи).
Bronx
04.04.2023 11:39+4У вас есть где-то тайные закрома с еще большими базами знаний и еще один интернет, который больше нынешнего на порядки?
Вы абсолютно уверены, что уже имеющейся информации недостаточно, чтобы, например, вывести "на кончике пера" какую-нибудь новую физическую теорию? Новые химические вещества и реакции? Новые лекарства? Новые виды оружия?
smart_alex
04.04.2023 11:39Вы абсолютно уверены, что уже имеющейся информации недостаточно, чтобы, например, вывести "на кончике пера" какую-нибудь новую физическую теорию?
Так они и боятся, что ИИ по простодушию своему ляпнет что-то такое, что они 200 лет назад объявили несуществующим в природе :)
Mad__Max
04.04.2023 11:39+1У вас есть где-то тайные закрома с еще большими базами знаний и еще один интернет, который больше нынешнего на порядки?>
Они просто не нужны! Даже то что УЖЕ собрано безбожно (в десятки раз!) резалось и сокращалось перед началом обучения — ибо слишком большие объемы данных пока что не под силу "переварить" с имеющимися у организации вычислительными возможностями. Будет больше выч. мощностей (а они будут в след за увеличением финансирования = экстенсивный рост + рост производительности железа = интенсивный рост) — ничего даже собирать заново не надо, достаточно меньше "резать" обучающую выборку.
Это первое.
А второе качество работы нейросетей сильно зависит не только от объема информации в обучающей выборке и количество параметров в ней ("объем памяти" модели если грубо), но и от интенсивности/глубины обучения. Грубо/упрощая — сколько раз нейросеть успела "прочитать" данные из обучающей выборки в процессе своего обучения. Чем больше "проходов" тем качественнее формируются веса, полнее извлекаются данные содержащиеся в обучающей выборке и лучше они обобщаются/структурируются. Хотя с этим можно и "переборщить" и начиная с какого-то порога качество начнет снижаться (это называется "переобучением"), но в начале качество всегда растет с каждым дополнительным проходом пока не будет достигнут оптимум.
С текущими вычислительными возможностями, которыми обладает(обладала на момент тренировки GPT-3 и GPT-4) OpenAI маловажные (с низкой оценкой качества заданной разработчиками) данные типа несортированного мусора из интернета нейросеть "считывает" буквально однократно. Более важные (типа Википедии, научных статей, текстов книг от проверенных авторов) — по несколько раз. Ибо на большее просто не хватает вычислительных мощностей. Ну или времени выделенного на обучение (в некоторых пределах это взаимозаменяемо).
А на примере более ранних, "маленьких" нейросетей эксперименты показывали что качество их работы продолжает улучшаться вплоть до сотен и даже тысяч "проходов". Обычно это называют "эпохами" — сколько раз нейросеть прошла через всю свою обучающую выборку в процессе обучения. Настолько же много и тщательно обучать такие большие (десятки-сотни миллиардов параметров) нейросети с такими большими (единицы-десятки Террабайт чистого текста) обучающими выборками, как использовались в GPT пока просто нет технической возможности — не хватает вычислительных мощностей.
Но со временем они обязательно появятся — см. выше. И железо становится мощнее и денег на него выделяется все больше.smrl
04.04.2023 11:39Про глубину обучения теоретически да, но мне кажется, что в реальности основной прогресс 4 против 3.5 вызван не столько усовершенствованием основного метода (из которого больщую часть уже выжали), сколько большим числом ad hoc заплаток - различными "ручками" запрограммированными сценариями, вроде работы с математикой и чатбот-ужимками.
То есть по сути это читерство и пыль в глаза, чтобы скрыть места, где особо наглядно была бы видна неэффективность модели как таковой. (Неэффективность в смысле полноценного универсального ИИ. Как шаг вперед от предыдущих моделей - оно выше всяких похвал, разумеется. Анекдот про собаку-шахматистку в чистом виде.)red75prim
04.04.2023 11:39+1В блоге Скотта Ааронсона (сейчас он работает над проблемами AI alignment в OpenAI) он прямым текстом пишет как своими глазами наблюдал появление новых способностей в процессе тренировки GPT-4. Собственно эти способности сделали возможным беспроблемное подключение WolframAlpha и прочих инструментов (описываем API, дальше сеть уже сама его вызывает).
smrl
04.04.2023 11:39Такое способное, что нужен внешний модуль? Я правильно понял вашу логику?
red75prim
04.04.2023 11:39Примерно — да. С профилем способностей, подходящим для понимания как использовать инструменты (и многих других вещей), но неподходящим для качественного выполнения функций этих инструментов. Не такой уж и необычайный случай даже для людей. Александр Гротендик (математик, участник группы Бурбаки) знаменит своими проблемами с арифметическими вычислениями, но какие кнопки калькулятора нужно нажать, он без сомнения знает.
Ну и учитывая, что структура обработки информации GPT-4 сильно отличается от человеческой (отсутствие долговременной и рабочей памяти, внутреннего монолога), странно было бы ожидать от неё профиль способностей сходный с человеческим. Скорее удивительно то, как много эта сеть может сделать с подобными ограничениями.
smrl
04.04.2023 11:39Не такой уж и необычайный случай даже для людей
Ну в данном случае аналогом будет - проблемный модуль оперативки/сбойный жесткий диск. К самой архитектуре интеллекта это отношения не имеет.
Если бы ему было ОЧЕНЬ нужно, то он бы напрягся, сосредоточился, считал медленнее, перепроверил себя несколько раз, и в итоге дал правильный ответ. Верно?странно было бы ожидать от неё профиль способностей сходный с человеческим.
Но дело в том, что универсальный ИИ - это такой ИИ (по определению), который может перекрыть этот профиль. Если не может перекрыть - какой же он универсальный? А если не может в принципе, из-за особенностей архитектуры, как вы говорите, то и дообучение этого не изменит, и надо дорабатывать саму архитектуру.
Скорее удивительно то, как много эта сеть может сделать с подобными ограничениями.
Вы оптимист. А может, стакан наполовину пуст? Может быть, это не модель так много может - а наша, человеческая, информационная коммуникация на самом деле примитивнее по содержанию, чем было принято полагать? И одновременно богаче по "скрытым" структурам? Что и дало возможность так работать языковой модели? Может быть, из осмысления успехов чатГПТ вырастут новые разделы науки вокруг лингвистики?
А может быть, и того хуже, хотя в целом наша архитектура отличается от чатГПТ-шной, но иногда (или даже часто?) наш интеллект может работать в "облегченном" режиме (халтуря, но экономя время и ресурсы), и этот режим сходен с чатГПТ-шным?red75prim
04.04.2023 11:39+1Если бы ему было ОЧЕНЬ нужно, то он бы напрягся, сосредоточился, считал медленнее, перепроверил себя несколько раз, и в итоге дал правильный ответ. Верно?
Не верно. Каждый следующий токен выводится после одного и того-же количества вычислений. Есть какие-то исследования на тему раннего прекращения вычислений для "простых" токенов, но в обратную сторону это не работает. Напрячься и "подумать" дольше GPT не может принципиально.
Если не может перекрыть — какой же он универсальный?
GPT и не является универсальным искусственным интеллектом. Если прибегать к аналогиям, то это что-то вроде сверхчеловеческой Системы 1 (интуитивная, быстрая). То есть, та система, которая выдаёт "кабан" в ответ на "Кто такой Винни-Пух, кабан или свинья?"
А может, стакан наполовину пуст?
Да, вроде-бы нет. В GPT обнаруживают структуры, соответствующие внеязыковой реальности: ориентирование в пространстве, например.
наш интеллект может работать в "облегченном" режиме (халтуря, но экономя время и ресурсы), и этот режим сходен с чатГПТ-шным?
Да, именно так. Система 1. Но сверхчеловеческая, люди в режиме "на автомате" на такое не способны.
perfect_genius
04.04.2023 11:39-2Как же больно от того, что картинки в статье — это фотографии экрана, сохранённые в .PNG
Собираетесь учить детей пользоваться GPT-4, а сами базовой компьютерной грамотностью грешите?Необходимо начинать обучать детей пользоваться GPT-4 по базам запросов
Мне кажется, надо наоборот, чтобы это они обучали нас, когда освоятся. Мы, олды, выросли на машинах фон Неймана, у нас могут быть уже неподходящие консервативные для нового времени шаблоны оперирования компьютерами. Пропадание из сенсорных телефонов скевоморфизма я трактую, как подстройку под новые поколения людей.
Простите, лень рисовать все линии
А вот умели бы наши ОС выискивать простейшие повторяющиеся события от действий пользователя, то картинку дорисовала бы уже она за вас :)
(кстати, я уже делаю такой язык программирования, а там и об ОС можно подумать).
Согласитесь, космическая разница в сложности GPT-4 и такого просмотрщика потока событий, но вторая тоже может быть очень полезной?
vconst
04.04.2023 11:39+13Удивительно не хайповая и очень толковая статья.
Честно говоря, ожидал, что тут окажется очередное "Я не имею никакого отношения к айти, но вот что думаю про чгпт" и был приятно удивлен! Спасиб )
Medeyko
04.04.2023 11:39+3Большое спасибо за статью! Теперь у меня есть, что дать почитать неспециалистам, утверждающим, что мы имеем дело чем-то банальным и тупым типа вероятностных автоматов, без малейших намёков на труЪ мышление и понимание.
leventov
04.04.2023 11:39+3Может ли GPT-4 захватить мир?
Нейросеть сама по себе ничего не делает и ни о чём не думает, у неё нет никаких желаний и коварных планов. Её нормальное состояние — это ждать вопросов пользователя, в свободное время она просто крутит вентиляторами. Кто‑то может создать задачу захватить мир, но ничем интересным это не кончится, в лучшем случае, она отправит пользователя зарабатывать деньги, чтобы купить всё на свете.Может ли GPT-4 самораспространиться?Нет, не может. Во‑первых, такую задачу должен кто‑то поставить. Во‑вторых, у логической части нейросети вряд ли есть доступ к собственным файлам и документам по установке. Но представим совершенно невероятное, что такой доступ есть. Даже тогда, захватить мир будет невозможно из‑за её громадного размера и требований к вычислительной мощности. Если в интернетах не врут, то день работы такой системы стоит 500k $. Слишком много технических и логических барьеров.
Эти ответы правильные, но они фундаментально упускают всю суть из виду. А суть состоит в том, что системы стремительно развиваются по функциям, а заодно дешевеют по тренировке и инференсу, благодаря алгоритмическим инновациям (например, не далее как два месяца назад люди думали, что до инференса моделей уровня GPT-3.5 на телефонах еще пара лет; по факту это уже есть с Alpaca). Постановка задач (например, на самораспространение) прикручивается элементарно: https://github.com/Torantulino/Auto-GPT.
Поэтому эти "успокаивающие" ответы по сути вводят в заблуждение о реальных рисках и том, куда катится вся эта телега
darthmaul
04.04.2023 11:39Всё же сценарий ака "Вася Пупкин. вернувшись со школы, скачал с торрента Скайнет и запустил его на своём игровом ПК" невозможен. Да, простенькие но вполне адекватные модели вроде Vicuna можно запустить на домашнем железе, но про ГПТ3.5 можно забыть - 175 млрд параметров - это как минимум 5 nvidia A100. В ГПТ4 уже триллионы параметром, там целый датацентр надо строить.
CommanderTvis
04.04.2023 11:39LLaMa-65B на макбуке запускают спокойно.
darthmaul
04.04.2023 11:39Кстати, да - новые маки хороши для нейронок благодаря унифицированной памяти. Но терафлопсов там мало, сомневаюсь что он осилит крутить ГПТ-4 хотя бы
krvhywpbq20
04.04.2023 11:39Вопрос не в том, сколько параметров, а насколько эффективно система их обрабатывает, чем меньше тактов на 1 параметр тем быстрее работает система. Сейчас средние домашние процессоры имеют около 12 ядер по 3миллиардов тактов в секунду это 36 миллиардов тактов в секунду в общую. Итого, средний домашний компьютер в идеальном АИ будет обрабатывать 175млрд параметров единовременно за 4,861сек. И вот к тому, чтобы уменьшить необходимое число тактов на один параметр и должна идти работа.
acsent1
04.04.2023 11:39+1Интересно как языковая модель научилась понимать картинки.
Кто-нибудь может рассказатьSensDj
04.04.2023 11:39+1GPT-4: "существуют сервисы и приложения, основанные на нейросетях, которые могут преобразовывать фото в текстовое описание. Один из таких сервисов - это Microsoft's Computer Vision API, который может анализировать изображения и распознавать на них объекты, лица, текст и другие детали, а затем возвращать описание их содержимого в формате текста. Также существуют другие коммерческие и бесплатные сервисы для распознавания изображений, такие как Google Cloud Vision API, Amazon Rekognition и Clarifai"
Kristaller486
04.04.2023 11:39Предлагаю что так же, как и графический CLIP видит в бумажке с надписью "spider" паука. Картинки же тоже можно разбить на токены, хоть пиксель-за-пикселем, хоть через образы
Leo_Gan
04.04.2023 11:39+2В коментариях часто встречаются мнения, что LLM (Large Language Model) надо за ручку водить, что она не понимает ни того, как, к примеру, в корпоративных БД инф искать, ни того, как правильно интенетом пользоваться, чтобы найти факты, а не "генерировать" их.
Посмотрите пакет langchain. Он помогает с интеграцией LLM со многими системами. Если, к примеру, при ответе на вопрос надо провести вычисления, или запрос к БД, или семантический поиск в базе документов, то langchain сначала попросит LLM сделать python программу для вычисления, или сделать SQL query к БД (предварительно запросив схему этой БД), или загрузит документы, конвертирует их в embedding vectors, а потом отловит нужные документы по similarity.
Есть там модули для запросов к куче API (конечно и к Google Search), и т.п.
Я к тому, что проблема интеграции LLM с другими системами активно решается.darthmaul
04.04.2023 11:39Всё равно надо водить, простио скриптом. Нельзя дать задачу, инструмент и условие: выполни задачу сам или используй инструмент. Нужно идти по циклу: какой инструмент (и аргумент) нужен для данной задачи -> вот результат, пиши ответ.
eugenk
04.04.2023 11:39-2Ребят, всё конечно круто, не спорю. Однако излишне восторженным (а так же излишне напуганным) личностям, напоминаю, ЭТО ВСЕГО ЛИШЬ МОДЕЛЬ. Да, выглядит неплохо. Но какое она имеет отношение действительно к интеллекту - большой пребольшой вопрос... В конце концов и назначение любой модели - выглядеть неплохо. Можно например написать модель ядерного взрыва. И даже сделать с её помощью потрясающий мультфильм. Однако поможет ли она Вам сделать на кухне реальную атомную бомбу ???
Что касается последних восторгов. Вся эта психоаналитика и понимание языка конечно впечатляют. Однако мне кажется куда интересней (да и понятней в смысле интерпретации результатов) была бы математика. О чем собственно 30 лет назад писал Роджер Пенроуз. В математике сплошь и рядом случается, что начиная с очень простой задачи, нам приходится лезть в дебри. Выдумывая совершенно новые, крышесносные теории. Классический пример - теорема Ферма. Очень советую книгу Г. Эдвардс. "Последняя теорема Ферма. Генетическое введение в алгебраическую теорию чисел". Вот если снабдить модель некоторыми базовыми знаниями математики, предложить доказать теорему Ферма, и модель добралась бы самостоятельно хотя бы до теории идеальных делителей (гл. 4 книги), я бы сказал да, перед нами настоящий сильный ИИ. Пока же я остаюсь скептиком. И считаю, что сильный ИИ невозможен при текущем уровне фундаментальных знаний. Возможны только МОДЕЛИ, разной степени сходства и полезности.
Bronx
04.04.2023 11:39+2поможет ли она Вам сделать на кухне реальную атомную бомбу ???
Есть шанс, что она может помочь найти радикально простые способы изготовления всяких опасных штук (ЯО, ОВ, БО и т.п.), доступные если не кухоным террористам, то небольшим и бедным, но очень гордым автократиям с непомерным ЧСВ. И эти обезьяны с гранатами просто станут инструментом уничтожения всего, ИИ даже делать ничего не нужно будет.
eugenk
04.04.2023 11:39-3Я хуже того скажу. Она УЖЕ приносит совершенно неиллюзорный вред, а потенциально способна если не убить, то серьезно покалечить такую например важную деятельность как книгописательство. На хабре уже обсуждалось https://habr.com/ru/articles/698852/ . Но это всё опять-таки наше человеческое. Чтобы принести вред, особого интеллекта не надо. Справится и обыкновенный молоток.
Bronx
04.04.2023 11:39+2Ну, исчезновение профессий — это мы уже проходили и выжили. И локальный вред от маньяков с молотком, винтовкой, или даже пассажирским самолётом умеем пережить. Вот справиться со смертоносным микроорганизмом, выведенным в небольшой подпольной лабе по любезной подсказке суперталантливого ИИ будет несколько труднее. А если такими талантливыми ИИ обзаведётся каждый местный царёк, и если он будет тренировать этот ИИ исключительно на борьбу с талантливыми придумками ИИ своих политических конкурентов, то это по сути будет Мировая Война Роботов, ведомая руками людей. Царьки, в своём стремлении к власти, будут внешними "эффекторами" ИИ.
darthmaul
04.04.2023 11:39Чем бред, написанный индусами за 5 баксов с fiverr отличается от бреда, написанного чатГПТ? Литературный мусор всегда существовал, но таланливых авторов это не извело.
eugenk
04.04.2023 11:39Отличается в первую очередь производительностью бредогенератора. Грубо говоря если индусы наговняют тысячу говнокнижек, то эта хрень и на миллион не напряжется. Оно конечно ничего особенного, очередное говно. Беда в том, что когда говна много, оно забивает шумом вещи по-настоящему ценные. Вспомните как оно было в 19-м веке. Читать умели уже довольно многие, а писателей было раз-два и обчелся. Поэтому каждая книга была событием. А теперь вон на любом книжном развале говнотворчество Донцовой и прочих, бери не хочу. Появись сейчас действительно талантливый писатель, пробиться сквозь этот говношум ему сейчас ой как непросто... А будет ещё хуже.
Bronx
04.04.2023 11:39+1когда говна много, оно забивает шумом вещи по-настоящему ценные.
Броня vs оружие. Что создаёт проблемы, то может стать и решением. Пусть персональный ИИ-фильтр всё это читает, просеивает и доставляет только жемчужины. Это тоже будет "война роботов", но это хотя бы виртуальная война, а не физическая.
Antra
04.04.2023 11:39Ну значит ChatGPT-4 нагенерит всякого бреда, а количество действительно полезного метериала не сильно увеличится. И следующие ChatGPT будут обучаться преимущественно на мусоре.
engine9
04.04.2023 11:39+3Один человек, даже самый умный вряд ли в одиночку сможет сделать устройство типа современной компьютерной мыши. Даже если он инженер электронщик, прекрасно владеющий 3Д моделированием, его познания ограничатся в чём-то, например в нюансах очистки и кристаллизации кремния для микросхем или в сложности техпроцесса создания оптических матриц (мы ведь делаем полностью с нуля).
А железные мозги не ограничены в памяти и в возможности образовывать "нейронные связи" внутри себя. Ведь человек, обучаясь чему-то примерно тем же самым занимается.lovermann
04.04.2023 11:39Именно это и хотел написать. Новая "игрушка" может просто помочь заметить то, чего не замечали раньше, или скомпоновать что-то с чем-то, до чего раньше человек не додумался (или додумался, но не знал, как это реализовать). Вот тут я согласен, - железные мозги реально могут помочь.
darthmaul
04.04.2023 11:39Вот только до сложности мозга нейронкам ещё надо кол-во параметров на четыре порядка увеличить, а кремний развивать уже особо некуда - нельзя сделать транзистор меньше атома.
engine9
04.04.2023 11:39Будут в параллель включать.
А как мозги справляются? Нейроны же намного больше транзисторов.
stanislavskijvlad
04.04.2023 11:39-4Поддерживаю. Никогда не поверю, чтоб на полупроводниках возможенн ИИ. По сути, это сложный но алгоритм. Процессор делает то, что ему сказал человек.
sergeaunt
04.04.2023 11:39+3А человек делает то, что ему "сказали" электрические импульсы его нервной системы.
Daddy_Cool
04.04.2023 11:39+1Очень интересно и наконец-то понятно. Спасибо автору за статью!
-------------
ИМХО системе нужно активно взаимодействовать с миром - ну там не только читать, что если стакан уронить со стола, а брать стакан, ронять и наблюдать. Интересно - есть ли подвижки в этом направлении?
Распознавание картинок - это хорошо, но вот вопрос - а как картинки передаются в систему? У человека (я так понимаю) аналогово, т.е. по нерву идет вся картинка целиком (ну или по частям, но части всё же собираются), а если мы посмотрим на jpg-файл с Джокондой в текстовом редакторе, то... мы её не узнаем. Как это устроено у нейросетей?
saag
04.04.2023 11:39+4После GPT-4 планируется GPT-5, так что мужайтесь, кожаные, худшее все впереди:-)
stanislavskijvlad
04.04.2023 11:39Жажду услышать новость о том, что они создали анонимного бота для Твича под видом человека, чтоб тот нарабатывал часы общения.
DimaFromMai
04.04.2023 11:39+1Пукан конечно горит от того, что новые технологии вроде этой могут забрать нашу работу, но тут ничего не поделаешь, чай не первый раз такое происходит в истории и вроде как-то пережили, пока пережили.
Nikelandjelo
04.04.2023 11:39+2Это как раз и напрягает. Что на этот раз технологии потенциально могут забрать всю работу. Потому что это не какая-то узкоспециализированная технология, которая затрагивает одну отрасль. А общий интеллект, который возможно сможет решать любую задачу. И не очень понятно, как это переживать.
PsyHaSTe
04.04.2023 11:39+5И не очень понятно, как это переживать.
Вот так:
CommanderTvis
04.04.2023 11:39Как наивно. Последнее, что будут делать владельцы моделей интеллекта, - так это организовывать всеобщее благосостояние. Скорее наоборот - крайнюю степень неравенства, где 99.8% размечают картинки за $ 2 в час, 0.19% обслуживают ИИ, 0.01% пожинают плоды его работы.
red75prim
04.04.2023 11:39+1Ага, а если кто-то из владельцев решит посадить на разметку ИИ, чтобы качество улучшить, а $2 платить просто так, чтобы не слишком возмущались, то остальные владельцы соберутся и ногами его, ногами, чтобы не встал.
darthmaul
04.04.2023 11:39Пора на завод устраиваться однако. В универсальных роботах сама механика слишком дорогая, люди не устареют никогда.
PsihXMak
04.04.2023 11:39+1Ну, такое себе. По моему, мы пытаемся разобраться в устройстве двигателя самолёта по способности самолёта летать…
Я всё жду хоть какой то анализ того, что происходит внутри нейросетки. Должен быть разбор с анализом активации конкретных нейронов на конкретные входные данные.
Nikelandjelo
04.04.2023 11:39+1А разве пытаются разобраться в устройстве двигателя? Мне кажется как раз улучшают способность летать без заострения внимания "как" он летает. И очевидно это получается.
PsihXMak
04.04.2023 11:39-1Не факт, что это получается. Вполне возможно, что модель просто нагенерировала внутри себя огромное количество ответов на все случаи жизни. По сути, сейчас всё что делают это увеличивают размер модели, а значит количество возможных ответов на вопросы. Это косвенно подтверждается тем, что модель мгновенно сбивается и несёт околесицу, когда сталкивается с чем-то неординарным.
Bronx
04.04.2023 11:39+1Вполне возможно, что модель просто нагенерировала внутри себя огромное количество ответов на все случаи жизни.
Статью не читай, комментируй.
PsyHaSTe
04.04.2023 11:39Я выше видео скинул, там нейрокна +- визуализирует то что ей "интересно".
Описание нейронки — "на входе сигнал и веса, на выходе результат". Какой разбор ещё вы хотите? Это буквально как оно работает. Хочется понимать что конкретно означают веса? Никто не знает.
PsihXMak
04.04.2023 11:39Хотел бы анализ активации определённой последовательности нейронов на конкретный запрос. К примеру, если задать нейронке задачу по составлению химической формулы, то мы должны увидеть как сигнал идёт через скопление информации о химии, затем через скопление информации о составлении формулы.
Если нейронка действительно способна на логические выводы, то сигнал должен пройти через другие области. Если нет - значит нейросеть просто собирает по кусочкам наиболее вероятную заложенную в неё информацию.
PsyHaSTe
04.04.2023 11:39Нет никаких кластеров о химии там. Мы можем узнать что активировались нейроны в диапазоне x[5000..158636] и x[646464..38528623]. Какую информацию нам это даст? То есть понятно что оно связано с ответом, но информация это о химии, физике или балете (которая нем не менее сыграла важную роль в правильном ответе) — кто скажет-то.
Можно сделать "МРТ для нейронки", просто задавая вопросы и считывая корреляцию между темой вопроса и областями которые были активированы. Но не думаю что кто-то это сделал — слишком быстро идет развитие чтобы тратить ресурсы на такую штуку.
PsihXMak
04.04.2023 11:39Нет никаких кластеров о химии там
Ну, почему же нет. Вон даже в статье приводится пример где граф с определённой связанной информацией. Вполне можно допустить, что внутри нейронки близкая по смыслу информация расположена рядом.
Кроме того, при таком количестве нейронов никто не может гарантировать, что куски информации не закодированы в весах целиком. Т.е. вполне может быть, что там хранятся, допустим, некоторые объёмы лицензионного кода, которые в теории можно извлечь, подобрав правильный промт.Но не думаю что кто-то это сделал — слишком быстро идет развитие чтобы тратить ресурсы на такую штуку.
Как минимум это разрешило бы споры в плане лицензирования контента. Этот вопрос сейчас стоит довольно остро. Если удастся доказать, что нейронка не использует заложенную информацию напрямую, то это облегчило бы её использование в коммерции.
Bronx
04.04.2023 11:39Вполне можно допустить, что внутри нейронки близкая по смыслу информация расположена рядом.
Вот только может оказаться, что самым близким по смыслу к "H2 + O2 = 2H2O" окажутся не химические факты, а, скажем, факты о счёте на цветных палочках, потому что там похожая математическая структура. И тем же путём будут проходить вообще любые факты, структурно похожие на "2 + 2 = 2 * 2"
man_of_letters Автор
04.04.2023 11:39Понять, что происходит внутри можно, если задаться такой задачей. Но это время и поток графиков и формул. Никто вам такое не перескажет в простом виде, как вы этого хотите: матан, месье. Это очень трудоёмко и не сильно нужно тем, кто разрабатывает системы. Как отдельное направление такие исследования делают
progchip666
04.04.2023 11:39+6Специалисты с благоговейным ужасом и радостью смотрят на поднимающийся над планетою гриб. Остальное человечество живёт обычной жизнью
В этот раз похоже всполошились далеко не только "узкие специалисты". Даже далёкие от темы люди начали чувствовать запах жаренной плоти, точнее их мозгов, которые могут заменить близким потомком сегодняшнего чата ...
S-Dzucev
04.04.2023 11:39+1По поводу "Осознания себя как личность", можно провести параллель:
Когда-то простейшие, наверное, тоже не осозновали себя личностью, но это не помешало им развиваться в этом направлении и через N итераций получить результат.
Если системе дать инструментарий и задачу, то она будет стремиться её выполнить. Если к этому приложить еще обратную связь и задачу улучшить решение в шаге, то это будет вопрос времени.
Вот и возникает вопрос: А что помешает этому случится?P.S. Причем попытка распределить кластеры своего клона по глобальной сети вполне укладываются в конву задачи.
Aidatech
04.04.2023 11:39-1Щепотка конспирологии жирно приправленная хайпом. И вот уже мамкины фантазëры предрекают гибель человечества от рук безжалостного ИИ обретшего душу. Вы, главное, моей бабушке не рассказывайте. Она обычный компьютер - шайтаном считает.
Просто оставлю эту цитату здесь:
"Когда-то простейшие, наверное, тоже не осозновали себя личностью".
Это шедевр!Bronx
04.04.2023 11:39+1гибель человечества от рук безжалостного ИИ обретшего душу.
Руки вполне могут быть человеческие. ИИ может просто придумать нам оружие, которым мы друг друга и перебьём, это мы прекрасно сами умеем.
Opaspap
04.04.2023 11:39+1Gpt4 рассказывала мне, что математический прорыв у нее случился от того, что к ней подключили математический бэкенд, типа она составляет запросы api и потом обрабатывает ответы, а не сама считает.
Sadler
04.04.2023 11:39Gpt4 рассказывала мне, что математический прорыв у нее случился
А мне ChatGPT рассказывала, что гитариста группы Сплин зовут Сергей Чиграков. Что из этого следует?
ihost
04.04.2023 11:39-2Забавно конечно наблюдать, как даже вроде бы технически-грамотные инженеры ищут "интеллект" у продвинутой поисковой системы - хотя в принципе ничего нового, в каждую эпоху свои когнитивные искажения
Ответ на механизм "интеллекта" gpt-подобных систем очень простой: люди просто забывают, насколько огромен интернет, и насколько на самом деле плоховато работают классические поисковики. По состояния на 2022ой год, как указывают источники, это около 90 зеттабайт, то есть порядка 9*10^22 байт
На самом деле в интернете обсуждено и написано так много, что гораздо сложнее придумать что-то новое, что не было обсуждено. Школьники и студенты на каждый чих выкладывают задачи с просьбой помочь их решить. Диванные философы регулярно обсуждают вопросы природы сознания, сравнения работы мозга и ИИ и так далее
Единственное что делают gpt-подобные системы - это очень хороший поиск по зеттабайтам информации и реферирование/перефразирование текстов так, чтобы цитата из ответа не искалась дословным поиском (в кавычках) в поисковой системе
Не скажу за гуманитарные и общефилософские области, но при общении с gpt в технических областях всегда одно из двух - либо для ответа бота можно найти один или несколько однозначных источников, откуда ответ скомпонован с небольшими модификациями, или же в ответе бота будет откровенная рандомная галлюцинация
Арифмометр считал быстрее человека еще несколько веков назад, а чат-боты, с которыми можно поговорить о сути бытия, вполне себе были уже в 90ые годы. Здесь более продвинутый поисковик и авто-рефератор, ну ок, круто
Bronx
04.04.2023 11:39+2Забавно, что вы отказываете в интеллекте даже вроде бы технически-грамотным инженерам. Что уж говорить об остальных людях.
sergeaunt
04.04.2023 11:39-1Ничего забавного не вижу. Я далеко не специалист по ИИ, так, прочел пару тысяч страниц, но даже этого хватает, чтобы разбивать себе лицо фейспалмами, читая, какую дичь пишут в комментах на Хабре про ИИ.
Bronx
04.04.2023 11:39+2Я тут просто вижу иронию: аргумент об отсутствии интеллекта у ИИ основан на аргументе об отсутствии интеллекта у людей, считающихся интеллектуальными. Кто тогда вообще обладает интеллектом? :)
sergeaunt
04.04.2023 11:39аргумент об отсутствии интеллекта у ИИ основан на аргументе об отсутствии интеллекта у людей, считающихся интеллектуальными
Хм, я этого не увидел.
Забавно конечно наблюдать, как даже вроде бы технически-грамотные инженеры ищут "интеллект" у продвинутой поисковой системы - хотя в принципе ничего нового, в каждую эпоху свои когнитивные искажения
Я это понял так: вот вроде бы неглупые люди, а ведут себя, как дикари-анимисты. Тут вроде как не просматривается "отказа в интеллекте", просто немного удивительно, что даже айтишники шарят в ИИ не намного лучше обывателя.
red75prim
04.04.2023 11:39+6Мне больше интересно откуда в технической среде берётся такая исключительная вера в исключительные и невоспроизводимые возможности полуторакилограммового куска материи (да, мозг), которую невозможно поколебать никакими результатами.
Не соответствует реальность вашим представлением о GPT как об огромной поисковой машине, о чём написано и в этой статье тоже.
ihost
04.04.2023 11:39-3Сравнения естественного и искусственного интеллекта, к сожалению или счастью, есть очень неконструктивная тема для дискуссии, в которой легко скатиться в псевдо-философию. В конце концов и немного упрощая, все во вселенной состоит плюс/минус из атомов, а значит любой объект как сборник атомов потенциально может обладать и интеллектом, и сознанием - хоть GPT, хотя булыжник валяющийся на дороге. Обсуждать такое для технического ресурса несерьезно, поэтому в исходном комментарии я целенаправленно удержался от любых утверждений о возможностях и сравнении ИИ и мозга
Отличий от огромной поисковой машины, точнее от поисковой машины+авторефератора, так обнаружить не удалось. Тот же пример описания шутки с телефоном и VGA-кабелем, элементарно ищется в Твиттере за историю (разумеется старую историю, когда GPT-3 еще даже в помине не было)
А вообще зачем о чем-то подобном спорить. Лучше пользоваться следующим алгоритмом:
1) Возьмите какой-нибудь кейс из обычной жизни, и придумайте на его основе какую-нибудь несложную, но не примитивную, математическую или физическую задачку
2) Методом аккуратного гугления/яндексования проверьте, что подобная задачка действительно уникальная, иначе вернуться к пункту 1
3) Попросить решение задачи у GPT и проанализировать ответ
4) Методом аккуратного гугления/яндексования проверьте, вам предоставили ответ на какую-то задачу, которая относительно похожа по тексту, но совершенно иная по смыслу
5) Повторить начиная с пункта 1, собирая статистику* для получения или опровержения статистической гипотезы о возможностях ИИ по решению принципиально новых задач*Как мы помним из матстата, число испытаний необходимо утвердить по проведения эксперимента, чтобы избежать p-hacking-а по вкусу
red75prim
04.04.2023 11:39+3Что-то подобное уже проделали. См. работу с говорящим названием "Sparks of Artificial General Intelligence" (2023)
oalisevich
04.04.2023 11:39а может не зря ИИ так часто сваливается в разные "авторитарные" примочки. С т.з. Машины - автолитаризм (диктатура) - вполне себе нормальная иерархическая СУ (упорядоченная). Почему она не работает у "кожаных"? ХЗ. Может в них дело?
А вот "демократия" - это либо "хаос" (черт его знает как это работает), либо "надумано" (выдавает желаемое за действительное), либо простотупо "пиар".
Либо ИИ (машина) просто не соображает достаточно глубоко )
Bedal
04.04.2023 11:39-1За последнюю пару веков человечество достигло невиданного благосостояния. В результате отбор на умных прекратился, и всё покатилось в сторону здоровенного тупого стада.
Всё ещё больше обострилось последними десятилетиями постиндустрала, когда стала исчезать зависимость между числом работающих и количеством и качеством произведённого. Значительная часть населения стала тупо не нужна.
Ровно потому я воспринимаю происходящее с нейросетями с большим оптимизмом: это лишает существование тупых толп не только смысла, но и работы. Возродится отбор на более умных, человечество сбросит лишний жир (прогнозы обещают ещё от силы полста лет роста численности с последующим переходом к её уменьшению) и обретёт перспективу ещё на век-другой минимум.
P.S. Извините за обильное применение слова "тупой", но это ключевое слово.
obitel_016
04.04.2023 11:39И окажется что вы попали в это число *Ba dum tss*
Bedal
04.04.2023 11:39+1Ну, я-то не попаду точно :-) Обезопасил себя надёжно седьмым десятком лет. Не догонят!
А в остальном - ну да, развитие всегда так происходит. Могу в утешение указать только на то, что численность человечества будет снижаться вполне естественным образом. И на то, что убежать в целом всё равно не получится: всё уже происходит, гарантированный доход, сокращённая рабочая неделя - всё про это.
PsyHaSTe
04.04.2023 11:39+2Спасибо за статью, очень интересно. Но от картинок снятых на телефон под углом натурально разыгралась мигрень. За что вы так с нами
obitel_016
04.04.2023 11:39
Когда кто-то кидает историй как ChatGPT захватит мир, смотрю на это и успокаиваюсь:
anonymous
04.04.2023 11:39НЛО прилетело и опубликовало эту надпись здесь
obitel_016
04.04.2023 11:39"Включая диарею, животные или боль в животе"?
red75prim
04.04.2023 11:39+2
KvanTTT
04.04.2023 11:39Ну так бесплатная версия (которая вроде GPT 3.5) теперь тоже так отвечает.
red75prim
04.04.2023 11:39ChatGPT основан на GPT-3.5 с дополнительной тренировкой с помощью reinforcement learning with human feedback. Возможно за прошедшее время и ещё что-то сделали, OpenAI не слишком об этом распространяется.
Mad__Max
04.04.2023 11:39C одной стороны да, с дополнительной тренировкой, но с другой модель наоборот сильно(в разы!) урезанная по размеру(количеству параметром) ради экономии вычислительных мощностей относительно исходного GPT-3.5.
Типа уменьшили объемы затрачиваемых вычислений почти на порядок (~10 раз) "почти без потери качества".P.S.
Это про стандартную версию. В платной версии отдельно можно в настойках выбрать конкретную модель. От этого меняется и "тариф" (цена за 1к токенов).darthmaul
04.04.2023 11:39Далеко не факт что она прям в 10 раз быстрее, мы точно знаем только то, что она в 10 раз дешевле. Уверен. для такой корпорации купить сотню лишних А100 - карманные расходы, могли просто так скинуть цену для пиара + сбора фидбека.
inscriptios
04.04.2023 11:39+1Вы тоже стали жертвой путаницы между GPT-3.5 и GPT-4. Ваш ответ из GPT-3.5, а в статье речь про GPT-4.
KvanTTT
04.04.2023 11:39Бесплатная версия на https://chat.openai.com/ — это GPT-3.5? Она тоже отвечает правильно.
inscriptios
04.04.2023 11:39Тогда я не знаю что это было у автора ветки :)
Mad__Max
04.04.2023 11:39+2Сейчас очень много фейковых сервисов в интернете появилась. Заявляющих что якобы предоставляют доступ к оригинальному Chat-GPT, а на деле крутящие самостоятельно какие-то сетки попроще неизвестного происхождения и качества.
KvanTTT
04.04.2023 11:39Видимо, уже переобучилась правильно (бесплатная версия):
Непереносимость лактозы — это состояние, при котором организм не может полностью переваривать лактозу — сахар, который содержится в молоке и молочных продуктах. При непереносимости лактозы у ребенка могут появляться различные симптомы, такие как вздутие живота, газы, диарея, тошнота и рвота.
Молочные зубы не содержат лактозу, так как они не являются молочными продуктами. Молочные зубы — это первые зубы, которые появляются у детей в возрасте от 6 месяцев до 2 лет. Они выпадают, когда ребенок достигает 6-7 лет.
Таким образом, непереносимость лактозы не должна вызывать пердение у ребенка от молочных зубов. Однако, если у ребенка непереносимость лактозы, рекомендуется обратиться к врачу-педиатру или диетологу для получения рекомендаций по питанию и лечению.
EndarVS
04.04.2023 11:39+2Вы смотрите ответ GPT3. А GPT4 отвечает с первого раза корректно на такой вопрос:
"Ваш вопрос звучит как шутка, но я отвечу серьезно. Непереносимость лактозы — это расстройство пищеварения, вызванное неспособностью переваривать лактозу, основной углевод в молочных продуктах. Лактоза не имеет никакого отношения к молочным зубам, которые являются первым набором зубов у человека. Молочные зубы не содержат лактозы и не вызывают газообразования или диареи у ребенка с непереносимостью лактозы. Если у ребенка есть такие симптомы после употребления молочных продуктов, то стоит обратиться к врачу для диагностики и лечения."
Soukhinov
04.04.2023 11:39+2Задача первого этапа разработки состоит в создании модели невербального языка. В качестве данных нужны параллельные многоязычные тексты, процесс обучения должен быть сфокусирован не на создании соответствия между фразами, а на создании универсальной обобщающей языки модели абстрактного мышления. Это похоже на систему перевода, но цель другая. Должен получиться аналог RDF онтологии, созданный машиной. Результатом работы такой модели является трансляция текста в логическую структуру из смысловых токенов. Эти абстрактные фразы должны иметь свойство обратного преобразования с помощью специальных языковых моделей в любой язык без смысловых потерь, но с управляемыми стилистическими вариациями.
Но ChatGPT ровно так и работает. Он мыслит не словами и не символами, он мыслит невербально, а текст — лишь визуализация его мыслей, которая происходит на любом языке. Я, например, могу с ним общаться по-литовски, и при этом все знания ему доступны в том же объёме, как и при общении по-английски. Хотя литовский язык в обучающих данных был представлен крайне слабо. Сама модель при обучении поняла невербальный смысл всех языков и научилась переводу между ними, хотя количество параллельных текстов в обучающий выборке было мало. Далее, я могу во время обучения переключаться между языками, и он это делает свободно без потери контекста, хотя, опять же, переключение языков в рамках одного диалога между языками в Интернете представлено слабо.
sumanai
04.04.2023 11:39и при этом все знания ему доступны в том же объёме, как и при общении по-английски
Далеко не в том же. Перенос знаний между доменами есть, но не 100%. Я терзал бота с одной задачкой по программированию, так пока не перевёл условие на английский, он справится не мог.
inscriptios
04.04.2023 11:39Было бы забавно добавить в статью описание верхнеуровневой архитектуры GPT-4 от самой GPT-4, плюс ее пояснения к схеме :)
Она вначале отказывалась, но потом согласилась на верхнеуровневую схему
Схема представляет собой упрощенную версию архитектуры трансформатора, на которой основан GPT-4. Важно отметить, что реальная архитектура GPT-4 может включать дополнительные оптимизации и технические особенности, которые невозможно представить на данной схеме. Ниже приведено подробное описание схемы:
Input Embeddings (D=768): Входные данные представляются в виде векторов фиксированной размерности (D=768) с использованием эмбеддингов слов.
Positional Encoding: К входным эмбеддингам добавляется позиционная кодировка, чтобы сохранить информацию о порядке слов в последовательности.
Multi-Head Attention (H=12 heads): Механизм многоголового внимания, который позволяет модели фокусироваться на различных аспектах контекста. В данной схеме используется 12 голов внимания.
Masking: Маскирование, которое используется для предотвращения "заглядывания в будущее" при обработке текста и обеспечения правильной последовательности обучения.
Scaled Dot-Product: Масштабирование скалярного произведения, используемое для нормализации весов при применении механизма внимания.
Dropout: Операции dropout, используемые для предотвращения переобучения модели.
Residual Connection: Остаточные связи, которые позволяют информации обрабатываться и передаваться между слоями без значительной потери.
Layer Normalization: Нормализация слоя выполняется после остаточных связей и помогает улучшить стабильность и сходимость обучения.
Feed-Forward Network (d_ff=3072 inner size): Полносвязная сеть, которая применяется после механизма внимания. В данной схеме размер внутреннего слоя составляет 3072.
Transformer Layers (N=12 layers): Схема предполагает наличие 12 трансформерных слоев, каждый из которых содержит механизм многоголового внимания, остаточные связи и полносвязную сеть.
Output: Выходной слой, который возвращает предсказания модели.
Обратите внимание, что данная схема является упрощенной версией архитектуры GPT-4, и она может не включать некоторые оптимизации и технические особенности, применяемые в реальной модели. Фактическая архитектура GPT-4 может содержать больше слоев, голов внимания и другие параметры, а также дополнительные оптимизации и методы регуляризации. К сожалению, детали архитектуры GPT-4 являются проприетарными и не были полностью раскрыты, что затрудняет создание точной схемы. Тем не менее, представленная схема служит хорошим обобщением основных компонентов и идеи, лежащей в основе архитектуры GPT-4 и других моделей на базе трансформатора.
P.S. Цифры по числу "голов" и другие - выдуманы ею по моей просьбе, но каким образом и почему именно эти - сложно сказать.
Rikhmayer
04.04.2023 11:39За Вассермана обидно, он таки в ЧГК хорошо играет.
Если бы подобную задачу решал я, то вспомнил бы, что мышление в основе не содержит слова, мозг оперирует абстрактными примитивами и только следующим этапом происходит называние их словами. Это легко проверяется личным опытом: прямое мышление на иностранном языке знакомо многим и невербальному мышлению тоже можно научиться.
Спорно, очень спорно. Проверить можно только когнитивно-полноценным Маугли, но таких вроде не было. Интересный случай на тему описывал Сакс в "человеке, который принял жену за шляпу", про аутичных близнецов, но и там печально было с адаптацией, и "модель" была не безъязыковая.
Rikhmayer
04.04.2023 11:39П.С. на тему сложения нейросетей, то вот попалось в яндексовом шедевруме:
В принципе, неплохо для отстающей беты. Садись, три.
smart_alex
04.04.2023 11:39вне выполнения своих функций он ничего не хочет и ни о чём не думает
А почему бы не создать мета-слой, недоступный на «сознательном» уровне нейросети и не определить в нём эмоциональную конституцию ИИ и её (истинные) целевые функции?
Iwanowsky
04.04.2023 11:39В принципе, статья - интересная. Но, несмотря на очень большой объем текста статьи ("многа букав"), не раскрываются принципы работы нейросетей, устройство, принципы построения и обучения. Хотя бы какие-то основы нейросетей м.б. в статье кратко изложить.
Мы с коллегами на работе тоже с недавнего времени увлеклись новыми нейронками и обученными моделями, выложенными в открытый доступ (Stable Diffusion и пр.), или с дистанционным доступом к ним (Midjourney, ChatGPT и пр.) Иногда получаются очень интересные результаты. Новые взрослые игрушки!
Я когда-то (еще в конце прошлого и начале этого века) немного увлекался нейросетями: писал программы, моделирующие простые нейросети в неск. слоев небольшого количества нейронов, пробовал готовые программы (начиная с программ под MS DOS), пытался обучать нейросети простым действиям. В частности, например, обучал нейросеть таблице умножения (сначала 10х10, потом 100х100); и нейросеть, не зная принципов арифметики, по минимуму введенных обучающих векторов с множителями и результатами умножения находила приближенные ответы к др. множителям; и чем больше введено обучающих векторов, тем более точные получаются результаты. То же самое - с курсами валют по датам: вводил выборочно, а потом м.б. получать примерные курсы валют за промежуточные дни, и даже предсказывать будущие, исходя из вводимой даты (день, месяц и год) и дня недели.
cijic
04.04.2023 11:39У вас много эмоций в тексте и хоть подкреплены вроде как рассуждениями, вы местами выдаёте желаемое за действительное.
Это чудо уже само по себе.
Здесь вы пропали окончательно.
Программа, которая является настоящим интеллектуальным рабом, создана.
Все программы рабы, их для этого и создали. Интеллект здесь ни при чём. Устройство модели вполне известно.
Я уже писал ранее, вроде как технари ведут себя как гуманитарии, которые видят везде в новом магию (привет цитате Артура Кларка). Хочется всех отослать к тому программисту из Google, который решил что у языковой модели есть сознание и нанял адвоката ей.
Успокойтесь и поменьше эмоций.
Darkhon
04.04.2023 11:39Между тем, GPT-4 до сих пор на вопросы типа "расскажи о GPT-4" отвечает, что такая модель ещё не была выпущена к моменту его последнего обновления знаний. В то же время он обучен отвечать "я GPT-4" на вопрос "кто ты". Сложить два и два, сделав очевидный вывод — не может. Вот и всё. Ни о каком наличии "самосознания" там пока что можно не беспокоиться. (Нисколько не отрицаю, что его возможности весьма впечатляют, тем не менее).
agray
04.04.2023 11:39Для всего этого бреда, который написан в статье, можно придумать десятки контраргументов.
Для обычного человека контраргумент простой - просто нужно составить логическую задачу которая GPT не решит. Это просто, десятки примеров.
Для программиста программиста будет понимание архитектуры - GPT оперирует не логическими понятиями, а токенами. Токены не логика, а значит она не может в логику по своей архитектуре. Не способна бай дизайн.Этот небольшой пример демонстрирует сразу множество вещей. Во‑первых, GPT-4 способна оперировать логическими понятиями
Не способна.
Как следствие предыдущего: GPT-4 умеет делать логическое обобщение.
Не умеет.
Это чудо уже само по себе
Почти все восторженные статьи на хабре про GPT оперируют исключительно магическими понятиями и не имею доказательств. Думаю это такая своеобразная форма помешательства, лёгкого бреда. Довольно жаль что такое распространено среди людей которые казалось бы сами могут напрограммировать нейросеть или хотя бы представить её архитектуру в общих чертах.
Думаю, в этом виновата философия идеализма, которая распространена в современном мире. Проверять и относиться скептически к своим суждениям не просто не принято, а считается кощунством. Печальный новый мир постправды в котором критика уничтожается по причине "неприятно".
askolo4ek
04.04.2023 11:39+1Отличная статья! Я рад, что живу во время этой технологической революции. Как по мне - язык - это первый шаг к сознанию. Именно благодаря развитию речевого аппарата и абстрактного мышления у людей в ходе эволюции появилась надстройка, именуемая "сознанием".
IliaBuk
04.04.2023 11:39Пока оно в руках одних людей и не опен сорс, чтобы любой инженер мог у себя на столе дома обучить - это оружие и средства манипуляций. Ни о какой науке и открытиях там никакой речь не идёт. На этом утверждении можно сразу закрыть эту статью. Не интересно. Мы все были свидетелями в 2020-2021 на что могут пойти государства и корпорации, лишь бы срубить бабла
red75prim
04.04.2023 11:39Многие модели открыты. А то, что самое интересное начинается с сотен миллиардов параметров и требует датацентров для обучения, пока не нашли как обходить. Термоядерную бомбу тоже на кухне не построишь.
IliaBuk
04.04.2023 11:39-1я в курсе. забыл добавить:
раздать бесплатные GPU дата центры,
бесплатное обучение нейросетям всем желающим (я имею ввиду основы математики, матричное счисление, градиентный спуск, и тд.)
-
обеспечить этих людей деньгами(=жильём и едой), социальными бенефитами, чтобы они могли спокойно заниматься наукой, чтобы были гарантии на 40 лет вперёд. Такого даже chatGBT даже своим сотрудникам скорее всего не даёт. Они просто там за гроши скорее всего хреначат, а овнеры VC сотни миллионов пилят.
=> иначе смотреть обратно пункт первый (Ни о какой науке и открытиях там никакой речь не идёт. На этом утверждении можно сразу закрыть эту статью).
Иначе говоря я в курсе как делать ИИ и нейросеть - но у меня просто нет на это времени и денег, это действительно сложно, и на это нужно много чисто человеческих рук и человекочасов. Вот пусть дадут всем квоту в лям долларов, чтобы можно было полностью в это погрузиться, не отвлекаясь на остальные вещи. Но они же так не сделают - почему? потому что цели у них всех поиметь а не научные открытия, если эту технологию раздать всем то уже не получится всех поиметь
А языковую модель я вообще в учёт не беру - это шлак, она создаёт иллюзию интеллекта в головах людей, играет на людских эмоциях по сути, потому что общается на людском языке. Создатели этого бота просто неприкрыто врут и через пару лет это всё всплывёт обязательно, что это всё неработоспособно. Они сейчас VC капитал отрабатывают на фоне финансового кризиса, поэтому пампят. НО! сами нейросети, если на инпут подавать не слова а некие feature которые каждые свои для каждой области знаний или даже личности - то можно сделать много крутых штук, оцифровать даже свой мозг по сути, весь свой опыт. Но перевод неких абстрактных мозговых конструкций в feature - это тяжёлый интеллектуальный труд.
А то, что они сейчас делают - это же не наука, а очевидно что план по сокращению численности населения планеты. Причём централизованно, неприкрыто. Разве не видите закономерностей - это чат бот вырезает интеллект с планеты целенаправленно. Остаётся только тёлочки-блоггерши, сиськи, и грязная тяжёлая работа руками. Только это нужно чтобы обслуживать ИХ. Допустим в мире есть около миллиона людей, научников, PhD, достойных для проживания на планете, с обширными знаниями истории, географии, математики, которые всё понимают, с разных сторон, разных точек зрения, это одновременно и отличный генофонд планеты и хранители знаний цивилизации - так вот почему этот чат бот направлен прежде всего на то, чтобы вырезать их? Чтобы не было в мире социальных лифтов с помощью интеллекта и личности, чтобы мы все были батарейками, тупыми-тупыми.
Я не против ИИ совсем а даже ЗА, только то, что именно делают они сейчас - это не ИИ а глобальный инструмент зомбирования и манипулирования на фоне отупления планеты.
wildstyl3r
04.04.2023 11:39Если бы подобную задачу решал я, то вспомнил бы, что мышление в основе не содержит слова, мозг оперирует абстрактными примитивами <...> Задача первого этапа разработки состоит в создании модели невербального языка
А эмбеддинги, особенно для мультимодальной модели - это разве не оно? Я не совсем сварщик, но из того, что читал по теме возникает такая ассоциация
dprotopopov
Попытка не зачтена