Нейронные сети — это тип искусственного интеллекта, вдохновленный тем, как работает человеческий мозг. Эти системы состоят из слоев взаимосвязанных узлов или «нейронов», которые могут обрабатывать и передавать информацию. Они часто используются для таких задач, как распознавание изображений и речи, языковой перевод и фильтрация контента
Одним из интересных примеров нейронной сети является MidJourney, система, которая может рисовать картинки на основе письменного описания. MidJourney был разработан группой исследователей, которые хотели выяснить, можно ли научить машину понимать и интерпретировать язык так же, как это делают люди.
Команда предоставила MidJourney большой набор письменных описаний изображений вместе с соответствующими картинками. Анализируя эти данные, MidJourney смог узнать, как ассоциировать определенные слова и фразы с определенными визуальными элементами. Например, слово «собака» может ассоциироваться с образом четвероногого животного с виляющим хвостом, а слово «кошка» — с кошачьим существом с заостренными ушами.
Используя эти знания, MidJourney может генерировать собственные изображения на основе заданного описания. Например, при запросе «Нарисуйте кошку, сидящую на подоконнике», MidJourney может генерировать изображение пушистого кота, положившего лапы на подоконник и смотрящего в окно.
Хотя MidJourney все еще находится на ранних стадиях разработки, у него есть потенциал, чтобы произвести революцию в том, как мы создаем и потребляем визуальное искусство.
Однако важно отметить, что такие нейронные сети, как MidJourney, не способны по-настоящему «понимать» концепции, которые они обрабатывают. Они могут выполнять задачи только на основе шаблонов и ассоциаций, которые их научили распознавать. Это означает, что они ограничены в своей способности создавать новые идеи или по-настоящему понимать значение слов и изображений, которые они обрабатывают.
Еще одним интересным примером нейронной сети является ChatGPT, система, разработанная OpenAI, которая способна генерировать текст на основе заданной подсказки. ChatGPT был обучен на наборе данных из более чем 8 миллиардов слов, включая широкий спектр текстов из книг, статей и веб-сайтов. Это позволяет ему понимать структуру и стиль человеческого языка и генерировать естественные и связные ответы.
Одной из уникальных особенностей ChatGPT является возможность продолжить разговор на основе предыдущих обменов. Это означает, что он может «запоминать» то, что было сказано ранее, и основываться на этом, создавая более плавный и реалистичный разговор.
Хотя ChatGPT по-прежнему остается машиной и не может по-настоящему понимать или испытывать эмоции, он способен имитировать человеческий разговор таким образом, что часто получается убедительно и увлекательно.
А так же важно помнить, что ChatGPT, ограничен данными, на которых он обучался. Это означает, что он не всегда может давать абсолютно точные или уместные ответы, и пользователи-люди должны использовать свои собственные суждения и навыки критического мышления при взаимодействии с ним.
По мере того, как нейронные сети и другие формы искусственного интеллекта продолжают развиваться, они могут разрушить и изменить многие отрасли и профессии. В некоторых случаях системы ИИ могут выполнять задачи более эффективно и точно, чем люди, что вызывает опасения по поводу увольнения и безработицы. Например, если нейронная сеть, подобная MidJourney, станет достаточно продвинутой, чтобы создавать высококачественные произведения искусства с уровнем детализации и точности, с которым людям трудно сравниться, она потенциально может заменить традиционных художников в некоторых контекстах. Точно так же, если ChatGPT станет достаточно продвинутым, чтобы генерировать человеческие ответы на запросы клиентов, он потенциально может заменить представителей службы поддержки клиентов в некоторых отраслях. Это поднимает важные вопросы о том, как общество адаптируется к этому сдвигу и как обеспечить, чтобы те, кого он затронет, могли найти новые возможности трудоустройства. Одно из возможных решений — сосредоточиться на развитии новых отраслей и должностей, связанных с разработкой и обслуживанием систем искусственного интеллекта. Это могут быть должности в таких областях, как наука о данных, машинное обучение и компьютерная инженерия, которые потребуют специальных навыков и опыта. Другая возможность — сосредоточиться на программах переподготовки и повышения квалификации, чтобы помочь людям перейти на новые должности, которые могут оказаться более востребованными в будущем. Это может включать предоставление образования и обучения в таких областях, как программирование, анализ данных и управление проектами, которые могут быть применимы к широкому кругу отраслей.
Несмотря на эти опасения, важно помнить, что нейронные сети и системы искусственного интеллекта по-прежнему ограничены данными, на которых они были обучены, и они не способны по-настоящему «понимать» концепции, которые они обрабатывают. Это означает, что они вряд ли полностью заменят человека во всех контекстах, и мы всегда будем играть свою роль в формировании будущего этих технологий.
Так что пока не слишком беспокойтесь о том, что вас заменит машина — если, конечно, вы не неисправный тостер. В этом случае, возможно, пришло время начать освежать свое резюме.
Ares_ekb
А люди их способны понимать? Я лично не могу понять что значит "по-настоящему понимать".
Я бы оценил эту статью на 8 из 10 gpt. До 10 не дотягивает, есть сомнения. Но в целом она не особо похожа на написанную человеком:
1) Слишком размеренный текст. Большая часть абзацев - 2-3 предложения. Ближе к концу только подозрительно длинный абзац.
2) Нет эмоций, какого-то внутреннего надлома, обиды (на работодателя, на человечество, на коллег и т.д.), или наоборот восторга (о, смотрите, какую супер-штуку я нашёл или сделал), или паники (мы все умрём, всё тлен). Суховатый текст в общем.
3) Практически нет орфографических ошибок, даже тире расставлены.
4) Слишком много рассуждений, констатации каких-то фактов.
5) Практически не используются личные местоимения. Встречаются очень нейтральные "он", "они". Но чтобы не было ни одного "я"? Это фиаско!
6) Ну, и конечно же не хватает англицизмов типа "роляет". Каких-нибудь оборотов типа "не умеет в", "от слова совсем" или каких-нибудь слов используемых не по назначению типа "функционал", "компонента", ... Серьёзно?!
vassabi
а вы не пробовали спросить у chatGPT - на сколько баллов оно оценивает эту статью и почему?
leventov
И люди, и нейросети способны "понимать" концепции. Это эквивалентно наличию соответствующего reference frame, или фичи нейросети. Мультимодальность активации у человека - активируется концепция "утка" и при прочтении этого слова, и при виде изображения утки, и при звуке крякания, и при звуке произношения слова "утка" (+- также на других известных человеку языках - "duck"), во-первых, является опциональной и у человека (мы не говорим, что слепые или глухие "не понимают"), а во-вторых, и мультимодальных сеток уже много, см. например Flamingo от Гугла.
Действительно интересный вопрос в отношении нейросеток, а конкретно LLM - это насколько мыслительные дисциплины типа логики представлены в LLM, насколько это представление регуляризовано, и насколько можно выучить более продвинутые дисциплины (такие как эпистемология, этика, эстетика, методология) в текущей парадигме скалирования и тренировке LLMs.
А дурацкий мем "нейросеть не понимает, о чем пишет" - уже набил оскомину тут на Хабре, наравне с мемом "нейросеть не умеет создавать новое".
Ares_ekb
По сути, да, понятие (концепт) - это упрощенное и обобщенное представление о чем-то, например, об утке. Для искусственных нейронных сетей понятие "утка" - это просто вектор (embedding). Селезень и гусь - тоже векторы близкие к утке. А дерево или стул - векторы, которые немного дальше от утки. Вполне возможно, что в мозгах людей понятия - это аналогичные векторы.
Если понять - это значит, что после прочтения слова или какого-то описания предмета или просмотра изображения или прослушивания звука ты формируешь в сознании такой вектор. То, получается, что и люди, и нейронные сети действительно понимают то, что они воспринимают. И дальше могут проводить какие-то манипуляции с этими понятиями, проводить аналогии.
Сложный вопрос на сколько творчество состоит из создания чего-то нового, а на сколько из комбинации уже существующего. Я скорее склоняюсь к тому, что второго гораздо больше. В этом плане тоже не видно принципиальной разницы между людьми и нейронными сетями.
Возможно разница в наличии каких-то интересов, целей, эмоций, желаний, воли. Но вопрос это всё действительно идёт откуда-то из сознания, души, связи с космосом, словом какой-то непостижимой штуки. Или это всё просто заложено обществом, родителями, эволюцией. И точно так же всё это можно заложить и в искусственную нейронную сеть.
Может ли ИИ внезапно захотеть нарисовать картину? Но зачем? Чтобы произвести на кого-то впечатление? Или потому что скоро платеж по ипотеке? Или чтобы придти к успеху? Наверное все эти стимулы можно заложить и в ИИ. Но зачем тогда нужны люди? А зачем людям нужны животные, деревья, насекомые и всё остальное? В этих вопросах слишком много безысходности и они слишком глобальные. Разобраться бы хотя бы зачем я пишу это сообщение. Возможно потому что услышал в детстве рассуждения про смысл жизни, мне они почему-то запали в душу и я зачем-то тоже пытаюсь найти ответ. Или возможно я таким образом ухожу от тяжести бытия, снимаю напряжение. Или мне в школе сложно давались сочинения, и у меня осталась какая-то внутренняя установка, что я обязательно должен написать что-то прикольное за что получу пятерку.
В общем, я думаю, что следующий шаг - это добавление в нейронные сети модуля для общества/родителя/учителя, которые задавали бы вопросы "что за г...о я нарисовал или написал?", "это вообще нормально?", "кому это может понравиться?", "за сколько это можно продать?". Наверное это отличает людей от ИИ - наличие саморефлексии, самокритики. Но они не взялись ниоткуда. Например, в детстве ты хорошо рисовал, родители и другие окружающие тебе говорили как хорошо или как плохо ты рисуешь, что им нравится в твоих картинах, а что нет. А потом ты вырос и уже сам можешь симулировать в своём сознании художественного критика и говорить самому себе нравится тебе эта картина или нет. По-моему это гениальная идея для стартапа! Добавить в нейронные сети такую саморефлексию. Жалко только, что я не сам её придумал. У Пелевина было что-то похожее про второй мозг. И @vassabiвыше задал вопрос почему бы саму gpt не спросить как она оценивает статью. Плюс в принципе это не новая идея про саморефлексию. Вот, и думай теперь можешь ли ты в принципе создать что-то новое или только комбинируешь существующее... Но тем не менее, идея интересная...
leventov
Фичи (features) - это вектор в активациях, эмбеддинг конечно тоже, но под эмбеддингом обычно понимают нечто другое, весь массив слоя активаций, а не какой-то произвольный вектор в нем (например, один нейрон, то есть один элемент массива, но не обязательно). Поэтому ваше сообщение создаёт путаницу.
Ares_ekb
Тут пример (в разделе Usage), в котором для предложений генерятся эмбединги, каждый из которых - это вектор, содержащий 384 элемента. Или тут генерятся эмбединги длиной 1024 элемента. По-моему word embedding (или sentence embedding, graph embedding) это достаточно устоявшийся термин. Единственное, эмбединг - это англицизм, а по-русски это векторное представление. Плюс embedding может быть и глаголом (процесс вычисления векторного представления), и существительным (само векторное представление).
leventov
Я знаю, что такое эмбеддинг. Но эмбеддинг != "фича", feature. Про фичи см. https://distill.pub/2020/circuits/zoom-in/, https://transformer-circuits.pub/2022/toy_model/index.html