Языковые модели становятся всё лучше в прохождении тестов. Они уже побеждают среднестатистического человека в математике (в том числе находят нестандартные решения для теорем). И получают более высокие оценки при поступлении в вузы, чем сами студенты. Остается всё меньше сфер, в которых можно гордиться тем, что ты человек, а не робот.

До последнего мы убеждали себя, что, по крайней мере, у ИИ нет креативности. Они просто берут то, что в них вложено, и немного переосмысляют. И не создают ничего нового! Поэтому настоящие творцы (картин, скульптур, программ, мелодий) могут спать спокойно. По крайней мере, такое мнение выразила Эллен Шейдлин в недавнем интервью Дудю. Развитие ИИ-моделей её совсем не волнует, она считает, что они помогают творить. Но оказалось, что для обычного человека это далеко не так.

Эра творчества машин

Если ты обычный человек, а не Эллен, смысла творить на самом деле может оставаться все меньше. Любые твои результаты может быстрее (и лучше) сделать ИИ. Летом эти системы проверили в тестах, предназначенных для измерения творческих способностей человека. И оказалось, что уровень их креативности куда выше, чем у среднего homo sapiens. В том числе в самых что ни на есть творческих областях. В исследовании, опубликованном 14 сентября в журнале Scientific Reports, чат-боты с искусственным интеллектом получили более высокие средние баллы, чем люди, в тесте на «Альтернативное использование», который обычно используется для оценки этой способности. Они смогли придумать больше интересных вариантов применения веревки, коробки, карандаша и свечи, чем средний человек.

Моделям GPT-4, ChatGPT и Copy.ai объяснили, что качество идей важнее их количества. В среднем они выдавали по 7-10 разных результатов использования предметов. Потом тот же вопрос задали 256 людям. Несколько экспертов, которые не знали, кто давал тот или иной ответ, тестировали креативность ответов по 5-бальной шкале. Роботы набрали в среднем 3,2 балла. В то время как у людей разброс был намного больше, но среднее значение было ближе к 2,65 (кстати, забавно, что самый большой разброс был в вариантах использования веревки). В целом остаются, как пишут в исследовании, «лучшие» люди — которые всё-таки по-прежнему превосходят искусственный интеллект в решении задач на творческое дивергентное мышление. Но таких меньше 15%.

Никто до конца не понимает, как так получилось, но в целом нужно признать, что в креативных заданиях машина уже справляется лучше человека. И если есть какая-то задача, где нужно что-то придумать, посоветоваться с ChatGPT может оказаться не лишним.

Алхимия XXI века

В New York Times вчера вышла статья о том, как определить, есть ли у вашего ИИ «сознание». В ней ученые предлагают ряд тестов для измерения тех качеств, которые могут указывать на существование «чего-то большего» внутри машины.

В NYT говорят, что ИИ системы «учатся» делать что-то самостоятельно способами, которые не всегда понятны людям. Мы не можем распознать, что у них в «черном ящике», и поэтому не сможем понять, когда там появится реальное сознание. Многие, в том числе сами разработчики этих систем, уже считают, что они уже обладают всеми теми же качествами, что и реальные люди, включая разум и самоощущения. Но можем ли мы как-то это проверить?

Предложений выдвигается много. Есть сторонники «вычислительного функционализма», говорящего о том, что нужно проверять отдельные психические функции «разума» робота. Другие предлагают оценивать социальный или культурный контекст как важные части сознания — мол, машина должна принадлежать к определенной группе или культуре, и сама осознавать себя её частью. Есть даже те, кто считает, что сознание и разум — означают возможность поддаваться гипнозу, или по крайней мере переубеждению. И это будет одним из способов проверки интеллекта ИИ.

По словам философа, исследователя сознания Томаса Нагеля, существо должно понимать, «каково это» быть собой. Ощущать себя, знать себя, чувствовать свое внутреннее «я». И тогда его можно в полной мере назвать осознанным (хотя, мне кажется, такое и в людях встречается нечасто).

В любом случае, можно заметить, что все эти предложенные тесты очень эфемерны.

Как и «новый тест Тьюринга», оценивающий наличие интеллекта в ИИ. Где предлагают проверить, может ли ИИ-модель сама заработать 1 миллион долларов в реальном мире. Мягко говоря, не очень элегантная и не очень быстрая проверка. Но другого варианта, возможно, у нас теперь и нет, потому что старый тест Тьюринга на удивление легко проходит уже любая современная система, даже не обязательно основанная на нейросетях.

Ученый Томас Крендл Гилберт, специалист по машинной этике, создатель вместе с исследователем Натаном Ламбертом подкаста под названием «The Retort», считает, что современная работа с языковыми моделями больше похожа не на науку, а на алхимию:

Люди, даже в самых лучших ИИ-компаниях, не знают, что они строят. Они просто смотрят на результат, и пытаются понять, что у них получилось. Никто не анализирует его внутренние свойства, принципы работы. Считается, что понять такое невозможно. Все сейчас смотрят на это как на некий «волшебный процесс трансформации». Трансмутация — только данных, а не материала. То, что мы видим перед собой, очень похоже на работу алхимиков XIV века.

«Люди, которые это строят, на самом деле думают, что то, что они делают, волшебно», — говорит Натан Ламберт. — «И это коренится во многих метафорах и идеях, которые за последние несколько месяцев просочились в общественный дискурс, таких как AGI и суперинтеллект. Всё это метафизические термины, без конкретного обоснования».

Генеральный директор OpenAI Сэм Альтман сам это подтверждает. Например, он говорил, что «галлюцинации» (странные или непонятные выводы языковых моделей) можно рассматривать как позитивные вещи — часть «общей магии» генеративного ИИ.

Компании создают системы, обладающие сколь угодно разумным интеллектом, не таким, как у людей — что бы это ни значило. А уровень интеллекта, считается, в целом коррелирует с тем объемом данных, которые загрузили в модель. Хотя у нас нет этому эмпирических доказательств — потому что мы не понимаем, как считать этот интеллект, и какие задачи нужно ему давать для проверки. Как говорит Томас Крендл, «это по своей сути мистическое или сверхъестественное утверждение, больше полагающееся на ощущения, а не на факты. Постепенно слова «ум» и «креативность» теряют своё значение, мы уже не понимаем что они значат применительно к этим системам».

Сама магия генеративного ИИ, считает он, исходит не из модели. «Магия заключается в том, как модель сочетается с интерфейсом. Людям нравится то, что они чувствуют, как разговаривают с машиной, когда взаимодействуют с ChatGPT. Это не свойство модели внутри, это свойство ChatGPT — интерфейса, который представляет её публике».

В поддержку этой идеи исследователи из подразделения искусственного интеллекта Alphabet DeepMind недавно опубликовали работу, показывающую, что ИИ могут оптимизировать свои собственные подсказки и работать намного лучше, когда им предлагается «сделать глубокий вдох и работать над этой проблемой шаг за шагом». Неясно, почему это «заклинание» работает так хорошо (особенно учитывая тот факт, что модель ИИ на самом деле вообще-то не умеет дышать).

Мы живем в странный момент. Когда ИИ-модели уже в целом превзошли по интеллекту людей, какой бы параметр мы не попытались оценить. Даже самые «человеческие» вещи, вроде креативности, уже довольно хорошо эмулируются. Мы не понимаем в точности, как это работает, даже для создателей вроде Сэма Альтмана это самая настоящая магия. Но машины пока ещё не ушли от нас настолько, чтобы мы не были способны понимать их выводы или контролировать их активность. Это, возможно, очень короткое время в истории человечества — когда мы живем на планете вместе с кем-то, сопоставимым с нами по уровню мышления.

Возможно, эти годы, которые мы проживаем, в далеком будущем будут известны не войной, не ковидом, не странностями Илона Маска и даже не запуском телескопа «Джеймс Уэбб», а первыми в мире успешными экспериментами по трансмутации данных.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

-15% на заказ любого VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.