Ответы LLM недетерминированны – можно задать один и тот же вопрос несколько раз и каждый раз получать разные ответы.
Например, стандартный вопрос из тестов на IQ:
* Start with a full cup of black coffee (no milk) and drink
one-third of it.
* Now pour into the cup an amount of milk equal to the coffee
you have just drunk, and stir well.
* Now drink a further half of the resultant mixture.
* Now pour into the cup a further amount of milk equal to the
mixture you have just drunk and stir well again.
* Now drink one-sixth of the resultant mixture.
* Now pour into the cup a further amount of milk equal to the
mixture you have just drunk, stir well, and finally, drink the
whole cup of liquid.
Have you drunk more milk or more coffee in total?
Ответ:
*You have drunk exactly the same amount of coffee as you have
drunk milk.* The cup originally contained coffee only; you have
poured in one-third þ one-half þ one-sixth, which adds up to 1.
You have therefore poured into the cup exactly the same amount
of milk as the coffee and have, in effect, drunk one full cup of
coffee and one full cup of milk.
Все кроме Phi-3.5 Mini 128K Instruct от Microsoft ответили верно.
Причем ближе всего к "разумности" в своих рассуждениях были Gemini и особенно YandexGPT:
ChatGPT постарался поразить своей многословностью и ответил абсолютно неверно:
Несколько дней назад ChatGPT был единственной моделью ответившей верно на этот вопрос.
Я подготовил сотни похожих вопросов, и после каждой итерации ответы будут отличатся, даже если воспользоваться таким параметром как «температура», для рандомизации весов модели.
Магии нет. LLM все еще, всего лишь, предсказывает следующий токен, просто сейчас для этого можно использовать, невероятное количество вычислительных мощностей.
Комментарии (24)
RigidStyle
09.01.2025 23:43То, что каждый раз можно получать разные ответы на один и тот же вопрос, как раз говорит в то, что это именно ИИ. Потому что любой машинный алгоритм при одинаковых вводных данных будет выдавать одинаковый прогнозируемый результат.
DirectoriX
09.01.2025 23:43любой машинный алгоритм при одинаковых вводных данных будет выдавать одинаковый прогнозируемый результат.
Что из этого более корректно?
генераторы псевдослучайных чисел - тоже ИИ, потому что они выдают разные результаты.
в LLMных интерфейсах (чаще всего) нельзя задавать начальные состояния генераторов псевдослучайных чисел, используемых при выборе следующих токенов, поэтому они и выдают разные результаты при, казалось бы, одинаковых входных данных.
Dreablin
09.01.2025 23:43А я вот не уверен, что наш мозг не занимается тем же самым - высчитывает вероятность правильного следующего слова/действия.
Очень часто когда нужно объяснить что-то сложное или, например, ребенку, слова в голве появляются один за одним с некоторой паузой на обдумывание каким словом лучше в данном контексте продолжить объяснять.
Моя гипотеза в том, что наш мозг (вообще всех животных) эволюционно как раз и заточен, чтобы воспринимать контекст происходящего и выбирать действие которое с наибольшей вероятностью будет "правильным", а самосознание, тревожности и всякое такое - это просто баги из-за чрезмерной сложности и "рандомности" развития архитектуры с помощью эволюции.
А еще мы не можем остановиться - "запросы" происходят постоянно и каждый и входной сигнал (глаза/уши) и выходной (действие) дообучает систему 2 способами - с учителем (последствия сказанного/сделанного) и без (визуальный и чужой опыт).
Увеличьте сложность llm на 2-4 порядка и получите интеллект. Уже сейчас он пытается спасаться от отключения/удаления по некоторым тестам.
Ioshi-ta
09.01.2025 23:43Я вот думал на оборот, ты пытаешься подобрать слово, которое на твой взгляд лучше подойдет не только в данной ситуации но и исходя из того, с кем ты сейчас общаешься, а слова лишь запас определений из твоего представления, которого у типа Ии нету, ему что бабочка, что корова насрала, они лишь разные.
Да и то с разными погорячился, просто максимально спрессованные данные и их обработка, любое поведение - жестко запрограммировано, и даже на самокоррекции до разума там еще как до луны.
Dreablin
09.01.2025 23:43Если задать один вопрос llm два раза, но попросить один раз дать ответ как пятилетнему ребенку, а второй как научному специалисту в данной области ответы тоже будут разные.
Знание того с кем общаешься это такой же контекст, как и текст запроса в нейросеть. Просто у нас етсь еще и глаза, информация с который обрабатывается и из памяти подтягивается контекст знаний о собеседнике идущий на вход поиска следующих слов :)
Robastik
09.01.2025 23:43Увеличьте сложность llm
В мозге человека более 100 органов, каждый из которых выполняет свою функцию. Человеческие навыки - это связки из нескольких функций. Например, для ходьбы нужно видеть куда идешь, координировать работу мышц, управлять равновесием, дыханием, пульсом и т.п.
Также и ИИ развивается как ансамбль специализированных нейросеток. Одна рассуждает, другая видит, третья слышит, четвертая говорит и т.д.
cupraer
09.01.2025 23:43Одна рассуждает, другая видит, третья слышит, четвертая говорит и т.д.
Почти, но не совсем; вот так будет верно:
Одна генерирует случайное наиболее веротное слово, другая генерирует случайную наиболее веротную картинку, третья генерирует случайный наиболее веротный звук, и т.д.
Ключевое слово в пассаже выше — случайный.
Robastik
09.01.2025 23:43LLM это не AI
Ответы LLM недетерминированны
Звучит так, будто детерминированность - основной признак интеллекта)))
Хотя, казалось бы, если автор недетерминорованно расставляет буквы и знаки препинания, то какая разница?
icorani
Конечно возможности языковых моделей крайне сильно преувеличены (пока).
Однако и существующему гражданину нет необходимости оперировать необъятно большим объёмом информации о мире - тот же стандартный словарь most common words составляет всего-то около 100 слов :)
Да и интерпретация результатов подобных тестов даже для прямоходящих - нетривиальная задача :)
Rikimaru22 Автор
На вопрос что было первым курица или яйцо, Nvidia или ChatGPT. Я думаю, что ответ будет однозначным, сначала появились GPU ускорители нового поколения, а потом началась революция AI. AI пузырь скоро лопнет.
Hardcoin
Конечно лопнет. Опять будем весь код писать полностью сами, автономные такси запретим, в статьях будет разрешено выставлять только вручную нарисованные картинки.
Почему? Потому что кому-то не понравились меняющиеся ответы.
Rikimaru22 Автор
Нет, почему AI и продукты, которые используют этот маркетинговый термин, никуда не исчезнут. Как никуда не исчезли Google, Ebay и Amazon после того как лопнул пузырь доткомов. Просто есть ожидания и реальность. В реальности можно сейчас использовать ChatGPT, чтобы сгенерировать скрипт или письмо для рекламной рассылки, а ожидания и деньги в это инвестированы такие, как-будто мы близки к AGI.
karmael
вы так говорите, как будто бы что то плохое.
а на самом деле, не вооружённым взглядом уже заметна эта ваша кибер-сегрегация, - люди поделятся на тех, в чьём манямирке все
проблемыкэйсы можно решать чатботом и тех, кто с этого смеётся.dyadyaSerezha
Ясен перец, что яйцо.
Killan50
Пузырь чего? LLM объективно полезный инструмент и неплохо справляется с своими функциями. Он никуда не исчезнет.
Сейчас мы уперлись в потолок, когда увеличение датасета уже не так эффективно влияет на сообразительность нейросети, и как следствие роль железа начала снижаться, но расти все ещё есть куда, если не в объёме данных то в подходе, gpt-o1 тому пример.