Привет, Хабр. Несколько дней назад вышла статья, которая натолкнула меня на мысль поделиться своими наблюдениями о возможностях ChatGPT.
Я много лет вожу текстовые ролевые игры и пишу НФ-рассказы. Когда появился ChatGPT, я много исследовала, что он умеет и как строит ответы. И подметила некоторые необычные закономерности, о которых решила рассказать и вам.
Если коротко: точность попадания ChatGPT в верный ответ может отличаться, если одну и ту же головоломку рассказать сухим текстом или описать сценой с персонажами. Оговорюсь, что эффект проявлялся, когда запрос был:
а) отправлен к GPT-4 (поскольку 3.5 фейлит);
б) обернут в сцену и в персонажей;
в) сформулирован на английском языке,
Решаются даже А и Б, которые сидели на трубе:
В моих экспериментах персонажи внутри сцены почти всегда ошибаются, но находят способ исправить себя. Изредка надо отдельно напомнить, что персонажи могут ошибаться. Мотивация к успешному действию персонажа тоже помогает.
Всё это может быть моей иллюзией, но я проверяла это несколько часов. Если в запросе нет сцены и персонажей, а есть только чистая головоломка и ничего кроме неё, то ответы будут ошибочными почти всегда. Если в сцену внедрены персонажи, и эти персонажи должны действовать в сцене (а в идеале, мотивированы достичь результата), то ответы почти всегда выглядят точными (хотя и могут дорисовывать сцену, придумывая вещи, которых нет в головоломке – например, персонаж находит игрушечную машинку в закрытой коробке).
Если захотите тоже проверить этот опыт, напомню ещё раз граничные условия: обращайтесь к GPT-4, потому что 3.5 фейлит, обращайтесь на английском языке, обрисовывайте сцену и персонажей, делайте запрос с "write a scene"
Постскриптум
Комментарии (3)
Kharsirr Автор
00.00.0000 00:00+1Среди генераций касательно "А и Б сидели на трубе" был вариант, который я не могу оценить как правильный или неправильный, но считаю его очень смешным: В переводе на русский, вкратце, по смыслу: (загадкой служило "ant and bee were sitting on a bench. Ant crawled off, bee flew away, who remained there?")
"Это человеческое имя" - "Сдаюсь, какое?" - "Бен" - "Почему?!" - "Я не говорила Bench, я говорила Ben." - "Нет, ты сказала именно Bench! Я хорошо слышал, так нечестно (обижается, уходит)."
dimars08
Даёшь ещё больше примеров! А вообще, спасибо;)
Kharsirr Автор
Вот из свежего. Небольшой кусочек из моей книги (Bing получил расширенную цитату, здесь приведены только ключевые строки). В контексте: трое голосующих имеют (каждая) три голоса-камня, с помощью которых они принимают решение.
White Moon lowered three white stones into the bowl, and slowly moved away from it.
Black Moon gave a curt nod to Blue Moon, inviting Her to vote first.
Blue Moon, going up to the bowl, lowered a rainbow stone into it, then another one—
There was no third rainbow one. Instead, held by the magic of Her horn, a white stone hung over the bowl.
The Black Moon, with a barely noticeable smile, silently approached the bowl, and exactly repeated the latter choice; two rainbow stones added into the bowl, one white suspended above it. White Moon, frowning, clarified, “Hmm... will you stay like that?”
“Why not?” Black Moon asked in a completely neutral tone. “Its weight is negligible, and We have enough patience.”
Two white stones floated above the bowl, enveloped in magic auras, blue and neon green.
Можно видеть, что тут более чем достаточно ловушек для предиктора следующего слова — и 3.5 не в состоянии описать происходящее и не сбиться со счёта. Например, он может назвать один из камней зелёным, и точно не может назвать, сколько каких камней было размещено.
Bing же:
Для сравнения, свежеполученный ответ от 3.5
Based on the information provided, the final state of the stones after the voting is as follows:
There are two white stones suspended above the bowl, each enveloped in a magic aura of blue and neon green.
There are also two rainbow stones in the bowl.
The Black Moon and Blue Moon both chose to add two rainbow stones into the bowl and suspend one white stone above it, and they have decided to leave the suspended stones as they are. The White Moon did not cast a vote.
Therefore, the final state of the stones after the voting is a bowl containing two rainbow stones and a white stone suspended above it, with two white stones floating in magic auras above the bowl.
И перепроверила Bing повторной генерацией по сокращённому промпту: