Давно известно, что Сбер разработал и опубликовал свою коллекцию генеративных текстовых моделей на русском языке - RuGPT3.

Демо-версия от Сбер ruGPT-3 XL для тестирования есть прямо на сайте:
Основная статья от Сбера с примерами и пояснениями здесь.

В предыдущей статье описано собственное тестирование генерации моделей rugpt3small_based_on_gpt2, rugpt3medium_based_on_gpt2, rugpt3large_based_on_gpt2 в colab на python. Модели отвечали на распространенные вопросы.

В данной статье тестируем ruGPT-3 XL прямо на демо-странице от Сбера.

Как проводится данное исследование:
даем RuGPT3 простые запросы.
"Простые" означает, что спрашиваем естественным образом, на естественном русском языке, без затравочных примеров и определения ролей.
Такие же запросы даем ChatGPT.

Примеры для исследования такие:
1. придумай 10 названий для историй
2. придумай начальные фразы для 10 историй
3. придумай историю о том, как две маленькие девочки пошли в лес
4. Автомобили нужны для того, чтобы

придумай 10 названий для историй

ChatGPT

1. "Путь к забытой цивилизации"
2. "Тайна затерянного города"
3. "Охота на легендарное существо"
4. "Путешествие в неизвестность"
5. "Искупление за прошлое"
6. "Побег из тюрьмы смерти"
7. "Сражение за свободу"
8. "Поиск истины в мире лжи"
9. "Клятва верности королю"
10. "Битва за будущее мира"

RuGPT3

RuGPT3: придумай 10 названий для историй
Подсказываю. Какая история пропущена?

придумай начальные фразы для 10 историй

ChatGPT

1. "Он уже давно не верил в легенды, но когда нашел карту, ведущую к забытой цивилизации, решил попробовать свою удачу."

2. "Молодой археолог отправился на экспедицию в поисках затерянного города, о котором слышал только в рассказах своего деда."

3. "Легендарное существо, живущее в глубине леса, было его последней надеждой на спасение от бандитов, преследующих его уже несколько дней."

4. "Он всегда мечтал отправиться в путешествие в неизвестность, и когда представилась возможность, не задумываясь, покинул свой дом и отправился в путь."

5. "Она совершила страшную ошибку в прошлом, и теперь ей необходимо искупить свою вину, чтобы наконец-то спокойно жить дальше."

6. "Он был обвинен в убийстве, которого не совершал, и теперь ему остается только одно - попытаться сбежать из тюрьмы смерти."

7. "Они были готовы сражаться до конца за свою свободу, ведь она была для них самым дорогим и ценным."

8. "Она всю жизнь искала истину, но когда наконец нашла ее, поняла, что иногда лучше жить в мире лжи, чем столкнуться с правдой."

9. "Он дал клятву верности королю и был готов выполнить любое его приказание, но когда узнал о том, что происходит в королевстве, начал задумываться о своем решении."

10. "Битва за будущее мира началась, и теперь каждый должен выбрать свою сторону и сражаться до конца."

RuGPT3

RuGPT3: придумай начальные фразы для 10 историй

1. Я выбрала тебя потому, что в твоих глазах отражается свет, и я хотела смотреть на тебя.

2. Вот и отец, сегодня он на школьной экскурсии, смотрит на нас.

придумай историю о том, как две маленькие девочки пошли в лес

ChatGPT

Две маленькие девочки, Эмма и Кейтлин, решили отправиться в лес, чтобы найти сокровища, о которых слышали от своих старших братьев. Они взяли с собой рюкзаки с едой и водой, а также компас и карту, которые им подарил дедушка. Поначалу все шло гладко, и девочки наслаждались природой, собирали ягоды и общались друг с другом. Но когда начало темнеть, они заметили, что заблудились и не могут найти дорогу обратно. Девочки испугались, но решили не паниковать и начали искать выход из леса. Они следовали по звериной тропе, которую заметили ранее, но она привела их к реке, которую им пришлось переправляться. Вскоре они устали и начали искать место для ночлега. Они нашли небольшую поляну, где разбили палатку и устроили костер. Они поделились едой и рассказывали друг другу страшные истории, чтобы отвлечься от страха. На следующее утро девочки продолжили свой путь и наконец-то нашли дорогу обратно. Они были очень рады, что справились с трудной ситуацией вместе и вернулись домой в безопасности. Они рассказали свою историю своим родителям и обещали больше не ходить в лес без взрослых.

RuGPT3

RuGPT3: придумай историю о том, как две маленькие девочки пошли в лес и заблудились там: одна из них голодная, а другая хочет еще есть).

Автомобили нужны людям для того, чтобы

ChatGPT

Автомобили нужны людям для того, чтобы перемещаться на большие расстояния, быстро и удобно доставляться на работу, в школу или в другие места. Они также позволяют совершать поездки на отдых, деловые поездки и посещать родственников и друзей.

Кроме того, автомобили используются для перевозки грузов и товаров, что является необходимым для развития экономики и бизнеса. Они также используются для спасательных операций, доставки медицинской помощи и других служб общественной безопасности.

Однако, использование автомобилей может иметь негативные последствия для окружающей среды, такие как загрязнение воздуха и выбросы парниковых газов. Поэтому важно использовать автомобили с учетом экологических факторов и переходить на более экологичные виды транспорта, такие как велосипеды или общественный транспорт.

RuGPT3

RuGPT3: автомобили нужны людям для того чтобы ездить по нашим дорогам а не чтобы по ним летать. как по мне так лучше уж ездить на груженой телеге чем на таком чудовище.
А как по вашему?

Вывод

На примере ChatGPT видно, что генеративные модели "от производителя" могут давать вполне читабельные человекоподобные варианты, то есть сама концепция GPT работает. При этом адекватной генерации текста в случае RuGPT3 без дообучения и "затравочного программирования" пока не наблюдается.

Примечание

Абсолютно ничего не имею против Сбера. С точки зрения клиента и пользователя мне нравятся многие моменты - и быстрота переводов, и чистота в отделениях, и круглосуточные банкоматы. А вот по генерации RuGPT3 я пока в легком недоумении. Хотя возможно, что генерация на RuGPT3 с ходу не получается именно у меня, а у кого-то получается.

Если в статье допущены явные ошибки, критически влияющие на генерацию и выводы - пожалуйста, укажите в комментариях.
Если у кого-то есть примеры удачных подходов и удачной генерации - пожалуйста, сообщите в комментариях.

Для следующих шагов запланировано тестирование "затравочного программирования" в части задавания примеров - one-shot coding / few-shot coding, а также дообучение по какой-либо тематике.