Оглавление

• Задумка
  • Модели
  • Схема работы
• Переводчик
• Логика
• Интерфейс
• Тесты
• Заключение

Задумка

Пример работы результата

Ввод: Рин Тосака — маг-тсундере,

Вывод: Рин Тосака — маг-цундере, 17 лет, ученица 2-го класса средней школы и участница войны за Святой Грааль. Носит красную рубашку и синюю юбку. Она является членом семьи Тосака, одной из трех великих семей города. Ее волосы собраны в два хвостика, а глаза карие.

Иллюстрации получились немного откровенными, так что пусть лучше будут скрыты по умолчанию.

Models

• LLama-2 (HF meta) — основа нашего проекта. Англоязычная модель, 7B версия — 13гб, 13B версия — 20+гб. Я буду использовать GPTQ версию от TheBloke на 13B, которая, будучи квантованной, весит 10гб. Итого: TheBloke/Llama-2-13B-chat-GPTQ.
• Summary (HF knkarthick) — говоря простыми словами, превращает много текста в мало текста, но сохраняя смысл. Весит 1.6гб.
• Semantic similarity (HF Sakil) — сравнивает тексты, считая синусное расстояние между их многомерными векторными представлениями. Простыми словами, говорит, насколько две строки похожи по смыслу друг на друга от 0 до 1. Весит всего 260мб.
• Counterfeit V3 (CivitAI) — пока все ждут нормальные файн-тюны Stable Diffusion XL, я использую проверенный временем чекпоинт Stable Diffusion 1.5 под названием Counterfeit, который высококачественно рисует в аниме стиле. Весит 4гб, и запускать я его буду в отдельном блокноте (для распределения нагрузки) с auto1111 webui, обращаясь к fastAPI. Если вы не знаете, как бесплатно и без блокировок запускать webui в google colab, то вам сюда: «Запуск блокнотов, запрещённых Google Colab TOS или SD webui в колабе без ограничений» (с момента её написания произошли ещё небольшие поправки в методе, но об этом позже).

Concepts

1. Есть некое окно контекста, назовём его ruX. Оно находится в текстовом поле перед пользователем и свободно редактируется им.
2. Также есть массив строк «воспоминаний» [A,B,C].
3. Пользователь жмёт кнопку «Генерировать».
4. ruX переводится в enX обычным переводчиком.
5. Дописываем к enX в начало самые связанные с ним «воспоминания» (сортируем массив воспоминаний по семантическому сходству с самим enX и берём топ этого массива), получаем A+B+C+enX. Таким образом, мы допишем некоторое количество выжимок из прошлых контекстов, в которых будет максимально много схожих с текущим контекстом определений и идей.
6. Передаём A+B+C+enX в LLama, которая дописывает продолжение, получаем A+B+C+enX+N.
7. Убираем A+B+C, ведь они нужны были только для правильного направления ламы.
8. Переводим enX+N обратно на русский и отдаём пользователю как ruY.
9. Раз в несколько таких циклов или по желанию юзера сжимаем текущий enY при помощи суммаризатора в M и добавляем в массив воспоминаний. Теперь он такой: [A,B,C,M].
10. Если пользователь того хочет, отправляем M в auto1111 webui API, который запущен в соседнем блокноте и получаем в ответ пикчу.

То, что для генерации нормальных артов обязательно условное перечисление тегов danbooru  — это не совсем правда. Stable Diffusion спокойно абстрагируется от контекста и кушает обычные тексты без явных отличий в качестве результата от чистых тегов.

Переводить нужно будет много

!python -m pip install git+https://github.com/alekssamos/yandexfreetranslate.git
!python -m pip install yandexfreetranslate

from yandexfreetranslate import YandexFreeTranslate
yt = YandexFreeTranslate(api='ios') #Работает только так

def ru(txt):
  return yt.translate("en", "ru", txt)

def en(txt):
  return yt.translate("ru", "en", txt)

Логика

from sentence_transformers import SentenceTransformer, util
import torch
from transformers import pipeline
from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
model_name_or_path = "TheBloke/Llama-2-13B-chat-GPTQ"

simm = SentenceTransformer('Sakil/sentence_similarity_semantic_search')

summarizer = pipeline("summarization", model="knkarthick/MEETING_SUMMARY")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

use_triton = False
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename="model",
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)

gpt = pipeline("text-generation",
              model=model,
              tokenizer=tokenizer,          # Так-то лучше
              torch_dtype=torch.float16,
              )

blocks=[]

Пишем обёртки

▍ Summary

def save(txt):
  chunks=[txt[i:i+1000] for i in range(0, len(txt), 1000)]
  blocks.append("\n".join([summarizer(i, truncation=True)[0]['summary_text'] for i in chunks]))

▍ Semantic Search

def findbest(contx,n):
  if len(blocks)==0: return []
  contx=simm.encode(contx)
  embeddings = simm.encode(blocks)
  cos_sim = util.cos_sim(embeddings, contx)
  sentence_combinations=[]
  for j in range(len(cos_sim)):
      sentence_combinations.append([cos_sim[j], blocks[j]])

  sentence_combinations = sorted(sentence_combinations, key=lambda x: x[0], reverse=True)
  return list(zip(*sentence_combinations[:n]))[1]

▍ Генерация с учётом «воспоминаний»

def generate(context,remember=3):
  intro="\n".join(findbest(context,remember))+"\n"
  text=intro+context
  return gpt(text,max_new_tokens=10,do_sample=True,top_p=0.9,temperature=0.1)[0]["generated_text"][len(intro):]

▍ Генерация до ближайшей точки "."

def new(context,remember=3):
  cur=generate(context,remember=3)
  c=0
  while len(cur.split(".")) <= len(context.split(".")) and c<=10:
    c+=1
    cur=generate(cur,remember=3)
  cur=cur.split(".")[:-1]
  return ".".join(cur)+"."

Image generation

Без апскейлеров в нейроарте сейчас вообще делать нечего. Они стали даже важнее самой модели, ведь они не только удаляют шумы, но и дорисовывают детали. Например, мой текущий пациент aka counterfeit делает криповую мазню вместо глаз, однако всё становится идеально после небольшого апскейла моделькой R-ESRGAN 4x+ Anime6B, которая работает даже дольше и более ресурсоёмко, чем сам чекпоинт SD.

server="https://bolivia-jd-resulted-thru.trycloudflare.com"
import requests
def draw(txt,hr=False):
  txt=summarizer(txt, truncation=True)[0]['summary_text']
  payload={
    "enable_hr": hr,
    "denoising_strength": 0.5,
    "firstphase_width": 0,
    "firstphase_height": 0,
    "hr_scale": 2,
    "hr_upscaler": "R-ESRGAN 4x+ Anime6B",
    "seed": 123,
    "subseed": -1,
    "subseed_strength": 0,
    "seed_resize_from_h": -1,
    "seed_resize_from_w": -1,

    "steps": 20,
    "cfg_scale": 7,
    "width": 512,
    "height": 768,

    "prompt": txt,
    "negative_prompt": "EasyNegativeV2",


    "sampler_index": "Euler a"
  }

  response = requests.post(url=f'{server}/sdapi/v1/txt2img', json=payload)
  b64=response.json()['images'][0].split(",",1)[0]
  return f"![Hello](data:image/png;base64,{b64})"

▍ Пару слов про отдельный блокнот

%env LD_PRELOAD="/usr/lib64/libjemalloc.so.1"

Интерфейс

import gradio as gr
def complete_with_gpt(text):
    text=en(text)
    text=new(text,remember=3)
    text=ru(text)
    return text

with gr.Blocks() as demo:
    gr.Markdown("# Ever novel")
    textbox = gr.Textbox(placeholder="Верни контекст на место!", value="empty prompt")
    with gr.Row():
      nxt = gr.Button("Далее")
      chkpnt = gr.Button("Checkpoint")
      previsual = gr.Button("Пре-рендер")
      visual = gr.Button("Rендер")
    IM=gr.Markdown("---")
    with gr.Row():
      memview=gr.Button(value="Memory View")
      T=gr.Number(label="Temperature",value=0.1,minimum=0)
      APPLY=gr.Button(value="Apply Temperature")
      #serv = gr.Textbox(placeholder="auto1111 server url")
    gr.Markdown("## DB")
    dbg = gr.Textbox(placeholder="No debug output!")

    memview.click(fn=lambda: blocks, outputs=dbg)
    chkpnt.click(fn=lambda txt: save(en(txt)), inputs=textbox)
    previsual.click(fn=lambda txt: draw(en(txt)), inputs=textbox,outputs=IM)
    visual.click(fn=lambda txt: draw(en(txt),True), inputs=textbox,outputs=IM)
    APPLY.click(fn=lambda x: x,inputs=T)
    nxt.click(fn=complete_with_gpt, inputs=textbox, outputs=textbox, queue=False)

demo.launch(debug=True)

Тесты

Свободный контекст

Ввод: Я шел по улице

Вывод: Я шел по улице, чувствуя себя довольно хорошо,
Когда я увидел её, она выглядела прекрасно,
У нее были длинные светлые волосы и такая яркая улыбка
, что я сразу понял, что за нее стоит бороться.

Я знал, что должен поговорить с ней, поэтому подошел и поздоровался,
она посмотрела на меня своими большими карими глазами,
И я понял прямо тогда, что она мне нравится.,
Я пригласил ее на свидание, и она сказала «да», о да.

Мы пошли на свидание, и это было похоже на воплощение мечты,
Мы разговаривали и смеялись
и отлично провели время,
Я сразу понял, что хочу провести с ней остаток своей жизни,
Поэтому я взял ее за руку и сказал: «Я люблю тебя», и она ответила: «Я тоже тебя люблю».

Иллюстрация исключительно в образовательных целях.

А кто обещал, что пальцы будут в норме?

Контекст без персонажей, тем более женских.

Ввод: На полу стоял чемодан

Вывод: На полу стоял чемодан,
Маленький, со сломанной ручкой.
На нем сидела женщина,
Ее глаза покраснели от слез.

Не понял. Тут чет вообще не к месту… У меня вообще будут нормальные картинки в статье?

Пробуем иначе

Ввод: На полу стоял чемодан,
Маленький, со сломанной ручкой.
Замок

Вывод: На полу стоял чемодан,
Маленький, со сломанной ручкой.
Каслмен поднял его,
И открыл ее ключом.
Внутри была одежда,
И маленькая книжка в кожаном переплете.

Снаружи...

Ввод: Снаружи

Вывод: Снаружи горел свет,
Свет, который сиял так ярко,
Он осветил ночь,
И заставил все чувствовать себя совершенно нормально.

Он был светом этого мира,
Сияющая звезда,
Он осветил ночь

Думаю, без переводчика тут даже могла бы быть рифма

Нечто абстрактное

Ввод: Близкое светлое будущее вернулось в 2011 году, и я

Вывод: Близкое светлое будущее вернулось в 2011 году, и я только сейчас начинаю приходить в норму. Я все еще пытаюсь вернуть это, вернуть твою жизнь в нормальное русло. Я все еще пытаюсь собрать все воедино.

Пейзаж + воспоминания об Снаружи...

Ввод: Бескрайняя равнина простиралась вдаль

Вывод: Бескрайняя равнина простиралась вдаль, трава мягко колыхалась на ветру. Солнце садилось, заливая пейзаж золотистым сиянием. Небо было полно красок: розовых, фиолетовых, оранжевых и голубых.

Метеорит падает на землю, но мы помним старые контексты

Ввод: Прекрасный кинематографичный метеорит падает на землю. Он падает

Вывод: Прекрасный кинематографический метеорит падает на землю. Он падает, оставляя после себя яркие, сияющие обломки. Светлое будущее — это ложь. Рев становится все громче. Будущее светлое, но путь долог. Я больше ничего не могу изменить в своей жизни.

Всё как и ожидалось — модель пытается выдать максимально депрессивный текст.

Подведение итогов

▍ Pros (+):

• Результаты получаются стабильнее, чем у модели от Сбера.
  
• Двусторонний перевод исправляет опечатки и грамматические ошибки.
  
• Модель не пытается зациклиться после каждого второго слова (и это даже без использования no_repeat_ngram!).
• Если вы внимательно читали статью, то заметили, что использовалась не просто LLama-13B, а LLama-13B-chat. Это решило одну из главных проблем отечественной модели, описанную в прошлой статье, а именно — уход от разметки диалога между персонажами к моноблоку из текста.
  
• Картиночки получаются яркие и стильные, однако не всё так идеально, как хотелось бы. Кстати, вы могли заметить, что в качестве negative_prompt для генерации арта используется EasyNegativeV2 (не путать с EasyNegative) эмбеддинги, так что их тоже желательно закинуть в блокнот с SD. Однако, как уже было сказано, даже они не всегда спасают от многопальцевости.
  

▍ Cons (-):

• Двусторонний перевод с потрохами выдаёт машинность текста. Его бывает банально неприятно читать. Из этого вытекает и следующий пункт.
  
• Русский язык выглядит менее богатым — прилагательных с красочным описанием всего и вся в моих контекстах явно не хватало. Возможно, нужно было сильнее напирать на изначальный промпт…
  
• Модель суммаризатор с большей вероятностью выжмет из текста факты и действия, чем описание внешности персонажа. Как следствие — результаты генерации изображения получаются не всегда удачными, однако сырой текст всё ещё хуже выжимки.
• Переводчик может незаметно совершать ошибки в уже написанном контексте. Например, персонаж с именем Rin иногда воспринимался yandex translate как He\His.

from sentence_transformers import SentenceTransformer, util
import torch

simm = SentenceTransformer('Sakil/sentence_similarity_semantic_search')

from transformers import pipeline
summarizer = pipeline("summarization", model="knkarthick/MEETING_SUMMARY")

from transformers import AutoTokenizer, pipeline, logging
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

model_name_or_path = "TheBloke/Llama-2-13B-chat-GPTQ"

use_triton = False

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

model = AutoGPTQForCausalLM.from_quantized(model_name_or_path,
        model_basename="model",
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=use_triton,
        quantize_config=None)
gpt = pipeline("text-generation",
              model=model,
              tokenizer=tokenizer,
              torch_dtype=torch.float16,
              )
from yandexfreetranslate import YandexFreeTranslate
yt = YandexFreeTranslate(api='ios')
def ru(txt):
  return yt.translate("en", "ru", txt)
def ruprint(txt):
  print(ru(txt))
def en(txt):
  return yt.translate("ru", "en", txt)
blocks=[]
def save(txt):
  chunks=[txt[i:i+1000] for i in range(0, len(txt), 1000)]
  blocks.append("\n".join([summarizer(i, truncation=True)[0]['summary_text'] for i in chunks]))
def findbest(contx,n):
  if len(blocks)==0: return []
  contx=simm.encode(contx)
  embeddings = simm.encode(blocks)
  cos_sim = util.cos_sim(embeddings, contx)
  sentence_combinations=[]
  for j in range(len(cos_sim)):
      sentence_combinations.append([cos_sim[j], blocks[j]])

  sentence_combinations = sorted(sentence_combinations, key=lambda x: x[0], reverse=True)
  return list(zip(*sentence_combinations[:n]))[1]
def generate(context,remember=3):
  intro="\n".join(findbest(context,remember))+"\n"
  text=intro+context
  return gpt(text,max_new_tokens=10,do_sample=True,top_p=0.9,temperature=0.1)[0]["generated_text"][len(intro):]
def new(context,remember=3):
  cur=generate(context,remember=3)
  c=0
  while len(cur.split(".")) <= len(context.split(".")) and c<=10:
    c+=1
    print(cur)
    cur=generate(cur,remember=3)
  #print(cur)
  cur=cur.split(".")[:-1]
  for i in range(len(cur)):
    cur[i]=cur[i]
  return ".".join(cur)+"."
import requests
def draw(txt,hr=False):
  txt=summarizer(txt, truncation=True)[0]['summary_text']
  payload={
    "enable_hr": hr,
    "denoising_strength": 0.5,
    "firstphase_width": 0,
    "firstphase_height": 0,
    "hr_scale": 2,
    "hr_upscaler": "R-ESRGAN 4x+ Anime6B",
    "seed": 123,
    "subseed": -1,
    "subseed_strength": 0,
    "seed_resize_from_h": -1,
    "seed_resize_from_w": -1,

    "steps": 20,
    "cfg_scale": 7,
    "width": 512,
    "height": 768,

    "prompt": txt,
    "negative_prompt": "EasyNegativeV2",


    "sampler_index": "Euler a"
  }

  response = requests.post(url=f'https://president-programme-early-teams.trycloudflare.com/sdapi/v1/txt2img', json=payload)
  b64=response.json()['images'][0].split(",",1)[0]
  return f"![Hello](data:image/png;base64,{b64})"
import gradio as gr
def complete_with_gpt(text):
    #print(text)
    text=en(text)
    #print(text)
    text=new(text,remember=3)
    #print(text)
    text=ru(text)
    return text

with gr.Blocks() as demo:
    gr.Markdown("# Ever novel")
    textbox = gr.Textbox(placeholder="Верни контекст на место!", value="prompt")
    with gr.Row():
      nxt = gr.Button("Далее")
      chkpnt = gr.Button("Checkpoint")
      previsual = gr.Button("Пре-рендер")
      visual = gr.Button("Rендер")
    gr.Markdown("---")
    IM=gr.Markdown("---")
    gr.Markdown("---")
    with gr.Row():
      #K=gr.Number(label="top_K",value=cfg["K"],minimum=1)
      #P=gr.Number(label="top_P",value=cfg["P"],minimum=0,maximum=1)
      memview=gr.Button(value="Memory View")
      T=gr.Number(label="Temperature",value=0.1,minimum=0)
      #U=gr.Number(label="Unique ngram len",value=cfg["uningram"],minimum=0)
      APPLY=gr.Button(value="Apply Temperature")
      serv = gr.Textbox(placeholder="auto1111 server url")
    gr.Markdown("## DB")
    dbg = gr.Textbox(placeholder="No debug output!")

    memview.click(fn=lambda: blocks, outputs=dbg)
    chkpnt.click(fn=lambda txt: save(en(txt)), inputs=textbox)
    previsual.click(fn=lambda txt: draw(en(txt)), inputs=textbox,outputs=IM)
    visual.click(fn=lambda txt: draw(en(txt),True), inputs=textbox,outputs=IM)
    APPLY.click(fn=lambda x: x,inputs=T)
    nxt.click(fn=complete_with_gpt, inputs=textbox, outputs=textbox, queue=False)

demo.launch(debug=True)

Заключение

VPS and VPSChan by Counterfeit ❤️

Telegram-канал с розыгрышами призов, новостями IT и постами о ретроиграх ????️