Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи.
Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле.
В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.
Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.
Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу.
Результаты “стандартной” модели (промпты под картинкой):
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/7cc/1f9/5b7/7cc1f95b793dcefc0ffe65918b92c0f8.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/ce2/042/988/ce2042988cb7c6ba224383b111848f42.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/b14/c6c/9ae/b14c6c9ae26f5738fb3729f75f260352.png)
Теперь о некоторых интересных моделях которые есть сейчас.
Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):
Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend
Токен: arcane style
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/a74/5aa/cd2/a745aacd27c075497dceefa8b3a09c81.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/1b6/0a8/2fe/1b60a82fe6096c1247c111166e8b91bd.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/5fd/96c/059/5fd96c0596f65e20543aef2b205d8b2b.png)
DarkSoulsDiffusion – натренирована на артах из серии игр Dark Souls
Токен: DarkSouls Style
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/01d/0f7/e18/01d0f7e186941ee60ca583c43aeaf29d.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/09a/6c6/70f/09a6c670f679a3172b95af91fea70c9f.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/d1b/41b/968/d1b41b9685ab07f9f9e65a4a19412f8f.png)
mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея
Токен: modern disney style
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/d32/aa9/c46/d32aa9c46aefe8653aac53b279f32cc0.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/a30/67e/efa/a3067eefa9441b2b18f0ef892217cc7a.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/f94/edb/bdc/f94edbbdc395439def10f1b25254bff2.png)
redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift
Токен: redshift style
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/0f0/2a9/863/0f02a9863992103f393177bf63940055.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/014/2a2/c70/0142a2c706bac986903fcbd23608b41b.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/345/599/c1d/345599c1d894e03f831e9a2ac08a39b3.png)
Tron-Legacy-diffusion – модель на кадрах из фильма “Трон: Наследие”
Токен: trnlgcy
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/c29/f41/ef6/c29f41ef62834bc8b9ef9b682e05685e.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/c93/7f3/50f/c937f350fbc665a80a2e252bfa36426c.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/3da/1e5/866/3da1e58668040ee5fab913dfeb40a200.png)
Van-Gogh-diffusion – на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”
Токен: lvngvncnt
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/4d5/84f/47c/4d584f47c2983a90bc081a2f65cd0c01.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/d6a/8e9/886/d6a8e988619737172014fc8e496e0f25.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/8d7/666/b8b/8d7666b8bf0da799247ba88c642df552.png)
beksinski-style-stable-diffusion – картины польского художника сюрреалиста Здислава Бексински
Токен: beksinski style
![oil painting of a beautiful young woman oil painting of a beautiful young woman](https://habrastorage.org/getpro/habr/upload_files/6ec/d70/251/6ecd70251a1336f316b754e9a18f2d04.png)
![photo of a little blue cat in the woods photo of a little blue cat in the woods](https://habrastorage.org/getpro/habr/upload_files/79f/1b9/725/79f1b9725bc2c165c503dfeed3cd7622.png)
![photo of elon musk in red hat photo of elon musk in red hat](https://habrastorage.org/getpro/habr/upload_files/940/aa9/35e/940aa935eb0e4e79bb1e04e67b8be8ed.png)
Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д.
Как добавить новые модели и начать работу?
Упрощенно, модель - это файл с расширением .ckpt и весом в несколько гигабайт.
По умолчанию вы работаете со стандартной моделью
Чтобы установить новую модель:
перейдите по ссылке
скачайте файл с расширением .ckpt
поместите скачанный файл в папку model
Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель.
Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.
Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.
Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.
netsvetaev
Спасибо за пост и продвижение Stable Diffusion. А я вчера накатал пост о том, как сделать свою модель быстро и бесплатно https://habr.com/en/post/698998/