Один из результатов работы дообученной нейросети
Один из результатов работы дообученной нейросети

Всем привет! В жизни каждого мужчины наступает момент когда он хочет купить Ниву. Вот в 33 года и мне захотелось приобрести данный автомобиль. А пока я копил деньги на долгожданную покупку, захотелось какого нибудь мерча с Нивой. Быстрый поиск по популярным маркетплейсам не дал результатов, которые бы порадовали моего внутренного эстета.

Было решено сгенерировать изображения с помощью нейросети. Опробовал Dall‑E и Midjorney, Flux — все не то, нейросети никогда не видели нашей отечественной Нивы, получались жалкие пародии, больше похожие на короткий Land Rover или Toyota. Пример того что выдавали нейросети разместил ниже.

Похоже на Ниву, но наметанный глаз заметит что пропорции немного не те...
Похоже на Ниву, но наметанный глаз заметит что пропорции немного не те...

Подумав что я же инженер, решил дообучить Flux на открытых фотографиях Нивы из интернета.

Обучение

Обучение оказалось до неприличного простым. Я использовал сервис replicate.com для запуска и обучения Flux. У них есть прекрасный туториал на английском как дообучать Flux. Опишу тут кратко на русском для тех кому лень читать.

  1. Подбираем картинки для обучения. Примерно 10–20 изображений в высоком качестве

  2. (Опционально) Для каждого изображения пишем текстовое описание и сохраняем его в файл с тем же именем, но расширением (.txt)

  3. Складываем все в zip архив и загружаем в сервис replicate

  4. Ждем 20–30 минут пока нейросеть дообучится

  5. Генерируем изображения использую триггер слово (в моем случае NIVA)

Результаты

Я был удивлен что примерно за 20 минут нейросеть дообучилась и начала выдавать красивые изображения Нивы. Помню раньше требовалось намного больше усилий — развертывание модели у себя на компьютере, борьба с разными версиями библиотек...

Постер с Нивой от дообученной нейросети
Постер с Нивой от дообученной нейросети

Для генерации изображений я использовал следующий промпт:

Imagine a sleek and modern t-shirt design featuring a powerful NIVA as the central element. NIVA should be depicted in a dynamic and adventurous pose, capturing the essence of freedom and exploration. Consider incorporating elements like rugged terrain or a scenic background to enhance the outdoor theme. The color palette should be bold and vibrant, reflecting the spirit of adventure. Aim for a design that is both stylish and eye-catching, appealing to NIVA enthusiasts and adventure.

В процессе поиска идеального постера для футболки сгенерировал примерно 20–30 изображений. Стоимость обучения и генерации составила примерно $5.

Спасибо что дочитали до конца! Буду рад вашим комментариям.

Еще один постер с Нивой - для тех кто дочитал до конца
Еще один постер с Нивой — для тех кто дочитал до конца

Комментарии (8)


  1. jarkevithwlad
    24.10.2024 07:24

    Flux pro 1.1

    да на ниву не похоже, если кто хочет бесплатно получить доступ к flux pro 1.1 , то тут регистрируемся и получаем апи ключ, а тут его вводим и используем, рекомендую выставлять 1024х1024, бесплатного баланса хватает на 12 изображений, но сервис пропускает некоторые временные почты


    1. sochix Автор
      24.10.2024 07:24

      Я как раз таки использовал flux.pro 1.1 для дообучения.


      1. jarkevithwlad
        24.10.2024 07:24

        huggingface вроде как эту модель нужно использовать для локального обучения лор для флюкса


  1. Uril
    24.10.2024 07:24

    Я ожидал увидеть обучение Лора модели, а получил туториал на 5 скомканных пунктов про платное использование стороннего сервиса. Сомнительно.


    1. sochix Автор
      24.10.2024 07:24

      Жаль что не оправдал ваши ожидания. Цель была сделать постеры как можно более простым способом, получив 80% результата за 20% времени. Буду рад прочитать вашу статью про обучение модели с помощью LoRA.


  1. juniorcoder
    24.10.2024 07:24

    Круто!


    1. sochix Автор
      24.10.2024 07:24

      Спасибо!


  1. sdelaypausu
    24.10.2024 07:24

    Блин, я не мужчина - мне в 33 года не хотелось Нивы...