Теперь мы можем использовать одно изображение для создания портретов или редактирования изображений менее чем за пять секунд за 0,04 доллара США, и все это с вау-эффектом на выходе?
Black Forest Labs выводит редактирование изображений с помощью ИИ на новый уровень, представив Flux Kontext.
У меня возникло несколько вопросов. Вот некоторые из них:
Как он по сравнению с GPT-Image-1 от OpenAI?
Это конец Photoshop?
И достигли ли мы, наконец, того момента, когда можно будет пропустить весь процесс тонкой настройки, чтобы получить стабильные портреты?
Давайте разберемся и попытаемся ответить на эти вопросы.
Что такое Flux Kontext?
Flux Kontext - это набор генеративных моделей сопоставления потоков, позволяющих генерировать и редактировать изображения. В отличие от существующих моделей преобразования текста в изображения, семейство Flux Kontext генерирует изображения в контексте, позволяя вам использовать как текстовый промпт, так и референсное изображение, а также извлекать и изменять визуальные объекты для получения новых, согласованных результатов.
Например, на простом изображении мужчины с букетом засушенных цветов вы можете сделать из них свежий букет роз, просто описав необходимые изменения.
Промпт: change the orange flowers to a bouquet of roses
И вот, вы получаете совершенно новое изображение с розами, не требующее дополнительной работы.
Разве это не потрясающе? Эффект наложения красок очень плавный, вы даже не сможете понять, что это обработанное изображение. Даже при увеличении масштаба вы не заметите никаких странных артефактов или явных признаков ИИ-редактирования.
Существует три модели, две из которых доступны прямо сейчас, а вторая находится в стадии закрытого бета-тестирования:
Flux Kontext Pro. Первая модель, основанная на предыдущих редакциях, при этом персонажи, личности, стили и особенности остаются неизменными во всех сценах.
Flux Kontext Max. Максимальная производительность на высокой скорости - улучшенное соблюдение промптов, типографика и согласованность премиум-класса
Flux Kontext Dev ( доступна в закрытом бета-тестировании). Легкий диффузионный трансформатор 12B, подходящий для настройки и совместимый с предыдущим кодом для наложения Flux 1.0 Dev
На диаграмме ниже - высокоуровневый обзор Flux Kontext, слева - исходное и контекстное изображение.
Я не буду вдаваться в подробности того, как работает Flux Kontext. Вы можете узнать о технических деталях в третьем разделе этого отчета.
Ключевые особенности Flux Kontext
В новой модели реализованы самые высокие результаты генерации изображений: четкое следование промптам, фотореалистичный рендеринг и достойная типографика. И это все со скоростью генерации до 8 раз выше, чем у текущих ведущих моделях, например, GPT-Image-1 от OpenAI.
Помимо обычных возможностей преобразования текста в изображение, Flux Kontext может изменять исходное изображение с помощью простых текстовых инструкций без необходимости тонкой настройки или сложных рабочих процессов редактирования.
Вот основные возможности набора моделей Flux Kontext:
Согласованность персонажей. Сохранение элементов в разных сценах
Локальное редактирование. Работайте с конкретными частями, не затрагивая остальные
Ссылка на стиль. Создавайте новые сюжеты с использованием существующих стилей
Итерация с минимальной задержкой
Он также позволяет последовательно добавлять дополнительные инструкции и опираться на предыдущие правки, совершенствуя свое изображение шаг за шагом с минимальной задержкой, сохраняя при этом качество изображения и согласованность персонажей.
Производительность Flux Kontext
Для оценки новой модели компания BFL провела обширный анализ производительности. Они использовали KontextBench, бенчмарк для генерации текста в изображение и изображения в изображение из реальных примеров использования, собранных людьми.
Бенчмарк включает в себя 1026 уникальных пар «изображение - промпт», полученных из 108 базовых изображений, включая личные фотографии, произведения искусства с лицензией CC, изображения, являющиеся общественным достоянием, и контент, созданный искусственным интеллектом.
Он включает в себя пять основных задач:
Редактирование локальных инструкций (416 примеров)
Редактирование глобальных инструкций (262 примера)
Редактирование текста (92 примера)
Ссылка на стиль (63 примера)
Ссылка на персонажа (193 примера)
Вот результаты медианной задержки вывода (в секундах) для генерации 1024 × 1024 для всех моделей (меньше - лучше).
Мы видим, что все три модели Flux показали лучшие результаты, чем некоторые из самых популярных моделей изображений, например, новейшая Imagen 4 от Google и GPT-Image-1 от OpenAI.
Если говорить об image-to-image, то две модели, Flux Kontext Pro и Flux Kontext Max, показали лучшие результаты, а Flux Kontext Dev превзошла Gemini Flash.
С точки зрения эстетики, следования промптам, шрифтов и реализма Flux Kontext показал не лучшие результаты, но все же составила достойную конкуренцию.
Подробнее о технических характеристиках вы можете прочитать в разделе 4 данного технического описания.
Примеры изображений
Посмотрите на примеры портретов, сделанных с помощью Replicate. Объект съемки может находиться под разными углами, иметь едва уловимые выражения и при этом каждый раз выглядеть как один и тот же человек. Такого уровня согласованности трудно достичь даже при тонкой настройке других моделей.
Другой пример - возможность Flux Kontext изменять одежду персонажа, цвет волос, выражение лица, окружающую обстановку и даже добавлять предметы одежды, которые органично сочетаются с оригинальным изображением.
Если вы хотите полностью превратить предметы в нечто другое, это тоже возможно. Вот пример изображения, где люди превращены в деревянных кукол.
Промпт: make them into wooden dolls
Только посмотрите, как похожа одежда; цвет кожи также был воспроизведен на деревянных куклах. Я могу представить, что это будет трендовым ИИ-эффектом в социальных сетях.
Возможности редактирования текста также очень впечатляют. Модель понимает стиль шрифта, цвета, даже искажение текста и кляксы по бокам.
Промпт: replace “joy” by “BFL”
Еще один классный вариант использования Flux Kontext - передача стиля. Вы можете просто попросить ИИ взять стиль изображения стакана слева и использовать его для создания других других вариантов изображений.
Промпт: Using this style, Psychedelic bioluminescent daguerreotype, a spiral of vintage cameras captures its own collapse, each flash freeze-framing a different timeline
Очень круто, правда? Возможности этой новой технологии безграничны. Она гибкая, результаты получаются стабильными, это быстро и к тому же очень дешево.
Как получить доступ к Flux Kontext
Вам не нужно ждать, чтобы попробовать это. Flux Kontext уже поддерживается на основных платформах для работы с изображениями, таких как Leonardo AI, Freepik и Krea AI.
Если у вас нет подписки на эти платформы, попробуйте его на официальной игровой площадке Black Forest Labs. Flux Playground - это упрощенный интерфейс для тестирования самых новых моделей FLUX без технической интеграции.
При регистрации вы получаете 200 бесплатных кредитов, которых должно быть достаточно, чтобы попробовать и поэкспериментировать с новой моделью.
Если вы являетесь разработчиком, доступ к API также теперь доступен на Fal AI и Replicate. На Fal AI каждая генерация стоит всего 0,04 доллара за изображение.
Они даже дают бесплатный купон номиналом 10 долларов, так что не забудьте воспользоваться им, пока он еще доступен.
Помимо Fal и Replicate, BFL также сотрудничает с несколькими другими поставщиками API-услуг, такими как Runware, DataCrunch, TogetherAI и HuggingFace.
У Flux Kontext есть открытые веса
Не стоит забывать, что, в отличие от OpenAI или Google, BFL намерена опубликовать весовые коэффициенты своих моделей для генерации изображений.
Мы глубоко убеждены, что открытые исследования и совместное использование весов являются основополагающими для безопасных технологических инноваций. Мы разработали вариант с открытым весом, FLUX.1 Kontext [dev] - легкий диффузионный трансформатор 12B, подходящий для настройки и совместимый с предыдущим кодом FLUX.1 [dev].
Весовые модели для Flux Kontext Dev пока недоступны для загрузки в HuggingFace. BFL также отметила их как «скоро появятся» на своей официальной странице анонсов, так что следите за обновлениями.
Релиз Flux Kontext действительно порадовал меня. Модели изображений становятся все лучше и лучше. От Imagen 4, до GPT-Image-1, а теперь и Flux Kontext.
BFL молчала несколько месяцев, но ожидание стоило того из-за появления этих новых моделей. Они мощные и очень интересные в использовании.
GPT-Image-1 от ChatGPT теоретически обладает той же функцией, но иногда он слишком сильно меняет изображение. Flux Kontext фактически сохраняет оригинал во время редактирования. Это, пожалуй, самое большое преимущество новых моделей.
Imagen 4 от Google был многообещающим, но на самом деле не принес ничего нового. Сейчас кажется, что OpenAI и BFL занимают лидирующие позиции в области генерации изображений с помощью ИИ. Для меня модели от BFL имеют больше преимуществ - они дешевле, и тот факт, что они появляются с открытыми весами, - это большое преимущество. Я ожидаю, что очень скоро появится множество новых инструментов и доработанных вариаций, основанных на модели Dev.
Сейчас интересное время, но и немного пугающее. Такой мощный инструмент можно легко использовать не по назначению. Я очень надеюсь, что люди будут использовать его ответственно.
В любом случае, что вы думаете о Flux Kontext? Лучше ли он, чем GPT-Image-1 или Imagen 4? Напишите ваши мысли в комментариях.
Друзья, буду рад, если вы подпишетесь на мой телеграм-канал про нейросети, чтобы не пропускать анонсы статей, и на канал с гайдами и советами по работе с нейросетями - я стараюсь делиться только полезной информацией.