Скрестив 3 различных нейросети - провел небольшой эксперимент по поводу движения информации внутри цепочки нейрогенераторов.

Привет!

А что если взять 3 разные нейросети и проверить, насколько они "поймут" друг друга в режиме игры "Глухой телефон"?

Беспокойная голова нашла себе новое беспокойство, и я приступил.

План работ эксперимента. Тут надо вчитаться:

1. Даем задачу «текстовой» Нейросети-1 придумать Промт-1 на определенную тему.

2. Полученный Промт-1 отдаем "картиночной" Нейросети-2 (генерация изображений по промту, соответственно) – получаем Изображение-1.

3. Полученное Изображение-1 загружаем уже в Нейросеть-3, которая распознает содержимое данной картинки, и возвращает текстовый Промт-2.

4. И вот тут самое главное и интересное! Полученный Промт-2 отдаем опять в Нейросеть-2, генерируя Изображение-2.

Цель эксперимента: проверить, насколько Изображение-1 совпадет по своему содержимому с Изображением-2? Насколько задача человека в п.1 будет верно, без искажений, реализована в виде Изображения-2, пройдя цепочку нейрогенераторов?

Использованные инструменты\сервисы:

Нейросеть-1: чат-бот на "движке" ChatGPT-4 OpenAI, сервис МашаGPT – https://mashagpt.ru , мне удобно из РФ – без VPN и иностранных симок, оплата с любой ру-карты, пользую последние 2 месяца.

Нейросеть-2: легендарная и фотореалистичная нейросетка Midjorney – https://www.midjourney.com, через традиционный бот в Дискорде (заюзал акк знакомого).

Нейросеть-3: "реверсивная" картиночная нейросеть - распознает содержимое картинки и возвращает текстовый промт. Бесплатная, найдена в Сети по рекомендациям: Clip Interrogator-2: https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2

Начинаем! Будет 3 попытки.

Попытка №1

Задание для GPT-4. Классика офисной жизни:

Забираем промт, вводим в Midjorney. Получаем 4 картинки:

Выбираю, вырезаю одну картинку:

отдаю в следующую нейросеть для распознания содержимого изображения:

Забираем полученный промт, отдаем задачу с этим промтом опять в Midjorney:

Ну что ж... Вот вообще неплохо! Да, поменялся ракурс. Да, от устройства на столе в стиле "Макбук" ничего не осталось. Где-то восход, а где-то и закат. Но ведь смысл содержимого остался! Офис и мебель, окно, вид на город. Достаточно четко. "4 с минусом", итоговая субъективная оценка.

Поехали дальше. Попытка №2

Даю задание GPT-4 – придумай-ка что-то нечто про природу. И пусть будет гриб:

Промт – отдаем в MJ, получаем 4 картинки (хм, а где шампиньон?)) ):

Выбираю 3-ю по счету, где четко 1 гриб:

Распознаем обратно в текст, что там нам сгенерил MJ?

И отдаем полученный промт обратно в MJ:

Нуууу... Опять почти в десятку! Да, гриб поменял цвет, на исходном изображении цвет гриба другой (зеленые оттенки), а на конечном – в основном коричневая палитра цветов у грибов.

Но смысл изображения не поменялся – лес, грибок, солнышко. Размытый задний фон, кстати – тоже на месте. А так как всё по смыслу сохранилось, то это отлично, твердая "4+"!

Попытка №3

А тут я задумался – первые 2 задания были эдакие материальные, про предметы, окружающую обстановку и т.п. А если задать ещё и эмоции, или что-то про чувства? Это ведь бездушные нейросети не поймут «между собой», в цепочке генераций потеряют интент, запутаются же?! Поехали!

GPT-4 – давай-ка про любовь! )

Midjorney – достойно генерит "то, что нужно".

Выбираю изображение №1, тут все органично, как по мне:

Распознавалка картинки что-то там пишет – распознала, забираю промт:

И тут я подумал – "Всё! Сейчас в ответной генерации будет что угодно, но не влюбленные у моря-океана – а будет 2 столба, два пловца, и т.п.". Про чувства и любовь вообще не рассчитывал что-то увидеть, и...! Ничоси!

Сохранено и соблюдено – практически всё! Картинка №4 – вообще попадание "в десятку!". Да, чуть крупнее передний план стал. Ребята местами поменялись, но это всё достаточно незначимые детали.

Неспокойное море. Парень и девушка. Платье развивается на ветру. Чувства? Есть! И они те же – они про любовь!

И даже палитра колористики осталась практически без изменений! Как так!?! Легкий шок...

Коротко говоря, на этом результате генерации я так опешил, что первые секунд 5 лицо моё было примерно вот таким:

Итого. Эмоции долой, делаем выводы.

А глобальный вывод один, и он достаточно простой – генеративные нейросети, работающие, по сути, на разных технологиях и имеющие разный функционал – все-таки достаточно четко и детально могут передавать между собой информацию. Даже зацикливая исходную информацию – на выходе контекст мы не особо-то и потеряли. Практически не потеряли. И это круто!

Эпилог

Эксперимент вышел слегка спонтанный, всё произошло внезапно – от мысли и идеи, до получения результатов.

Появилось понимание некоторых моментов – нейросети "понятливые", они достаточно могут легко взаимодействовать между собой, а еще точнее – нейросети достаточно легко объединять в более сложные по функционалу, скажем так, «сообщества». И уже на таких, гибридных продуктах – можно производить многие вещи, что так или иначе будет контентом и информацией, само собой.

Если смотреть на всю цепочку движения информации, то начинается, на минутку, всё с человека, который просит придумать промт для генерации изображения. И этот "мысленный" контент, пройдя даже такой замысловатый нейропуть, дает отличный, валидный и релевантный конечный результат.

Элементарно, тоже быстромысль – для веб-маркетинга или некоего SEO можно отбирать топовый контент (некие статьи, тексты с изображениями), и отдавать в работу такой связке нейросетей, чтобы произвести подобный контент же – по сути интересный и полезный, раз он топовый. И тут фишка не в том, что контент такой можно сгенерировать в новом виде (это же не новость - сгенерировать можно), а фишка в том, что все эти процессы можно сильно автоматизировать.

И так далее. Идей много.

Надеюсь, было хоть сколько-то познавательно, ибо для меня сий эксперимент действительно был интересен, с достаточно неожиданными (если не сказать изумительными) результатами.

Выслушаю любые мысли и предложения, конструктивные, по поводу всего этого. Пишу тут впервые, тапками и нейросетями прошу сильно не кидаться :-)

Успехов!