Традиционное Hola — Привет Хабр! На основе 2-х лет работы с нейросетью Jasper AI + Jasper Art, решил сравнить эту нейронку с ChatGPT 4 при написании статей. Начиная с 2021, я дважды покупал годовую подписку на Jasper, ведь на то время это был действительно интересный, если не лучший AI‑сервис для создания контента. И вот, через месяц придет время годового продления, но в этот раз «Пожалуй, нет». Причина как в довольно дорогой подписке, $79 в месяц за Jasper, так и в том прогрессе, которое показывает модель GPT 4, на которую я во многом перешел.

Чтобы статья выглядела объективной по отношению к Jasper, а ChatGPT 4 в представлении не нуждается, я решил выполнить одну и ту же задачу по написанию статьи c помощью Jasper AI + Jasper Art и сервиса BotHub. Он представляет фронтенд‑доступ к аналогичной по функциональности паре в лице ChatGPT 4 + Midjourney. Результат представляю на ваше суждение. И да, это не «двойное слепое рандомизированное исследование», а скорее мой взгляд как автора.

Про инструментарий доступа к сервисам

Как уже упомянул, на Jasper AI + Jasper Art у меня дважды была годовая подписка, — а по факту более длительная из‑за бонусных месяцев, — еще с тех времен, когда доллар стоил 60–70 рублей, и зарубежные сервисы можно было оплатить российскими картами. Сервис и сейчас лояльно относится к российскому IP‑адресу и включать VPN не требуется (тут плюсик в сравнении с доступом к ChatGPT).

Для доступа к ChatGPT 4 в Рунете есть разные сервисы, на Хабре их уже не раз обозревали — например, здесь и здесь. Теперь почему BotHub? Мне в свое время попалась информация, что основателем является Владислав Мартынов (кстати, недавно была статья на Хабре с его интервью), а это определенный знак качества и некоторая гарантия, что продукт будет развиваться. А так, конечно, выбор есть, и фронтенд‑сервисы по доступу к разным нейросетям с оплатой в рублях имеются.

При этом надо понимать, что все фронтенд‑сервисы основаны на API, а новые функции та же OpenAI отдает в API не сразу. Например, новая функция «Browse with Bing» в ChatGPt на момент написания статьи была доступна только на сайте самой OpenAI.

Исходные данные для тестирования нейросетей

Тестирование я решил провести на реальной задаче, которая ко мне поступила — подготовить статью про Agile‑подход к разработке заказного ПО в компании SSP SOFT^{_{[ссылка удалена модератором]}}. К задаче прилагался черновик технического директора Андрея Анохина на примерно 700 слов о том, как в компании применяют Agile для проектов с фиксированной ценой (ценой для заказчика). Также были комментарии — что, собственно, в статье хотелось бы увидеть заказчику. Кроме текста, предполагалось сгенерить как минимум одну ИИ‑иллюстрацию в качестве заглавной картинки к статье.

Окей, Agile — это хорошая тема, чтобы попробовать сравнить разные AI‑сервисы. Про Agile в ИТ‑разработке не писал только ленивый, и даже я отметился статьей на Хабре о своей работе в Microsoft Ireland над разными Виндами (Как я работал в Agile‑команде Microsoft в 1998 году, когда термин Аджайл еще только пытались придумать). Так что нейросети должны быть хорошо натренированы по этой теме.

Прежде чем пойти по этапам работы над статьей с конкурирующими инструментами, я объясню некоторые различия между Jasper AI и ChatGPT. Про генеративную модель ChatGPT написано много, а вот модель Jasper AI — более закрытая тема. Хотя источники говорят о базовой модели искусственного интеллекта GPT-3 в основе Jasper AI, твиты от представителей этой компании утверждают, что хотя это так, но сервис имеет и свою языковую модель, а также может переключаться между разными другими моделями (используя API), включая ChatGPT 4, в зависимости от запроса пользователя. «Забавно, если они выдадут одинаковый текст», — подумал я, — «но посмотрим, как это будет на самом деле».

Есть некоторые ключевые различия в том, как сервисы Jasper AI и ChatGPT были обучены, для использования под разный тип запросов. Проще говоря, ChatGPT — это генеративная модель общего назначения, которая может использоваться для самых разных задач. Jasper AI был разработан специально для работы с коммерческим контентом. 

Расскажу немного об UI в Jasper AI, т.к. с интерфейсом ChatGPT на Хабре знакомы почти что если не все. Когда попадаешь в интерфейс Jasper AI, глаза разбегаются от числа шаблонов для создания текстов под практически любые задачи коммерческого писателя. Есть шаблон для создания привлекательного заголовка, оглавления, вступления и заключения к статье, можно генерировать тексты в специфических форматах (карточки товаров, коммерческие предложения). Кроме того, Jasper AI предлагает шаблоны для создания постов в блоги и для социальных сетей, оптимизированные под формат конкретных площадок (Линкедин, Фейсбук, YouTube, Твиттер). 

У Jasper также есть собственная версия чата под названием Jasper Chat для создания контента, ориентированного для задач бизнеса. По аналогии с ChatGPT, чат в Jasper можно использовать для написания коротких сценариев, небольших статей, генерации раздела FAQ (Частые вопросы и ответы) и даже написания кода. 

Честно говоря, чат Jasper Chat я последнее время использовал чаще шаблонов, т.к. специализированные шаблоны требуют заполнения специальных форм с набором полей, что при частом использовании делать несколько лень, а результат выдачи практически идентичен (что в чате, что через шаблоны).

Итак, приступим

Заранее прошу прощения — этот раздел будет длинным и с простынями скриншотов.

Поскольку у меня уже был небольшой черновик от заказчика, я решил развить его с помощью нейросетей и затем сравнивать на каждом шаге. Но здесь утомлять читателя полным сравнением не буду, —для статьи я взял только 3 шага, один из которых рандомный. Пусть это будут – рекомендованная структура статьи (оглавление по разделам), введение и один из разделов внутри статьи.

Первый (предварительный) запрос был про длину текста в символах, который можно вставить в чаты Jasper AI и ChatGPT. Это мне было нужно для анализа имеющегося черновика. Ответ был идентичный — в обоих чатах максимальная длина текста в одном запросе — 2048 символов. 

Счет 1:1 для Jasper : ChatGPT. Отмечу, что 2048 символов в ChatGPT — это, скорее всего, ограничение интерфейса BotHub для доступа к ChatGPT 4, тут просто принимаю как есть. Гугл говорит, что в стандартном интерфейсе ChatGPT 4 имеет ограничение в 4096 символов.

Далее я составил запрос на подробное оглавление статьи, включающее примеры для иллюстрации Agile в компании заказчика, SSP SOFT. Оба чата хорошо справились с этим заданием, составив подробное оглавление. На мой взгляд, Jasper AI сделал это лучше с точки зрения удобства для писателя, красиво разбив оглавление на разделы и присвоив заголовки H1, H2. Что интересно, Jasper AI отдельными пунктами выделил разделы, в которых будут уместны примеры, показывающие практики Agile в этой компании.

ChatGPT составил примерно такое же по качеству оглавление. Это не удивительно, так как повторюсь — тема подробно представлена в интернете и нейросети должны быть на нее хорошо натренированы. Ввиду того, что выдача ChatGPT производится в формате plain text, а не в html-верстке как у Jasper AI, оглавление выглядит сплошным полотном, что менее удобно. Кроме того, ChatGPT зачем-то предложил дать примеры практики Agile во всех разделах. На мой взгляд, это излишне.

Счет 2:1 для Jasper : ChatGPT, хотя выигрыш Jasper AI тут довольно условный. Добавил балл за удобное оформление и более разумное число примеров.

Идем дальше и на следующем шаге я запросил составить текст раздела «Введение», которое бы акцентировалось на том моменте, что практики Agile помогают сокращать издержки в компаниях, занимающихся заказным программированием. 

Результат представлен на скриншоте ниже, и здесь мне больше понравился первый параграф у Jasper AI, а второй — у ChatGPT.

Поясню свою позицию по оценке результата выдачи: в первом параграфе Jasper AI смог одновременно дать определение термину Agile и тут же детализировал, что это особенно популярно в сфере заказной разработки ПО.  Пожалуй, такой параграф можно отправить в статью практически без переделки. Тот же первый параграф у ChatGPT выглядит более «водянистым», и «уши ИИ» тут торчат более явно. 

Второй параграф Введения, на мой взгляд, не имеет явного победителя. Хотя версия от ChatGPT мне кажется предпочтительной, т.к. тут четко перечислены основные составляющие Agile подхода, помогающие снизить стоимость разработки при фиксированном бюджете. Пожалуй, для статьи этот параграф напишу самостоятельно, соединив и обработав оба варианта.

По разделу Введения будет скорее ничья, общий счет Jasper : ChatGPT становится 3:2.

Еще одно задание для сравнения — написать раздел из середины статьи. Не буду ходить далеко, пусть это будет первый раздел про ресурсное планирование. Запрос будет выглядеть так: «Напиши раздел статьи, подробнее раскрыв тему ресурсного планирования в Agile при разработке ПО, которое помогает удержать цену проекта в рамках бюджета и более динамично управлять составом команд разработчиков. 

План разделов такой: 

1.Объяснение концепции ресурсного планирования в Agile на 2000 символов.

2. Примеры того, как компания использует ресурсное планирование для снижения стоимости разработки на 2000 символов».

Теперь можно оценить более объемную выдачу, ориентируясь на качество и размер текста. Обе нейронки вернули довольно связный текст, который читается без особого напряжения. Объем текста оказался больше у ChatGPT. Кстати, в этом месте мне не очень понятно, почему обе нейронки не соблюли заказанный объем текста в 2000+2000 символов, — видимо посчитали свои ответы исчерпывающими на меньшем числе знаков.

Если отталкиваться от смысла текста в выдаче, контент и от Jasper AI, и от ChatGPT опять выглядит компромиссным. У каждой нейронки какой-то из параграфов дает как более точный ответ на запрос, а какой-то другой более «водянист». Jasper AI неплохо дал определение ресурсного планирования как планирование состава команд, навыков и времени. ChatGPT отметил не только учет ресурсов, но и разделение этапа проекта на небольшие, управляемые задачи (спринты). 

Хотя оба варианта выдачи не идеальны, но из ответа ChatGPT мне как автору можно взять больше текста в статью. Тут подчеркну, что моя оценка выдачи субъективна, и кто-то из читателей Хабра может посчитать иначе. Итак, преимущество ChatGPT минимально, а счет Jasper : ChatGPT становится 3:3.

Про дальнейшее сравнение выдачи по всем разделам статьи скажу, что картина состязания осталась прежней, какие-то параграфы в выдаче были удачнее у Jasper AI, а какие-то у ChatGPT 4.

Итог по текстовой части таков: сравнение выдачи по текстовому контенту не выявило явного победителя между Jasper AI и ChatGPT, но у нас еще есть задача по созданию иллюстрации. 

Генерим заглавную картинку к статье

Следующей дисциплиной нашего состязания станет создание заглавной картинки для статьи, используя Jasper Art и Midjourney. Методика будет такова: создать вручную базовый текст запроса (на англ. яз.), затем с помощью нейросети детализировать этот запрос, далее выполнить 3 попытки генерации картинок по этому детальному запросу.

Базовый запрос я составил вручную: 

“Create a title illustration for a blog post about how Agile helps to save resources for customized software development projects”.

Версия запроса, улучшенная Jasper AI, выглядела так: 

“Create a photorealistic digital illustration for a blog post about Agile methodology in customized software development projects. The scene should depict a team of diverse professionals collaborating and working efficiently together, saving resources. Emphasize a modern and tech-driven style, with bright and bold colors”. 

Три попытки генерации картинок от Jasper Art выглядели так:

Jasper Art за один раз генерирует по 4 изображения с максимальным разрешением 2048х2048 пикселей. В этом он похож на выдачу от Midjourney. В качестве стиля все три набора картинок выдачи Jasper Art выполнены в подражании Google Material Design, что в принципе и стоило ожидать. 

Из 12 картинок есть что выбрать, но для статьи пойдут только те, которые можно обрезать из квадрата в формат 16:9 без потери восприятия. Минус еще и в том, что на части картинок от Jasper Art присутствует брак генерации в виде неверно прорисованных рук, кое-где отсутствия ног у персонажей и т.п. огрехи. Несколько характерных примеров ошибок генерации изображений я привожу ниже. 

Одну из картинок Jasper Art я все-таки выбрал, и дорисовав центральному персонажу недостающую ногу, а также подвигав верхние окна, принял как рабочую версию от этой нейронки. Она в результате пойдет как заглавная иллюстрацию в статью заказчика.

Далее я сгенерил заглавную картинку к статье в Midjourney и сравнил результаты этого дизайна. Доступ к Midjourney в сервисе BotHub реализован через Телеграм-канал. Ожидается, что будет доступна и веб-версия, но на момент написания статьи это не было реализовано. 

BotHub также может генерить текстовые промты к Midjourney в веб-версии доступа к ChatGPT 4, по аналогии создания детального запроса у Jasper Art. По крайней мере, есть такая вкладка в меню, но у меня это сделать не получилось. Сервис выдавал ошибку, которую я не смог интерпретировать. Поэтому я загрузил в Тлг-канал тот же самый запрос, что сгенерировал Jasper Art.

Результаты на 12 картинок от Midjourney представляю для вашего внимания:

Оценивая картинки от Midjourney, я не заметил значительного отличия от творений Jasper Art. Тот же стиль в подражание Google Material Design, хотя все картинки были в изометрии и также же квадратные, что затрудняет выбор для пропорции 16:9. При увеличении также заметно, что и здесь присутствует брак генерации в виде ошибок прорисовки рук и ног на некоторых сценах. Примеры типичных ошибок Midjourney привожу ниже, а картинку от Midjourney, которую бы выбрал в финал, привожу ниже в Заключении к статье.

Пора подводить итоги

Написав статью с помощью двух нейронок, Jasper AI и ChatGPT 4, я не могу сказать, что более популярная, раскрученная и несомненно мощная модель ChatGPT 4 выиграла поединок нокаутом в стиле Майка Тайсона. Речь скорее идет о балансе, близком к боевой ничье. 

Jasper AI показал особенно хорошие результаты в юзабилити своей текстовой выдачи, когда контент красиво структурирован и удобно копируется. Реализация доступа к ChatGPT 4 в BotHub пока еще сыровата в части UX, некоторые вещи в десктопном интерфейсе интуитивно не воспринимаются однозначными. Также у элементов интерфейса BotHub маловато подсказок, которые помогали бы при первом использовании этого продукта. Надеюсь, что по мере развития продукта, эти детские болезни в BotHub будут изжиты.

Сравнение десктопного Jasper Art и Midjourney в тлг-боте BotHub также не дали явного победителя. По очкам я отдал бы предпочтение Midjourney за счет более детальной проработки изображений.  Собственно, картинка от Midjourney и заняла почетное место в заключении к этой статье.

Еще раз возвращаясь к мему «Зачем платить больше», в сегодняшней ситуации со сложностями при оплате подписок на зарубежные облачные продукты, доступ через "рублевые" фронтенд-сервисы и по умеренной цене считаю неплохим выбором. Хотя если у вас есть возможность прямого доступа к ChatGPT 4 и Midjourney, то это точно будет лучше.

Спасибо за время, что уделили этой статье, и ваши комментарии.