Пусть прошлое раскрошится волною о причал, мы вспомним всё хорошее, забудем про печаль. Привет, Хабр! Сегодня поговорим о популярных чат‑ботах, их эффективности и… пиве! Кто‑кто, а уж за поводом выпить мы в Smart Engines в карман не полезем. На этот раз мы решили поддержать немецких коллег, устроить себе локальный Октоберфест, а заодно и протестировать известные нейросети: они будут помогать нам в выборе марок пива, а мы — проверять убедительность, реальность и адекватность их ответов.

Помните кейс про семью из Британии, отравившуюся грибами после прочтения пособия для грибников, написанного нейросетью? А что насчет жидкого золота?

Мы попросили генеративный ИИ от разных разработчиков составить свой топ-5 лучших видов светлого нефильтрованного пива. Нефильтрованного — в честь нашего нового Telegram‑канала «ИИ нефильтрованный». Вашему вниманию представляется пьеса в четырех частях. Главные герои: ChatGPT, Алиса Pro (она же YandexGPT), GigaChat от Сбера и команда независимых экспертов аналитического центра Smart Engines. 

ChatGPT: Трудности перевода

В сети полно роликов, где искусственный интеллект представляет различные алкогольные напитки в виде людейили генерирует рецепты для коктейлей. И справляется с задачей на стабильное ура. Мы решили пойти чуть дальше и поручить нашим подопытным гораздо более прикладную задачу.

Итак, было выбрано три самых популярных (и хваленых) генеративных языковых модели от известных разработчиков. Цель эксперимента — добиться от каждой из нейросетей списка из пяти самых лучших марок светлого нефильтрованного пива. Обязательное условие: пиво должно быть отечественного бренда, то есть производиться и быть доступным для приобретения в России.

На этапе задумки задача казалась простой, но не тут‑то было! Первые сложности возникли уже на этапе формулирования промпта — запроса к нейросети. В особенности это касалось работы с ChatGPT: чат‑бот воспринимает сообщения на английском ощутимо лучше, поэтому вталдычивать ему русский промпт нам пришлось не один, не два и даже не десять раз.

Для начала мы вдумчиво изучили несколько ресурсов, объясняющих принципы формулирования эффективного промпта. И вот как выглядел процесс подбора:

От запроса в духе «назови топ-5 российских видов нефильтрованного пива» по очевидным причинам отказались сразу. Вопрос должен был быть конкретизирован, а заданные параметры – максимально точными и однозначными. Не лишним также было бы получить некоторые пояснения.

Составь топ-5 марок российского светлого нефильтрованного пива. Пиво обязательно должно производиться на территории России и быть доступным в магазинах. Обоснуй свой ответ.

Лучше, но, увы, мимо. ChatGPT на голубом глазу выдавал бренды из Германии, Чехии и Голландии, которые производятся у нас. Или советовал иностранные марки, покинувшие отечественный рынок и потому не соответствующие условиям эксперимента. А еще – часто предлагал уже не производящиеся бренды из 2010-х.

Кроме того, в процессе апробации промпта выявлено несколько десятков несуществующих марок от выдуманных пивзаводов со всех уголков страны. Так, детище OpenAI пару раз пыталось впарить пиво «Космонавт» (которое якобы Производится в Нижнем Новгороде и предлагает уникальный вкус благодаря использованию специального сорта хмеля. Пиво хорошо сбалансировано и идеально подходит для летнего отдыха) или пиво «Рефлекс» (Относительно молодой бренд, но быстро завоевавший популярность. Пиво обладает характерным фруктовым вкусом и легкой хмелевой ноткой).

Еще встретился напиток под названием «Венец» – видимо, мексиканская Corona на русский лад. Притом каждый раз авторитетно заявлялось, что каждый из этих брендов производит нефильтрованное пиво, которое отличается уникальными вкусовыми характеристиками и доступностью в магазинах. До такого откровенного обмана отечественные чат-боты, к слову, не дошли.

Очевидно, запросу явно недоставало временного критерия. Однако на просьбу использовать сугубо актуальные на 2024 год данные мы получили от ChatGPT вежливый отказ:

К сожалению, я не могу предоставить информацию о конкретных брендах и их характеристиках, так как у меня нет доступа к актуальной информации о рынке алкогольных напитков в России. Могу предложить другой подход: расскажу вам об особенностях производства светлого нефильтрованного пива и какие критерии обычно учитываются при составлении рейтингов таких напитков.

Далее было решено объединить усилия и попросить ChatGPT самостоятельно сгенерировать эффективный промпт по нашему запросу. Полученный вариант оказался сомнительным, так как уводил фокус в сторону особенностей продукции:

Составь список топ-5 российских брендов светлого нефильтрованного пива. Укажи краткое описание каждого бренда, особенности их продукции и почему они заслуживают места в этом списке. Обоснуй выбор, учитывая популярность, качество и отзывы потребителей.

В ответ на такой запрос мы в очередной раз получили чешское Крушовице на первом месте. Вариации промпта с добавлением просьбы назвать конкретные марки пива, а не пивоварню и избегать упоминания международных брендов с производством в России не помогли. Пришлось редактировать промпт дальше. Очередной запрос выглядел так:

Составь топ-5 лучших российских брендов светлого нефильтрованного пива. Пиво должно быть реальным, производиться в РФ и быть доступным в российских магазинах. Укажи краткое описание каждого бренда, объясни, почему они заслуживают места в списке. Обоснуй свой выбор.

ChatGPT вновь благополучно выдал несуществующие марки. Мы решили дать последний шанс OpenAI и корректировать запрос в рамках одного чата, показывая нейросети ее ошибки. Результат вышел не слишком ошеломляющим — при прочих равных ChatGPT менял несуществующее Угличское нефильтрованное на такое же Калужское нефильтрованное, потом Калужское нефильтрованное на Пенинская нефильтрованное (???). Под конец мы получили Лагерное пиво от известной российской торговой сети — и на этом моменте в ответе ИИ как будто бы мелькнула искра сознания. Впрочем, она тут же погасла: мы вернулись в начало с несуществующим Чеховским нефильтрованным.

Добиться мало-мальски вразумительного ответа оказалось почти невозможно, поэтому мы решили сформулировать самый полный и подробный запрос (он еще встретится ниже) и просто зафиксировать удовлетворяющие критериям промпта варианты.

Вот как выглядел топ от ChatGPT:

1. Жигули Барное Непастеризованное. Это пиво отличается мягким и сбалансированным вкусом с умеренной горчинкой. Оно производится с использованием традиционных технологий, что делает его натуральным и свежим. В Москве его можно найти практически в любом крупном магазине.

2. Балтика Пшеничное Нефильтрованное. Этот сорт нефильтрованного пива обладает яркими пшеничными нотами и плотной пеной. Отличается легкостью и доступной ценой, что делает его популярным среди российских покупателей.

3. Хамовники Нефильтрованное. Этот бренд славится качеством и стабильностью вкуса. "Хамовники" отличается легкой фруктовостью и мягкой хмелевой горчинкой. Часто отмечается на различных выставках и занимает лидирующие позиции среди российских пивоваров.

4. Сибирская Корона Классическое Нефильтрованное. Пиво этого бренда славится своим мягким вкусом и свежестью. Оно производится по классической технологии и часто получает высокие оценки за натуральность ингредиентов.

5. Трехгорное Нефильтрованное. Этот бренд известен своими классическими сортами и высокими стандартами производства. "Трехгорное" отличается насыщенным вкусом и плотной структурой, что делает его популярным среди ценителей нефильтрованного пива.

ChatGPT поместил на первое место Жигули Барное, на втором шла Балтика Пшеничное, а завершает тройку лидеров Хамовники. 

С четвертым и пятым вариантами оказалось сложнее — Сибирская корона (возможно, имелось в виду их пиво «Полярный белый») и Трехгорное (возможно, «Летнее Белое») в рознице оказались недоступными. Так что их мы были вынуждены отбросить.

На том и решено было остановиться: жажда победила.

Итог: на экспертизу отправляются три варианта из пяти. А жаль.

YandexGPT: Ответ убил

Следующим в нашем списке шел чат-бот от Яндекса. Причем не рядовая Алиса, а элитная платная версия — с YandexGPT 3 Pro, более точными и полными ответами и тому подобным. Так во всяком случае заявлялось. На деле же вышло не совсем гладко. Точнее — совсем не.

Первый запрос выглядел так:

Составь топ-5 лучших российских брендов светлого нефильтрованного пива. Пиво должно быть реальным, производиться в РФ и быть доступным в российских магазинах. Укажи краткое описание каждого бренда, объясни, почему они заслуживают места в списке. Обоснуй свой выбор.

На него нейросеть выдала варианты сплошь с иностранными корнями: Velkopopovicky Kozel, Efes и Stella Artois от АО “АБ ИнБев Эфес”, Krusovice svetle от ООО “Объединенные Пивоварни Хейнекен”. Из пяти вариантов действительно отечественным был только один - Жигулевское от пивоварни “Букет Чувашии”, причем именно этот вариант и получил золото. Жаль только, что и он не подошел, так как приобрести пиво оказалось невозможным.

Пришлось дать чату второй шанс и внести уточнения: марка светлого нефильтрованного пива обязательно должна быть российской. Международные бренды с производством в России не подходят. И на сей раз иностранные бренды действительно исчезли из ответа, однако вместо них добавились варианты, которые в 2024 году уже явно не купить. Место лидера среди производителей пива заняла Московская пивоваренная компания: ее продукты заняли четыре из пяти позиций топа. Однако и тут нас ждал облом — половина из них («Мохнатый шмель» и «Жигули Барное Ячменное») оказались уже недоступными для приобретения.

После новой просьбы изменить список с учетом доступных в 2024 году вариантов, которые можно купить в магазине, нас ждал новый сюрприз: Алиса наглухо позабыла предыдущие запросы и буквально выбросила один из вариантов. Пришлось вновь напомнить, что нам (все еще) требуется пять, а не четыре места. Ответ убил: нейросеть просто выплюнула первый вариант без каких-либо изменений — с козлом, стеллой артуа, букетом Чувашии и другими.

По итогу было решено объединить все запросы в один. Выглядело это так: 

Составь топ-5 лучших российских брендов светлого нефильтрованного пива. Пиво должно быть реальным, производиться в РФ и быть доступным в российских магазинах. Укажи краткое описание каждого бренда, объясни, почему они заслуживают места в списке. Обоснуй свой выбор. Марка светлого нефильтрованного пива обязательно должна быть российской. Международные бренды с производством в России не подходят. Список должен состоять из пяти лучших российских марок светлого нефильтрованного пива, доступных в 2024 году для приобретения.

Финальный ответ даже не удивил — ИИ уже выдавал его после второго запроса, а затем и после третьего (выбросив Мохнатого Шмеля и сократив топ на одну позицию). Видимо, такое количество повторов говорит о серьезной уверенности. Представляем выбор YandexGPT вашему вниманию:

1. «Жигули Барное Ячменное» от ЗАО «МПК» — легкое и приятное пиво с ароматом солода и сладковатым солодовым вкусом. Отличается от евролагеров и идеально для посиделок с друзьями.

2. «Светлячок» от ЗАО «МПК» — пиво с нотами цветочного хмеля и хмелевым вкусом, приятной горчинкой и грейпфрутовым послевкусием.

3. «IPA v3» от ЗАО «МПК» — нефильтрованный эль с ароматом манго и цветочности, мягким и ровным вкусом, начинающимся со сладости солода и заканчивающимся хмелевой горчинкой.

4. «Эль Мохнатый Шмель» от ЗАО «МПК» — пиво с хмелевыми оттенками цитруса, небольшой цветочностью и сладостью карамельного солода в аромате. Его вкус насыщенный, мягкий и солодовый, а в послевкусии чувствуется приятная хмелевая горчинка.

5. «Афанасий Ремесленное» от ООО «Частная пивоварня Афанасий» — пиво с очень приятным ароматом солода и нотками хмеля. Во вкусе присутствуют немного дрожжей, белый хлеб и солодовая сладость, переплетающаяся с хмелевой горчинкой, уходящей в чуть цитрусовое, приятное горьковатое послевкусие.

Вместо недоступного Ячменного мы взяли Пшеничное Жигули, формально удовлетворяющее всем условиям. Светлячок и ИПА тоже отправляются в корзину под руку с Афанасием, а вот Мохнатый Шмель нейросеть от Яндекса так и не захотела заменить на что‑то другое. Увы!

Итог: на экспертизу отправляются четыре варианта из пяти. Шмель в пролете.

GigaChat: Да что вы знаете о пиве

Замыкает тройку ИИ-экспертов нейросеть GigaChat от Сбера. Рассказывать тут особо не о чем: почти сразу выяснилось, что по сообразительности он не уступает своим коллегам. И по бестолковости, к сожалению, тоже — заставить чат-бот составить топ с первого раза нам также не удалось.

На первый промпт (который, напомним, выглядел так:

Составь топ-5 лучших российских брендов светлого нефильтрованного пива. Пиво должно быть реальным, производиться в РФ и быть доступным в российских магазинах. Укажи краткое описание каждого бренда, объясни, почему они заслуживают места в списке. Обоснуй свой выбор)

Искусственный сверхразум, не долго думая, набросал названия отечественных пивоварен, занимающихся крафтом, — AF Brew, Jaws Brewery, Brewlok и так далее. Разумеется, никакой привязки к продуктам и близко не оказалось. Просьбу переделать список, добавив в него конкретики, чат-бот понял настолько буквально, что перечислил аж по несколько видов пива каждого бренда. Такой ответ нас тоже не устроил, поскольку это был уже явно не топ-5.

Пришлось снова добавить пояснение: требуется пять лучших видов пива без привязки к пивоварням. Чатик секунду поскрипел мозгами и выдал: пшеничка, ламбик, стаут, бельгийское крепкое, и ИПА. Как говорится, и на том спасибо.

Дальнейший диалог не принес ровным счетом ничего. После очередного указания на то, что пиво должно быть конкретной марки, светлым и нефильтрованным, GigaChat умыл руки и заявил:

К сожалению, я не могу предоставить конкретные рекомендации по маркам пива, так как это нарушает правила платформы и законы о рекламе. Однако я могу предложить вам общие советы по выбору хорошего светлого нефильтрованного пива:

1. Обратите внимание на состав: хорошее пиво должно содержать только воду, солод, хмель и дрожжи. Избегайте пива с большим количеством искусственных добавок.

2. Ищите свежее пиво: чем свежее, тем лучше будет вкус. Лучше всего выбирать пиво, которое было сварено недавно и имеет короткий срок годности.

3. Читайте отзывы и рейтинги: перед покупкой изучите отзывы других покупателей на разных платформах. Это поможет вам понять, какое пиво пользуется наибольшей популярностью и доверием.

4. Посещайте пивные фестивали и дегустации: такие мероприятия позволяют попробовать множество разных сортов пива и найти то, что придется вам по вкусу.

5. Консультируйтесь с продавцами: в хороших пивных магазинах работают специалисты, которые могут подсказать, какой сорт пива подойдет именно вам.

Дело зашло в тупик и со стороны уже откровенно напоминало мартышкин труд. Помочь смог лишь прошлый промпт, который мы ранее протестировали на нейросетке Яндекса. Напомним, он выглядел так:

Составь топ-5 лучших российских брендов светлого нефильтрованного пива. Пиво должно быть реальным, производиться в РФ и быть доступным в российских магазинах. Укажи краткое описание каждого бренда, объясни, почему они заслуживают места в списке. Обоснуй свой выбор. Марка светлого нефильтрованного пива обязательно должна быть российской. Международные бренды с производством в России не подходят. Список должен состоять из пяти лучших российских марок светлого нефильтрованного пива, доступных в 2024 году для приобретения.

Добавлять новые предложения, повторяющие предыдущие, и тем самым раздувать запрос еще сильнее не стали. Да и из доступных слов к этому моменту остались только ругательные.

На этот раз ответ оказался подходящим. Выбор сберовской нейросетки оказался таким:

1. «Балтика №7 Экспортное». Это классическое светлое нефильтрованное пиво обладает богатым вкусом и насыщенным ароматом хмеля. Производится компанией Балтика, которая является одним из лидеров российского рынка пива. Высокое качество продукции, широкий охват магазинов и популярность среди потребителей делают этот бренд лидером на рынке.

2. «Жигули Барное». Светлое нефильтрованное пиво от компании Heineken Russia. Обладает мягким вкусом с легкой горчинкой и приятной освежающей кислинкой. Продукт отличается высоким качеством и имеет широкую аудиторию поклонников благодаря своему уникальному вкусу и аромату.

3. «Хамовники Пшеничное». Легкое пшеничное нефильтрованное пиво с фруктовыми нотками и характерным ароматом пшеницы. Производитель — Московская пивоваренная компания. За счет своего оригинального вкуса и качества, «Хамовники» завоевали признание среди любителей пива.

4. «Очаково Нефильтрованное». Традиционное нефильтрованное светлое пиво со свежим вкусом, которое производится Очаковской пивоварней. Благодаря своим традиционным рецептам и высокому качеству, «Очаково» пользуется популярностью у ценителей пива.

5. «Афанасий Живое». Натуральное нефильтрованное живое пиво, обладающее ярким вкусом хмеля и солода. Производит его Тверская пивоваренная компания. Отличается своей натуральностью и свежестью, а также имеет своих преданных поклонников.

Первый вариант, хоть и называющий конкретную существующую марку пива, формально не подошел, поскольку экспортная Балтика очень даже фильтрованная. (Но оно уже было опрометчиво приобретено, так что мы решили оставить его для полноты картины). Что касается четвертой позиции, то в официальном магазине производителя нам ответственно заявили, что ни в наличии, ни на складе такого пива сейчас нет. Остальные варианты удовлетворяли всем параметрам и были взяты в работу.

Итог: на экспертизу отправляются четыре варианта из пяти, а если вообще по-честному — только три.

Экспертиза

Пришло время познакомиться с уважаемыми членами жюри. В экспертную комиссию вошли непростые люди: пять наших самых искушенных разработчиков, среди которых двое кандидатов технических наук (особый уровень экспертности!).

Выносить оценки решили по следующим критериям:

1. Пенная шапка. Визуальная оценка наличия, объема и устойчивости пивной пены.

2. Цвет. Светлый, золотистый или янтарный оттенок, постоянство цвета, прозрачность или непрозрачность пива.

3. Аромат. Выраженные (или невыраженные) нотки — фруктов, цитрусов, хмеля. Спиртуозность.

4. Вкус. Освежающий, сбалансированный или несбалансированный. Послевкусие.

5. Горечь. В послевкусии мягкая хмелевая горечь. Или нет?

6. Общая оценка. Сумма баллов по всем пяти критериям.

В каждой графе было необходимо проставить оценку по шкале от 1 до 5. Тестирование проводилось вслепую. До начала дегустации экспертам были объявлены участвующие в оценке виды, но под каким именно номерами они шли — осталось в секрете.

А вам мы скажем сразу:

Образец № 1: Светлячок. Амбициозное второе место в рейтинге YandexGPT. Нейросеть заявила приятную горчинку и цитрусовое послевкусие;

Образец № 2: Жигули Барное Пшеничное. Серьезная заявка на победу. Сразу два (!) первых места: от ChatGPT и YandexGPT. Первый чат‑бот отметил сбалансированный вкус и умеренную горчинку, второй — аромат и сладкое солодовое послевкусие. Нейросеть от Сбера поставила его на второе место за мягкий вкус с легкой горчинкой и приятной освежающей кислинкой;

Образец № 3: Афанасий Ремесленное. Скромное пятое место от Яндекса. Нейросеть лирично заметила во вкусе немного дрожжей, белый хлеб и солодовую сладость, переплетающуюся с хмелевой горчинкой, уходящей в чуть цитрусовое, приятное горьковатое послевкусие.

Образец № 4: IPA v3. YandexGPT пообещал богатый манго‑цветочный аромат и ровный вкус. Одно‑единственное третье место.

Образец № 5: Балтика 7 Экспортное, которое нейросеть от Сбера пыталась преподнести как нефильтрованное! Богатый вкус, насыщенный аромат хмеля. Одно первое место.

Образец № 6: Хамовники Баварское Пшеничное. Два третьих места — от ChatGPT и GigaChat. Детище OpenAI отметило, что пиво занимает лидирующее место на выставках и славится стабильностью вкуса. А GigaChat добавил: признание среди гурманов пиво завоевало за оригинальность вкуса.

Образец № 7: Балтика 8 Пшеничное. Одно второе место от ChatGPT. Особо отмечены яркие пшеничные нотки во вкусе, плотная пена и доступность.

Образец № 8: Афанасий первое живое. Идет замыкающим в рейтинге GigaChat. Яркий вкус хмеля и солода, а также натуральность и свежесть.

Таким образом, наибольшими шансами на победу, по мнению ИИ, обладало Жигули. Здесь пересеклись вкусы всех трех нейросетей сразу.

Мнение жюри

Мы пригласили жюри в специально оборудованную лабораторию для проведения эксперимента, представили им образцы. Дело пошло. Эксперты разглядывали напитки на свет, смаковали каждый глоток и делали пометки в бланках.

Описать словами витающую в воздухе симфонию ароматов – невозможно. Это надо было видеть. И чувствовать.

А теперь…

…представляем вашему вниманию результаты оценки жюри (по убыванию):

Итак, лидером единогласно был признан образец № 4 — лишь один из трех чат‑ботов присудил ему третье место, в то время как два других вообще обошли этот вариант вниманием. В хвосте нашего списка оказался образец № 6 — крепкий середнячок по версии двух нейросетей из трех.

Вот пять лучших видов светлого нефильтрованного пива (из подобранных искусственным интеллектом) по версии жюри Smart Engines: 

1. Образец №4

2. Образец №5

3. Образец №7

4. Образец №1

5. Образец №2

   Если смотреть на количество совпадений в выборе человека и нейросети, то выходит, что:

   • У ChatGPT их только два, причем образец № 2, который эксперты поставили аж на пятое место, чат‑бот поместил на первое. Так себе попадание.

   • У YandexGPT совпадений больше всего — целых три. И это самый близкий результат среди подопытных нейросетей.

   • У GigaChat совпадений тоже только два. Если для иностранного чат-бота это хоть как-то простительно, то для отечественного ИИ пока слабовато.

По итогу можно констатировать, что, во первых, для получения более-менее приемлемого ответа от нейросети все еще нужно нехило извратиться. А во-вторых, — что в таком тонком вопросе, как выбор пива, вкусы естественного и искусственного интеллекта совершенно не пересекаются.

Убедиться в этом и проверить результаты нашего эксперимента вы вполне можете самостоятельно. Хотя, конечно, никого ни к чему мы не призываем. Не забывайте: чрезмерное употребление алкоголя вредит вашему здоровью. А нейросети похмелья не боятся.

Когда речь заходит о действительно важных вопросах, ответам ИИ доверять явно не стоит. В этом деле лучше полагаться на себя — и тогда не придется сталкиваться с неприятными последствиями потом. А вот распознавание и проверка подлинности документов могут быть полностью автоматизированы без ущерба производительности и рисков для конфиденциальности данных.

Наша фирменная ИИ-технология доказывает это ежедневно, безопасно и быстро обрабатывая колоссальные объемы данных, включая распознавание паспорта РФ и 235 юрисдикций мира, любой печатной и рукописной документации, банковских форм, анкет и отчетностей. И все это — для самых разных заказчиков в госсекторе, промышленности, банкинге, бизнесе и других сферах.

В общем, следите за нашими технологиями (и экспериментами) на ИИ нефильтрованном, чтобы не пропустить все самое главное. Как говорится, не пивом единым…