Часто получаю вопрос: "Наши программисты сами сделали бота на LLM для поддержки клиентов и на тестовых вопросах работает отлично, но при ответах на реальные вопросы пользователей начинается треш. Как сделать супер промпт чтобы бот не глючил?".

Ответ простой: "Серебряной пули нет, задачу нужно разбивать на части и использовать разные инструменты для решения разных проблем".

Разработать своего чат-бота сейчас можно за пару часов, однако реальное продакшн решение потребует многомиллионные инвестиции. В посте расскажу, что нужно учитывать, принимая решение по созданию бота для поддержки клиентов.

Как работает типовое решение

• При создании бота вы даете ему документацию по продуктам и услугам компании, а также настраиваете жесткость ответов бота, варианты приветствий, логику работы в рабочие и нерабочие часы.

• Бот индексирует вашу документацию или сайт по продукту и затем отвечает на вопросы пользователей как человек. Под капотом ChatGPT или другая большая языковая модель (LLM).

• Вы тестируете ответы боты, задавая ему типовые вопросы.

• Вы выбираете через какой интерфейс бот будет общаться с пользователем. Обычно используются популярные хелпдески и чаты на сайтах, а также мессенджеры: HelpDeskEddy, Omnidesk, Юздеск, Freshchat, Битрикс24, Carrot quest, Jivo, Talk-me, WhatsApp, Telegram.

• Теперь бот готов.

• Когда пользователь задает вопрос, сначала с помощью семантического поиска в базе знаний находятся документы, наиболее подходящие по смыслу, затем из найденных документов с помощью LLM формируется ответ.

Я однозначно склоняюсь к использованию готовых продуктов и далее напишу аргументы.

Плюсы готовых продуктов

1. Вам не нужно долго ждать, чтобы попробовать бота на реальных вопросах.

2. Готовые продукт уже используются в других компаниях и гарантируют определенное качество ответов. При самостоятельной разработке, первые пол года, ваша команда поддержки и клиенты будут жаловаться на недостаточное качество ответов бота. Кажется, что достаточно взять вопрос пользователя и послать в LLM, но нет. Вот лишь несколько нюансов, которые требуют отдельных алгоритмов:
   - Очень длинные или очень короткие сообщения от пользователей.
   - Сообщения от пользователей, в которых больше одного вопроса.
   - Идентификация приветствий, благодарностей и прочих элементов small talk.
   - Обработка почт, номеров телефонов и других персональных данных.
   - Фиксированные ответы на определенные типы вопросов.
   - Уточняющие вопросы от пользователей.
   - Иногда для правильного ответа, бот должен уметь задать уточняющий вопрос пользователю, т.е. ситуация зеркальная предыдущему пункту.
   - Использование информации о пользователе из хелпдеска и других систем, чтобы бот больше понимал пользователя.
   Пишите в комментах о каких алгоритмах рассказать подробнее.

3. Большие языковые модели интенсивно развиваются. Можно потратить миллионы на содержание штата ML разработчиков, а затем обнаружить, что новые LLM умеют это из коробки. В готовых продуктах вы платите за использование и всегда можете перейти на другое решение.

Минусы готовых продуктов

Минусы типичны: зависимость от вендора, меньше контроля, невозможность добавить свои суперуникальные функции (большая красная кнопка).

Что посмотреть на Российском рынке

Заказная разработка: JustAI, Chatme.AI,

Хороший коробочный продукт AutoFAQ

Сервис по созданию чат-ботов для поддержки клиентов Wikibot

Другие компании или не проявляют признаков или ориентированы на большие заказы.

Если вам нужна помощь в выборе хелпдеска, чата на сайт и другого программного обеспечения для поддержки клиентов — пишите мне, помогу.