Часто получаю вопрос: "Наши программисты сами сделали бота на LLM для поддержки клиентов и на тестовых вопросах работает отлично, но при ответах на реальные вопросы пользователей начинается треш. Как сделать супер промпт чтобы бот не глючил?".

Ответ простой: "Серебряной пули нет, задачу нужно разбивать на части и использовать разные инструменты для решения разных проблем".

Разработать своего чат-бота сейчас можно за пару часов, однако реальное продакшн решение потребует многомиллионные инвестиции. В посте расскажу, что нужно учитывать, принимая решение по созданию бота для поддержки клиентов.

Как работает типовое решение

  • При создании бота вы даете ему документацию по продуктам и услугам компании, а также настраиваете жесткость ответов бота, варианты приветствий, логику работы в рабочие и нерабочие часы.

  • Бот индексирует вашу документацию или сайт по продукту и затем отвечает на вопросы пользователей как человек. Под капотом ChatGPT или другая большая языковая модель (LLM).

  • Вы тестируете ответы боты, задавая ему типовые вопросы.

  • Вы выбираете через какой интерфейс бот будет общаться с пользователем. Обычно используются популярные хелпдески и чаты на сайтах, а также мессенджеры: HelpDeskEddy, Omnidesk, Юздеск, Freshchat, Битрикс24, Carrot quest, Jivo, Talk-me, WhatsApp, Telegram.

  • Теперь бот готов.

  • Когда пользователь задает вопрос, сначала с помощью семантического поиска в базе знаний находятся документы, наиболее подходящие по смыслу, затем из найденных документов с помощью LLM формируется ответ.

Я однозначно склоняюсь к использованию готовых продуктов и далее напишу аргументы.

Плюсы готовых продуктов

  1. Вам не нужно долго ждать, чтобы попробовать бота на реальных вопросах.

  2. Готовые продукт уже используются в других компаниях и гарантируют определенное качество ответов. При самостоятельной разработке, первые пол года, ваша команда поддержки и клиенты будут жаловаться на недостаточное качество ответов бота. Кажется, что достаточно взять вопрос пользователя и послать в LLM, но нет. Вот лишь несколько нюансов, которые требуют отдельных алгоритмов:
    - Очень длинные или очень короткие сообщения от пользователей.
    - Сообщения от пользователей, в которых больше одного вопроса.
    - Идентификация приветствий, благодарностей и прочих элементов small talk.
    - Обработка почт, номеров телефонов и других персональных данных.
    - Фиксированные ответы на определенные типы вопросов.
    - Уточняющие вопросы от пользователей.
    - Иногда для правильного ответа, бот должен уметь задать уточняющий вопрос пользователю, т.е. ситуация зеркальная предыдущему пункту.
    - Использование информации о пользователе из хелпдеска и других систем, чтобы бот больше понимал пользователя.
    Пишите в комментах о каких алгоритмах рассказать подробнее.

  3. Большие языковые модели интенсивно развиваются. Можно потратить миллионы на содержание штата ML разработчиков, а затем обнаружить, что новые LLM умеют это из коробки. В готовых продуктах вы платите за использование и всегда можете перейти на другое решение.

Минусы готовых продуктов

Минусы типичны: зависимость от вендора, меньше контроля, невозможность добавить свои суперуникальные функции (большая красная кнопка).

Что посмотреть на Российском рынке

Заказная разработка: JustAIChatme.AI,

Хороший коробочный продукт AutoFAQ

Сервис по созданию чат-ботов для поддержки клиентов Wikibot

Другие компании или не проявляют признаков или ориентированы на большие заказы.

Если вам нужна помощь в выборе хелпдеска, чата на сайт и другого программного обеспечения для поддержки клиентов — пишите мне, помогу.

Комментарии (3)


  1. bdaring
    19.04.2024 02:49
    +1

    Еще ни разу не встречал действительно полезного чат-бота в качестве саппорта. Единственное исключение - когда нужно сделать какую-то типовую операцию, типа заказать справку, подать поручение, закрыть или открыть продукт, и т.п. Но опять же, такие типовые вещи гораздо удобнее делать через систему меню или другой структурированный интерфейс.

    В отальном, общение с чат ботами сводится к тому, чтобы всеми правдами и неправдами добратья до живого человека.


    1. tomleto Автор
      19.04.2024 02:49

      В многом согласен, пару мыслей:

      1. Когда типовых операций больше 10 меню уже не так удобно, а бывает что их больше 100.

      2. chatgpt стрельнул в начале 2023 и боты нового поколения основанные на gpt только начинают появляется. эта сфера молода, но бурно развивается.


  1. digtatordigtatorov
    19.04.2024 02:49

    Это че просто реклама?