Привет, Хабр! Меня зовут Петр Мицов, я продакт-менеджер в Just AI. Одно из ключевых направлений нашей компании — разработка решений на базе генеративного AI для бизнеса.

Поскольку мы создаем продукты для работы с большими языковыми моделями, нам важно знать, сталкиваются ли российские компании с проблемами и трудностями при интеграции популярных облачных LLM в свои программные решения. Чтобы это выяснить, мы проверили две гипотезы: имеют ли компании проблемы с доступом к ChatGPT API и является ли блокером отправка в облако конфиденциальных данных? О результатах эксперимента и безопасных альтернативах ChatGPT API я расскажу в этой статье.

Фаворит среди LLM

Согласно Вордстату, наиболее популярной облачной языковой моделью в русскоязычном сегменте остается ChatGPT. Интерес к API ChatGPT больше, чем к API других популярных облачных моделей вместе взятых.

Но как найти компании, которые уже внедряют ChatGPT, чтобы провести опрос и выяснить реальную картину?

Решение оказалось удивительно простым — вакансии на HeadHunter. Введя в поисковую строку «ChatGPT» и «LLM», мы быстро нашли компании, ищущие специалистов с навыками программирования и знанием OpenAI API. Далее вышли на контакт с техническими специалистами этих компаний через Linkedin и Telegram. В течение недели нам удалось собрать контакты и провести интервью с представителями нескольких десятков компаний.

Кому с ChatGPT жить хорошо

Основная часть проведенных интервью показала, что большинство компаний, интегрирующих ChatGPT в свои решения, не сталкивается со значительными трудностями при доступе и оплате услуг сервиса OpenAI. Вопрос конфиденциальности данных также менее критичен, чем можно было бы подумать. Компании, работающие с чувствительной информацией, разработали специализированные скрипты для анонимизации данных перед отправкой в OpenAI, что позволяет минимизировать риски утечки. Однако качество маскирования данных с помощью таких скриптов вызывает вопросы. Мы в Just AI постоянно работаем над повышением точности выделения и замены именованных сущностей (ФИО, локации и т.д.) в нашем продукте Jay Guard и знаем, насколько непростой является эта задача. NER-модели для русского языка далеко не всегда точно распознают фамилии, а использование для этого LLM требует большого объема вычислительных мощностей. В таком случае задача анонимизации может стать и вовсе нерентабельной.

Self-hosted LLM

Но есть и компании, которым приходится преодолевать серьезные препятствия, чтобы задействовать потенциал LLM в своих бизнес-процессах. В основном это касается тех, кто взаимодействует с государственными учреждениями или организациями, обязующимися строго соблюдать федеральный закон о персональных данных. Эти компании, несмотря на признание возможностей ChatGPT, вынуждены искать альтернативы из-за регуляторных ограничений.

Альтернативу они находят в больших языковых моделях с открытым исходным кодом (self-hosted LLM), которые могут быть развернуты локально на серверах компании. Специалисты таких компаний проводят длительные эксперименты, чтобы выбрать подходящую модель, наиболее сопоставимую по качеству с ChatGPT. Самостоятельная установка и тестирование таких моделей требует значительных ресурсов — времени, денег и экспертизы в области MLOps. Поэтому только небольшая часть компаний в России может позволить себе вариант с локальным развертыванием моделей. 

Как протестировать и выбрать подходящую LLM?

Понимая потребности рынка и имея результаты проблемных интервью, команда Just AI разработала приложение Multi Chat. Этот уникальный инструмент позволяет тестировать и сравнивать различные генеративные модели (как облачные, так и self-hosted, которые можно установить локально, на сервере компании).

В числе поддерживаемых моделей:

• ChatGPT

• Gemini

• Claude

• GigaChat

• YandexGPT

• Llama 3.1

• Qwen2

Приложение доступно на платформе Caila.

Пользователи могут одновременно вести диалог с выбранными моделями, следя за генерацией ответов в реальном времени. В конце диалога можно оценить ответы и выбрать наиболее подходящую модель по совокупности параметров. Это упрощает процесс экспериментального сравнения моделей и позволяет быстро найти оптимальное решение для конкретные задачи.

Кроме того, платформа Caila поддерживает установку локально на сервера компании для обеспечения максимальной безопасности. А для маскировки и фильтрации чувствительных данных можно подключить систему Jay Guard. Инструмент позволяет компаниям настроить параметры замены данных на основе собственных политик безопасности, интегрировать их со своими клиентскими базами данных и использовать заранее заготовленные пресеты. В результате все данные, уходящие из закрытого контура компаний во внешние LLM, анонимизируются и отправляются в безопасном виде.

А какие LLM использует в работе ваша компания? С какими челленджами сталкивались при интеграции\дообучении и как решали? Делитесь своим опытом и мыслями в комментариях.