Если вы хотите поиграться с LLM у вас есть несколько вариантов: можно задействовать LLM через код, можно воспользоваться чатом одного из облачных провайдеров, а можно развернуть у себя UI-клиента для работы с LLM. Их довольно много. И функционал у них может сильно различаться. В самом простом виде есть только чат. У наиболее продвинутых есть встроенные базы знаний, работа с изображениями и много других функций.

Ниже краткий обзор 9 таких клиентов (отсортированы по предпочтению автора):

1. Open WebUI

2. LM Studio

3. Msty Studio

4. Librechat

5. Chatbox

6. AnythingLLM

7. GPT4All

8. Jan.ai

9. Ollama

1. Open WebUI

• Git: https://github.com/open-webui/open-webui

• Документация: https://docs.openwebui.com

• Клиент: веб (докер)

• Модели: поддерживает как локальные веса, так и подключение по API.

• Функции: работа со звуком (запись голоса, TTS), работа с изображениями, веб-поиск, работа с файлами, RAG, встроенная база знаний, function/tool calling, многопользовательский режим (аккаунты, роли).

• Лицензия: слегка модифицированный BSD-3.

Один из самых популярных клиентов. Имеет современный и продуманный интерфейс. Довольно развитый функционал. Возможно лучший кандидат для развертывания в локальной сети предприятия.

2. LM Studio

• Скачать: https://lmstudio.ai

• Документация: https://lmstudio.ai/docs/app

• Клиент: десктоп (Win/Linux/macOS)

• Модели: только скаченные на локальный на диск. Встроенный каталог моделей с Hugging Face (не нужно искать и скачивать вручную). Поддержка GPU.

• Функции: RAG, База знаний, можно поднять OpenAI-совместимый локальный сервер, работа с файлами, поддержка мультимодальных моделей, настройка параметров генерации.

• Лицензия: проприетарная, но LM Studio бесплатен как для личного, так и для коммерческого использования.

LM Studio все всем замечательная. Но есть один жирный недостаток - LM Studio не может работать по API (ни с облачными провайдерами, но со своими сервисами). Т.е. она предназначена только для локального использования на текущем компьютере и только с локально скаченными моделями. В остальном функционал очень богатый (особенно в части поддержки разных форматов и движков инференса).

3. Msty Studio

• Скачать: https://msty.ai

• Документация: https://docs.msty.studio/getting-started

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные (Ollama) или через API (широкий набор провайдеров)

• Функции: инструменты, RAG, база знаний, работа с файлами и изображениями, веб-поиск, настройка параметров генерации.

• Лицензия: freemium. Базовый функционал бесплатен, но есть платные функции, для доступа к которым нужна лицензия. 

Msty имеет очень приятный и продуманный интерфейс. Функционал богатый, но есть платные функции.

4. Librechat

• Сайт: https://www.librechat.ai

• Git: https://github.com/danny-avila/LibreChat

• Документация: https://www.librechat.ai/docs

• Клиент: веб (docker)

• Модели: только по API. Имеется ряд преднастроенных провайдеров.

• Функции: RAG, работа с файлами, база знаний, инструменты, агенты, веб-поиск, настройка параметров генерации, работа с кодом, мультимодальность (работа с изображения/аудио), память, запись аудио (TTS). Многопользовательский режим (аутентификация, роли).

• Лицензия: MIT

Интерфейс хорошо проработан. Из недостатков: многие настройки делаются через через конфигурационные файлы. Также подходит для развертывания в сети компании (легко поднимается через докер), но с настройками придется повозиться.

5. Chatbox

• Сайт: https://chatboxai.app

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные модели (через Ollama или LM Studio) + куча облачных провайдеров.

• Функции: работа с файлами, генерация изображений, инструменты, база знаний, веб-поиск, работа с кодом.

• Лицензия: GNU

Интерфейс простой, а функционал довольно навороченный.

6. AnythingLLM

• Скачать: https://anythingllm.com/desktop

• Документация: https://docs.anythingllm.com

• Клиент: есть и десктоп (Win/Linux/macOS) и веб-клиент (docker)

• Модели: локальные и по API (имеется куча провайдеров)

• Функции: RAG, работа с документами, рабочие пространства, векторная БД, инструменты/агенты, поддержка мультимодальных моделей, TTS. 

• Лицензия: MIT

(Имхо) немножко устаревший/карявенький интерфейс. В остальном довольно богатый функционал.

7. GPT4All

• Сайт: https://www.nomic.ai/gpt4all

• Документация: https://docs.gpt4all.io/

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные + готовый список облачных провайдеров + можно подключить OpenAI API совместимые. Загрузка моделей с HuggingFace.

• Функции: RAG, база знаний.

• Лицензия: MIT

Немножко не современный интерфейс. Функционал базовый. А в остальном неплохое приложение.

8. Jan.ai

• Сайт: https://www.jan.ai

• Документация: https://www.jan.ai/docs/desktop

• Клиент: десктоп (Win/Linux/macOS)

• Модели: локальные модели (через lama.cpp), готовый список облачных провайдеров + можно подключить OpenAI совместимые API. Загрузка моделей через хаб.

• Функции: вызов инструментов, настройка параметров генерации. Можно поднять свой локальный сервер.

• Лицензия: AGPL-3.0

Простой и легкий клиент. Функционал скромный, но для несложных экспериментов вполне достаточный. Интерфейс хороший, но без изысков.

9. Ollama

• Сай: https://ollama.com

• Документация: https://docs.ollama.com

• Клиент: десктоп (Win/Linux/macOS).

• Модели: локальные. Загрузка с собственного хаба.

• Функции: только чат.

• Лицензия: MIT

Интерфейс простой как две копейки, но симпатишный :) Из функционала - только чат и возможность скачивать модели из собственного репозитория.

Вместо вывода. Если нужен веб, то сначала смотрим на Open WebUI, потом Librechat (там чуть сложнее настройки). Если нужно десктоп приложение, то фаворита два: LM Studio и Msty Studio. LM Studio смотрится помощнее, но не может никуда подключаться по API.

Помимо рассмотренных есть и другие решения. Например: private-gpt, KoboldCpp, SillyTavern, Text Generation WebUI (oobabooga). Они менее известны. Они отсутствуют в этой подборке либо потому что мне не удалось из запустить (без танцев с бубном), либо они имеют совсем устаревший интерфейс (судя по скринам).

Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля