CodebaseGPT — это приложение, которое позволяет разработчикам "общаться" с полной кодовой базой программного проекта.

Главная особенность CodebaseGPT заключается в том, что он создает краткие описания каждого файла проекта и предоставляет эти описания LLM в первом системном промпте. Таким образом, модель имеет обобщенную информацию обо всем проекте в своем контексте на каждом этапе общения с пользователем.

Также, ???? бот может загружать любой файл проекта или осуществлять поиск по кодовой базе (как семантически, так и текстово), когда это необходимо для ответа на вопрос пользователя. Он даже может обновлять файлы проекта (с подтверждением) по запросу пользователя. И, конечно же, он поддерживает все языки программирования.

Пример чата

Давайте убедимся что CodebaseGPT не выходит в интернет. CodebaseGPT будет исследовать свой собственный код:

???? You: is this app accessing the web somehow?

Waiting for model response...

find_in_files function, query: requests.get, isCaseSensitive: False, page: 0
result:
Nothing found

Waiting for model response...

Next input cost: $0.01 (system: $0.01, chat: $0.00)
Request cost: $0.04 (input: $0.03, output: $0.00)
Session cost: $0.04

???? Bot: The app does not appear to be accessing the web using the
`requests.get` method, as no instances of this method were found in the
project files. If the app is accessing the web, it might be using a different
method or library. Would you like me to search for other common web access
methods or libraries?

???? You: yes please

Waiting for model response...

find_in_files function, query: http.client, isCaseSensitive: False, page: 0
result:
Nothing found

find_in_files function, query: urllib, isCaseSensitive: False, page: 0
result:
Nothing found

find_in_files function, query: urlopen, isCaseSensitive: False, page: 0
result:
Nothing found

find_in_files function, query: requests, isCaseSensitive: False, page: 0
result:
Nothing found

Waiting for model response...

Next input cost: $0.02 (system: $0.01, chat: $0.00)
Request cost: $0.04 (input: $0.04, output: $0.01)
Session cost: $0.08

???? Bot: After searching for common web access methods and libraries, including
`http.client`, `urllib`, `urlopen`, and `requests`, no instances of these were
found in the project files. This suggests that the app does not contain code
for accessing the web using these methods or libraries. If there are any other
specific methods or libraries you would like me to check for, please let me
know.

???? You: 

Да. ???? прав. Понятно, что приложение обращается к OpenAI API (выходит в интернет) через родную библиотеку, но согласитесь ход его "мысли" вполне адекватный.

Основная идея

Основная идея этого проекта была в том чтобы проверить возможность управления контекстом языковой модели аналогично тому как это происходит в человеческом сознании (по крайней мере в моем). Невозможно помнить все детали относительно большого программного проекта, но можно иметь в памяти (контексте) общее понимание функций его основных компонентов, а также принцип его работы итд. Для того чтобы модель имела это "общее понимание" в первом системном промпте она получает (созданные ей же на предварительном этапе) краткие описания всех файлов проекта.

Фрагмент первого системного промпта:

Project files with its descriptions:

./codebasegpt/app.py
The app.py file contains the main function that initializes the app state,
performs initialization, description, and chat logic based on the app state.

./codebasegpt/app_config.py
app_config.py: Pydantic BaseModel for project configuration with default
values for project folder, models, file inclusion/exclusion, gitignore,
comments removal, and verbose logging.

./codebasegpt/app_state.py
The app_state.py file contains a class AppState with attributes for app and
project configurations, file paths, project state, and OpenAI integration.

...

Но если необходимо детально разобраться в некотором фрагменте приложения всегда можно посмотреть релевантные исходники. CodebaseGPT тоже это может. Для этого у него есть 3 функции которые он может вызвать, когда это необходимо для выполнения пользовательской задачи:

• get_file - загрузить любой файл

• find_files_semantic - найти файлы через семантический поиск

• find_in_files - найти файлы через текстовый поиск

Полное описание сигнатур функций тут

Установка

Как установить и запустить проект можно прочитать в README проекта. Для его работы вам потребуется OpenAI API key.

Возможности

Мои многочисленные эксперименты с CodebaseGPT показали что он может быть очень полезным инструментом для изучения незнакомого проекта. Кстати приложение поддерживает несколько проектов, между которыми можно переключаться во время запуска приложения. Давайте посмотрим какие файлы CodebaseGPT создает чтобы работать с несколькими проектами:

???? You: what files app creates to store its state/config?           

Waiting for model response...

Next input cost: $0.02 (system: $0.01, chat: $0.00)
Request cost: $0.03 (input: $0.02, output: $0.01)
Session cost: $0.03

???? Bot: The CodebaseGPT software project creates and uses the following files
to store its state and configuration:

1. `./codebasegpt/app_config.py`: This file contains a Pydantic BaseModel
for project configuration with default values for various settings such as
project folder, models, file inclusion/exclusion, gitignore, comments
removal, and verbose logging.

2. `./codebasegpt/app_state.py`: This file contains a class `AppState` with
attributes for app and project configurations, file paths, project state,
and OpenAI integration. It is likely used to hold the current state of the
application during runtime.

3. `./codebasegpt/proj_config.py`: This file defines a Pydantic model for
project configuration with attributes such as path, include, exclude,
gitignore, and remove_comments. It is used to store configuration settings
specific to the project.

4. `./codebasegpt/proj_state.py`: This file defines data models for the
project file state, including file paths, modification times, descriptions,
and embedded data. It is used to store the state of the project files.

5. `./codebasegpt/utils.py`: Although not a state or config file itself,
this module provides functions for loading, saving, and manipulating JSON
data for application and project configurations and states. It is likely
that this module handles the reading and writing of state and configuration
data to and from JSON files.

The actual JSON files or other storage files that hold the persistent
state and configuration data are not explicitly listed, but they would be
managed by the modules mentioned above and likely reside within the project
directory or a specified path.

???? You: please check the source code and answer me where and how this files
stored

Waiting for model response...

find_in_files function, query: save, isCaseSensitive: False, page: 0
result:
codebasegpt/desc_logic.py
     5     from .utils import get_proj_state_path, load_proj_state, save_proj_state
     21            save_proj_state(proj_desc, app_state.app_config.proj_folder)
     93            save_proj_state(proj_state, app_state.app_config.proj_folder)
codebasegpt/init_logic.py
     16        save_app_config, save_proj_config
     24            save_app_config(AppConfig())
     134           save_proj_config(proj_config, proj_folder)
     156       save_app_config(app_config)
codebasegpt/utils.py
     15    def save_app_config(app_config: AppConfig):
     28    def save_proj_config(proj_config: ProjConfig, proj_folder: str):
     41    def save_proj_state(proj_state: ProjState, proj_folder: str):

Waiting for model response...

get_file function, path: codebasegpt/utils.py
returned codebasegpt/utils.py file content

get_file function, path: codebasegpt/app_config.py
returned codebasegpt/app_config.py file content

get_file function, path: codebasegpt/proj_config.py
returned codebasegpt/proj_config.py file content

Waiting for model response...

Next input cost: $0.03 (system: $0.01, chat: $0.02)
Request cost: $0.09 (input: $0.07, output: $0.01)
Session cost: $0.11

???? Bot: The CodebaseGPT software project stores its state and configuration
in JSON files. The `utils.py` file contains functions that handle the saving
of these JSON files:

1. `save_app_config(app_config: AppConfig)`: This function saves the
application configuration to a JSON file named `app_config.json`. The path
to this file is constructed using the `data_root` directory and the filename.

2. `save_proj_config(proj_config: ProjConfig, proj_folder: str)`: This
function saves the project configuration to a JSON file named
`proj_config.json`. The path to this file is constructed using the
`data_root` directory, the project folder name, and the filename.

3. `save_proj_state(proj_state: ProjState, proj_folder: str)`: This function
saves the project state to a JSON file named `proj_state.json`. The path to
this file is constructed using the `data_root` directory, the project folder
name, and the filename.

The `data_root` directory is defined in the `app_const.py` file, which is
not provided in the content above, but it is used as the base directory for
storing these JSON files.

The `app_config.py` file defines the `AppConfig` class, which includes
attributes for the project folder, description model, chat model, and other
settings.

The `proj_config.py` file defines the `ProjConfig` class, which includes
attributes for the project path, include and exclude patterns, gitignore,
and remove_comments settings.

The actual JSON files (`app_config.json`, `proj_config.json`, and
`proj_state.json`) are stored in the `data_root` directory, with
`proj_config.json` and `proj_state.json` being stored in a subdirectory
named after the project folder. The `utils.py` file provides functions
to ensure the existence of these directories and to save the configuration
and state data in the appropriate locations.

???? You: draw me this folders/files structure please

Waiting for model response...

Next input cost: $0.03 (system: $0.01, chat: $0.02)
Request cost: $0.04 (input: $0.04, output: $0.01)
Session cost: $0.16

???? Bot: Certainly! Here's a representation of the folders and files structure
for the CodebaseGPT software project's state and configuration storage:

```
data_root/  (The base directory for storing configuration and state files)
│
├── app_config.json  (Stores the application configuration)
│
└── [proj_folder]/  (A subdirectory named after the project folder)
    │
    ├── proj_config.json  (Stores the project configuration)
    │
    └── proj_state.json  (Stores the project state)
```

In this structure, `data_root` is a placeholder for the actual directory
path defined in the `app_const.py` file. The `[proj_folder]` is a variable
directory name that represents the name of the specific project folder for
which the configuration and state are being stored. Each project will have
its own subdirectory under `data_root` containing its `proj_config.json` and
`proj_state.json` files.

???? You: what actual data_root value?

Waiting for model response...

get_file function, path: codebasegpt/app_const.py
returned codebasegpt/app_const.py file content

Waiting for model response...

Next input cost: $0.04 (system: $0.01, chat: $0.02)
Request cost: $0.08 (input: $0.08, output: $0.01)
Session cost: $0.24

???? Bot: The actual `data_root` value is set to `'./_data'`. This means that
the configuration and state JSON files are stored in a directory named
`_data` at the root of the project. Here is the updated folders/files
structure with the actual `data_root` value:

```
./_data/  (The base directory for storing configuration and state files)
│
├── app_config.json  (Stores the application configuration)
│
└── [proj_folder]/  (A subdirectory named after the project folder)
    │
    ├── proj_config.json  (Stores the project configuration)
    │
    └── proj_state.json  (Stores the project state)
```

In this structure, `./_data` is the directory where the `app_config.json`,
`proj_config.json`, and `proj_state.json` files are located.
The `[proj_folder]` is a placeholder for the name of the project folder.

???? You: 

Рассмотрим действия ???? бота поэтапно:

• В ответ на первый запрос ???? выдал очень релевантный ответ на основе описаний файлов из первого системного промпта.

• В ответ на второй, уточняющий, вопрос ???? зачем-то начал искать в коде по строке "save" и получил вхождения строки в файлах "desc_logic.py", "init_logic.py" и "utils.py". Далее ???? понял что ошибся и решил загрузить 3 файла (лишь один из них из результатов поиска): "utils.py", "app_config.py", "proj_config.py".

• Далее ???? перечисляет 3 файла которые создает CodebaseGPT и функции которые это делают и это абсолютно точный ответ!

• Но я хочу большего - чтобы ???? нарисовал дерево этих папок и файлов. И ???? рисует! Но не находит как называется корневая папка (ее имя в отдельном файле констант)

• Я прошу найти значение этой константы. И ???? с этим конечно справляется.

Я считаю подобный результат более чем достойным.

Как видно из лога все это общение стоило $0.24 при использовании модели gpt-4-1106-preview. Модель gpt-3.5-turbo-1106 работает значительно хуже и я не использую ее для чата. Впрочем этой модели более чем хватает для создания описаний файлов. И так как эта модель стоит в 20 раз дешевле - то описания файлов создаются практически бесплатно.

Масштабирование

Можно сказать что это маленький проект (50кб исходного кода) и не понятно как он будет работать с проектами практического размера. Я максимально тестировал на проекте в 20 раз больше этого (1Мб исходного кода) и могу сказать что результат был аналогичный. Впрочем нужно понимать что у модели ограниченный размер контекста и больше примерно 400кб загруженных одновременно файлов она не способна обрабатывать. Поэтому если у вас в проекте есть файлы больше 40кб то программа выдаст предупреждение при инициализации. Один из способов уменьшить размер файлов - включить опцию "remove_comments" в proj_config.json. Позволяет уменьшить размер файла в случае например если закомментированы значительные фрагменты кода.

Также нужно отметить, что стоимость использования приложением прямо пропорциональна размеру исследуемого проекта. Но опять же нужно понимать, что цены на LLM падают достаточно быстро.

В последней версии приложения в файл конфигурации проекта добавлен новый параметр - desc_mode. Он задает режим создания и использования описаний файлов исследуемого проекта. Поддерживаются три значения:

• desc - стандартный режим. Описание файла составляет примерно 10% его размера.

• desc_2 - описания файлов примерно вдвое короче, чем в стандартном режиме.

• desc_no - описания не создаются и не используются.

Таким образом, desc_2 позволяет создать менее детальное (но занимающее меньше токенов) описание проекта. Этот режим может быть полезен при работе с более крупными проектами.

В случае desc_no описания файлов не создаются вовсе, и в первом системном промпте модель получает только список файлов. Интересно, что для решения простых задач этот режим тоже неплохо работает. То есть модель способна понять назначение файла просто по его имени и папке, в которой он находится, что само по себе довольно удивительно.

README.md

В README проекта описаны прочие аспекты работы с приложением, такие как формат конфигурационных файлов и поддерживаемые команды, поэтому не буду дублировать это здесь.

Резюме

Я полагаю, что этот инструмент может стать хорошим помощником для разработчика, когда необходимо разобраться в неизвестном проекте. Возможно, он также поможет новым сотрудникам быстрее включиться в работу над проектом.

Чтобы понять, насколько он может быть полезен именно вам, лучший способ — это попробовать его использовать.

Будет интересно получить обратную связь от сообщества. Отвечу всем в комментариях.

Если вам нужна консультация или совет, то у меня есть наработки по применению моделей OpenAI для решения очень разных задач. Пишите в комментариях или в личку, постараюсь помочь.