Используя nomic-embeded-text мы можем создать базу знаний для текстовых моделей LLama.
В этой статье я покажу на практике, как создать базу типовых вопросов-ответов для автоматизации онбординга джунов. Без консоли, без anaconda, без docker, без драйверов CUDA, всё настраивается через GUI мышкой через Setup.exe
Шаг 1. Скачиваем и настраиваем GPT4All
Ссылка на скачивание: https://www.nomic.ai/gpt4all
![](https://habrastorage.org/getpro/habr/upload_files/d7e/2e5/b1c/d7e2e5b1ca20f91a3a31a311f0c932ff.png)
GPT4All это llama.cpp + Qt6. Qt позволяет рисовать пользовательский интерфейс, llama.cpp позволяет запускать нейронные сети в формате GGUF без python, где возникнет множество проблем, начиная необходимостью специальной версии python (Python 3.7 для Tensorflow) и Anaconda (забьет .whl пакетами 10 гигабайт на жестком диске). Так как это бинарник, все зависимости заморожены и языковая модель точно не перестанет работать с новым обновлением Windows.
![](https://habrastorage.org/getpro/habr/upload_files/afa/d25/d2d/afad25d2d67fbfee4616927d2b458e34.png)
Открываем конфиг, добавляем строчку, чтобы запускать языковые модели на CPU.Это позволяет исключить зависимость языковой модели от оперативной памяти видеокарты
![](https://habrastorage.org/getpro/habr/upload_files/541/277/e24/541277e2418b5e2e8bc341bc74c609a2.png)
Если на вашей видеокарте более 8Gb оперативной памяти, делать не нужно. Корпоративный сегмент работает на ноутбуках, там видеокарты с урезанной оперативой. Другими словами, на ноуте наклейка RTX 4050, а нейронка вылетит, так как аллоцирует 8Gb памяти видеокарты.
![](https://habrastorage.org/getpro/habr/upload_files/640/0b7/f5b/6400b7f5b253d3d9c9425d42012f4ee9.png)
Скачиваем нейронку. Берем первую попавшуюся, они отсортированы по лайкам. Но не забываем про оперативу видеокарты: с включенным флагом CPU заработает любая нейронка, на GPU нужно БОЛЬШЕ, чем указано, так как часть памяти видеокарты тратит сама Windows - написано 8Gb, значит нужна карта на 12Gb
![](https://habrastorage.org/getpro/habr/upload_files/bde/759/077/bde75907758b82e3d8b8b1586d18808a.png)
Клонируем репо, где есть документация. GPT4All умеет обрабатывать Markdown файлы, как файлы README.md на гитхабе, расширение *.md
, есть предпросмотр в VS Code. При необходимости, можно заютюбить или использовать любой wysiwyg markdown editor. Особо примечательно расширение браузера хром ChatGPT to Markdown, документацию можно бесплатно генерировать из кода в ChatGPT. Или, подойдет Jetbrains AI, триалки WebStorm хватит покрыть весь проект документацией, но за ИИ плагин придется выложить 10$
![](https://habrastorage.org/getpro/habr/upload_files/0ac/c0b/9ac/0acc0b9ac5ac100bc4391b42710846ed.png)
git clone https://github.com/react-declarative/react-declarative.git
Выбираем папку с документацией. Жмем Create Collection
![](https://habrastorage.org/getpro/habr/upload_files/9bb/10c/dff/9bb10cdff9756e1b3b41285df18a165a.png)
Шаг 2. Запускаем чат, Пишем промпт
Создаем чат, выбираем нейронку. Подключаем документацию, нажав кнопку LocalDocs в правом верхнем углу и отметив чекбокс
![](https://habrastorage.org/getpro/habr/upload_files/f4a/4fa/2ad/f4a4fa2ad21c7d5b68ecae0e00efb761.png)
Пишем промпт. В случае с react-declarative, я написал следующий
write a sample sign in form by using IField interface
![](https://habrastorage.org/getpro/habr/upload_files/550/5a6/640/5505a6640754d0b29180c4d2ba741b01.png)
Наслаждаемся генерацией кода по документации.
Спасибо за внимание!