Используя nomic-embeded-text мы можем создать базу знаний для текстовых моделей LLama.
В этой статье я покажу на практике, как создать базу типовых вопросов-ответов для автоматизации онбординга джунов. Без консоли, без anaconda, без docker, без драйверов CUDA, всё настраивается через GUI мышкой через Setup.exe
Шаг 1. Скачиваем и настраиваем GPT4All
Ссылка на скачивание: https://www.nomic.ai/gpt4all
GPT4All это llama.cpp + Qt6. Qt позволяет рисовать пользовательский интерфейс, llama.cpp позволяет запускать нейронные сети в формате GGUF без python, где возникнет множество проблем, начиная необходимостью специальной версии python (Python 3.7 для Tensorflow) и Anaconda (забьет .whl пакетами 10 гигабайт на жестком диске). Так как это бинарник, все зависимости заморожены и языковая модель точно не перестанет работать с новым обновлением Windows.
Открываем конфиг, добавляем строчку, чтобы запускать языковые модели на CPU.Это позволяет исключить зависимость языковой модели от оперативной памяти видеокарты
Если на вашей видеокарте более 8Gb оперативной памяти, делать не нужно. Корпоративный сегмент работает на ноутбуках, там видеокарты с урезанной оперативой. Другими словами, на ноуте наклейка RTX 4050, а нейронка вылетит, так как аллоцирует 8Gb памяти видеокарты.
Скачиваем нейронку. Берем первую попавшуюся, они отсортированы по лайкам. Но не забываем про оперативу видеокарты: с включенным флагом CPU заработает любая нейронка, на GPU нужно БОЛЬШЕ, чем указано, так как часть памяти видеокарты тратит сама Windows - написано 8Gb, значит нужна карта на 12Gb
Клонируем репо, где есть документация. GPT4All умеет обрабатывать Markdown файлы, как файлы README.md на гитхабе, расширение *.md, есть предпросмотр в VS Code. При необходимости, можно заютюбить или использовать любой wysiwyg markdown editor. Особо примечательно расширение браузера хром ChatGPT to Markdown, документацию можно бесплатно генерировать из кода в ChatGPT. Или, подойдет Jetbrains AI, триалки WebStorm хватит покрыть весь проект документацией, но за ИИ плагин придется выложить 10$
git clone https://github.com/react-declarative/react-declarative.gitВыбираем папку с документацией. Жмем Create Collection
Шаг 2. Запускаем чат, Пишем промпт
Создаем чат, выбираем нейронку. Подключаем документацию, нажав кнопку LocalDocs в правом верхнем углу и отметив чекбокс
Пишем промпт. В случае с react-declarative, я написал следующий
write a sample sign in form by using IField interface
Наслаждаемся генерацией кода по документации.
Спасибо за внимание!