Вы хотите использовать возможности DeepSeek, передового ИИ-помощника по программированию, прямо на своем локальном компьютере? Независимо от того, создаете ли вы пользовательский рабочий ИИ-процесс или обеспечиваете конфиденциальность данных, самостоятельное развертывание DeepSeek открывает безграничные возможности. Давайте погрузимся в процесс развертывания.
Почему именно локальное развертывание?
Контроль за данными. Сохраняйте конфиденциальный код/проекты полностью в офлайн-режиме
Персонализация. Тонкая настройка моделей для вашего конкретного технологического стека (React, Vue, Python и т. д.)
Производительность. Устранение задержек API для генерации кода в режиме реального времени
Необходимые условия
Прежде чем приступить к работе, убедитесь, что ваша система соответствует этим требованиям:
Аппаратное обеспечение:
Процессор. x86-64 (требуется поддержка AVX2)
Оперативная память: ≥16 ГБ (для больших моделей рекомендуется 32 ГБ)
Накопитель: 50 ГБ+ свободного места на SSD
Программное обеспечение:
Docker 20.10+
Python 3.8+
Драйверы NVIDIA (если используется GPU-ускорение)
Краткое описание процесса установки
1. Клонируйте репозиторий
git clone https://github.com/deepseek-ai/local-runtime.git
cd local-runtime
Профессиональный совет: Используйте флаг --depth 1 для ускорения клонирования, если вам не нужна история коммитов.
2. Настройка переменных среды
Создайте файл .env:
# Model Configuration
MODEL_VERSION=deepseek-coder-33b-v2
GPU_ENABLED=true # Set false for CPU-only mode
# Security Settings
API_KEY=your_secure_key_here ?
AUTH_DOMAIN=localhost:8080
3. Сборка контейнера Docker
docker compose build --build-arg MODEL=$MODEL_VERSION
⏳ Это может занять 20-60 минут в зависимости от вашей сети и оборудования.
4. Запуск службы
docker compose up -d
Убедитесь, что она запущена:
curl http://localhost:8080/healthcheck
# Expected response: {"status":"OK","version":"1.2.3"} ✅
5. Тест генерации кода
Отправьте тестовый запрос через cURL:
curl -X POST \
-H "Authorization: Bearer your_secure_key_here" \
-H "Content-Type: application/json" \
-d '{"prompt":"Create a React form with Zod validation", "lang":"typescript"}' \
http://localhost:8080/v1/generate
Вы должны увидеть структурированный код TypeScript с интеграцией Zod!
Советы по настройке
Тонкая настройка модели:
python tune_model.py - dataset ./your_custom_data.jsonl - epochs 3
Интеграция с IDE:Добавьте сниппет VS Code (.vscode/settings.json):
{
"deepseek.endpoint": "http://localhost:8080",
"deepseek.autoSuggest": true
}
Обслуживание и обновления
Обновление моделей:
docker compose down && git pull origin main
docker compose build - no-cache && docker compose up -d
Мониторинг ресурсов:
watch -n 5 'docker stats - format "{{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}"'
Устранение неполадок
Все готово для программирования
Теперь, когда DeepSeek работает в локальном режиме, попробуйте воспользоваться этими идеями:
Построение интеграции CI/CD конвейера ?.
Создание шаблонов для конкретных областей (FinTech, Healthcare и т.д.) ?
Сравнение производительности с облачным API ?
Комментарии (8)
microArt
31.01.2025 09:27А тут как сделали, интересно?
OpenAI's nightmare: Deepseek R1 on a Raspberry Pi.
https://www.youtube.com/watch?v=o1sN1lB76EA
gfiopl8
31.01.2025 09:27Всё гораздо проще. Устанавливаете ollama (есть гуй для виндоуса), запускаете нужную модельку https://ollama.com/library/deepseek-coder:33b используете через openai совместимый интерфейс.
LF69ssop
31.01.2025 09:27С этой оламой что-то не так.
Запускаем ollama run deepseek-r1:1.5b и начинает какие-то смешные 1G качать бесконечно, вторые сутки пошли, занимательно то что ползунок прогресса то увеличивается то уменьшается, притом трафик показывает около 20Mbs.
Никогда такого не видел. На компе с дебианом в хетцнере скачал со свистом, но там нет видеокарты. А на домашнюю убунту-24 такие вот фокусы.
Alex-Freeman
31.01.2025 09:27Тут анонс платформы Gigabyte прошел (https://habr.com/ru/companies/hostkey/articles/878364/), с 48 сокетами под RAM и пропускной способностью 2,7 ГБ, это конечно раз в 10 медленнее ускорителей, но за счет того что модель будет лежать в одном месте, получается почти в два раза быстрее, чем на кластере из 32 штук 4090 и гораздо дешевле.
-
GPU ( 32x RTX 4090):
INT8: ~1–5 токенов в секунду.
---
32x RTX 4090 - 48 000
минимум 8 серверов по 4 карты минимум 24 000$
---
~72 000 $
Если пересчитать с 12 * A6000, будет еще дороже
Про 10 А100/H100 даже писать страшно, там уже полмиллиона+ будет и это для INT8, для FP16 умножаем примерно на 3) Будет конечно быстрее чем в оперативке)
-
1 ТБ RAM:
FP16: Невозможно.
INT8: 7–10 токенов в секунду.
-
3 ТБ RAM:
FP16: 4 –7 токена в секунду.
INT8: 14–20 токенов в секунду.
---
GIGABYTE R283-ZK0-AAL1 - 7 339,00 $
3 ТБ RAM - 15000 $
AMD EPYC 9274 - 2 * 2 255,00 $
---~ 25000 - 26000
-
Moog_Prodigy
33b? На реддите уже извратились до запуска 685b с маппингом на NVME SSD и 127 gb ОЗУ. Без видеокарт и монструозных материнок.
GnuriaN
Дай пожалуйста ссылку, что бы не тратить время на поиски. Спасибо!
Alex-Freeman
Скорее всего имеется ввиду https://www.reddit.com/r/LocalLLaMA/comments/1idseqb/deepseek_r1_671b_over_2_toksec_without_gpu_on/
Он использовал Gen 5 NVMe накопители. А оперативку (96Gb) только под кэш. Нужно посмотреть сколько она RAM жрет и попробовать засунуть все в оперативку вместо SSD, а кеш в ускоритель и посмотреть, что получится. Думаю раз в 10 будет быстрее