Что побудило написать статью?

Была тут недавно статья с картинками железа, ценами на железо, но без описания настроек, но зато с ссылками на GitHub и цитирую «Инструкция: Следуйте руководству в репозитории GitHub».:‑) Хотя в нынешних реалиях запустить нейросеть можно уже на чем угодно и не обязательно обладать навыками выше «Опытного пользователя ПК». (Если рассматривать «дистиллированные» сети, не знаю как правильно перевести.) Поэтому использования сложных инструментов и инструкций чтобы запустить что‑то и тем более отправку на GitHub считаю не совсем корректно.

О себе

Я не являюсь каким‑то специалистом в нейросетях, понятия не имею как их разворачивать, не сильно разбираюсь в терминологии, их классификации и прочее. Пользуюсь ими на уровне «хомячка», в публичных веб версия чтобы написать «простыню» если вдруг срочно требуется какой нибуть план аудита кротов в кроличьих норах или методология разведения гусей и мышек.

Поэтому статья будет из серии как нарисовать сову :-)

Железо и ПО на котором будем запускать

Как у любого рядового читателя Хабра у меня в распоряжении есть небольшой кластер виртуализации на модной сейчас среде "СВ ПК Брест".

Из него мы выделим одну ноду с характеристиками:

• 2x Intel Xeon Gold 6226R (16core/2.9 GHz)

• 12x 64GB DDR4 RDIMM 2933MHz

• 2 x 480GB SSD SATA

• 2 x 2-port 10Gb SFP+

• внешнее СХД подключенное по 10G ISCSI

В СВ ПК Брест создаем виртуальную машину (ВМ), отдаем ей максимум ресурсов ноды, в ВМ устанавливаем Windows Server 2022 (Windows), устанавливаем ПО LM-Studio, в LM-Studio скачаем модель DeepSeek-R1-GGUF запустим и посмотрим, что получится.

Почему выбор пал на LM-Studio?

Само использование инструмента LM-Studio позволяет запускай модели нейросетей просто и быстро, в графическом интерфейсе, который будет понятен большинству пользователей ПК. Никаких кучи команд, консоли и конфигов. Запустил программу, выбрал модель, нажал скачать, нажал запустить и можно пользоваться.

Данная инструкция по запуску модели в LM-Studio подойдет для запуска большинства моделей с сайта https://huggingface.co (естественно если ваше железо достаточно для запуска)

Создание Виртуальной машины

Наверное, каждый на Хабре хоть раз в жизни настраивал какую-либо среду виртуализации и ВМ в ней или как минимум знает в теории как это все работает и делается, тем более это не основная тема статьи, поэтому сократим по максимуму:

1. Создаем шаблон, в нем настраиваем NUMA 2 сокета, 8 ядер, 2 потока

2. Создаем постоянный образ жесткого диска

2. Из шаблона разворачиваем ВМ, монтируем жесткий диск в ВМ, проверяем что не ошиблись в настройках ВМ.

4. Устанавливаем Windows (ну тут все мастера, правда у меня был готовый sysprep образ), проверяем что драйвера virtio на месте.

После 15 минут у нас получилась вот такая ВМ с Windows Server 2022:

Внутри ВМ Windows

Тест памяти в AIDA64 внутри ВМ (очень медленно, кто знает почему напишите в комментариях):

Устанавливаем LM-Studio и скачиваем DeepSeek-R1-GGUF

1. Заходим на сайт https://lmstudio.ai и там без СМС и регистраций скачиваем:

   LM-Studio-0.3.9-6-x64.exe (или актуальную версию на момент прочтения)

2. Устанавливаем LM-Studio, установка простая, нажимаем кнопочку далее, далее…

3. Запускаем установленный LM-Studio и попадаем в главное окно программы

4. Нажимаем слева на панели кнопок кнопку поиска (иконка лупы), открывается следующее окно поиска

5. В строке поиска пишем название модели (в нашем случае DeepSeek-R1-GGUF), кнопкой, выбираем какой вариант (квантования и размер модели) скачать (я скачал Q4_K_M так как для остальных LM-Studio считает считает что недостаточно ресурсов) и нажимаем кнопку "Download" (в моем случае кнопка "Use in New Chat", так как я уже скачал модель и скриншоты делал после). Дальше начинается процесс скачивания, ждем, все зависит от вашего интернета.

   

Запускаем модель DeepSeek-R1-GGUF

1. После предыдущих действий у нас есть установленный LM-Studio и скачанная модель DeepSeek-R1-GGUF

2. В главном меню программы нажимаем "Select model to load"

   

3. Выбираем нашу модель (DeepSeek R1) и нажимаем на нее (тут может быть много моделей)

   

4. Откроется окно, в котором мы можем указать дополнительные параметры запуска модели (я выбрал размер контекста в 16384 токенов, по умолчанию - 4094, максимум - 163480)

   

5. Жмем "Load Model" и ждем пока она загрузится в ОЗУ

   

6. После загрузки модели вы увидите, что надпись "Loading... %" изменится на " вап" и мы можем начать экспериментировать

   

7. Все готово, можно использовать модель

   

8. Качество и скорость работы можно оценить на видео

Что нейросеть знает о Хабре

Ответ на вопрос «Привет что ты знаешь о Хабре?» кто не смог посмотреть видео под спойлером

Выводы

На сервере без GPU запустить конечно модель можно, но вот скорость работы оставляет желать лучшего. Скорое всего большие смысл имеет запустить дистиллированные модели и другие маленькие модели, но на GPU, даже на домашних карточках сейчас 8-12-16-24GB памяти.

Модель запускалась от нечего делать, в период простоя узла кластера. Какой-либо коммерческой цели использовать в таком варианте не было и не будет (проще купить подписку и пользоваться).

Как тестировать на производительность я не знаю, ну видно, что она еле шевелится. Если будут какие-то предложения пишите, попробуем попробовать.

ps было потрачено около 5 часов из них:

• 30 минут на настройку и установку;

• где то два часа с кофе и скачивание модели (три раза был обрыв скачки)

• 2.5 часа на написание статьи, снятие скриншотов, заливки видео...