04.11.2026 12:52
Phonetastic 9 4700 Источник

Уже несколько месяцев я активно экспериментирую с локальными языковыми моделями на своем ноутбуке Lenovo ThinkPad P16 Gen 2 (Intel Core i7-13850HX, 128 GB RAM, Samsung 980 Pro 2 TB + 990 Pro 1 TB, Nvidia RTX 2000 Ada 8Gb).

Конфигурация очень бодрая для любых задач, кроме… работы с тяжелыми ИИ-моделями. И "узкое горлышко" здесь очевидно - видеокарта Nvidia RTX 2000 Ada Laptop всего с 8 ГБ VRAM. Дискретная, быстрая, заточенная под ИИ, но видеопамяти катастрофически мало! Тем не менее даже в эти 8 гигабайт вполне можно уместить отличную локальную модель, да еще и с контекстом на 8192 токена. Это позволяет вести долгие осмысленные диалоги без потери нити обсуждения.

После долгих поисков и тестов я остановился на одной модели - gemma-4-12B-it-QAT в квантовании q4_0.

Почему именно она?
Премиальный уровень «из коробки»: Это модель от Google, обученная на их топовых решениях. Метод QAT (Quantization-Aware Training) минимизирует потери качества при «упаковке» в 4 бита.

Минимум галлюцинаций: При правильной настройке (особенно с немного заниженной температурой) модель отлично держит контекст и выдает точные энциклопедические данные. Срез знаний у нее свежий “конец 2025 - начало 2026 года”. Настоящая локальная «мини-Википедия»!

Хороший кодинг: Модель отлично пишет код (особенно на Python и PowerShell). Последующая верификация в среде разработки проходит практически со 100%-й точностью. Идеально влезает в VRAM: Вместе с контекстом в 8192 токена она целиком помещается в 8 ГБ видеопамяти. В LM Studio на моем ноутбуке она выдает честные 12 токенов в секунду, чего более чем достаточно для комфортного диалога.

Но была одна серьезная проблема. При генерации ответов ноутбук буквально «шёл на взлёт»: процессор раскалялся до 96 °C, а кулеры шумели на уровне хорошего домашнего пылесоса.
И, конечно же, я очень захотел это исправить!

В поисках тишины: гипотеза.

Раз модель полностью умещается в VRAM и все вычисления берет на себя графический чип, зачем процессору работать на пределе своих возможностей? Очевидно, что CPU в этот момент не нужна максимальная частота. Если искусственно «приглушить» процессор во время работы с LLM, можно радикально снизить тепловыделение и разгрузить общую систему охлаждения?
Для реализации этой идеи я использовал связку из двух утилит: TPFanControl и ThrottleStop.

Шаг 1. Настройка TPFanControl (V2.15 Dual Fan) Оригинальная утилита до сих пор развивается сообществом в форке для двухвентиляторных систем, который отлично подошел для моего ThinkPad P16.

Я скорректировал штатный файл конфигурации TPFanControl.ini, изменив логику работы вентиляторов в секции Smart Mode 1. Вместо стандартных пресетов я прописал более раннее и плавное переключение скоростей, чтобы не допускать резких скачков температуры:

MenuLabelSM1=Smart Mode 1/ Label for Icon Menu, must be terminated by '/'
// Старые значения (закомментированы):
// Level=60 0 // Level=140 0
// Level=65 1 // Level=150 1
// Level=75 3 // Level=165 3
// Level=80 7 // Level=175 7
// Level=90 64 // Level=195 64

// Новые оптимизированные значения:
Level=55 2 // Level2=70 0
Level=57 3 // Level2=90 1
Level=60 4 // Level2=100 2
Level=70 5 // Level2=110 3
Level=75 7 // Level2=130 7
Level=80 7
Level=90 7

Шаг 2. Укрощение процессора через ThrottleStop.
В ThrottleStop я создал отдельный профиль под названием «AI Mode» и задействовал две ключевые опции:

  1. Disable Turbo: Полностью отключил турбобуст процессора.

  2. PROCHOT Offset: Выставил значение на 25.

Это ограничило производительность процессора примерно на 40–50% от его пиковых (и избыточных в данном сценарии) возможностей. Теперь CPU при любой продолжительности генерации текста не нагревается выше 60–65 °C. Остаточной мощности процессора при этом с головой хватает для параллельной работы в браузере, мессенджерах или редакторе кода. И даже держать запущенными с легкими задачами 3-5 виртуальных машин.

Результаты эксперимента.
Главный вывод: «заглушение» процессора вообще никак не повлияло на скорость генерации локальной LLM!
Что с «кипящим» процессором на максимальных частотах, что с задушенным в режиме «AI Mode» - видеокарта RTX 2000 Ada стабильно выдает свои 12 токенов в секунду. Зато физические показатели системы изменились драматически:

  • Температура в пике упала с 95–96 °C до стабильных 68 °C.

  • Температура самой видеокарты в пике не превышает 59 °C.

  • Шум кулеров опустился до едва заметного фонового шуршания.

Небольшое перераспределение ресурсов и ограничение избыточной мощности CPU позволили превратить шумную «печку» в холодный, бесшумный и эффективный инструмент для работы с продвинутой нейросетью. Причем на далеко не самом топовом по объёму памяти “железе”.

Думаю, что в описанной выше ситуации, любой энтузиаст легко может повторить мой результат и обеспечить себе комфортные условия работы с локальными моделями ИИ.

Комментарии (9)


  1. himikgenuine
    04.11.2026 13:30
    #30602192

    Для таких конфигураций, "много RAM - мало VRAM", придумали архитектуру MOE. Та же гемма 4 26B будет работать ничуть не хуже, чем 12B, а по идее даже лучше. И будет при этом даже умнее. А ещё нормально поедет MOE Qwen 3.6 и Flint. Но не через LMStudio, он в MOE не умеет, надо напрямую в llama.cpp запускать, любая нейросеть расскажет как.


    1. Phonetastic Автор
      04.11.2026 13:30
      #30602220

      Спасибо за отличную наводку на архитектуру MoE и llama.cpp! С моими 128 ГБ RAM это действительно классный вариант для экспериментов, если нужен максимальный "интеллект" модели.

      Единственный нюанс, который меня смущает - это скорость. Полноценный запуск большой модели через обычную оперативную память (RAM) упирается в её пропускную способность. Скорость DDR5 на ноутбуке всё-таки в разы ниже, чем у быстрой видеопамяти (VRAM). Боюсь, вместо комфортных 12 токенов в секунду я получу медленную "печатную машинку" на 2–3 токена, если не хуже.
      Примерно так у меня получилось с Qwen2.5-72B-Instruct. Думает как "доктор наук", но на скорости 1 токен в сек.


      1. himikgenuine
        04.11.2026 13:30
        #30602316

        На машине с 64Gb DDR5 и 4060 8Gb VRAM Gemma 4 12B выдаёт примерно 15 токенов в секунду, а Gemma 26B A4B около 50. На 32Gb DDR4 + 4070Ti получается 30 т\с против 60-70.

        Но, повторюсь, не в LMstudio, там да, скорость падает как при разделении слоёв плотной модели между RAM и VRAM.


    1. nikulin_krd
      04.11.2026 13:30
      #30602454

      Кто вам сказал что LMStudio в MoE не умеет? Может вы просто не умеете его готовить?


      1. himikgenuine
        04.11.2026 13:30
        #30603126

        Очень даже может быть. Подскажете как это правильно делать?

        Сейчас вот зашёл проверить, без каких либо специфичных настроек, если просто указать модель и загрузить её с настройками по умолчанию, LM Studio даёт у меня на gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 23 токена в секунду, а llama.cpp 59. Если лламе прикрутить MTP, и прочий мелкий тюнинг, типа –moe-cache-mib, то она на мелком контексте уходит за 100 tps. Где потыкать в LM Studio чтоб её взбодрить? Потому что сейчас она как будто не оптимально с моделью работает.


  1. Phonetastic Автор
    04.11.2026 13:30
    #30602202

    Друзья, вижу, что кто-то скорректировал мне карму в минус. Если вы не согласны с использованием ThrottleStop или у вас есть более элегантное решение для ограничения CPU при работе с LLM - пожалуйста, поделитесь в комментариях! Я открыт к критике и готов дополнить статью вашими советами.


  1. UB3
    04.11.2026 13:30
    #30602340

    2 Автор - попробуй модели семейства Ornit - я думаю будешь приятно удивлен. Я пробовал твои модели, и медленно и тупо до невозможности. Пробуй Орнит 1.5
    ищи models\Ornith-1.5-9B-Q4_K_M.gguf и включи MTP - скорость существенно вырастетвот тебе мой батник для запуска (как шпаргалка)

    @echo off title Ornith 1.5 9B Q4_K_M MTP [8Gb Vulkan GPU] cd /d “C:\llama”

    set GGML_VK_DEVICE=0

    llama-server.exe ^ –model “models\Ornith-1.5-9B-Q4_K_M.gguf” ^ –host 0.0.0.0 ^ –port 8080 ^ –ctx-size 65000 ^ -ngl 99 ^ –api-key “12345” ^ –cache-type-k q8_0 ^ –cache-type-v q4_0 ^ –reasoning off ^ –temp 0.3 ^ –top-p 0.95 ^ –top-k 20 ^ –repeat-penalty 1.05 ^ –repeat-last-n 512 ^ –jinja ^ –flash-attn auto ^ –ubatch-size 512 ^ –batch-size 256 ^ –threads 6 ^ –threads-batch 6 ^ –parallel 1 ^ –spec-type draft-mtp ^ –spec-draft-n-max 2

    pause



  1. V1tol
    04.11.2026 13:30
    #30602938

    Я просто оставлю это здесь.

    https://github.com/Niko1221/Strata


  1. Kwentin3
    04.11.2026 13:30
    #30603076

    В сегменте легковесных бытовых моделей от 7B до 14B параметров сейчас разворачивается самая жесткая битва. Благодаря аппаратному прорыву и массовому внедрению CoT (Chain-of-Thought / встроенного рассуждения), эти модели в тестах на логику и математику начали вплотную подбираться к старым коммерческим гигантам уровня GPT-4. Ниже приведено прямое сравнение актуальных результатов тестирования и расклад сил среди SOTA-моделей в этом весе. Сравнение бенчмарков в категории от 7B до 14B параметров Данные агрегированы на основе Hugging Face Open LLM Leaderboard и слепых тестов LMSYS Chatbot Arena. Значения указаны для тестов MMLU-Pro (Сложные знания), MATH (Математика / Логика) и IFEval (Следование промпту). Qwen 2.5 / QwQ (14B) MMLU-Pro: около 52-54% MATH: около 60-62% IFEval: около 83-85% Статус: Абсолютный SOTA и топ по мультиязычности. Gemma 4 (12B-it) MMLU-Pro: около 50-51% MATH: около 54-56% IFEval: около 81-82% Статус: Мультимодальность без энкодеров и высокая скорость. Llama 3.3 / Llama 4 Scout (8B) MMLU-Pro: около 45-47% MATH: около 46-48% IFEval: около 79-81% Статус: Лучшая экосистема и стабильность. Mistral / Nemo (12B) MMLU-Pro: около 43-45% MATH: около 38-40% IFEval: около 76-78% Статус: Стабильная рабочая лошадка для RAG-систем. Кто сейчас реальный ТОП и SOTA? Если судить по бенчмаркам и отзывам инженеров, лидерство делят две модели, но под разные сценарии:

    1. Qwen 2.5 / Qwq-14B — Абсолютный SOTA в логике и мультиязычности Китайские модели от Alibaba прочно удерживают лидерство в категории малого веса. Их CoT-версии (серия QwQ) демонстрируют аномально высокие показатели в бенчмарке MATH для моделей такого размера. Они думают глубже и совершают меньше логических ошибок. Для русского языка это безоговорочный лидер, так как модель нативно понимает русский синтаксис и не страдает от языкового сдвига.

    2. Gemma 4 (12B-it) — SOTA в мультимодальности и скорости Google совершил технологический прорыв, лишив модель классического Vision-энкодера. Это первая по-настоящему всеядная модель в весе 12B. Она напрямую воспринимает звук и картинки, тратя на это минимум ресурсов. Кроме того, за счет встроенных архитектур MTP (Multi-Token Prediction) она выдает рекордную скорость генерации на локальном железе — вплоть до 120 и более токенов в секунду. Главный минус заключается в том, что она уступает Qwen в качестве работы с не-английскими языками.

    3. Llama 3.3 / 4 (8B) — Народный стандарт Модели от Meta традиционно отстают в чистой математике от Qwen, но берут свое за счет идеального баланса. Они показывают самый предсказуемый и послушный JSON-вывод, что подтверждается высоким баллом на IFEval. Если вам нужно встроить модель в кодовую базу как агента, который строго следует инструкциям и не уходит в бесконечные CoT-размышления, Llama остается эталоном. Резюме сообщества Если вам нужна локальная модель для математики, кодинга и безупречного русского языка — выбирайте Qwen 2.5 / QwQ (14B). Если в приоритете анализ картинок, аудио, скорость инференса и локальная работа с английским текстом — Gemma 4 (12B) на текущий момент не имеет равных по архитектурной изящности.