Знаете это чувство, когда читаешь статью про локальные LLM и думаешь: «А, ну это же просто. Поставлю Ollama, тяну модель, и у меня уже свой ИИ-агент, который знает весь код»?

Я думал именно так.

Меня зовут Егор Лаптев, я QA Fullstack Java в SENSE на проекте крупного российского банка. У меня MacBook Pro M2 Pro с 32 ГБ RAM: не topical машина, но для разработки рабочая лошадка. Даже не подозревал, что через 20 минут после запуска модели ноутбук будет звучать как истребитель на взлёте, а температура процессора будет такой, что можно было бы варить яичницу на крышке.

Это история о том, как «просто запустить локально» превратилось в инженерный проект с бюджетом, расчётами и одним почти сгоревшим ноутбуком.

Две команды в терминале

Всё началось с двух команд в терминале:

ollama pull qwen-coder:3.5-72b

ollama run qwen-coder:3.5-72b

Модель — Qwen Coder 3.5, 72 миллиарда параметров, а по меркам LLM это уже тяжёлый класс. В интернете пишут: «72B — это для воркстейшнов, тебе нужен сервер с 128 ГБ». Но Ollama с агрессивным квантованием до Q2_K (~26 ГБ) «вмещает» модель в 32 ГБ, так что технически она влезает, если сжать её до состояния, при котором она сама начинает сомневаться в своём интеллекте.

Да, я знаю, что вы сейчас подумали: «Q2_K? Это же каша из токенов, любая логика умирает». И вы правы, но цель была проверить, заведётся ли вообще 72B на ноутбуке, а эксперимент — не продакшн. Для реальной работы я бы взял Qwen 2.5 7B или 14B в Q4_K_M или Q8, а это 90% качества при трети ресурсов. Но тогда бы не было этой статьи.

Не стал ничего настраивать: никаких лимитов или ограничений GPU. Просто ollama run и поехали.

Вентилятор заорал

Ollama забрал всю доступную RAM, все 32 ГБ: 32 гигабайта, и он сожрал ВСЕ. macOS начала активно использовать swap, и диск начал гудеть как стиральная машина на отжиме, а CPU и GPU (у нас же unified memory, так что это одно и то же) стояли на 100% весь период инференса. Вентилятор заорал, а всё остальное на машине стало неюзабельным: браузер лагал, IDE зависала, даже ls в терминале отвечал с задержкой. Через несколько минут включился thermal throttling, и система начала принудительно снижать частоты, чтобы не сгореть.

Кто-то скажет: «Да macOS не даст одному процессу забрать всю память». И будет прав: по умолчанию есть лимит ~70-75% от общего объёма RAM для GPU. Но Ollama + macOS в связке с 72B моделью ушли в жёсткий своп: модель не влезала в отведённые 75%, и macOS начала активно писать и читать на SSD. А это медленная смерть для диска: постоянная нагрузка на NAND-ячейки, нагрев, деградация. MacBook страдал не только от CPU/GPU, но и от того, что SSD работал на износ.

Я смотрел на Activity Monitor, где все графики были красными, и подумал: «Больше похоже на запуск ракеты, чем на деплой агента». Каким-то чудом ноутбук выжил, но я понял, что так продолжаться не может.

Пытаемся спасти ситуацию: лимит памяти

Первым делом я поставил лимит на память: пусть модель работает в отведённом бюджете, а остальное достанется системе и моим окнам. 4096 MB, как советовали в туториалах, не сработали: 72B in Q2_K весит ~26 ГБ, и в 4 ГБ она просто не влезает, Ollama честно сообщал об ошибке загрузки. Пришлось поднять лимит до 28 ГБ, ровно чтобы модель влезла, и ни гигабайтом больше. У меня 32 ГБ, а модель мучается в 28. Звучит как издевательство, но это единственное, что позволяло ноутбуку не перегреться.

# В конфиге Ollama или через переменные окружения

OLLAMA_NUM_PARALLEL=1

# Лимит памяти через системные настройки macOS

В итоге модель отвечает, а скорость инференса при этом упала до 1-2 токенов в секунду (для сравнения, на RTX 4090 та же модель выдаёт 10-15 tok/s).

Что это значит на практике? Простой запрос «напиши функцию для парсинга JSON» заставляет ждать минуту-две, пока модель генерирует ответ. Токены приходят по одному-два, буква за буквой, как будто кто-то печатает на машинке 1985 года.

Оно живое. Но живое как черепаха. Разница между двумя режимами видна в таблице.

Для экспериментов, конечно, терпимо, но для ежедневной работы точно нет.

Переезд на ПК, который теперь работает на агента

Решение было очевидным: нужен ПК уровня рабочей станции.

Спеки, которые у меня были в наличии:

• GPU: RTX 4070 Ti Super 16GB

• RAM: 32 ГБ DDR5

• SSD: 2TB NVMe Gen4

• CPU: Intel Core i5-13600KF

72B в Q2_K (~26 ГБ) не влезает в 16 ГБ видеопамяти целиком, часть весов живёт в оперативке, и это заметно. Но модель на этом железе работает:

• 5-8 токенов в секунду — ответ на простой запрос генерируется за 10-20 секунд

• Можно держать открытыми IDE, браузер, терминал — всё работает

• GPU не в 100%, а в 60-70% при инференсе

Звучит идеально, правда? Но теперь, когда я запускаю агента:

• GPU сидит на 80-90% во время инференса

• Играть в AAA-тайтлы — невозможно (GPU занят)

• Монтировать видео — можно, но медленно (конкуренция за VRAM)

• ПК теперь на 50% ИИ-сервер и на 50% личный компьютер

Оно живое и быстрое, но мне немного жаль личный ПК: он теперь работает на меня 24/7, а я не могу даже поиграть в Cyberpunk без того, чтобы сначала остановить агента.

RAG-база: кошелёк начинает нервничать

И вот тут начинается самое интересное. Потому что модель, которая просто генерирует текст, ещё не агент. Агент — это модель + контекст. А контекст — это RAG (Retrieval-Augmented Generation).

Мне хотелось, чтобы агент знал мой домен: код, доки, процессы, тикеты, чаты. Для этого я начал собирать RAG-пайплайн: векторная база + эмбеддинги + retrieval. И вот тут я сел посчитать, а сколько это всё вообще весит.

Расчёт: сколько нужно для «полного» покрытия домена

Исходные данные:

• Средний документ: 10-50 страниц

• Размер чанка: 500 токенов (~350 слов)

• Размерность эмбеддинга: 1536 или 4096

И это только векторная база, давайте ещё приплюсуем к ней:

• Веса модели: 32B в FP16 = 64 ГБ, в FP32 = 128 ГБ

• Данные для fine-tuning + состояния оптимизатора: ×3-4

• Структуры индекса: HNSW-графы добавляют 30-50% overhead

В сумме получим, что реалистичный footprint для «полностью обученного» личного агента — это 2-4 ТБ.

Show me the money: сколько стоит агент целиком

Считаем железо, которое нужно для локального агента:

Плюс электричество:

• RTX 4090 превращает ~350W под нагрузкой

• 8 часов в день = ~2.8 кВт·ч/день

• В год: ~$100-180

Но главная стоимость — личное устройство теперь сервер. Вы не сможете использовать его для других задач, не сможете выключить, если агент должен быть доступен, и не сможете продать, потому что он «привязан» к инфраструктуре.

Когда локально, а когда облако

Раз расчёт вышел таким, остаётся решить, что запускать локально, а что в облаке. Однозначного ответа тут нет: многое зависит от того, какое у вас железо, насколько чувствительны данные и нужен ли агенту аптайм 24/7. Ниже условия, при которых я бы выбрал тот или другой вариант.

Когда локально имеет смысл:

• У вас уже есть мощное железо (воркстейшн, игровой ПК с 24GB+ VRAM)

• Вам нужна конфиденциальность (чувствительный код, внутренние доки, данные клиентов)

• Вы экспериментируете и не нужен 24/7 аптайм

• Модель маленькая (7B-14B) и задача не требует глубокого рассуждения

Когда облако / корпоративная инфраструктура лучше:

• Нужна скорость и постоянная доступность

• Нужен полный RAG-пайплайн на масштабе (миллионы чанков)

• Не хотите обслуживать железо (апгрейды, замена, охлаждение)

• Стоимость инференса в облаке часто ниже амортизированной стоимости железа

Sweet spot: гибридный подход

Используйте MacBook для того, что он умеет. А облако — для того, что он не умеет.

Ноутбук цел, а счёт остался

MacBook жив и полностью в порядке. Один троттлинг ещё не болезнь, просто macOS снизил частоты, чтобы не перегреться. Вреда и последствий нет. Живёт, работает, как и раньше, разве что иногда чуть сильнее греется под нагрузкой, но, как уже понял, это не про LLM.

Если считать целиком, цена локального ИИ складывается из четырёх частей:

• Железо: $3000-6500 (или личный ПК, который теперь сервер)

• Электричество: $100-180/год (мало, но это не ноль)

• Время: настройка, отладка, мониторинг, апгрейды

• Ограничения: личное устройство теперь работает на агента

Но опыт того стоил. Теперь я знаю, что 7B-14B можно держать на своём железе, а RAG на сотни гигабайт и дообучение лучше отдать облаку.

А вот терпение закончилось: ждать минуту на каждый ответ я не хочу.

Если вы думаете «а я просто запущу на своём ПК», загляните в блок «RAG-база» и посчитайте, прежде чем решать.

Какую модель вы запускаете локально, на каком железе и что вас остановило? Давайте обсудим в комментариях.