Локальный ИИ в 2026-м начинает становиться нормой для многих компаний. Причины понятные: данные не утекают в чужое облако, не нужны ни VPN, ни подписка на каждого сотрудника, всё крутится на своём железе и под контролем. Вот только перед тем как «поставить Ollama и запустить модель», всех встречает вопрос, на котором спотыкается большинство: а какое, собственно, железо под это брать?

Собрал для себя такой сервер, гоняю на нём локальные модели уже некоторое время — и ниже разберу, как выбирать конфигурацию под свою задачу и бюджет. Сбалансировано и без переплат (основано на моем опыте, не претендую на то, что это самый идеальный сервер для ИИ).

Про цены. В 2026-м видеопамять и видеокарты ощутимо подорожали! Поэтому конкретные суммы ниже — ориентир на 20 июня 2026-го, перед покупкой сверяйтесь с актуальными. А вот сам подход к выбору от прайса не зависит, и именно его и разберем в статье.

И ещё одно честное замечание, чтобы не разочароваться. Локальная модель не заменит фронтир — ChatGPT, DeepSeek и им подобных — по всем фронтам. Но для внутренних документов, черновиков, кода и обработки собственных данных её хватает с запасом, и данные при этом никуда не уходят. Какую модель под какую задачу брать — разговор отдельный (разберу в следующих статьях); здесь только про железо.

Всё решает видеопамять

Если из всей статьи забрать одну мысль — вот она: локальная LLM почти целиком живёт в памяти видеокарты. Сколько у вас VRAM, модель такого размера Вы и запустите на комфортной скорости.

Что будет, если модель в видеопамять не влезает? Она начнёт «переливаться» в обычную оперативку и досчитываться на процессоре, и скорость просядет в разы. Условные десятки токенов в секунду на GPU превращаются в тягостное ожидание на CPU; на практике разница легко доходит до 5–30 раз.

Отсюда и порядок сборки, непривычный для тех, кто собирал игровые ПК «от процессора»: сначала выбираем видеокарту по объёму VRAM под нужный размер моделей, а всё остальное собираем уже вокруг неё. Процессор, плата, корпус — это обвязка, которая обслуживает карту, а не наоборот.

Ориентир по объёму — вот такой:

VRAM

Что комфортно запускается

Кому подходит

8 ГБ

Модели 7–8B в Q4

Знакомство, лёгкий чат

16 ГБ

7–14B комфортно, 24–27B в Q4 впритык

Один пользователь, чат и боты

32 ГБ

27–32B комфортно, большой контекст, несколько моделей сразу

Мощный одиночный сервер (до 3 пользователей)

48 ГБ

Модели класса 70B в квантизации

Команда, продакшен

96 ГБ+

Очень большие модели, высокая нагрузка

Серьёзный продакшен

Дальше всё идет от этой таблицы.

Почему две видеокарты — почти всегда плохая идея

На практике 1 видеокарта на 32 ГБ лучше чем 2 по 16ГБ, и вот из-за чего.

Первое и главное — шина. На обычных материнках второй слот работает на урезанной скорости, x4 или x8, и обмен данными между картами превращается в бутылочное горлышко. «Суммарной» памяти вы толком не получаете — получаете головную боль с её раскладкой. Дальше — школьная физика: две карты это кратно более мощный блок питания, больше тепла в корпусе, выше шум и заметно более капризное охлаждение. И всё это не разово, а постоянно, потому что машина работает круглосуточно. По деньгам и по хлопотам две карты по 16 гигабайт проигрывают одной на 32, которая даёт тот же объём проще и часто быстрее. А если модель целиком помещается в одну карту, вторая и вовсе стоит без дела — вы просто заплатили за простаивающее железо.

Вывод простой: берите одну видеокарту с максимальным объёмом VRAM, какой вытягивает бюджет. Несколько карт оправданы только в серьёзном продакшене под очень крупные модели — но это уже серверное железо, специальные движки вроде vLLM и совсем другой разговор. Есть еще вариант нескольких серверов с балансировкой запросов - но это будет отдельная статья.

Теперь по компонентам

Видеокарта — сердце сервера

Тут всё определяет объём VRAM, к таблице выше добавить нечего — остальные параметры вторичны. Из принципиального: карта должна быть только NVIDIA. У неё зрелая экосистема (CUDA), и весь софт для локального ИИ заводится из коробки; с картами других вендоров вы будете воевать с совместимостью вместо того, чтобы работать. По поколению актуальны RTX 50-й серии (Blackwell) и профессиональные RTX PRO Blackwell — чем свежее, тем эффективнее. Стоит заранее посмотреть на энергопотребление (TGP): от него зависят требования к блоку питания и охлаждению, а для машины 24/7 это не мелочь. Профессиональные карты вдобавок дают память с коррекцией ошибок (ECC) и рассчитаны на круглосуточную работу — но и стоят соответственно.

Отдельно предостерегу насчёт «модов». На рынке попадаются переделанные китайские карты с удвоенной памятью — какая-нибудь «RTX 5080 на 32 гига для ИИ». Для учебного, а тем более рабочего сервера брать их не стоит: ни гарантии, ни предсказуемого поведения. Мнимая экономия оборачивается риском.

Процессор

При инференсе на видеокарте процессор — не главный герой, так что переплачивать за топовый CPU в ущерб карте не надо. Хватает современного середняка: Core i5/i7 или Ryzen 5/7 (в тяжёлых сборках — Ryzen 9, Threadripper, Xeon). Важно, чтобы процессор давал нужное поколение линий PCIe под слот видеокарты и оставлял запас ядер на систему и обработку API-запросов.

Материнская плата

От платы нужно немногое: правильный сокет под процессор, один полноскоростной слот PCIe x16 нужного поколения (второй ни к чему — карта у нас одна), слот M.2 под NVMe и, желательно, четыре слота под оперативную память с запасом на будущее. По сети минимум — гигабит, а 2.5 ГБит/с будут приятным заделом.

Оперативная память

Правило простое: оперативки не меньше, чем видеопамяти, а лучше вдвое больше. Под 16 ГБ VRAM — это минимум 32 ГБ RAM, комфортно 64. Тип и частота диктуются платой и процессором, сейчас это DDR5. В рабочих сборках закладывайте запас — на систему, веб-интерфейс, контейнеры и несколько одновременных клиентов. И держите в уме, что в 2026-м DDR5 подорожала и превратилась в заметную статью бюджета (у меня, например, именно память вытянула сборку под потолок).

Накопитель

Только NVMe SSD в формате M.2 — ни SATA, ни тем более HDD под систему и модели даже не рассматриваем. С объёмом сложнее: одна модель в GGUF весит от 5 до 40 гигабайт, а их у вас будет несколько, так что терабайт кончается на удивление быстро. Для старта — минимум 1 ТБ, спокойно жить начинаешь от 2 ТБ. В продакшене логично разнести систему и модели по разным дискам, отдав под модели диск побольше.

Блок питания

Мощность берём с запасом под пиковое потребление карты плюс вся остальная система. Грубый ориентир: под карту на ~180 Вт хватит блока 650–750 Вт, под 300–360 Вт — уже 850 Вт, под 500–600 Вт — 1000–1200 Вт. Сертификат — 80+ Gold и выше: для круглосуточной работы важны и КПД, и стабильность. Для современных мощных карт нужен стандарт ATX 3.1 и разъём 12V-2×6. На блоке питания экономить нельзя в принципе — именно от него зависит, доживёт ли до утра всё остальное.

Корпус и охлаждение

Здесь всё крутится вокруг продувки. Машине, которая пашет сутками, нужен нормальный воздушный поток: сетчатая передняя панель, достаточно вентиляторов. Корпус должен вмещать карту по длине — мощные карты длинные, это регулярно вылезает боком при сборке. Процессор охлаждаем по его аппетиту: добротный башенный кулер или СЖО. Задача — держать стабильную температуру и терпимый шум под постоянной нагрузкой, а не выжимать рекорды.

Операционная система

Тут развилка. Windows 11 Pro (именно Pro, не Home) — если хотите управлять сервером по удалённому рабочему столу: в Home роль RDP-хоста недоступна. Либо Linux с доступом по SSH — для продакшена этот путь в итоге удобнее.

Три сборки под разный бюджет

По сути вся разница между уровнями — это лестница по VRAM: 16 → 32 → 48 гигабайт. Всё остальное просто подстраивается под карту.

До 150 000 ₽ — вход в локальный ИИ (16 ГБ VRAM)

Один пользователь: чат, боты, обработка текста и картинок. Модели 7–14B тянет комфортно, 24–27B в Q4 — впритык.

Компонент

Пример модели

~Цена

Видеокарта

NVIDIA RTX 5060 Ti 16 ГБ (Palit и др.)

≈ 50 000 ₽

Процессор

Intel Core i5-13600K

≈ 22 000 ₽

Плата

ASUS TUF GAMING B760M-PLUS II (B760)

≈ 12 000 ₽

Память

32 ГБ DDR5-5600 (2×16)

≈ 40 000 ₽

SSD

1 ТБ NVMe (Kingston NV3)

≈ 12 000 ₽

Блок питания

750 Вт 80+ Gold (Cougar GES 750)

≈ 5 000 ₽

Корпус

Deepcool CC560 V2 (хорошая продувка)

≈ 4 500 ₽

Кулер CPU

Deepcool AK400

≈ 2 000 ₽

150 000 – 400 000 ₽ — мощный одиночный сервер (32 ГБ VRAM)

Главный апгрейд здесь — видеопамять с 16 до 32 гигабайт: открываются модели 27–32B, большой контекст и возможность держать несколько моделей в памяти одновременно. Под активного одиночку или небольшую группу.

Компонент

Пример модели

~Цена

Видеокарта

NVIDIA RTX 5090 32 ГБ

≈ 320 000–350 000 ₽

Процессор

AMD Ryzen 9 7900X / Intel Core Ultra 7 265K

≈ 35 000–45 000 ₽

Плата

B650E (AM5) / Z890 (LGA1851)

≈ 20 000–30 000 ₽

Память

64 ГБ DDR5-6000 (2×32)

≈ 60 000–80 000 ₽

SSD

2 ТБ NVMe Gen4 (Samsung 990 Pro)

≈ 20 000 ₽

Блок питания

1000–1200 Вт 80+ Gold/Platinum, ATX 3.1

≈ 15 000–20 000 ₽

Корпус

Full-tower с усиленной продувкой (Lian Li / Fractal)

≈ 12 000–18 000 ₽

Кулер CPU

Двухбашенный воздушный (Deepcool AK620) или СЖО 360 мм

≈ 6 000–12 000 ₽

Если 16 ГБ VRAM вам хватает, а хочется просто больше скорости, есть вариант дешевле: взять RTX 5070 Ti 16 ГБ (≈ 92 000 ₽) или RTX 5080 16 ГБ (≈ 125 000 ₽) и вложить сэкономленное в более крепкую обвязку. Такая сборка укладывается в 250 000–300 000 ₽.

400 000 – 800 000 ₽ — сервер под команду и продакшен (48 ГБ VRAM)

Профессиональная карта на 48 ГБ с ECC-памятью и расчётом на круглосуточную работу: модели класса 70B в квантизации, много одновременных пользователей, повышенная надёжность.

Компонент

Пример модели

~Цена

Видеокарта

NVIDIA RTX PRO 5000 Blackwell 48 ГБ

≈ 549 000 ₽

Процессор

AMD Ryzen 9 9950X / Threadripper / Intel Xeon W

≈ 60 000–120 000 ₽

Плата

Топовая desktop или рабочая станция (TRX50 под Threadripper)

≈ 30 000–80 000 ₽

Память

128 ГБ DDR5 (ECC на рабочих станциях)

≈ 120 000–160 000 ₽

SSD

2× 2 ТБ NVMe (система + модели), опц. RAID

≈ 40 000 ₽

Блок питания

1200 Вт+ 80+ Platinum, ATX 3.1

≈ 25 000–35 000 ₽

Корпус

Full-tower / корпус рабочей станции с фильтрами

≈ 18 000–30 000 ₽

Охлаждение

СЖО 360 мм или крупный воздушный

≈ 12 000–18 000 ₽

ИБП (UPS)

Линейно-интерактивный 1500 ВА

≈ 20 000–40 000 ₽

Есть и альтернатива: если по объёму хватает 32 ГБ, но нужна именно продакшен-надёжность, поставьте RTX 5090 32 ГБ на серьёзную платформу с ECC и ИБП — выйдет дешевле и оставит запас в бюджете.

А выше 800 000 ₽ начинается следующая лига — NVIDIA RTX PRO 6000 Blackwell 96 ГБ (от ≈ 1 080 000 ₽): очень большие модели и высокая нагрузка.

Моя сборка — как пример

Чтобы не быть голословным, покажу конфигурацию, которую собрал сам. Заказ из обычного компьютерного магазина рядом с домом, итог — 152 742 ₽ (на 20 июня 2026).

Компонент

Модель

Цена

1

Видеокарта

Palit GeForce RTX 5060 Ti 16 ГБ GDDR7

49 999 ₽

2

Процессор

Intel Core i5-13600K (14 ядер, LGA1700)

21 999 ₽

3

Память

Kingston Fury Beast 32 ГБ DDR5-5600 (2×16)

40 999 ₽

4

Материнская плата

ASUS TUF GAMING B760M-PLUS II

11 899 ₽

5

SSD

Kingston NV3 1 ТБ M.2 NVMe

12 299 ₽

6

Блок питания

Cougar GES 750 (750 Вт, 80+ Gold, ATX 3.1)

4 799 ₽

7

Корпус

Deepcool CC560 V2 (Mid-Tower)

4 499 ₽

8

Кулер CPU

Deepcool AK400

2 050 ₽

9

Сборка

Сборка ПК в магазине

4 199 ₽

Итого

152 742 ₽

Коротко, почему собрано именно так. Главный компонент — RTX 5060 Ti на 16 ГБ: этой памяти хватает, чтобы комфортно крутить модели до 14B и дотягиваться до 24–27B в квантизации, и по соотношению «объём VRAM / цена» это самая разумная точка входа. i5-13600K — крепкий середняк, при инференсе на GPU он бутылочным горлышком не становится. Оперативки — 32 ГБ, вдвое больше видеопамяти, как и положено; и именно подорожавшая память, а не что-то ещё, подтянула всю сборку к 150 тысячам. Блок питания на 750 Вт с сертификатом Gold и ATX 3.1 взят с запасом под карту и с правильным разъёмом — как раз под режим 24/7. Корпус Deepcool CC560 V2 хорошо продувается, что под постоянной нагрузкой важнее, чем красивая подсветка. SSD на терабайт — это стартовый минимум, местом приходится управлять с оглядкой, потому что модели съедают его очень бодро.

В сумме — сбалансированная точка входа: ничего лишнего, весь бюджет ушёл в то, что реально влияет на работу ИИ.

ИБП: для дорогих и круглосуточных сборок — обязателен

Чем дороже сервер и чем критичнее он для дела, тем нужнее источник бесперебойного питания. Для машины, которая работает круглосуточно и обслуживает клиентов, ИБП закрывает сразу три задачи. Во-первых, страхует от внезапного отключения: резко пропавшее питание в момент записи легко повреждает и данные, и систему, а ИБП даёт время корректно завершить работу. Во-вторых, сглаживает просадки и скачки напряжения, а это продлевает жизнь и блоку питания, и остальным компонентам. В-третьих, держит сервис на плаву — при коротких отключениях сервер продолжает работать, и клиенты не теряют доступ.

Берите линейно-интерактивный ИБП с запасом мощности под свою сборку (для топовых конфигураций — 1000–1500 ВА и выше). Полезно, если он умеет сам безопасно выключать ПК через USB-связь. Из вменяемых производителей — APC, CyberPower, Ippon, PowerCom. Для базовой сборки ИБП тоже не помешает, а в дорогих и продакшен-конфигурациях он уже обязателен.

Бонус: пусть сервер под ваши задачи соберет сам ИИ

Если хочется, чтобы конфигурацию под ваш бюджет и задачи набросала сама модель, — вот шаблон промта. Заполните поля в квадратных скобках и отправьте любой языковой модели: хоть облачной, хоть своей локальной, когда сервер уже соберёте.

Помоги подобрать характеристики системного блока для покупки в магазине.

Задача: собрать сервер для развёртывания локальной ИИ-модели (LLM) под Windows 11 Pro.
Размер модели, который планирую запускать: [небольшая 7-8B / средняя 13-14B / крупная 27-32B / очень крупная 70B].
Бюджет: [сумма] рублей.

Условия работы:
- компьютер включён постоянно (24/7), монитор не нужен — управляю через удалённый рабочий стол;
- к модели обращаются с других компьютеров в локальной сети (сеть [100 Мбит / 1 Гбит]);
- клиенты подключаются к модели через API-запросы;
- типовые задачи: [обработка текста / работа с изображениями / код / документы].

Что мне нужно от тебя:
1. Подбери конкретные компоненты: видеокарта (с указанием объёма VRAM), процессор, материнская плата, оперативная память, SSD, блок питания, корпус, охлаждение.
2. Поставь только ОДНУ видеокарту с максимальным объёмом VRAM в рамках бюджета (объясни выбор).
3. Убедись, что блок питания и корпус подходят под выбранную видеокарту.
4. Укажи примерную цену каждого компонента и итоговую сумму.
5. Если бюджет позволяет — добавь ИБП (UPS) подходящей мощности.
6. Кратко объясни, какие модели какого размера потянет эта сборка.

Дай готовый список, который я смогу принести в магазин и купить.

Что дальше

Железо — это фундамент, но только фундамент. Дальше начинается самое интересное: поставить Ollama и запустить модели именно на видеокарте, собрать свою версию модели под задачи через Modelfile, поднять Open WebUI с доступом по локальной сети и авторизацией для сотрудников, научить всё это обрабатывать документы (PDF, Word, Excel, сканы), подключить инструменты и в финале переехать на боевой Linux-сервер.

Весь этот маршрут — по шагам, с командами, чек-листами и разбором типичных граблей на каждом этапе — собрал в курс «Настройка своего локального ИИ сервера с нуля: Ollama + Open WebUI».

Поделитесь в комментариях у кого какие сборки под локальный ИИ используются и какие модели по размеру вытягивают?


Об авторе: инженер-программист, больше 15 лет работаю с вычислительными кластерами на Linux, преподаю компьютерные дисциплины. Про локальный ИИ, Linux и системное администрирование пишу в своём Telegram-канале — @proitstart.

Комментарии (16)


  1. jarkevithwlad
    15.07.2026 14:30

    Один пользователь: чат, боты, обработка текста и картинок. Модели 7–14B тянет комфортно, 24–27B в Q4 — впритык.

    нет! 24gb вполне себе отлично крутят 27b / 35b-moe с контекстом 256к (сжатым турбоквантом который даже лучше по качеству чем f16 базовый)

    Скрытый текст
    27b
    27b
    27b
    27b
    35b-a3b
    35b-a3b
    35b-a3b
    35b-a3b

    и всё это при общем контексте 256к

    а если поджать контекст и квантование до IQ4_XS то и 40b например Qwen3.6-40B-Deck-Opus-NEO-CODE-HERE-2T-OT-IQ4_XS.gguf может выдавать около 20 ток/с

    да и moe можно вполне хорошо использовать на простых gpu 6-8 gb + 32gb ram (даже ddr4)

    p.s. лично я не вижу сейчас моделей которым нужно больше 24-32gb, кроме топовых, типо glm5.2 / minimax3 / kimi 2.7 и тд, но там уже нужны значительно более дорогие железки для запуска


  1. WordEngineer
    15.07.2026 14:30

    Про то что вторая карта почти всегда проигрывает - подтверждаю на своем опыте, только с другой стороны. Пробовал городить 2х16 через NVLink на старой станции, думал получу честные 32 гига. По факту распределение слоев модели между картами съедало процентов 15-20 скорости из-за обмена по шине, и это еще на плате с нормальным x8/x8. На потребительских платах, где второй слот урезан до x4, разница будет еще заметнее. Отдельный респект за честную оговорку про цены на июнь 2026 - память действительно скачет от месяца к месяцу, и статьи с фиксированными цифрами через год выглядят как курьез. Из личного опыта добавил бы: если берете БП, закладывайте запас не только под пиковую нагрузку карты, но и под просадки напряжения при холодном старте, у меня однажды именно на этом моменте сервер ушел в перезагрузку.


    1. Prohoziy2202
      15.07.2026 14:30

      Вы ничего не путаете? Суть nvlink как раз в том, что бы обойти ограничение pci-e, и соединить карты напрямую. С nvlink абсолютно без разницы, какая у вас шина pci, т.к обмен данными идёт по нему, а не по шине.


      1. jarkevithwlad
        15.07.2026 14:30

        его скорости так же мало


  1. AlexAV1000
    15.07.2026 14:30

    4х Nvidia V100 на 32ГБ в NVLink-е - наше всё.


  1. guest_00
    15.07.2026 14:30

    Что я сделал не так, когда в древний потребительский комп с мамой Z390 aorus xtreme с 64Гб RAM, Intel i7-9700K воткнул две RTX5060Ti по 16Gb VRAM каждая? Которые по 50К руб. на маркетплейсах. Понизил им мощности до 80%, чтобы не грели друг дружку. Для инференса скорости хватает за глаза. Они обе под нагрузкой пашут максимум под 60 градусов. И это я еще не распечатал задуманный на старте пластиковый диффузор от второго фронтального вентилятора в щель между ними. Сказал себе, что не греются и так сойдет. А с диффузором, который будет работать как эжектор, вообще можно и до 40 градусов снизить, но это я сделаю, когда карты на обучение включу. Да, блок питания в старом ПК был 1000 и голд, а по умной розетке нагрузки вообще мизерные.

    Не пугайте людей, можно и несколько карт. Даже через райзер. И x8 вполне себе норм, и pci-4. Опыт. И даже оффлоад части модельки в старую DDR4 64Гб не такое уж и бутылочное горлышко.

    А tensor parallelism с CUDA отрабатывает, но в comfyUI надо шаманить, но там две карты в конвейере друг за другом даже лучше, чем две в параллельке.

    Языковые просто тараторят так, что иногда напрягает.

    И это теперь самый рабочий "сервер" именно в кавычках, так как он пока на винде. А как переедет на линукс, то я уберу кавычки.

    И последнее, Q4, особенно MoE подводили на задачах. Пришел опытным путем к Q8, самый край Q5.

    Извините, но Ollama так себе совет. Две настройки в два ряда.

    Хорошо, оставим Open WebUI для сотрудников. Но лучше если кто вдруг как я с "сервером" на винде, то стартуйте с llama.cpp (край - LM Studio сразу как OpenAI API сервер, всё одно он - надстройка над llama.cpp но покручее Ollama) и к нему уже прикручивать или Open WebUI или всякие RAG/KG/и т.д. агентские пайплайны и прочие модные клиенты которые, по своей сути тоже простые обертки к вызовам API с разной степенью продвинутости.


    1. slabnoff
      15.07.2026 14:30

      Про llama.cpp верное замечание. По опыту таже ollama может давать двухкратное проседание по сравнению с правильно отстроенным llama.cpp.

      Не расскажете, как заставить параллельно две карты работать? По факту в той же llama.cpp на вашем и моем железе доступен только tensor-split в режиме layer, то есть последовательная обработка. И кстати поэтому нет большого смысла ограничивать потребление - один фиг в среднем никогда не будет максимального потребления - видеокарты работают по очереди.

      По точности стоит взглянуть на специальные квантования моделей. Для той же qwen3.6-35b есть квантования от fraQtl/apex/duoneural. Если совсем по простому - когда квант по слоям не равномерный, а такой, чтобы найти баланс между размером и точностью.


    1. chesser76
      15.07.2026 14:30

      У меня похожий конфиг, но на ddr5 и АМ5, запускаю модели на Q8 - приятней работают. Но вот контекс в 32 конечно не влезает и он уезжает в ОЗУ. а потом начинается сжатие (иногда по несколько минут приходиться ждать) и после сжатия модель уже тупит. Это с моделями типа 27B. Откатываться на мелкие модели? Как ни крути а под большой контекст памяти не хватает, а ОЗУ тормозит процесс.


      1. slabnoff
        15.07.2026 14:30

        Квантование-сжатие контекста не помогает?


  1. pashking77
    15.07.2026 14:30

    Спасибо! Вот такая статья мне как раз в тему сейчас! Думаю о сборке железа под локальную LLM для работы


  1. Yuri_BY
    15.07.2026 14:30

    Мой опыт, характеристики сервера (Hardware Specifications):

    GPU:
    • Модель: NVIDIA RTX 3060 • VRAM: 12 GB • Тип: GDDR6
    CPU:
    • Модель: Intel Core i5-4570 • Ядра: 4 • Поток: 4 (без Hyper-Threading) • Архитектура: Haswell (2013)
    RAM:
    • Объём: 32 GB • Тип: DDR3
    Software:
    • MX Linux 25.2 XFCE, systemd
    • llama-server: используется для инференса
    Примечания:
    • модель Qwen3.5-9B-UD-Q6_K_XL.gguf 8.16GB
    • VRAM 10.57 GB, 36 tokens/sec
    • CTX=“98304”, BATCH=“128”, NGL=“48”, EXTRA=“–parallel 1 --no-mmap”
    • клиенты - Jan (jan.ai), Thonny, Doka, самописные агенты
    • в работе с 02.06.2026


  1. Prenom
    15.07.2026 14:30

    Подскажите пожалуйста, не лучше ли в таком случае условный Mac Studio M3-M4, с 36-48ГБ памяти. По цене 220-330к (судя по моему авито). На борту тотже linux.


    1. Prohoziy2202
      15.07.2026 14:30

      Есть точки зрения за, и против. Поскольку я против, выскажу свои аргументы:

      1. Скорость работы на Маке будет значительно медленнее;

      2. . Отсутствует возможность апгрейда;

      3. Возможность работы с изображениями и особенно видео не сравнится с такими на карте nvidia.

      Если бы я сейчас с нуля собирал систему, то собирал бы так:

      1. Мать на сокете 1851 (150 у.е)

      2. Процессор с видеоядром под ИИ (200 у.е)

      3. 32/48гб памяти ддр5 8000мгц (500/800 у.е).

        на таком процессоре с такой памятью можно будет запускать модели до 35-40В с вполне адекватной скоростью, практически на уровне новомодных ИИ-ПК, но намного бюджетнее.

      И, что немаловажно, есть слот pci-e для видеокарты. Можно поставить сразу, можно подкопить, а можно пока работать на ОЗУ в ожидании обещанных новинок 50хх серии, обещают интересные варианты. Ещё есть такая карта как 3090, б/у по стоимости как новая 5060ти на 16гб, которая для работы в сервере 24/7 спорный вариант, а вот для дома весьма популярна.


      1. slabnoff
        15.07.2026 14:30

        3090 б/у сейчас реальная цена от 80000, 5060 ти 16 гб новая от 50000. Из-за ии очень подрос спрос и цены. Недавно искал, все б/у по Питеру дешевле 80000 потенциально проблемное.


  1. Rjohn55
    15.07.2026 14:30

    4 карты cmp50 20g перепаяные 80G VRAM за копейки, работет vllm без проблем из коробки.


  1. Rjohn55
    15.07.2026 14:30

    Ещё лайфхак плата amd bc250 19к.р.( чип от ps5) на Авито,

    Qwen3.5 35B-A3B: → 78,7 ток/с