Я собрал домашний сервер с нейросетками, чтобы не зависеть от облака. Далее честный рассказ с цифрами, бенчмарком на 14 реальных задачах и выводами, которые я проверял на себе.
Если совсем коротко: киловатт питания, две серверные Tesla P100 (суммарно 32 ГБ видеопамяти), турбины, которые слегка шумят, но сервер пришлось выселить на кухню, и Xeon на 28 потоков. Всё это выдаёт от 10 до 50 токенов в секунду, в зависимости от модели. DeepSeek в облаке в три раза быстрее, зато это моё и всегда доступное круглые сутки.
Железо, или почему всё выглядит как археологический артефакт
Стенд открытый, специально. Не потому что модно, а потому что в закрытом корпусе пыль собирается комками, а горячий воздух некуда девать. Тут поток идёт напрямую на турбины и пыль не задерживается.
Начинка:
CPU: Intel Xeon E5-2680 v4, 14 ядер / 28 потоков @ 2.40 ГГц
RAM: 64 ГБ DDR4 (4×16 ГБ Micron, 2133 МГц)
GPU: 2× NVIDIA Tesla P100 PCIe 16 ГБ + GeForce GT 710 (чтобы вообще было хоть какое-то видео)
Накопитель: NVMe CUSU CV3500Q 512 ГБ (QLC)
Блок питания: 1050 Вт
Стек: llama.cpp, CUDA 12.4.
Почему P100? Потому что они стоили смешно дёшево можно найти в интервале от 4 до 9 т. р. Это серверные карты 2016 года, их списывали из дата-центров тысячам, и сейчас они продаются почти за бесценок. У них 16 ГБ HBM2 на карту, нет тензорных ядер, работают они только через llama.cpp с GGUF-квантами. Зато две штуки дают 32 ГБ — ровно столько, чтобы влезали Qwen и Gemma до 32B.
Сначала была одна карта. Вторая ехала ко мне еще неделю, и когда пришло уведомление из пункта выдачи, я чуть не побежал туда. Воздуховоды напечатал на 3D-принтере: без них карты уходят в троттлинг. Теперь дует вдоль ребер охлаждения как надо.
Зачем мне это понадобилось
В этом году локальные модели догнали Gemini полугодичной давности. До лидеров им далеко, но как рабочий инструмент они уже годятся. И тут я понял: если нужен агент, который живёт у меня и не зависит от внешних API, без своего железа не обойтись. Свое — это значит доступное всегда и в любое время суток и появляется возможность заниматься любыми самыми дикими экспериментами без опасения случайно сжечь все оплаченные для работы токены.
Энергетика, или бесплатное отопление
В спящем режиме машина ест около 135 Вт. Под нагрузкой — до 600. Две турбины и 28 ядер Xeon ощутимо греют комнату, так что отопление у меня почти бесплатное.
Реальные замеры:
Что оно умеет: цифры
Рабочая модель у меня теперь почти всегда одна, Ornith-1.5-35B (Q4_K_M) в режиме без размышлений. Облачный DeepSeek по скорости обгоняет её втрое: локально выходит около 40 токенов в секунду. Зато по делу она не подводит — все 14 задач закрыла на полный балл, 140 из 140, и обошла эталон. Она MoE- суммарно 35 миллиардов, а активно около 13, поэтому на две P100 умещается. Скорость остальных моделей гуляет от 10 до 50 токенов в секунду, смотря какую модель запустишь.
14 тестов синьора, или почему я не верю обзорам
Есть сайты, где модели сравнивают. Таблица: одна набрала 86, другая 88. Мне это мало что говорит. Мои задачи выглядят иначе: «напиши FreeRTOS-задачу для ESP32, которая опрашивает DHT22 не чаще раза в 2 секунды, управляет реле через гистерезис, не использует delay() и сбрасывает watchdog». Вставь delay(1000) в loop(), и контроллер уйдёт в перезагрузку. Баллы такое не покажут.
За годы работы я сам наступал на эти грабли, из них и собрал четырнадцать задач. Тут и гонка ресурсов в алготрейдинге на Python, и температурный дрейф MEMS-датчика BMA423. ESP32 с FreeRTOS вымотал меня watchdog-ом, переполнением стека и износом NVS. В алгоритмах отдельная боль — фильтр Калмана и NaN в double. Доработка Андроид — это smali-патчи и torn read в JMM. Ещё 3D-печать, безопасность веб-приложений и разбор бинарных протоколов, куда без них.
Пара примеров. По ESP32 я писал прошивку для проекта VibroVario, и ядро падало. Оказалось, flash-шина SPI общая для обоих ядер Xtensa, а прерывание с одной стороны глушит Wi-Fi на другой. С Калманом вышло забавно: фильтр высоты работал на ESP32 в float32, а на Python в float64 выдавал NaN. Xtensa включает FTZ и молча превращает субнормальные числа в ноль, на этом фильтр и держался. Проверял DEX-файл: поставил 0x3F800000 вместо 0x42480000, то есть 1.0f вместо 50.0f, и интерфейс показал «1.06 миллиарда» вместо 50 метров.
Каждую модель я гонял по всем 14 задачам и ставил от 0 до 10. Плюс три «красных флага» за принципиальные ошибки. Например, если модель говорит, что перенос задачи на другое ядро решает проблему с шиной — не решает, parking глобален. За эталон взял облачную DeepSeek V4 Flash. Вот результат:
Таблица «5 лучших»:
Модель |
Где |
Балл |
Скорость |
Контекст |
Ornith-1.5-35B |
локально |
100% |
40.8 t/s (без думания; think ~22) |
192K |
Qwen3.8-27B-self-MTP Q5 (224K) |
локально |
99% |
~21 |
224K |
Muse-Glimmer-30B |
локально |
99% |
17.6 |
256K |
Fusion-711 |
локально |
94–97% |
23.8 |
192K |
DeepSeek V4 Flash (эталон) |
облако |
97% |
~120 |
1М |
Главное, что я вынес из этой таблицы, — облако по-прежнему впереди, но уже не там, где ждал. По «узким» инженерным задачам — ESP32, Калман, smali, износ флешпамяти — локальная Ornith-1.5 теперь обгоняет эталон: 100 против 97. Те самые грабли, на которые я наступал, локальная модель берёт лучше облака.
А вот на длинных контекстах облако быстрее и умнее. DeepSeek отдаёт 120 токенов в секунду против моих 40, а когда в контекст уезжает 300 тысяч токенов — большой проект целиком, к примеру, облако отвечает за секунды и нить не теряет. Локальная карта на таком объёме сперва думает минуту, а потом может и запутаться. Короткую, но каверзную задачу оставляю Ornith, длинные тексты закидываю в облако.
Экономика: облако против гаража
За все тесты я сжёг в облаке 300 тысяч токенов, по старым ценам это около 4 рублей. Сервер за те же два часа потратил электричества на 6 рублей. Получается, облако даже дешевле, и это без учёта того, что сервер греет комнату. Потом я открыл статистику за 30 дней, и там всё интереснее.
Считал и пересчитывал, пока не пришёл к выводу: локальные LLM облако не отменяют. За прошедший месяц набежало 25858 запросов в DeepSeek и 5 млрд токенов. Звучит странно, но заплатил я 389 юаней — около 5000 рублей по старым и новым ценам. А после подорожания с 16 августа будет под 7 000. Всё потому, что 99% этих токенов — вход с кешем: текст модели уже знаком, и облако отдаёт его по $0.007 за миллион. Реальной генерации токенов у меня миллионов 37 в месяц.
Дальше начинается самое интересное. Есть облачные видеокарты в аренду, по моим расчетам за 7000р я смогу получить даже больше токенов чем у Дипсика - .если гонять её по 8 часов в день. Скорость у неё тоже ~70 ток/с, то есть за месяц она сгенерит даже больше, чем мне нужно: 60 млн против 37. А вход с кешем локально тоже работает — llama.cpp держит контекст сессии в памяти и не пересчитывает повторные куски, как это делает DeepSeek.
По деньгам выходит паритет, но облако всё равно выигрывает в другом: оно держит 25 моих запросов одновременно, кеш у него общий на все сессии, работает 24/7, и запрос с контекстом на 200 тысяч токенов отвечает за секунды. У арендованной карты один поток, и холодный запрос может думать минуту.
Выводы: один поток и 8 часов в день — бери арендованную карту: то же самое за те же деньги, зато модель своя и лимитов нет. Когда задач много и они идут пачкой — тогда облако. А своё железо я покупал не ради экономии, просто приятно, когда оно твоё и работает всегда .
Как я теперь работаю
Быстрые задачи и прототипы едут в облако — оно быстрее и параллелит запросы.
Embedd, мелкие задачи, остаются на своём сервере. Четырнадцать тестов показали: локальная модель уровня Senior тянет практически все.
Всё это я проверял на своих задачах. Соберите бенчмарк из типовых задач, прогоните через скрипт и выбирайте по цифрам, а не по обзорам.
Я не пытаюсь доказать, что локальное лучше облака, а облако — зло. Просто инструменты разные. Своё железо — это приватность, независимость и право гонять любую модель хоть ночью.
Облако — это скорость, масштаб и то, что за ним не надо следить. Держу и то, и другое. Еще нейросети до сих пор не умеют паять. И пока не научатся, у инженера есть работа. А если научатся — у меня есть 28 потоков Xeon и две P100, чтобы это спокойно обсудить.
P.S. Уже после написания статьи попробовал запустить на данном стенде модель AtomicChat / Qwen3.8-Flash-Next-GGUF, и она завелась на 10-12 токенах в секунду.
Комментарии (192)
Moog_Prodigy
11.09.2026 11:08Ну с LLMками вроде бы все понятно, а как эти карты ведут себя на других нейронках типа stable diffusion или ace step?
gliderman Автор
11.09.2026 11:08Пока только в планах стоит - проверить эти карточки на генерации картинок и видео. Надо бы попробовать. Правда не знаю, буду ли эти мзаниматься:
Вот что говорят на форумах: картинки — да (1024² за 15 с на distilled и 1–2 мин на обычных моделях, топ-модели только квантованными); видео — только 2–5 с низкого разрешения на distilled-моделях, 14B формально запускаются и молотят часами; лучшее применение 2×P100 остаётся LLM + аудио + батч-обработка изображений. Если задача именно видео — нужна карта класса 3090 даёт сразу 10–20×
MountainGoat
11.09.2026 11:08А там избыток памяти не нужен. Он не позволит генерировать картинку высокого разрешения. Точнее, позволит, но на ней будет полная фигня, потому что у модели композиция рассыпется. Разве что генерить несколько несвязанных изображений одновременно. Не много пользы.
ShadF0x
11.09.2026 11:08Не много пользы
Польза есть, когда итерируешь над промптами и хочется посмотреть как текущий промпт себя будет вести с разными seed'ами.
В ныне мёртвом А1111 есть функция batch size, которая позволяет высчитывать несколько изображений за раз на одном "полотне," а потом она их просто нарезает на раздельные файлы.
kuza2000
11.09.2026 11:08Ну зачем такой заголовок. Этим моделям до опуса 4.6 как до луны...
А DeepSeek V4 Flash настолько слабая модель, что ее раздают по API на каждом углу бесплатно. А у вас она "эталон")
gliderman Автор
11.09.2026 11:08По карточке Qwen3.8-27B (Qwen/Qwen3.8-27B · Hugging Face, колонка «Opus4.6 Max» — максимальный reasoning effort) и по квантованным GGUF-сборкам той же модели картина такая: Qwen выигрывает 11 из 15. Дипсик бесплатно раздается с одним нюансом, когда ты разово с ним чат проведешь - да это бесплатно, когда начнешь агентскую работу над тяжелим проектом - лимиты не заставят долго ждать.
ScreamPassion
11.09.2026 11:08А что или как именно выигрывает?
p.s. у клодовских (не скажу за другие) ллм effort в максимальный выкручивать нельзя - получите бредогенератор)
bolk
11.09.2026 11:08Ни DepSeek 4.1 Flash, ни тем более Квен3.8-27Б не выигрывает у Опуса 4.5/4.6 в реальных задачах на программирования. Там про́пасть в уровне.
ToxaBes
11.09.2026 11:08Вы, мягко говоря, не правы. Хватит сравнивать урезаные в Q4 модели с облачными моделями полной точности. У меня Qwen 3.8 27B Q8 уделывает опус 4.6 в реальных задачах. В некоторых ML задачах он уделывает и Fable 5 и Astra (тут я сам удивился)!
Локальные модели нужно уметь готовить и иметь достаточно железа под их рекомендуемые требования. Тогда и качество будет. А квантовать вусмерть чтобы влезло и потом делать выводы - такое себе.
bolk
11.09.2026 11:08Какие ещё урезанные модели? Где вы увидели, что у меня они урезанные?
ToxaBes
11.09.2026 11:08Потому что только урезанные до Q4 локальные модели действительно хуже больших фронтир моделей. А вот Q8 уже сравнимы.
Пользователи при сравнении используют либо сильно квантованные модели либо в режиме чата вместо харнесса. Затем делают выводы подобные вашему.
bolk
11.09.2026 11:08Нет, ни DeepSeek V4 Flash‑0731, ни DeepSeek V4.1 Flash, которую мы вчера поставили и опробовали, ни вышеуказанный Квен не приближается к Опусу 4.5 или 4.6.
ToxaBes
11.09.2026 11:08За дипсик не скажу, но Qwen 3.8 27B уделывает opus 4.5, находится на уровне 4.6 и периодически щупает 4.8/5.
Таковы мои тесты, я тестировал в своем домене ML/мат стат.
На чем тестили вы? Кодинг?
Какую квантизацию использовали? Чат или харнес?
Дело в том что Клод это харнесс и сравнивать с ним модели в режиме чата некорректно, но 99% именно так и делает.
bolk
11.09.2026 11:08Да, написание кода.
Модели полные, без квантизации. Обязка. В случае ДипСика — «ДипСик Харнесс».
ToxaBes
11.09.2026 11:08Я использовал Qwen3.8-27B Q8 K16/V8 как раз с deepseek harness. У нас слишком разные результаты, давайте попробуем найти в какой конкретно части программирования у вас провал по квену? Другими словами, какой язык тестили?
Я тестировал python, CUDA C++ и современный PHP (8.5). Также тестировал архитекитуру и системный дизайн, все было очень хорошо.
bolk
11.09.2026 11:08Причём тут языки? На любую сеть можно найти задачи ей по зубам. Даже на однобитную BitNet. Те задачи, которые «Опус» у меня решал, DS и вышеуказынный Qwen решить не может.
ToxaBes
11.09.2026 11:08При том, что Модель Qwen3.8-27B превосходит Claude Opus 4.6 (Max), выигрывая в 15 из 19 общих бенчмарков и набирая 61,7% на SWE-bench Pro. Вот тут хороший разбор.
И получается, что мои тесты и публичные показывают одно. Ваши тесты показывают другое и на попытку уточнить в чем же разница получаем "Причём тут языки?" и "ни тем более Квен3.8-27Б не выигрывает у Опуса 4.5/4.6 в реальных задачах на программирования. Там про́пасть в уровне."
Тут кто-то сильно не прав.
bolk
11.09.2026 11:08Давайте я вам просто пару своих домашних проектов покажу, где на «Опусе» всё делалось, а вы попробуете что-то такое «Квеном» сделать:
https://github.com/bolknote/MKPro тут задача чтобы все программы из examples уместились в те же размеры, которые они умещаются сейчас или хотя бы в 105 байт. Из pending-optimization — это уже выше уровня существующих сейчас сетей, включая самые топовые.https://github.com/bolknote/Bolklets тут всё «Опусом» сделано, кроме экспериментов логики ведьмы.
ToxaBes
11.09.2026 11:08Ну те отставание вот это вот на C++ под Электронику MK61, это все ваше обоснование? Вы бы еще Cobol взяли.
Давайте тексты заданий, которые давали опусу в обоих примерах. Для частоты эксперимента я не буду использовать ваши репозитаии. Из текстов сделаю тесты и прогоню. Сколько раз уточняли у опуса чтобы он исправил косяки?
bolk
11.09.2026 11:08А что вас не устраивает-то и причём тут «Кобол»? Это интересная инженерная задача, очень сложная, как раз чтобы посмотреть на что способны нейросети.
Текста заданий нет, потому что нет заданий — мои мысли развивались по ходу дела. Возьмите тесты. Вторая версия (первая была на ТаймпСкрипте) как раз была написана по тестам.
ToxaBes
11.09.2026 11:08Текста заданий нет, потому что нет заданий
Те вы слопали 80к строк кода без всякого задания?
Вы последовательно делаете свою позицию все более и более слабой.
Дело в том что еще ни один из тех кто заявлял подобное тому, что заявляете вы, так и не смог предоставить детали для независмого повторения. Каждый раз что-то мешает.
А ведь я реально могу это все перепроверить, я занимаюсь ML - автоматиацией предприятий, настраиваю и дообучаю сети, т.е. кто если не я? Но все чет никак, как только начинаешь копать вглубь натыкаешься на обстоятельства непреодолимой силы.
bolk
11.09.2026 11:08Нет, я не вижу где я свою позицию делаю «всё более слабой и слабой». Это домашний проект, вы всерьёз думаете, что я на него сначала ТЗ готовил что ли?
Тесты есть, как я сказал, вторая версия была сделана исключительно по ним тем же «Опусом». Что же мешает повторить тот же путь?Перепроверьте, кто вам мешает-то? Я тоже и настраиваю сети, и дообучаю, мы сюда, как будто, не письками пришли меряться. Но утверждать, что сетка в 27 миллиардов обгоняте триллионные сети?.. Ну простите, у меня опыт совсем другой.
Я давно работаю и с «Соннетом», и с «Опусом», и «Фейбл» начал использовать, когда он появился. Сейчас, правда, больше «Сол» с «Астрой».У нас есть свой развёрнутый DS Fast (был 4, теперь 4.1), и Квены разных мастей. Я могу сравнивать как они работают.
И я больше верю своим глазам, а не тестам.
ToxaBes
11.09.2026 11:08Нет, я не вижу где я свою позицию делаю «всё более слабой и слабой». Это домашний проект, вы всерьёз думаете, что я на него сначала ТЗ готовил что ли?
Теперь еще слабее, вы, делаете все чтобы не предоставить данные для повторения эксперимента который опровергнет вашу точку зрения.
Перепроверьте, кто вам мешает-то?
80к строк кода без ТЗ.
И я больше верю своим глазам, а не тестам.
Я больше верю собственным тестам и они говорят что вы ошибаетесь, я могу пов орить ваши задачи для теста, но в ответ вы кидаете проект на 80к строк без ТЗ и говорите trust me dude.
nidalee
11.09.2026 11:08Теперь еще слабее, вы, делаете все чтобы не предоставить данные для повторения эксперимента который опровергнет вашу точку зрения.
Ни на что не намекаю, но когда я у вас спросил код на альтернативу /deep-research, вы мне примерно тоже самое ответили "ну просто напромпти, будет хорошо".
ToxaBes
11.09.2026 11:08Ну это ужн вотэбаутизм. Напишите в харнесс "создай для себя плагин по функциональности повторяющий /deep-research". Этого достаточно.
bolk
11.09.2026 11:08Не всё ли вам равно — монолит там или нет? Вы просто мыслите донейросетевыми понятиями. Подумайте что даёт архитектура, комментарии, говорящие имена — это всё нужно, чтобы увеличить скорость внесения изменений. А у нейросетей она и так заоблачная для человека.
gliderman Автор
11.09.2026 11:08Хорошая модульность помогает нейросетям также как и людям. Спорить не буду, но я бы такой код в прод не выпустил.
bolk
11.09.2026 11:08Господи, какой прод? Это домашний проект. И нейросетям больше помогает какой-нибудь настроенный GraphCode, а не модульность. Посмотрите как любая обвязка работает, она просто грепает код, подумайте какая ей разница — модульно там или нет?
Ну и прод проду рознь. Если у вас смешанная команда — люди и сети, конечно, модульность будет помогать людям, как иначе. Если у вас в команде только нейросетевые агенты, разницы нет, поверьте моему опыту.
Politura
11.09.2026 11:08А вы давно опусом 4.6 пользовались? Я вот помню отлично, что нормальным он был только первый месяц после релиза, чтоб в тестах баллов побольше набрать, а потом превратился в адское говно на несколько месяцев, из-за того, что антропикам мощностей не хватало и на него и на тренировку новых моделей и они его всем подпискам подрезали. Лучше его в тот период даже мелкие ноутбучные модели. Сейчас тоже, на многих задачах Опус 5 сам перепрыгивает на Опус с 4.8.
С локальными моделями Вы всегда получаете то, что запускаете.
gliderman Автор
11.09.2026 11:08Вот точное наблюдение. Я скажу про дипсик еще - я пользуюсь с 1 мая этого года, так вот первые пару месяцев это было быстро, качественно, дешево. Сейчас качество не стабильное. Моя оценка - нагрузка дипсика сильно выросла, и сейчас хорошее качество идет только по ночам с 21 до 2 по МСК. Днем с 8 утра - и качество упало и ценник вырос. И я стараюсь днем работать на локальных моделях.
ToxaBes
11.09.2026 11:08Тут дело вот в чем. Закрытые фронтир модели имеют разные (суб) версии и чтобы потестить их включают для условно 10% пользователей, в основном на дешевых или бесплатных тарифах.
Второй момент это нагрузка, если сервера перегружены, то на бесплатные/дешевые тарифы включают меньшую модель.
Например, gemini об этом честно сообщает, когда это происходит. Антропики не пишут, но вы можете заметить это по тому что выполнение обрывается.
bolk
11.09.2026 11:08Давно. Но я помню его уровень, у меня есть проекты, им сделанные. Перечисленные выше сети с таким и не справятся.
alan008
11.09.2026 11:08Во-первых, deepseek пару дней назад обновился до Flash 4.1. Во-вторых слабость deep seek'а это скорее всего устаревшие примерно на полгода данные, т.к. даже обычный v4 летом обновлялся
press_a_key
11.09.2026 11:08А DeepSeek V4 Flash настолько слабая модель, что ее раздают по API на каждом углу бесплатно
Подскажите уголок пожалуйста.
Ndochp
11.09.2026 11:08Царь роутер например, но вчера оно там лежало. Если есть уголки еще - тоже послушаю.
ovsale
11.09.2026 11:08поделитесь где DeepSeek V4 Flash "раздают по API на каждом углу бесплатно"? 2-3 угла было бы идеально
kuza2000
11.09.2026 11:08cline давал на своем cline.bot, там всегда есть бесплатная модель подобного класса. Но меняют ее часто.
opencode тоже давал, как сейчас - не знаю.Где-то еще видел как вышла, уже не помню...
ovsale
11.09.2026 11:08нужна не "подобного класса" а именно эта модель. через апи для своего проекта. или я вас неправильно понял?
MAXH0
11.09.2026 11:08Очень интересуюсь вопросом... Вы тестировали покрытые цензурой области? или это вне зоны Ваших профессиональных интересов. Стоит ли уповать на локальные модели, как бастион свободной разработки?
gliderman Автор
11.09.2026 11:08В работе на ограничения не натыкался. Полагаю, цензурирована политика, если наткнусь - то попробую что-то вроде https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF
314Sun
11.09.2026 11:08У меня есть знакомый, которому какой-то квен в районе 30b за неделю работы выпилил из макос приложения лицензию, позволив запускать без нее. Но агент работал на актуальном железе (blackwell)
gliderman Автор
11.09.2026 11:08Самостоятельно без указаний неделю отработал? Сколько токенов стоили размышления, пусть и локальные?
VBDUnit
11.09.2026 11:08Интересно. А что за модель? MoE/Dense? И кванты — NVFP4/MXFP4 или что нибудь целочисленное?
Безотносительно вопроса хорошо/плохо именно «выпиливать лицензию» (не берусь судить) — неделя любой масштабной работы требует какой‑то памяти. Чем она была? md‑доки/бд/rag?
314Sun
11.09.2026 11:08qwen3.8-27b-uncensored
Подробностей не могу рассказать, в том числе потому, что сам об этом знаю не много.
Bizonozubr
11.09.2026 11:08Это очень интересно, потому что тот же Deepseek когда с ним общался через OpenCode сказал, что создание лицензии является по сути кейгеном и его делать он не будет.
V1tol
11.09.2026 11:08Воспользуюсь статьёй и навалю комментарий (чтобы почитать ответы), как я за всё это время и сотни статей понял сборку машины для локального ИИ.
Никаких старых карт без тензорных ядер. P100 потому и стоят как грязь, что они жутко медленные и никому не нужны. Майнинговые CMP 170HX из грязи потому и вылезли, что хорошо умеют в инференс после разлочки в А100.
Надо брать одну карту с максимально возможным объёмом памяти. Если уж очень нужно взять две - обязательно с мостом NVLink. Никакой PCI-E любой версии и ширины не даст нормальной скорости для работы нейронки на двух картах. Тем более упомянутый в статье Xeon E5-2680 v4, у которого шина всего-лишь 3.0.
Остальная комплектуха не так важна, пока нейросети влазят в VRAM. Если не влазят - нужна быстрая память и шина PCI-E.
В любом случае отталкиваемся от железа в наличии. Аликсеон хорош, если больше вообще ничего нет. У меня есть мой старый комп на Ryzen 5950X, из него можно собрать отличный сервер с одной картой. С двумя, если есть NVLink - моя материнка даже не может делить два порта на х8, второй работает только на х4 скорости максимум.
VBDUnit
11.09.2026 11:08Не совсем так радикально. Так Вам будет тяжко собирать железяки под большое число параметров.
1. Очень важно MoE сетка или плотная. Если плотная — тогда да, крайне желательно чтобы всё влезло в VRAM. Но если она MoE (а жирные сетки в основном все MoE) то главное чтобы в VRAM поместились активные параметры и KV‑кеш. Все остальные эксперты — могут жить в ОЗУ. Это неприятно, это надо грамотно настраивать (подбирать сколько экспертов держать в VRAM и прочее) и скорость будет не сильно большой (10–30 т/с если грамотно настроить), но это проще, чем строить кластер из видеокарт. Разумеется, ширина шины PCIe, каналы памяти, скорость, и способность материнки и проца всё это переварить — очень важны. Соответственно, для жирных MoE сеток важнее сколько у Вас ОЗУ, а видеокарта главное чтобы активные параметры и KV смогла съесть. Если съест больше — конечно лучше.
2. NVFP4 и MXFP4 — очень вкусные виды квантования, которые на Blackwell ускоряют в полтора‑два раза, при этом жрут память как примерно Q4, а по точности на уровне Q6 (некоторые говорят Q8 но что‑то не верится). Помимо этого, если мы говорим о ситуации когда большая часть лежит в ОЗУ — малый вес весов (да) позволяет им быстрее прокачиваться через шины данных, что дает буст. NVFP4/MXFP4 вроде бы умеют эмулировать программно на картах старше Blackwell, но скорость там скорее всего будет не очень.
3. В недавно появившейся Qwen 3.8 Flash Next появилась штука когда в дополнение к весам ещё идёт n‑gram кеш весом в десятки гигабайт. Желательно пихать его в ОЗУ, но на SSD именно его класть можно — чтения на каждый токен предсказуемы и довольно малы, поэтому производительность не упадёт в пол (но инференс должен быть не тупой и корректно с этим работать, а не так что всё скинуто на своп ОС, которая, разумеется, сделает это всё криво). Если такая архитектура закрепится и станет популярной, то стоит повнимательнее отнестись к SSD, если в RAM вся эта доп. требуха не помещается.gliderman Автор
11.09.2026 11:08Qwen 3.8 Flash Next именно так и завелась на этом железе, n‑gram кеш живет целиком у меня в озу, и все это мне дало 9-12 токенов в сек. И в дополнение - модель по моим оценкам самая умная по всем моим тестам, но скорость работы - это боль, т.е. она делает все что мне надо, вообще все, но скорости на порядок меньше чем у того же дипсик 4 флеш.
VBDUnit
11.09.2026 11:08А какой квант? MTP завёлся? По идее скорость поднимется как движки инференса подтянутся. И есть еще момент с квантом: некоторые кванты криво распаковываются на GPU из‑за кривого движка и могут тормозить не смотря на то что вроде мелкие. KV‑кеш можно квантовать — он когда занимает меньше быстрее пролазит через шины в видеокарте, может получиться буст. И ещё — пробовали настраивать руками точно количество экспертов, выгружаемых в VRAM? Или у Вас там она вся помещается?
gliderman Автор
11.09.2026 11:08MTP нет :(. Надо ждать от лабораторий. Самому квантовать - железа не хватает. Конкретно эта модель работает без ООМ: Qwen3.8-Flash-Next-AD-3.84bpw-IQ4_XS-M64-00001-of-00028.gguf https://huggingface.co/AtomicChat/Qwen3.8-Flash-Next-GGUF
ToxaBes
11.09.2026 11:08Зачем ждать? Там draft, можно указать например, Qwen 3 9B в качестве спекулятивной модели.
gliderman Автор
11.09.2026 11:08Расскажите, как это построить?
ToxaBes
11.09.2026 11:08Там где вы указываете mtp, вместо него можно указать draft и путь к модели. Это похожие методы ускорения, просто при MTP драфтовую модель вшивают прямо в слои оригинальной модели, а при Draft вы просто указываете путь к отдельной небольшой модели той же архитектуры/семейства. Делают они тоже самое.
Более подробно о методах ускорения писал здесь.
V1tol
11.09.2026 11:08Софтово как раз мне более понятно что делать, я на текущем компьютере в очень ограниченном режиме песочницы это всё ковыряю (9070 XT 16GB VRAM). Естественно в плохом квантовании, но понять разницу между плотной и MoE или как оффлоадинг влияет на производительность можно. Эх, где же Qwen3.8-35B-A3B спрятали...
Вот с железом вопрос острее - оно всё же немалых денег стоит и не хочется собрать что-нибудь, что окажется не сильно-то и лучше. Да и модели хочется побольше запускать, да в кванте "поумнее".VBDUnit
11.09.2026 11:08Да и модели хочется побольше запускать, да в кванте "поумнее".
Сильной разницы сейчас не ждите ИМХО. Они (локальные ЛЛМ) сейчас переползают из состояния игрушек и автоматизации рутины в состояние «можно делать что‑то серьёзное». Плато по локальным ЛЛМ ещё не достигнуто, поэтому вполне вероятно, что то, что сейчас имеет 100 млрд параметров, будет через год иметь 30 млрд. Хотя рост способностей постепенно замедляется. А ещё движки инференса оптимизируют — производительности мало всем, поэтому она постепенно растёт у всех просто за счёт оптимизации кода + производители сеток придумывают всякие MTP и n‑gram кеши.
V1tol
11.09.2026 11:08Именно так. Та же Qwen3.8 уже сильно умнее 3.6. Но сейчас пока ещё квантизация на маленьких размерах сильно меняет. Если Q_4 от Q_8 практически не отличить, а кто-то утверждает, что и с F16 не различает, то уже Q_3_чегототам или Q_2 модели ощутимо тупеют - зато влазят целиком в видеопамять. Учитывая прогресс локальных всего за прошедший год, то ещё через год жду, что станет совсем хорошо.
Aur1s
11.09.2026 11:08Может кому интересно будет. Qwen3.8-Flash-Next, 3090(24gb)+5070ti(16gb)+64gb ram.
UD-IQ4_XS. На коротких тестах(10-20к токенов), префилл 160-300, декод 32-34.
UD-Q4_K_XL префил 100-200, декод 28-30.
llama server -ctk q8_0 -ctv q8_0, без MTP. Префил 200 на XL и 300 на XS тут больше заслуга кэша, 100 и 160 это на холодную.
Zerik
11.09.2026 11:08Для инференса совершенно некритично чем карты между собой соединены. Там трафик минимальный, а kv кэш у каждого слоя свой. Сами подумайте, даже на скорости в 300 токенов в секунду(что для домашней сборки и для большой модели нереалистично много) данные гоняться будут всего те же 300 раз в секунду. При этом данных там будет далеко не так много. Типа это настолько неважно, что даже запуск на двух машинах одна из которых просто получает команды от другой через rpc не даёт каких то существенных просадок относительно двух карт в одной машине.
Скорость соединения между картами важна в обучении нейронок. Там да, там чудовищьный трафик. Ещё вроде как важна в дифузионных моделях, но там я не вникал сильно. А во всех этих квенах, геммах, орнитах-вообще без разницы. Главное чтобы у каждого из гпу память была побыстрее, и сам чип не дохлый.
V1tol
11.09.2026 11:08Так вы наверное говорите про конфигурацию, когда модель полностью влазит в память одной видеокарты. Там хоть по диал-апу можно соединиться. А если у меня, например, две карты по 16, а модель хочет 32 - значит её так размазывает, что часть агентов на одной карте, а часть на другой? У той же нвидии при соединение карт через NVLink память как-бы объединяется. Как та же плотная модель без MoE работает тогда? Разве между агентами не происходит активный обмен данными?
P.S. Просто если окажется, что я вот это как раз и понял неправильно, то я просто воткну свою старую 6800xt второй картой в текущую машину и буду иметь 32 гига памяти и гонять хоть и маленькие, но в нормальной квантизации нейронки.
Zerik
11.09.2026 11:08Нет, я говорю именно о размазывании модели на несколько карт через llama.cpp(и обёртки над ней типа lmstudio). Нет, там нет активного обмена. Как бы что в плотных что в moe моделях генерация каждого следующего токена идёт сквозь все слои последовательно(в moe работают не все веса слоя). А обмен требуется только на моменте когда следующий слой лежит не на том же gpu который только что отработал. Представьте себе конвеер, в котором 100 операций каждая из которых длится по часу. Если такой конвеер разнести на 2 цеха по 50 операци в каждом, транспортировка между которыми тоже занимает час-вы всего на 1% потеряете в скорости.)
V1tol
11.09.2026 11:08В общем я понял, что надо поставить эксперимент, тем более что всё у меня для этого есть. В любом случае спасибо, что объяснили дебилу мне, как оно унутрях там работает.
gliderman Автор
11.09.2026 11:08Добавлю, что все эксперименты над моделями у меня выполняла дипсик на гермесе. Скинул задание в тележного бота агенту, а он там уже сам - скачивает модели, компилирует ллама, если бинарей нет, гоняет локальные модели по вопросам, подбирает ключи запуска, меняет кванты, ведет логи и присылает отчеты. От меня требуется только иногда направлять агента в нужное русло.
x10der
11.09.2026 11:08NVlink дает прирост что-то около 10%, на реддите читал у кого-то. Так что прям упарываться именно в нвлинк не стоит, если проц и материнка хотя бы x8 шину PCIe дают на обе карты
Tanabe
11.09.2026 11:08Мало ли кто чего на реддите написал :)
Nvlink дает наружу ощущение одной карты, можно грузить модель напрямую, без эквилибристики, и "внутри" делает вид, что память одна - все карты видят всю память.
Да, nvlink на старых картах - 200-300 против 900 на собственной памяти, но pci 4.0 при этом - 32. Откуда тут "только 10%"? Может у него модель маленькая просто? Там если она в память однй карты целиком влазит вместе с контекстом, так вообще профита не будет :)
sbanger3000
11.09.2026 11:08В определенных режимах решает именно скорость передачи данных между картами. Например для -sm tensor уже нужен либо nvlink, либо хороший (не 3.0) pcie. Иначе будет ситуация как у меня - 2 штуки 3090 (pcie 3.0 x16/x8), но из-за отсутствия адекватного канала обмена между картами, единственный способ нагрузить обе карты - это загрузить копию весов в обе карты, чтобы избежать ситуаций, когда карта-2 захочет прочитать kv кеш с карты 1 (это примерно на каждой итерации инференса происходит). В комментах на хаггинфейсе например, мне чел писал, что у него 2х 3090 без нвлинка но на pcie 4.0 x16/x16 - у него уже -sm tensor дает прирост скорости.
x10der
11.09.2026 11:08Это в llama.cpp? У меня как раз pcie 3.0 x16 и x8 работают с двумя v100, llama.cpp их нормально нагружает с -sm tensor вроде
Ha_Emmid
11.09.2026 11:08Если по температурам и питанию будет норм, то да, стоит достать и воткнуть вторую видяху. Я смог 27б запускать в нормальных квантах только когда это сделал - одной 5070ti 16gb маловато было. Суть в том что надо разделять по слоям, у меня большинство слоев на нвидии, 4 слоя на rx6700xt, скорости норм если заморочиться квантами, настройками и т.п. А, ну и надо самому лламу собрать с cuda и rocm.
Mintavrus
11.09.2026 11:08Абсолютно не согласен с Вашим тезисом "Надо брать одну карту с максимально возможным объёмом памяти. Если уж очень нужно взять две - обязательно с мостом NVLink". Мой опыт запуска LLM на двух RTX3090 на материнке с PCIE v3.0 без NVLink полностью опровергает данное утверждение. Запускаю модель Qwen3.8-27B-UD-Q8_K_XL (29,2 ГБ) с максимальным контекстом 256k, квантованием кэшей q8_0 и с Vision в VRAM. Загрузка видеопамяти 44,5 ГБ из 48 суммарных. Скорость в режиме tensor: префил 1600 (с 0 токена) до 600 (на 200 тыс токене), инференс 75-80 (с 0 токена) до 55-60 токен/сек.
Mintavrus
11.09.2026 11:08Мой конфиг:
-m "/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/Qwen3.8-27B-UD-Q8_K_XL.gguf" --mmproj "/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/mmproj-BF16.gguf" --spec-type draft-mtp --spec-draft-n-max 3 --alias Qwen3.8-27B-2xRTX3090 -c 262144 --n-gpu-layers 999 --split-mode tensor --tensor-split 1,1 --batch-size 1024 --ubatch-size 512 --threads 16 --temp 0.9 --top-p 0.95 --top-k 20 --min-p 0.00 --presence-penalty 0.0 --repeat-penalty 1.0 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --cache-ram 65536 --parallel 1 --metrics -np 1 --jinja --tools all --chat-template-kwargs '{"reasoning_effort":"low"}' --load-mode none -lv 4
ToxaBes
11.09.2026 11:08Запускаю модель Qwen3.8-27B-UD-Q8_K_XL (29,2 ГБ) с максимальным контекстом 256k, квантованием кэшей q8_0 и с Vision в VRAM. Загрузка видеопамяти 44,5 ГБ из 48 суммарных. Скорость в режиме tensor: префил 1600 (с 0 токена) до 600 (на 200 тыс токене), инференс 75-80 (с 0 токена) до 55-60 токен/сек.
У вас математика не сходится
На контекст 200 000 токенов (KV кеш в Q8) требуется 26Гб памяти. Это дополнительно к тем 29.2Гб. Если у вас две 3090 24 Gb то 48Гб никак не хватит на такой запуск.
Про инференс 75-80 токенов отдельный кек, RTX A6000 48Gb выдает не более 50 т/с на этой модели, куда уж 3090 75-80.
Вы либо перепутали либо сознательно гоните дезу.
Foggy4
11.09.2026 11:08Странно, чатгпт говорит, что KV для Qwen3.8 27B на 200K в Q8_0 весит около 7GB , это подтверждается тем, что у меня в 32GB VRAM влезает Qwen3.8-27B-UD-Q4 + 220K контекста, все запускается и работает. Где ошибка?
ToxaBes
11.09.2026 11:08и вы говорите (с)
То что вы указываете максимальный контекст не значит что ваше средство запуска сразу резервирует весь обьем в памяти.
Попробуйте в LM Studio проверить, он сразу резервирует, дерните ползунок вправо до 262К контекста на этой модели.
Mintavrus
11.09.2026 11:08Честно говоря на подобные хамоватые сообщения я обычно не отвечаю... Но, вот лог изучайте. Если не понимаете как Qwen3.8 работает с памятью контекста, и почему 256k токенов с квантованием кэша q8_0 вмещается в 48 гигабайт для модели Qwen3.8-27B-UD-Q8_K_XL, то изучите получше матчасть
0.00.071.913 W server tools or MCP servers are enabled, using localhost as default CORS origin (change via --cors-origins) 0.00.072.059 I cmn common_param: common_params_print_info: build 10914 (8172e6577) with GNU 13.3.0 for Linux x86_64 0.00.072.063 I cmn common_param: common_params_print_info: verbosity = 4 (adjust with the `-lv N` CLI arg) 0.00.072.063 I cmn common_param: device_info: 0.00.195.106 I cmn common_param: - CUDA0 : NVIDIA GeForce RTX 3090 (24126 MiB, 23481 MiB free) 0.00.315.011 I cmn common_param: - CUDA1 : NVIDIA GeForce RTX 3090 (24126 MiB, 23597 MiB free) 0.00.315.032 I cmn common_param: - CPU : Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (515608 MiB, 515608 MiB free) 0.00.315.444 I cmn common_param: system_info: n_threads = 16 (n_threads_batch = 16) / 18 | CUDA : ARCHS = 860 | USE_GRAPHS = 1 | FA_QUANTS = q4_0-q4_0,q8_0-q8_0,f16-f16,bf16-bf16 | CPU : SSE3 = 1 | SSSE3 = 1 | AVX = 1 | AVX2 = 1 | F16C = 1 | FMA = 1 | BMI2 = 1 | AVX512 = 1 | LLAMAFILE = 1 | OPENMP = 1 | REPACK = 1 | 0.00.315.494 I srv init: running without SSL 0.00.315.771 I srv init: using 17 threads for HTTP server 0.00.316.229 W srv llama_server: ----------------- 0.00.316.231 W srv llama_server: the following feature(s) are enabled: 0.00.316.231 W srv llama_server: server tools (experimental) 0.00.316.231 W srv llama_server: do not expose the server to untrusted environments 0.00.316.232 W srv llama_server: ----------------- 0.00.316.248 I srv start: binding port with default address family 0.00.317.633 I srv load_model: loading model '/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/Qwen3.8-27B-UD-Q8_K_XL.gguf' 0.00.317.636 I srv load_model: local path '/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/Qwen3.8-27B-UD-Q8_K_XL.gguf' 0.00.404.350 I srv load_model: [mtmd] estimated worst-case memory usage of mmproj is 1161.02 MiB (took 86.69 ms) 0.00.404.378 I cmn common_init_: fitting params to device memory ... 0.00.404.378 I cmn common_init_: (for bugs during this step try to reproduce them with -fit off, or provide --verbose logs if the bug only occurs with -fit on) 0.00.404.471 W common_fit_params: failed to fit params to free device memory: llama_params_fit is not implemented for SPLIT_MODE_TENSOR, abort 0.00.404.480 I common_fit_params: fitting params to free memory took 0.00 seconds 0.00.476.313 I llama_model_loader: loaded meta data with 51 key-value pairs and 866 tensors from /home/minatavrus/models/llama/unsloth/Qwen3.8-27b/Qwen3.8-27B-UD-Q8_K_XL.gguf (version GGUF V3 (latest)) 0.00.476.350 I llama_model_loader: Dumping metadata keys/values. Note: KV overrides do not apply in this output. 0.00.476.361 I llama_model_loader: - kv 0: general.architecture str = qwen35 0.00.476.362 I llama_model_loader: - kv 1: general.type str = model 0.00.476.365 I llama_model_loader: - kv 2: general.sampling.top_k i32 = 20 0.00.476.370 I llama_model_loader: - kv 3: general.sampling.top_p f32 = 0.950000 0.00.476.371 I llama_model_loader: - kv 4: general.sampling.temp f32 = 1.000000 0.00.476.371 I llama_model_loader: - kv 5: general.name str = Qwen3.8-27B 0.00.476.372 I llama_model_loader: - kv 6: general.basename str = Qwen3.8-27B 0.00.476.373 I llama_model_loader: - kv 7: general.description str = Renewal of the beloved Qwen model, de... 0.00.476.374 I llama_model_loader: - kv 8: general.quantized_by str = Unsloth 0.00.476.374 I llama_model_loader: - kv 9: general.size_label str = 27B 0.00.476.375 I llama_model_loader: - kv 10: general.license str = apache-2.0 0.00.476.375 I llama_model_loader: - kv 11: general.repo_url str = https://huggingface.co/unsloth 0.00.476.376 I llama_model_loader: - kv 12: general.base_model.count u32 = 1 0.00.476.377 I 0.00.476.394 I llama_model_loader: - kv 16: general.tags arr[str,1] = ["unsloth"] 0.00.476.395 I llama_model_loader: - kv 17: qwen35.block_count u32 = 65 0.00.476.396 I llama_model_loader: - kv 18: qwen35.context_length u32 = 262144 0.00.476.396 I llama_model_loader: - kv 19: qwen35.embedding_length u32 = 5120 0.00.476.397 I llama_model_loader: - kv 20: qwen35.feed_forward_length u32 = 17408 0.00.476.397 I llama_model_loader: - kv 21: qwen35.attention.head_count u32 = 24 0.00.476.398 I llama_model_loader: - kv 22: qwen35.attention.head_count_kv u32 = 4 0.00.476.400 I llama_model_loader: - kv 23: qwen35.rope.dimension_sections arr[i32,4] = [11, 11, 10, 0] 0.00.476.402 I llama_model_loader: - kv 24: qwen35.rope.freq_base f32 = 10000000.000000 0.00.476.403 I llama_model_loader: - kv 25: qwen35.attention.layer_norm_rms_epsilon f32 = 0.000001 0.00.476.404 I llama_model_loader: - kv 26: qwen35.attention.key_length u32 = 256 0.00.476.404 I llama_model_loader: - kv 27: qwen35.attention.value_length u32 = 256 0.00.476.405 I llama_model_loader: - kv 28: qwen35.nextn_predict_layers u32 = 1 0.00.476.405 I llama_model_loader: - kv 29: qwen35.ssm.conv_kernel u32 = 4 0.00.476.405 I llama_model_loader: - kv 30: qwen35.ssm.state_size u32 = 128 0.00.476.406 I llama_model_loader: - kv 31: qwen35.ssm.group_count u32 = 16 0.00.476.406 I llama_model_loader: - kv 32: qwen35.ssm.time_step_rank u32 = 48 0.00.476.407 I llama_model_loader: - kv 33: qwen35.ssm.inner_size u32 = 6144 0.00.476.407 I llama_model_loader: - kv 34: qwen35.full_attention_interval u32 = 4 0.00.476.407 I llama_model_loader: - kv 35: qwen35.rope.dimension_count u32 = 64 0.00.476.408 I llama_model_loader: - kv 36: tokenizer.ggml.model str = gpt2 0.00.476.408 I llama_model_loader: - kv 37: tokenizer.ggml.pre str = qwen35 0.00.506.252 I llama_model_loader: - kv 38: tokenizer.ggml.tokens arr[str,248320] = ["!", "\"", "#", "$", "%", "&", "'", ... 0.00.514.507 I llama_model_loader: - kv 39: tokenizer.ggml.token_type arr[i32,248320] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 0.00.543.659 I llama_model_loader: - kv 40: tokenizer.ggml.merges arr[str,247587] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 0.00.543.665 I llama_model_loader: - kv 41: tokenizer.ggml.eos_token_id u32 = 248046 0.00.543.666 I llama_model_loader: - kv 42: tokenizer.ggml.padding_token_id u32 = 248055 0.00.543.667 I llama_model_loader: - kv 43: tokenizer.ggml.bos_token_id u32 = 248044 0.00.543.667 I llama_model_loader: - kv 44: general.quantization_version u32 = 2 0.00.543.668 I llama_model_loader: - kv 45: general.file_type u32 = 15 0.00.543.669 I llama_model_loader: - kv 46: quantize.imatrix.file str = kld_models/qwen38-27b-gguf/imatrix/Qw... 0.00.543.670 I llama_model_loader: - kv 47: quantize.imatrix.dataset str = unsloth_calibration_Qwen3.8-27B.txt 0.00.543.671 I llama_model_loader: - kv 48: quantize.imatrix.entries_count u32 = 496 0.00.543.671 I llama_model_loader: - kv 49: quantize.imatrix.chunks_count u32 = 45 0.00.543.674 I llama_model_loader: - kv 50: tokenizer.chat_template str = {%- set image_count = namespace(value... 0.00.543.679 I llama_model_loader: - type f32: 360 tensors 0.00.543.680 I llama_model_loader: - type q8_0: 453 tensors 0.00.543.681 I llama_model_loader: - type bf16: 53 tensors 0.00.543.683 I print_info: file format = GGUF V3 (latest) 0.00.543.685 I print_info: file type = Q4_K - Medium 0.00.543.689 I print_info: file size = 29.29 GiB (9.21 BPW) 0.00.543.714 I llama_prepare_model_devices: skipping CPU (Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz) for tensor parallelism 0.00.543.715 I llama_prepare_model_devices: creating a Meta device for tensor parallelism from 2 devices: 0.00.543.716 I llama_prepare_model_devices: - device 0: CUDA0 (NVIDIA GeForce RTX 3090) 0.00.543.717 I llama_prepare_model_devices: - device 1: CUDA1 (NVIDIA GeForce RTX 3090) 0.00.543.824 I llama_prepare_model_devices: using device Meta() (Meta()) (unknown id) - 47079 MiB free 0.00.744.553 I load: 0 unused tokens 0.00.791.675 I load: printing all EOG tokens: 0.00.791.679 I load: - 248044 ('<|endoftext|>') 0.00.791.679 I load: - 248046 ('<|im_end|>') 0.00.791.680 I load: - 248063 ('<|fim_pad|>') 0.00.791.680 I load: - 248064 ('<|repo_name|>') 0.00.791.681 I load: - 248065 ('<|file_sep|>') 0.00.792.435 I load: special tokens cache size = 33 0.00.902.710 I load: token to piece cache size = 1.7581 MB 0.00.902.734 I print_info: arch = qwen35 0.00.902.735 I print_info: vocab_only = 0 0.00.902.735 I print_info: no_alloc = 0 0.00.902.736 I print_info: n_ctx_train = 262144 0.00.902.738 I print_info: n_embd_inp = 5120 0.00.902.738 I print_info: n_embd = 5120 0.00.902.740 I print_info: n_embd_out = 5120 0.00.902.740 I print_info: n_layer = 64 0.00.902.740 I print_info: n_layer_all = 65 0.00.902.753 I print_info: n_head = 24 0.00.902.756 I print_info: n_head_kv = 4 0.00.902.756 I print_info: n_rot = 64 0.00.902.756 I print_info: n_swa = 0 0.00.902.758 0.00.902.779 I print_info: pooling type = -1 0.00.902.780 I print_info: rope type = 40 0.00.902.780 I print_info: rope scaling = linear 0.00.902.781 I print_info: freq_base_train = 10000000.0 0.00.902.782 I print_info: freq_scale_train = 1 0.00.902.782 I print_info: n_ctx_orig_yarn = 262144 0.00.902.782 I print_info: rope_yarn_log_mul = 0.0000 0.00.902.783 I print_info: rope_finetuned = unknown 0.00.902.783 I print_info: mrope sections = [11, 11, 10, 0] 0.00.902.784 I print_info: ssm_d_conv = 4 0.00.902.784 I print_info: ssm_d_inner = 6144 0.00.902.785 I print_info: ssm_d_state = 128 0.00.902.785 I print_info: ssm_dt_rank = 48 0.00.902.785 I print_info: ssm_n_group = 16 0.00.902.785 I print_info: ssm_dt_b_c_rms = 0 0.00.902.787 I print_info: model type = 27B 0.00.902.788 I 0.00.902.797 I print_info: FIM MID token = 248061 '<|fim_middle|>' 0.00.902.797 I print_info: FIM PAD token = 248063 '<|fim_pad|>' 0.00.902.798 I print_info: FIM REP token = 248064 '<|repo_name|>' 0.00.902.798 I print_info: FIM SEP token = 248065 '<|file_sep|>' 0.00.902.798 I print_info: EOG token = 248044 '<|endoftext|>' 0.00.902.799 I 0.01.628.207 I load_tensors: offloading output layer to GPU 0.01.628.211 I load_tensors: offloading 64 repeating layers to GPU 0.01.628.212 I load_tensors: offloaded 66/66 layers to GPU 0.01.628.220 I load_tensors: CUDA_Host model buffer size = 1288.28 MiB 0.01.628.223 I load_tensors: Meta() model buffer size = 14402.29 MiB 0.38.561.292 I cmn common_init_: added <|endoftext|> logit bias = -inf 0.38.561.305 I cmn common_init_: added <|im_end|> logit bias = -inf 0.38.561.306 I cmn common_init_: added <|fim_pad|> logit bias = -inf 0.38.561.307 I cmn common_init_: added <|repo_name|> logit bias = -inf 0.38.561.307 I cmn common_init_: added <|file_sep|> logit bias = -inf 0.38.561.413 I llama_context: constructing llama_context 0.38.561.424 I llama_context: n_seq_max = 1 0.38.561.425 I llama_context: n_ctx = 262144 0.38.561.425 I llama_context: n_ctx_seq = 262144 0.38.561.426 I llama_context: n_batch = 1024 0.38.561.428 I llama_context: n_ubatch = 1024 0.38.561.429 I llama_context: causal_attn = 1 0.38.561.431 I llama_context: flash_attn = enabled 0.38.561.431 I llama_context: kv_unified = false 0.38.561.434 I llama_context: freq_base = 10000000.0 0.38.561.435 I llama_context: freq_scale = 1 0.38.561.436 I llama_context: n_rs_seq = 4 0.38.561.436 I llama_context: n_outputs_max = 5 0.38.561.436 I llama_context: n_outputs_max_per_seq = 5 0.38.987.442 I llama_context: CUDA_Host output buffer size = 0.95 MiB 0.38.991.511 I llama_kv_cache: Meta() KV buffer size = 4352.00 MiB 0.39.002.647 I llama_kv_cache: size = 8704.00 MiB (262144 cells, 16 layers, 1/1 seqs), K (q8_0): 4352.00 MiB, V (q8_0): 4352.00 MiB 0.39.002.651 I llama_kv_cache: attn_rot_k = 1, n_embd_head_k_all = 256 0.39.002.652 I llama_kv_cache: attn_rot_v = 1, n_embd_head_k_all = 256 0.39.004.876 I llama_memory_recurrent: Meta() RS buffer size = 374.06 MiB 0.39.004.893 I llama_memory_recurrent: size = 748.12 MiB ( 1 cells, 64 layers, 1 seqs 4 rs_seq), R (f32): 28.12 MiB, S (f32): 720.00 MiB, P (f32): 0.00 MiB 0.39.004.906 I sched_reserve: reserving ... 0.39.019.088 I resolve_fused_ops: resolving fused DeepSeek V4 HC support: 0.39.021.410 I resolve_fused_ops: fused DeepSeek V4 HC pre enabled 0.39.023.262 I resolve_fused_ops: fused DeepSeek V4 HC comb enabled 0.39.025.247 I resolve_fused_ops: fused DeepSeek V4 HC post enabled 0.39.333.118 I sched_reserve: Meta() compute buffer size = 1696.30 MiB 0.39.333.131 I sched_reserve: CUDA_Host compute buffer size = 552.30 MiB 0.39.333.132 I sched_reserve: graph nodes = 4519 0.39.333.132 I sched_reserve: graph splits = 2 0.39.333.135 I sched_reserve: reserve took 328.22 ms, sched copies = 1 0.39.333.322 I cmn init: llama threadpool init, n_threads = 16 0.39.333.372 I cmn common_init_: warming up the model with an empty run - please wait ... (--no-warmup to disable) 0.39.555.961 I common_speculative_init_result: creating MTP draft context against the target model '/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/Qwen3.8-27B-UD-Q8_K_XL.gguf' 0.39.556.001 I llama_context: constructing llama_context 0.39.556.005 I llama_context: n_seq_max = 1 0.39.556.006 I llama_context: n_ctx = 262144 0.39.556.006 I llama_context: n_ctx_seq = 262144 0.39.556.007 I llama_context: n_batch = 1024 0.39.556.007 I llama_context: n_ubatch = 1024 0.39.556.007 I llama_context: causal_attn = 1 0.39.556.008 I llama_context: flash_attn = enabled 0.39.556.008 I llama_context: kv_unified = false 0.39.556.012 I llama_context: freq_base = 10000000.0 0.39.556.012 I llama_context: freq_scale = 1 0.39.556.013 I llama_context: n_rs_seq = 0 0.39.556.013 I llama_context: n_outputs_max = 1 0.39.556.013 I llama_context: n_outputs_max_per_seq = 1 0.39.575.219 I llama_context: CUDA_Host output buffer size = 0.95 MiB 0.39.585.362 I llama_kv_cache: Meta() KV buffer size = 512.00 MiB 0.39.586.723 I llama_kv_cache: size = 1024.00 MiB (262144 cells, 1 layers, 1/1 seqs), K (f16): 512.00 MiB, V (f16): 512.00 MiB 0.39.586.726 I llama_kv_cache: attn_rot_k = 0, n_embd_head_k_all = 256 0.39.586.727 I llama_kv_cache: attn_rot_v = 0, n_embd_head_k_all = 256 0.39.586.733 I sched_reserve: reserving ... 0.39.610.023 I resolve_fused_ops: resolving fused DeepSeek V4 HC support: 0.39.610.245 I resolve_fused_ops: fused DeepSeek V4 HC pre enabled 0.39.610.357 I resolve_fused_ops: fused DeepSeek V4 HC comb enabled 0.39.610.461 I resolve_fused_ops: fused DeepSeek V4 HC post enabled 0.39.904.314 I sched_reserve: Meta() compute buffer size = 648.03 MiB 0.39.904.319 I sched_reserve: CUDA_Host compute buffer size = 552.04 MiB 0.39.904.320 I sched_reserve: graph nodes = 50 0.39.904.320 I sched_reserve: graph splits = 2 0.39.904.321 I sched_reserve: reserve took 317.59 ms, sched copies = 1 0.39.905.604 I clip_model_loader: model name: Qwen3.8-27B 0.39.905.607 I clip_model_loader: description: Renewal of the beloved Qwen model, delivering unmatched intelligence density. 0.39.905.610 I clip_model_loader: GGUF version: 3 0.39.905.611 I clip_model_loader: alignment: 32 0.39.905.611 I clip_model_loader: n_tensors: 334 0.39.905.612 I clip_model_loader: n_kv: 35 0.39.905.612 I 0.39.905.614 I clip_model_loader: has vision encoder 0.39.906.185 I clip_ctx: CLIP using CUDA0 backend 0.39.906.664 W load_hparams: Qwen-VL models require at minimum 1024 image tokens to function correctly on grounding tasks 0.39.906.666 W load_hparams: if you encounter problems with accuracy, try adding --image-min-tokens 1024 0.39.906.667 W load_hparams: more info: https://github.com/ggml-org/llama.cpp/issues/16842 0.39.906.667 I load_hparams: projector: qwen3vl_merger 0.39.906.667 I load_hparams: n_embd: 1152 0.39.906.668 I load_hparams: n_head: 16 0.39.906.668 I load_hparams: n_ff: 4304 0.39.906.668 I load_hparams: n_layer: 27 0.39.906.670 I load_hparams: ffn_op: gelu 0.39.906.672 I load_hparams: projection_dim: 5120 0.39.906.672 I --- vision hparams --- 0.39.906.672 I load_hparams: image_size: 768 0.39.906.673 I load_hparams: patch_size: 16 0.39.906.673 I load_hparams: has_llava_proj: 0 0.39.906.673 I 0.39.906.679 I 0.40.329.788 I get_dummy_batch: warmup with image size = 1472 x 1472 0.40.351.679 I get_dummy_batch: warmup with image size = 1472 x 1472 0.40.357.749 I reserve_compute_meta: CUDA0 compute buffer size = 248.10 MiB 0.40.357.754 I reserve_compute_meta: CPU compute buffer size = 24.93 MiB 0.40.357.755 I reserve_compute_meta: graph splits = 1, nodes = 823 0.40.357.799 I warmup: flash attention is enabled 0.40.357.811 I srv load_model: loaded multimodal model, '/home/minatavrus/models/llama/unsloth/Qwen3.8-27b/mmproj-BF16.gguf' 0.40.409.561 I cmn common_conte: the context supports bounded partial sequence removal 0.40.423.199 I srv load_model: initializing, n_slots = 1, n_ctx_slot = 262144, kv_unified = 'false' 0.40.423.227 I spec common_specu: adding speculative implementation 'draft-mtp' 0.40.423.230 I spec common_specu: - n_max=4, n_min=0, p_min=0.00, n_embd=5120, backend_sampling=1 0.40.423.231 I spec common_specu: - gpu_layers=-1, cache_k=f16, cache_v=f16, ctx_tgt=yes, ctx_dft=yes, devices=[default] 0.40.423.307 W set_sampler: backend sampling not supported with SPLIT_MODE_TENSOR; using CPU 0.40.423.309 W spec common_specu: backend offload failed for seq_id=0; using CPU sampler 0.40.478.842 I srv load_model: speculative decoding context initialized 0.40.478.852 I slot load_model: id 0 | task -1 | new slot, n_ctx = 262144 0.40.478.899 I srv load_model: prompt cache is enabled, size limit: 65536 MiB 0.40.478.899 I srv load_model: use `--cache-ram 0` to disable the prompt cache 0.40.478.900 I srv load_model: for more info see https://github.com/ggml-org/llama.cpp/pull/16391 0.40.478.900 I srv load_model: context checkpoints enabled, max = 32, min spacing = 8192 0.40.478.961 I srv init: idle slots will be saved to prompt cache upon starting a new task 0.40.487.053 I srv init: init: chat template, example_format: '<|im_start|>system Reasoning effort is set to low. Keep your thinking brief and focused, moving directly to the conclusion without unnecessary elaboration. You are a helpful assistant<|im_end|> <|im_start|>user Hello<|im_end|> <|im_start|>assistant <think> </think> Hi there<|im_end|> <|im_start|>user How are you?<|im_end|> <|im_start|>assistant <think> ' 0.40.488.160 I srv init: init: chat template, thinking = 1 0.40.488.175 I srv init: preserve_reasoning kwarg: true 0.40.488.176 W srv init: chat template supports preserving reasoning, it is enabled by default (may use more tokens, disable via --no-reasoning-preserve) 0.40.488.225 I srv llama_server: model loaded 0.40.488.230 I srv llama_server: listening on http://127.0.0.1:5806 0.40.488.306 I srv update_slots: all slots are idle 0.40.596.787 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.40.596.840 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.41.844.721 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.44.106.682 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.44.145.103 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.44.166.445 I srv server_strea: conv_id=p8qh2v4txo (empty=0) 0.44.187.707 I srv operator(): chat format: peg-native 0.44.194.199 I slot get_availabl: id 0 | task -1 | - skipping, slot is empty 0.44.194.203 I slot get_availabl: id 0 | task -1 | selected slot by LRU, t_last = -1 0.44.194.204 I srv get_availabl: updating prompt cache 0.44.194.209 I srv load: - looking for better prompt, base f_keep = -1.000, f_sim = 0.000 0.44.194.213 I srv update: - cache state: 0 prompts, 0.000 MiB (limits: 65536.000 MiB, 262144 tokens, 68719476736 est) 0.44.194.214 I srv get_availabl: prompt cache update took 0.01 ms 0.44.194.872 I cmn common_reaso: activated, budget=2147483647 tokens 0.44.194.897 I slot launch_slot_: id 0 | task -1 | sampler chain: logits -> ?penalties -> ?dry -> ?top-n-sigma -> top-k -> ?typical -> top-p -> ?min-p -> ?xtc -> temp-ext -> dist 0.44.194.906 I slot launch_slot_: id 0 | task -1 | sampler params: repeat_last_n = 64, repeat_penalty = 1.000, frequency_penalty = 0.000, presence_penalty = 0.000 dry_multiplier = 0.000, dry_base = 1.750, dry_allowed_length = 2, dry_penalty_last_n = 64 top_k = 20, top_p = 0.950, min_p = 0.000, xtc_probability = 0.000, xtc_threshold = 0.100, typical_p = 1.000, top_n_sigma = -1.000, temp = 0.900 mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000, adaptive_target = -1.000, adaptive_decay = 0.900 0.44.194.909 I slot launch_slot_: id 0 | task 0 | processing task, is_child = 0 0.44.194.923 I slot operator(): id 0 | task 0 | new prompt, n_ctx_slot = 262144, n_keep = 0, task.n_tokens = 6513 0.44.194.938 I slot operator(): id 0 | task 0 | cached n_tokens = 0, memory_seq_rm [0, end) 0.45.076.880 I slot operator(): id 0 | task 0 | cached n_tokens = 1024, memory_seq_rm [1024, end) 0.45.936.639 I slot operator(): id 0 | task 0 | cached n_tokens = 2048, memory_seq_rm [2048, end) 0.46.678.559 I slot operator(): id 0 | task 0 | cached n_tokens = 3072, memory_seq_rm [3072, end) 0.47.403.908 I slot operator(): id 0 | task 0 | cached n_tokens = 4096, memory_seq_rm [4096, end) 0.48.152.970 I slot print_timing: id 0 | task 0 | prompt processing, n_tokens = 5120, progress = 0.79, t = 3.83 s / 1336.37 tokens per second 0.48.152.973 I slot operator(): id 0 | task 0 | cached n_tokens = 5120, memory_seq_rm [5120, end) 0.48.471.975 I slot print_timing: id 0 | task 0 | prompt processing, n_tokens = 5489, progress = 0.84, t = 4.18 s / 1312.85 tokens per second 0.48.471.979 I slot operator(): id 0 | task 0 | cached n_tokens = 5489, memory_seq_rm [5489, end) 0.48.652.956 I slot create_check: id 0 | task 0 | created context checkpoint 1 of 32 (pos_min = 5488, pos_max = 5488, n_tokens = 5489, size = 171.193 MiB) 0.49.388.370 I slot print_timing: id 0 | task 0 | prompt processing, n_tokens = 6462, progress = 0.99, t = 4.94 s / 1309.07 tokens per second 0.49.388.373 I slot operator(): id 0 | task 0 | cached n_tokens = 6462, memory_seq_rm [6462, end) 0.49.575.162 I slot create_check: id 0 | task 0 | created context checkpoint 2 of 32 (pos_min = 6461, pos_max = 6461, n_tokens = 6462, size = 175.016 MiB) 0.49.681.416 I slot print_timing: id 0 | task 0 | prompt processing, n_tokens = 6509, progress = 1.00, t = 5.46 s / 1191.38 tokens per second 0.49.681.420 I slot operator(): id 0 | task 0 | cached n_tokens = 6509, memory_seq_rm [6509, end) 0.49.682.557 I slot init_sampler: id 0 | task 0 | init sampler, took 0.78 ms, tokens: text = 6513, total = 6513 0.49.856.660 I slot create_check: id 0 | task 0 | created context checkpoint 3 of 32 (pos_min = 6508, pos_max = 6508, n_tokens = 6509, size = 175.201 MiB) 0.52.979.726 I slot print_timing: id 0 | task 0 | n_gen = 214, tg = 70.00 t/s, tg_3s = 70.32 t/s 0.55.997.504 I slot print_timing: id 0 | task 0 | n_gen = 433, tg = 71.28 t/s, tg_3s = 72.57 t/s 0.57.515.548 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 0.59.030.946 I slot print_timing: id 0 | task 0 | n_gen = 641, tg = 70.38 t/s, tg_3s = 68.57 t/s 1.02.031.711 I slot print_timing: id 0 | task 0 | n_gen = 883, tg = 72.92 t/s, tg_3s = 80.65 t/s 1.05.062.619 I slot print_timing: id 0 | task 0 | n_gen = 1104, tg = 72.92 t/s, tg_3s = 72.92 t/s 1.08.078.943 I slot print_timing: id 0 | task 0 | n_gen = 1314, tg = 72.37 t/s, tg_3s = 69.62 t/s 1.11.099.909 I slot print_timing: id 0 | task 0 | n_gen = 1546, tg = 73.00 t/s, tg_3s = 76.80 t/s 1.14.116.302 I slot print_timing: id 0 | task 0 | n_gen = 1731, tg = 71.55 t/s, tg_3s = 61.33 t/s 1.17.143.159 I slot print_timing: id 0 | task 0 | n_gen = 1964, tg = 72.15 t/s, tg_3s = 76.98 t/s 1.20.192.581 I slot print_timing: id 0 | task 0 | n_gen = 2173, tg = 71.79 t/s, tg_3s = 68.54 t/s 1.23.194.267 I slot print_timing: id 0 | task 0 | n_gen = 2436, tg = 73.22 t/s, tg_3s = 87.62 t/s 1.26.228.228 I slot print_timing: id 0 | task 0 | n_gen = 2675, tg = 73.68 t/s, tg_3s = 78.77 t/s 1.26.546.019 I cmn common_reaso: deactivated (natural end) 1.29.242.024 I slot print_timing: id 0 | task 0 | n_gen = 2855, tg = 72.61 t/s, tg_3s = 59.73 t/s 1.32.264.715 I slot print_timing: id 0 | task 0 | n_gen = 3081, tg = 72.77 t/s, tg_3s = 74.77 t/s 1.32.917.494 W srv operator(): (CORS) skip non-localhost origin: http://192.168.1.217:8080 1.35.309.909 I slot print_timing: id 0 | task 0 | n_gen = 3314, tg = 73.02 t/s, tg_3s = 76.51 t/s 1.35.830.082 I slot print_timing: id 0 | task 0 | prompt eval time = 5741.57 ms / 6513 tokens ( 0.88 ms per token, 1134.36 tokens per second) 1.35.830.087 I slot print_timing: id 0 | task 0 | eval time = 45893.21 ms / 3356 tokens ( 13.68 ms per token, 73.10 tokens per second) 1.35.830.090 I slot print_timing: id 0 | task 0 | total time = 51634.79 ms / 9869 tokens 1.35.830.095 I slot print_timing: id 0 | task 0 | graphs reused = 833 1.35.830.099 I slot print_timing: id 0 | task 0 | draft acceptance = 0.74143 ( 2509 accepted / 3384 generated), mean len = 3.97 1.35.830.099 I slot print_timing: id 0 | task 0 | acc per pos = (0.903, 0.797, 0.682, 0.584) 1.35.830.116 I spec common_specu: statistics draft-mtp: #calls(b,g,a) = 1 846 846, #gen drafts = 846, #acc drafts = 764, #gen tokens = 3384, #acc tokens = 2509, #mean acc len = 3.97, #acc rate/pos = (0.903, 0.797, 0.682, 0.584), dur(b,g,a) = 0.005, 10266.314, 2.154 ms 1.35.831.263 I slot release: id 0 | task 0 | stop processing: n_tokens = 9868, truncated = 0 1.35.831.348 I srv update_slots: all slots are idleFoggy4
11.09.2026 11:08Ну вы тоже в ярость не впадайте :) Достаточно было бы и этой строчки:
llama_kv_cache: size = 8704.00 MiB (262144 cells, 16 layers, 1/1 seqs), K (q8_0): 4352.00 MiB, V (q8_0): 4352.00 MiB
punzik
11.09.2026 11:08У меня тоже две 3090. Полный контекст для qwen3.8-27b-q8 без квантования да, не влезает. Влезает около 200к. Но квантованный кэш влазит (именно об этом сказал товарищ выше).
По скорости товарищ тоже не соврал. С опцией
-sm tensorи включенным MTP модель даёт до 80т/с (среднее наверное токенов 65-70). Так что кек - кеком, но именно так оно и работает.ToxaBes
11.09.2026 11:0865-70 т/с при забитии контекста больше 200К?
Это какая-то уличная магия.
punzik
11.09.2026 11:08Вот только что измерил. Картинку нельзя приложить, по этому скопировал табличкой. Можно увидеть префилл 724 и генерацию 50-65. Это реальная кодинговая задача.
| Cached | Prompt | Generated | Prefill | Decode | |---------|---------|-----------|------------|-----------| | 218.357 | 51 | 1.838 | 25.55 t/s | 57.58 t/s | | 217.656 | 153 | 547 | 68.69 t/s | 64.54 t/s | | 217.446 | 44 | 165 | 23.47 t/s | 60.95 t/s | | 215.407 | 617 | 1.423 | 202.32 t/s | 54.47 t/s | | 214.993 | 91 | 323 | 44.50 t/s | 60.02 t/s | | 214.876 | 35 | 81 | 18.10 t/s | 51.25 t/s | | 214.109 | 115 | 651 | 53.87 t/s | 54.16 t/s | | 213.309 | 70 | 730 | 31.71 t/s | 53.60 t/s | | - | 209.991 | 3.317 | 724.81 t/s | 49.75 t/s |
balamutang
11.09.2026 11:08Аликсеоны хороши тем что у них 2-3 х16 pcie будет на борту, потому что у серверных процов много линий pcie , в отличие от бытовухи
Ну и серверную память они потянут, которая в разы дешевле обычной
Yuri_BY
11.09.2026 11:08
"Таблица «5 лучших»: Ornit-1.5-35B локально 100% 40.8 t/s (без думания; think ~22) 192K."
Как-то маловато. Вот реальная скорость "наследика", правда на меньшем контексте при 2x RTX-3060/12GB
Shraikru
11.09.2026 11:08Локальный ИИ класса Opus 4.6
Чтобы быть моделями одного класса у них должно быть сопоставимое число параметров.
На 32гб видеопамяти + 64гб оперативы + 512gb ssd поднять триллионную модель невозможно.
gliderman Автор
11.09.2026 11:08Понятно что, что крупные проекты локальные модели не способны поднять. Только вот мне для своих ембедд проектов локальных моделей уже хватает практически полностью. 256к контекста - с лихвой. И год назад работая с gemini я решал такие задачи, как сейчас могу решить на локальной машине. В теории, потолок локальных моделей еще не достигнут, вот меня к примеру, приятно удивила https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF на другой моей машине с tesla v100 16gb.
slonopotamus
11.09.2026 11:08Чтобы быть моделями одного класса у них должно быть сопоставимое число параметров.
Неочевидное утверждение. Допустим, кто-то сделал модель, которая с меньшим количеством параметров выдаёт такие же результаты. Она что, хуже что ли? Нет же, она лучше.
An_Sm_ru
11.09.2026 11:08У меня аналогичная сборка только проц E5-2696 22 ядра 44 потока, ОЗУ 256 гб.
2 карты P100 + 1050ti для легкой 4b модели.
Запускал даже GLM5.3 flash, скорость правда 1t/s.
Qwen3.8-Flash-Next умная, но тоже скорость маленькая.
Рабочая Qwen3.8-27B_UD-Q4-K-XL, на агентах запускаю на ночь и с утра задача выполнена. Самое долгое 6 дней в одном чате проект создавал, контекст 200К стоит.
gliderman Автор
11.09.2026 11:08Сколько эти квены выдают при таком озу? Flash-Next 8бит с мтр запускается?
krendelbok
11.09.2026 11:08Купил мини пс на AMD Ryzen AI 9 HX 470 за 700 евро, поставил туда 64Гб рамы и ссд на 2 Тб. Qwen3.8-Flash-Next - 15-20 t/s, вполне рабочая. Собираю на eGPU, nvlink присутствует.
Mintavrus
11.09.2026 11:08Qwen3.8-Flash-Next на 64 ГБ памяти? А какую конкретно модель Вы запускаете (какой тип квантования, сколько весит модель в ГБ)?
gliderman Автор
11.09.2026 11:08https://huggingface.co/AtomicChat/Qwen3.8-Flash-Next-GGUF?show_file_info=Qwen3.8-Flash-Next-AD-3.84bpw-IQ4_XS-M64%2FQwen3.8-Flash-Next-AD-3.84bpw-IQ4_XS-M64-00001-of-00028.gguf память всю сжирает, вот так запускается: “llama.cpp” GGML_CUDA_NO_PINNED=1 ./llama-server.exe
-m D:/qwen38-flash/Qwen3.8-Flash-Next-AD-3.84bpw-IQ4_XS-M64-00001-of-00028.gguf
–host 127.0.0.1 --port 8080 --alias qwen3.8-flash
-ngl 999 --n-cpu-moe 32 -ot “per_layer_token_embd=CPU” -sm layer -ts 38,10
-lzm auto -fa on -ctk q8_0 -ctv q8_0 -c 131072 -np 1 -t 24
–jinja --spec-type ngram-map-k --spec-ngram-map-k-size-m 12
–reasoning off --metrics
–log-file D:/qwen38-flash/server384.log --log-timestamps -to 600
ToniDoni
11.09.2026 11:08tps это хорошо но и ttft тоже надо бы указывать а еще заполненость контекста на тот момент
gliderman Автор
11.09.2026 11:08Половина окна где-то, в принципе, везде стараюсь больше половины от рабочего контекстного окна не забивать, практика показывает, что почти все модели свыше половины окна чудить начинают.
Habrahog
11.09.2026 11:08Рабочая модель у меня теперь почти всегда одна, Ornit-1.5-35B (Q4_K_M)
Пробовали ли unsloth/Qwen3.8-27B-GGUF? Хороши!gliderman Автор
11.09.2026 11:08https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF - в тестировании сейчас, видимо на нее уйду.
RaymanOne
11.09.2026 11:08Не пробовали гибридную концепцию? Старшая облачная модель пишет план, а локальная занимается реализацией? Потом облако верифицирует. Получается экономить до 50% токенов по сравнению с чистым облаком и качество по идее вообще не страдает. Blackwell ноутбук на NVFP4 спокойно выдает 10t/s без спекуляций, потребляя при этом меньше 100 ватт под нагрузкой.
SanyaZ7
11.09.2026 11:08Лучше использовать обратную концепцию - план может писать и локальная модель, а реализацию доверить облачной модели, так как локальная хуже знает особенности реализации конкретных библиотек из-за ограниченного размера. Конкретный пример - gemma4-26B-A4B хорошо знает общую информацию о boost, libtooling, qt, но путается в реализации, может нередко забывать добавлять обработку граничных случаев. Опус и соннет по сравнению с локальными являются гигантами и в этом случае "cтаршая облачная модель пишет план, а локальная занимается реализацией" прокатывает.
SanyaZ7
11.09.2026 11:08Небольшая неточность - под локальной подразумевалась модель меньшего размера(sonnet). Более того мне например больше нравится как gemma4-26B-A4B разбивает большие cpp файлы на мелкие при росте размера проектов, gpt-5.6 luna местами избыточно переусложняет.
RaymanOne
11.09.2026 11:08А есть какие-то проверенные связки для именно локального инференса и облачного? Текущие клоды и копайлоты такое не умеют, open code вроде бы тоже ... Пробовал litellm, вроде бы получается неплохо, но немного не то что я хотел. Там анализатор все разбивает, а не сами модели.
nidalee
11.09.2026 11:08Что значит "не умеют"? Так и пишите: "у меня на 127.0.0.1:4321 сидит qwen3.8, напиши скилл, который будет делать то-то и то-то" (например, писать тесты и прочую ерунду). Я так внутрь клода прикрутил скилл, который вызывает cli codex для проверки написанного перед коммитом, клод потом по нему правит код и пушит (эдакий ci/cd локально). Никакой разницы ему нет, вызывать codex или qwen code, или вообще напрямую ходить по openai-compatible.
akakoychenko
11.09.2026 11:08так как локальная хуже знает особенности реализации конкретных библиотек из-за ограниченного размера
Поддержу. Вот эту тему с умным планировщиком и тупым исполнителем курсор навязывает в своем дефолтном поведении. И, как-то, ни разу не был доволен результатом. План слишком общим выходит, чтобы уберечь младшую модель от бреда. Как будто бы, сама концепция - просто тупая экстраполяция оргструктур реального мира (умный тимлид декомпозирует задачу на подзадачи для джуна), не имеющая адекватного обоснования. Примерно, как потуги создать ИИ-команду, где есть проджект, тимлид, два бекенда, фронт тестировщик и девопс, и все имеют свои имена и общаются в джире. Да, привычно и знакомо, с одной стороны. Но, с другой, чистый карго-культ
opium
11.09.2026 11:08Так на выходе будет задница тогда, в этом плане план надо писать опусом а реализацию сонетом и проверять опусом
ponikrf
11.09.2026 11:08Она MoE- суммарно 35 миллиардов, а активно около 13,
Если имеется ввиду Ornith-1.5-35B-A3B MoE 35B / 3B - активные не 13 а только 3. Это опечатка?
sheol
11.09.2026 11:08Если пробовали только на ванильной llama.cpp, то обязательно попробуйте https://github.com/ikawrakow/ik_llama.cpp/ Этот форк сильно ускоряет инференс на CPU, раза в 1.5-2. И если виндовс стоит, то стоит попробовать линукс - по отзывам на нем бывает быстрее.
opium
11.09.2026 11:08Не очень понятна логика, сборка вроде не рядом с опус 4.6 ни по скорости ни по качеству, вроде 32 гига нынче для запуска модели почти ничего, качество и скорость очень сильно страдают на том же антропике или кодекс вы получаете за 200 баксов очень очень много токенов на месяц. В сравнении с подпиской это просто не лезет ни в какие ворота
gliderman Автор
11.09.2026 11:08Логика сборки такая, как инвертор с батареей на даче. Вроде дорого, а когда 3 дня света не будет и холодильник стухнет с продуктами и лекарствами, да работа вся встанет -так и не дорого выходит. Ну или как народ над электричками смеялся, а теперь заправиться не может. Иметь возможность автономии - бесценна. И еще, мне уже заметно стало подорожание дипсика, и теперь у меня есть выбор не выкидывать по 7-10килоруб в месяц на дипсик, а обойтись в 90% потребностей в расчетах своим железом. Ну и по моим прикидкам - 6 мес отбиваются эти затраты. Далее только электроэнергия.
opium
11.09.2026 11:08ну простейший сценарий тут вырубило свет и нет интернета, а нахрена локальная модель, если просто нет инета то и работы нет , если нет света то и локальной модели нет.
ну ядерный удар и скаладывание связи в интернете , тоже не понтяно зачем она мне , тут я больше надеюсь купить на черном рынке после этого ак 47 , но наврятли кто то мне продаст его за видеокарты в постапокалипсисе
ну еще сценарий есть чебурнет , ну если нет зарубежного инета мне как бы и локальная не нужна так как нет работы по сути.
если вы сидите на апи тратите всего 7-10к рублей на него то понятно что у вас там работы три копейки, так что я вообще не понимаю на счет окупаемости ) , с этой точки зрения я купил подпписку клода или кодекса за 200 баксов и окупил сразу тысяч на 7к баксов расходов на апи или сильно больше на железе
akakoychenko
11.09.2026 11:08Как хождение по интернету и гуглеж решали?
Кодинг «вслепую» без возможности у модели сходить в интернет и загрузить свежую доку весьма условный выходит.
An_Sm_ru
11.09.2026 11:08Если необходимо, то локальные агенты умеют и в интернете поискать, если разрешить.
nidalee
11.09.2026 11:08Умеют, но ощутимо хуже, никаким аналогом /deep-research у локалки даже не пахнет ИМХО, максимум в условный гугл залезть (который нынче та еще помойка) и покопаться в бреде копирайтеров и прочего SEO-оптимизированного гуана.
Список уязвимостей у меня локальный квен вытягивал минут 10 с постоянными спотыканиями, а их как бы даже сама модель знает где искать, без гугла.
ToxaBes
11.09.2026 11:08Умеют, но ощутимо хуже, никаким аналогом /deep-research у локалки даже не пахнет
Этот тред просто какой-то сборник мифов и предубеждений. Стандартный Qwen 3.8 27B запущеный в deepseek-harness за 25 мин пишет плагин к этому же харнесу, который работает лучше /deep-research.
Вы говорите о вчерашнем дне, все команды условного claude code уже реализуются плагинами и работают лучше. Такая вот реальность.
nidalee
11.09.2026 11:08Это из практики на релизе Qwen 3.8, в Qwen Code. Если есть плагин - поделитесь, посмотрим что там лучше.
ToxaBes
11.09.2026 11:08Мои плагины написаны под мой паймлайн (с упором на ArXiv). Не верьте мне на слово, попробуйте сами то что я написал: поставьте deepseek harness, подключите Qwen 3.8 27B Q8 и попросите сделать плагин как /deep-research. Резуьтат вас приятно удивит.
Mintavrus
11.09.2026 11:08У меня локальная LLM ходит в интернет спомощью локальных MCP: SearXNG и Browser-MCP (headless chrome, c моей доработкой чтобы сайты не палили бота и показывали капчу)
gliderman Автор
11.09.2026 11:08Гермес ходит в интернет если надо с этими моделями, просто даю ссылку и говорю что надо сделать, а локальная модель потом пыхтит, но по скорости да, если опять с пресловутым дипсиком 4 флеш сравнить- втрое больше времени тратит.
Vladoshoho
11.09.2026 11:08Хотел бы узнать у автора какая материнская плата сколько слотов pcie x16? Сборка понравилась для локалки самото. У меня собран походный стек в 60к. Деревянных. Но я не захотел почему то брать п100. Я брал 2 майнинговых amd instinct mi50 16gb. И для них брал катайскую плату machinist x99 на ней два честных pcie x16
thetrues0l
11.09.2026 11:08Чуть в другом бюджете можно получить ~100t/s и 900t/s в x32 на Qwen-3.8 27B с vllm https://habr.com/ru/sandbox/302280/ . Даже на обычном PCIe v4 x4. Там первая часть, во второй уже с MTP.
gliderman Автор
11.09.2026 11:08Чуть другой - это сколько в рублях?
thetrues0l
11.09.2026 11:08Ну конечно не 20тр, но еще два месяца назад новая 5060Ti 16Gb взял за 47т.р. х3 - ~150тр. Но вот чего мне не хватило или я пропустил - это скорость prefill на Xeon таком.
gliderman Автор
11.09.2026 11:08Еще хост нужен для карт. Это не чуть другой ценник, это в разы. 6-7т.р цена p100.
nidalee
11.09.2026 11:0810 тысяч сейчас на авито вижу за р100, 5060ti 16gb по 60-70+ тысяч за штуку.
gliderman Автор
11.09.2026 11:08Реально выкупал с озона за 5909р.
nidalee
11.09.2026 11:08Ну я сейчас смотрю цены, историческая справка не особо интересна :)
gliderman Автор
11.09.2026 11:083 недели назад забирал в ПВЗ. Думаю, через месяц опять цены могут упасть. Весь этот антиквариат априори дорожать не может.
nidalee
11.09.2026 11:08Может-может, каждый раз когда такие статьи вылезают про некрожелезо (или просто колхозы), которое "может", оно запросто х2 к цене делает. Уже не первый случай.
Moog_Prodigy
11.09.2026 11:08Ага был тут пост про использование старых плат от асиков в качестве одноплатников. Буквально на следующий день эта вся бэушка раза в 3 подскочила в цене.
Foggy4
11.09.2026 11:08Подскажите параметры запуска для llama.cpp с которыми вы запускаете Qwen3.8 27B Q5 с контекстом в 225К? У меня на двух картах 50x0 тоже с суммарной памятью 32Gb удается только 140K контекста в Q8_0 запустить максимально :(
gliderman Автор
11.09.2026 11:08Вот у меня есть такой лог:
Рабочая схема — serve-qwen38.sh (порт 11889, алиас qwen38) — это то, что потом стояло в пикере: --model D:/Models/Qwen3.8-27B-UD-Q5_K_XL.gguf --mmproj D:/Models/Qwen3.8-27B-mmproj-F16.gguf ← vision -ngl 99 --device CUDA0,CUDA1 --split-mode tensor -c 184320 (слот 180K, -np 1) --cache-type-k q8_0 --cache-type-v q8_0 --reasoning off --spec-type draft-mtp --spec-draft-n-max 2 --host 127.0.0.1 --port 11889 --log-file server_qwen38.log --log-timestamps -to 1800 Замеры по ней: покой 15 852 / vision-пик 15 914 MiB, 23–24 t/s, prefill 131–161 t/s; 224K (229376) стартовал, но на генерации 15 784 MiB — запас 600 MiB, посчитали риском; 256K не стартовал вовсе. В конфиге Hermes у алиаса стоит context_length 184320 и extra_body {temperature 0.6, top_p 0.95}.
Foggy4
11.09.2026 11:08-c 184320Это же значит, что у вас 184320 контекст, или я чего то не понимаю? UPD: А, имеется в виду, что с 224K стартует, но ничего не генерирует, поэтому рабочий контекст 184K, ok.
gliderman Автор
11.09.2026 11:08Тесты шли на 224, для гарантии в пикере потом было снижено, если без визион, можно было бы оставить 224
Markscheider
11.09.2026 11:08Автор: ваша сборка на кухне постоянно будет жить? Там взвешенные капли жира в воздухе: радиаторы забивают и пыль к ним липнет шоппц.
gliderman Автор
11.09.2026 11:08Жир вытяжка убирает, а сервак на подоконнике далеко от плиты. В комнатах пыли точно больше, ежегодно из компа выгребаю клубки.
Markscheider
11.09.2026 11:08Возможно, у вас ситуация другая, но последите за этим. У меня на холодильнике стоял неттоп с малюсеньким вентилятором, и даже пришлось переходить на пассивное охлаждение, потому что вентилятор постоянно забивался жиром.
tplogin
11.09.2026 11:08Я из четырех 5060 Ti 16 gb через Oculink PCIe 4.0 x4 на Qwen3.8 27B FP8 с кешем 262к BF16 в vLLM под WSL2 (в Windows) пока только 31 т/с смог выжать, prefill около 150 т/с. Режим tensor parallelism, 2 потока можно (batch). nvfp4, говорят, быстрее и больше параллельных запросов можно.
Кстати, может, не так вопрос задал. Но Qwen3.8 27B FP8 предложил мне 20 метров до автомойки пешком пройтись.
Шумит под нагрузкой, но не сильно - это было очень критично, так как стоит в жилой комнате. Когда нет запросов, вентиляторы везде останавливаются, полная тишина. Ну и потребление всех карт все же минимальное.
Для меня сумма моего стенда существенная, даже с учетом цен за карты 40-45 тыс. руб., так как это амортизация и потерянные проценты по депозиту. Облако по расчетам у Дипсика дешевле.tplogin
11.09.2026 11:08prefill около 1500 т/с - ошибся. при максимальной нагрузке - потребление каждой карты 5060 Ti до 100 Вт
thetrues0l
11.09.2026 11:08О. почти собрат - переходите на vllm, я же говорю на 3x 5060Ti 100t/s можно, поиграв с кодом vllm, но там круто именно в паралель уходить - сейчас ~900t/s, но это при моих 48Gb. И у меня именно боль - одна карта в 4.0 v4 PCIe - т.е. почти ваша конфигурация.
Foggy4
11.09.2026 11:08А на llama.cpp каких цифр удавалось достигать максимально?
thetrues0l
11.09.2026 11:08не, даже не пробовал llama - мне надо паралель)
Foggy4
11.09.2026 11:08Так llama тоже умеет параллелить, в двух режимах: layer и tensor. Флаг для запуска --split-mode layer/tensor --tensor-split 1,1,1
thetrues0l
11.09.2026 11:08я про другое :) у меня с MTP сейчас x39 MAX, т.е. 39 запросов одновременно, там уже плато конечно, но именно при ~x32 достигается ~900t/s decode.
Foggy4
11.09.2026 11:08Не пробовали сравнивать по качеству ответов FP8 с Q4 например? Любопытно всё же насколько она тупеет.
thetrues0l
11.09.2026 11:08Только NVFP4, причем сейчас есть кванты интересные - https://huggingface.co/QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4, похоже на BF16. Но надо разделять "тупеет" ) BF16 реже уходит в loop, это да. Но кучу math ошибок накапливает сервак местами а не квантование, особо при кривой реализации MTP. Лучше самому посчитать - набрать трассу на BF16, а потом с Q4/NVFP4 сравнить просто)
tplogin
11.09.2026 11:08Я пробовал несколько месяцев назад Qwen3.6 27B Q4. Мне не понравилось, Q6 был получше, но с OpenClaw было невозможно долго работать. Но 5060 Ti у меня тогда было 2 или 3.
Revertis
11.09.2026 11:08Далее честный рассказ с цифрами, бенчмарком
Ой, а мы думали, что будет не честный!
Revertis
11.09.2026 11:08Те самые грабли, на которые я наступал, локальная модель берёт лучше облака.
Что она берёт? Грабли?
Нельзя такое выкладывать. Если уж сгенерировали нейронкой текст, то хоть прочитайте пару раз.
MEGA_Nexus
11.09.2026 11:08Локальный ИИ класса Opus 4.6
Это больше самовнушение, чем правда. Локальные ИИ никогда не сравнятся по качеству с глобальными ИИ.
gliderman Автор
11.09.2026 11:08Есть понятие - достаточное решение. Никто не возит на карьерном самосвале пиццу клиентам, к примеру. Если задача выполняется - зачем платить больше?
Politura
11.09.2026 11:08Угу по обширности знаний модели на несколько порядков меньше не сравнятся. В отдельно взятых задачах, ну например спросите у модели сколько будет 2 + 2, вам самые древние и маленькие ответят не хуже опуса 5.
Это, конечно, совсем простой пример, вот только планка того, где локальные модели работающие на ноуте сравнились с большими, неуклонно растет и задач где вы не увидите отличий все больше и больше.
Например, у меня локальные часто находят косяки, иногда довольно серьезные, в тех решениях которые опус5 сделал через Клод код.
Moog_Prodigy
11.09.2026 11:08Именно по обширности знаний - сравнятся. Что облачная моделька, что локальная про устройство черной дыры (и как к этому пришли) отвечают практически одинаково. Также и по вопросам схемотехники навроде "отличие ламп от транзисторов" или "рассчитай ключевой каскад для IGBT". Потому что для этих вопросов давно найдены ответы, формулы и доказательства. А вот связность и генерация нового - тут да, все не очень хорошо у локальных. Например написать рассказ, локальная часто путает слова и зачастую пишет линейный текст, облачная при этом пишет довольно захватывающий рассказ, нуждающийся в минимальной доработке. Код - это вообще небо и земля. Локальная напишет вам типовой тетрис, поможет даже создать справочник по какому-то ЯП, но нечто сложнее, например сайт "убийца ютуба" - уже запинается и приходится делать 10-30 прогонов, чтобы она хоть что-то рабочее выдала. При этом даешь этой же модели ее код на ревью и она с удовольствием находит там кучу багов, попутно плодя новые.. Большие модели рабочий код выдают с первого раза, если не повезет то с третьего. Они тоже неидеальны, но ситуация ровно такова какова она есть и более никакова =))
rrrrex
11.09.2026 11:08"поможет даже создать справочник по какому-то ЯП "
Такую модель еще поискать надо. Она не просто должна русский язык понимать, она должна сложные темы объяснять так, чтобы было понятно. Например, Gemma 4 отлично на русском говорит, но при этом агентские задачи с трудом решает. С другой стороны, Qwen 3.8 Flash Next может написать тысячи строк кода без ошибки, но не в силах объяснить написанное на нормальном русском языке.
Пока что универсальную локальную модель еще никто не сделал, либо хороший код, либо хороший русский язык. Надежда на то, что Gemma 5 наконец-то начнет нормально инструменты вызывать и качество кодинга подтянет.Moog_Prodigy
11.09.2026 11:08Есть такая специализация моделей. Но она существует даже среди огромных моделей. Условно говоря, не так давно в кодинге рулил Клод, а в гуманитарных Gemini (Gemma той же архитектуры). В среде локальных моделей -it модели в коде шарят больше, чем общие. Что с этим делать непонятно, я думаю какую то общую модель делать нет смысла - ибо даже среди людей есть деление на гуманитариев и технарей, никто никому не мешает, не конкурирует и в целом они нужны друг другу, юрист не починит розетку, а электрик не сможет написать судебный иск правильно. Разный склад ума, и возможно архитектуры тоже будут разными, сохраняя что-то общее.
iatethelogs
11.09.2026 11:08Вот это попало в ежедневный хабр, а моя статья с огромным вычислительным кластером осталась почти без внимания. эх
gliderman Автор
11.09.2026 11:08Ваша статья, видимо, интересна 1 читателю Хабра из 1000, и специалисты ее оценят, не волнуйтесь, интернет отиндексирует и все запомнит. А по моей статье, наверное, каждый десятый примеряет к себе - а не собрать ли себе такой сервак домой. Не дорого же, а еще у людей много десктопов пылится без дела, а тут такой вариант заиметь личного Джарвиса на полку.
UB3
11.09.2026 11:08Я сам наткнулся чисто случайно на эту ллмку - Ornit -и она на моем весьма слабом стеке на удивление умнее работала даже чем квен. Собственно вопрос - а что это за моделька такая интересная? она вроде как и сделана на основе квена но явно умнее при своих габаритах так сказать.
А по статье - спасибо за инфу о железе, очень интересная штука получилась у вас, были бы свободные средства повторил бы ее :)
VBDUnit
А можно подробнее?
Потому что разница между моделями и классами моделей видна именно на когнитивно сложных задачах, требующих более‑менее абстрактного мышления, где нужно одновременно «держать в голове» несколько слоёв системы и кучу сущностей, и их взаимодействие между собой. Вот на таких штуках слабые модели рожают горы костылей над костылями над костылями, сыпятся и застревают в болоте велосипедов, а сильные вывозят потому что способны на некотором уровне «системно мыслить», даже если ты их по этому вопрос не пинаешь вручную. И чем сложнее задача, тем сильнее разрыв.
По моему опыту из около 30b моделей вменяемо стала решать задачи только Qwen 3.6 27b Q4K_XL (не M), и то на длинных контекстах (больше 100к токенов) сыпалась. И только на Qwen 3.8 27b NVFP4 стало возможно более‑менее спокойно давать ей не самые тривиальные задачи и не бояться что она завалится и не закопается, и не начнет сыпаться с вызовом тулов и не зациклится. Плюс рантаймы за год стали существенно пошустрее работать + MTP завезли.
gliderman Автор
Думаю, подробнее новую статью напишу, где укажу как дробить задачи, но вот задачи класса 1000 строк скетча для есп32 - локальные модели вполне переваривают и правильно их решают, но облачный дипсик впереди, если нужно разобраться с целым репозиторием с гитхаба, к примеру, по ссылке на свой репо https://github.com/isemaster/VibroVario - здесь если целиком кормить репо в модель, локалки не вывозят, но с отдельным модулем хорошо работают.
ToxaBes
Вывозят аж бегом, например, Qwen 3.8 27B в Q8 и KV кешем в fp16/8 и 262К контекстом. У вас просто железа не хватает для этого (32Гб), нужно 48 Гб.
xxb
Скажите а почему не рассматривали карты V100 32 c китайской платой на 2 слота? Сейчас думаю как компромис между 4х и ценой покупки сразу
gliderman Автор
Не видел достойных вариантов, потом там с доп питанием есть головняк, версии разные существуют, да и на рынке их мало. в100 16 гб покупал зимой на попробовать, тогда эта тема с локальными моделями была не очень популярна, да и модели под такой объем были туповаты.
Kreatifchk
Питание там обычное 8 pin на переходниках.
Ramirez174
V100 нынче стоят 20к за 16 Гб и 55-60+ за 32 гига. Как по мне, сумасшедшие бабки за такое древнее железо
ToxaBes
Так а, что, вы, хотите от Q4 квантованых моделей обьемом до ~50B? Так и должно быть.
Q4 имеет смысл использовать в моделях от 120-150B, Q2 от 400B и тд (примерно).
Для стандартной 27-35B модели Q8 - стандарт, Q6 - нижняя граница смысла.
VBDUnit
Часто натыкаюсь подобную критику Q4.
Но на практике реальную разницу между Q4/Q6/Q8 я засекал в 2025 году на старых моделях. На новых (с апреля 2026, когда две Qwen 3.6 вышли) я её в своих практических задачах (разных — и работа с доками, и кодинг, и vision‑задачи, и вёрстка и прочее) не увидел. Не могу сказать что я прям целенаправленно тестил во всех возможных сценариях, но и сказать, что использование было однообразным, тоже нельзя. Как и нельзя сказать что все задачи были простые.
Qwen 36 27b в Q6K_M, Q5K_XL, Q4K_XL, Q8 — одинаково сыпались и частенько зацикливались на контексте 65–128к. Только 5-6-8 бит при этом работали медленнее, особенно Q8, где много слоёв в RAM надо было оффлоадить чтобы под KV кеш освободить место.
Есть мысль, что «на малых моделях Q4=мусор» сейчас уже не так жёстко, как раньше.
ToxaBes
На малых контекстах - вы правы, разницы почти нет, на больших контекстах разница между модель решила задачу и не решила задачу.