Всем привет!

2025-й постепенно подходит к концу. А хайп вокруг искусственного интеллекта (ИИ), длящийся уже три года, заканчиваться не собирается. И вполне возможно, что именно в этом году происходит зарождение нового тренда внутри этого хайпа. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые модели (LLM) и генеративный ИИ перестают быть прерогативой дата-центров.

В этой статье приведен обзор решений, которые можно применить в качестве домашних вычислительных станций ИИ сегодня.

Постановка задачи

На определенном этапе мне понадобилась железка для локальной работы с LLM с удовлетворительными показателями качества и скорости за вменяемые деньги. Для решения следующих задач:

• анализ довольно большого объёма кода;

• анализ технической документации;

• различные административные задачи (составление вакансий, отбор соискателей, анализ договоров, саммаризация совещаний и т.п.)

• немного вайбкодинга.

В каждом из перечисленных случаев речь идет о чувствительной информации, которой неправильно делиться с операторами облачных LLM.

Что касается качества работы - стоит рассматривать нейросети с максимальным количеством параметров, которые могут поместиться в оперативной памяти целиком. Эксперименты с Openrouter на нечувствительных к передаче данных показали, что более мелкие модели выглядят менее сообразительными, чем их более крупные родственники.

Есть грубое эмпирическое правило (не помню откуда оно взялось), что размер модели в миллиардах параметров примерно соответствует количеству гигабайт оперативной памяти машины, на которой ты хочешь эту модель запустить. То есть модель на 120 миллиардов параметров можно запустить на железе со 128 ГБ оперативки. Поскольку речь идет об анализе больших документов, размер контекстного окна должен быть при этом максимальным (хотя бы 100 тыс. токенов). Контекст "отъест" еще сколько-то, так что чем больше памяти, тем лучше.

И желательно при этом, чтобы скорость ответов не вызывала чувства мучительного ожидания. Основной показатель скорости, который обычно все обсуждают, это скорость генерации ответа в токенах/сек (t/s). Мне не удалось в моменте найти какие-то академические исследования на тему оптимально воспринимаемого порога скорости. Но вопрос периодически всплывает в различных сообществах, например, здесь [2]. Вполне можно взять за основу, так что будем отталкиваться от следующих показателей:

• Для фоно­вых задач и запросов с большим контекстом многие могут терпеть скорости около 1–5 t/s, если качество вывода достаточно высокое.

• Самый «минимально терпимый» диапазон для диалога с сетью в чате: 5–10 t/s.

• Для программирования — часто озвучивают минимум 20–30 t/s.

• Под агентные или длинные сессии — принято ожидать от 50 t/s и выше.

• Крайнее неудобно всё, что ниже 3–5 t/s, особенно для интерактивных задач (диалог, код).

Также желательны компактные размеры девайса и по возможности минимальное энергопотребление (собирать комбайн на основе нескольких RTX 3090 или 4090, потребляющий более киловатта, не очень хочется).

Итак, чем же нас могут порадовать плоды прогресса?

Nvidia DGX Spark

Фото, приведенное на первом рисунке и весьма популярное в сети, было сделано 14 октября 2025 года. Улыбающийся Дженсен Хуанг дарит своё новое детище (тот самый DGX Spark) Илону Маску. Скорее всего, не только для того, чтобы сделать Илона чуть более счастливым. Возможно, столь тяжелая PR артиллерия подтянута потому, что Nvidia прочит этой небольшой коробочке большое будущее.

Официальный анонс устройства состоялся 18 марта текущего года [4]. По сути это первое специализированное устройство Nvidia для инференса LLM, рассчитанное на масс маркет. Его стоимость составляет 3 999 долл. США, поставки начались как раз в октябре. При большом желании можно заказать и в Россию (на известном сайте с частными объявлениями цены стартуют от 410 тыс. руб.).

Что мы имеем под капотом:

Насколько хорош девайс для инференса свежих open source моделек? А ведь он реально неплох. Основная фишка устройства - объединенная память CPU/GPU. Это позволяет загружать модели до 120 миллиардов параметров целиком в область памяти, выделенную под GPU. Основные результаты тестов на фреймворке ollama, согласно [5], следующие:

Prefill здесь - скорость обработки токенов запроса, Decode - скорость генерации ответа. К сожалению, в оригинальной таблице не указаны длины запросов и ответов (а это важно, скорость падает при увеличении длины запроса). Предположу, что и запрос и ответ были не более 1 максимум 2 килотокенов. Обычно подобное тестирование ведется с такими длинами.

Тестирование показывает, что Spark проигрывает по производительности до 4 раз современным дискретным GPU (например, RTX 5090 или RTX Pro 6000 Blackwell). Узким местом является относительно низкая пропускная способность ОЗУ (273 Гб/с). Но при этом Spark гораздо более компактный и энергоэффективный. Приведу-ка ещё раз первоисточник, отчет весьма подробный - [5].

Mac Studio M4 Max и M3 Ultra

По хорошему стоило бы поставить эти гаджеты на первое место (особенно M3 Ultra). Ибо на текущей момент это наиболее интересный вариант для локального запуска LLM. За исключением, пожалуй, небольшого нюанса, о котором упомяну чуть ниже.

Итак, 18 марта 2025-ого Nvidia публикует пресс релиз о первом в своем роде устройстве для локального инференса LLM, которое собирается начать продавать в октябре. А за пару недель до этого Apple публикует пресс релиз о своих новых Mac Stations, в котором M3 Ultra ни много ни мало «capable of running large language models (LLMs) with over 600 billion parameters entirely in memory, thanks to its advanced GPU and up to 512GB of unified memory with M3 Ultra — the most ever in a personal computer».

То бишь данный зверь с 512 Гб оперативной памяти на борту способен запускать большие языковые модели (LLM) с более чем 600 миллиардами параметров полностью в памяти. DeepSeek R1 с 671B параметров - прямо на вашем рабочем столе! Кстати, продажи начались уже в марте.

Что запрятано внутрь Mac Studio:

Было бы любопытно взглянуть на результаты тестов. К сожалению, подробного отчета найти не удалось, так что будем довольствоваться разрозненными данными.

Первым делом, конечно же, любопытно было бы взглянуть на результаты работы полноразмерного DeepSeek. Могучего джина, помещенного в столь маленькую коробочку. К счастью, любопытно было не только лишь мне [6]:

Mac Studio M3 Ultra с 512 Гб на борту реально позволяет работать локально с моделями размером 670B+ при больших окнах контекста. Скорости генерации при малых контекстах (до ~1К токенов) у DeepSeek V3 и R1 схожи — 17–21 токен/сек. По мере увеличения длины контекста скорость генерации резко падает: на 16K токенов DeepSeek V3 выдаёт только 5.79 токенов/сек, DeepSeek R1 на 13K — 6.15 токенов/сек. То есть при реальной работе с длинным контекстом скорость заметно ниже, но в целом приемлемо. При запросе в 16 тысяч токенов использование памяти достигло 466 ГБ.

Для сопоставления результатов инференса Mac Studio с Nvidia DGX Spark приведу ещё одну таблицу [7]. Здесь приведены замеры на версии Mac Studio с меньшим размером ОЗУ. Но поскольку и модели тоже меньшего размера, полагаю, что сопоставление будет более менее адекватным. С запросом для тестирования тут всё понятно. Замеры делались по промту "Write a 500 word story".

На примере пары совпавших позиций видно, что скорость генерации у Mac Studio M3 Ultra примерно в 2 раза выше, чем у Nvidia DGX Spark. Не обязательно сравнивать эти цифры сейчас, я приведу финальную таблицу в конце статьи.

Но уже сейчас понятно, что Mac Studio M3 Ultra (особенно версия с 512 ГБ оперативной памяти на борту) - самое оптимальное решение для локального инференса LLM на сегодняшний день. Если бы не один жирный минус - высокая цена [8]:

Забываем на время про потенциальную возможность завести на своем рабочем столе свой личный полноразмерный Deepseek и двигаемся дальше.

Strix Halo (RYZEN AI MAX+ 395)

Строго говоря, это название не какого-то конкретного мини ПК, а архитектуры (Strix Halo) нового процессора AMD на её основе (RYZEN AI MAX+ 395), анонсированного 6 января 2025 года на выставке CES 2025. Продажи мини ПК на его основе начались немного позже - в апреле - июле 2025.

RYZEN AI MAX+ 395 это высокопроизводительный мобильный процессор от AMD, построенный на архитектуре Zen 5. Он сочетает 16 ядер и 32 потока с базовой частотой 3 ГГц и ускорением до 5.1 ГГц. В процессоре интегрирован ускоритель Radeon 8060S с 40 вычислительными блоками RDNA 3.5, которая обеспечивает производительность, близкую к выделенным видеокартам. Кроме того, чип оснащён нейронным ускорителем ИИ XDNA 2 с производительностью 50 триллионов операций в секунду (TOPS).

Перечень доступных на рынке моделей на основе этого процессора с ценами на них любезно сведен в таблицу каким-то заботливым участником сайта Reddit здесь [9]. Надо сказать, что цены на большинство моделей со 128 Гб оперативной памяти составляют 1999 дол. США. Что на фоне рассмотренных выше альтернатив выглядит довольно привлекательно.

В качестве примера приведем характеристики наиболее распространенного в России (судя по количеству предложений на маркетплейсах) GMKtec EV0-X2 [10]:

Нас особенно интересуют результаты инференса данного девайса и подобных ему. Они подробнейшим образом изложены в замечательном тесте [11]:

Выводы

Теперь нам остается сравнить описанные решения на инференсе на чем-нибудь одинаковом. Ранее у нас нашлись пересечения по двум моделям (llama3.1:8b квантизация 4bit и deepseek-r1:14b квантизация 4bit). Я не нашел в интернет результатов тестирования этих моделей на Strix Halo, поэтому сделал сам на своем GMKtec EV0-X2 (как можно догадаться, в результате своих изысканий я остановился именно на нём).

Итак, что мы имеем в сухом остатке:

Ну что тут сказать... Было бы неплохо завести себе Mac Studio M3 Ultra, конечно. Но цена в 5,6 тыс. USD за модель с 256 Г ОЗУ выглядит не особо оправданной. Strix Halo лидирует по цене и энергосбережению, показывая производительность на уровне Nvidia DGX Spark.

При этом мини ПК на основе Strix Halo - это полноценный персональный компьютер на Windows 11, готовый к работе из коробки, совместимый со всем офисным и профессиональным софтом. Просто ставь на стол и работай. Так что выбор очевиден.

Большое спасибо, что дочитали до конца. Прошу потратить ещё 10 секунд своего времени и поучаствовать в опросе (ниже).

PS: LLaMA (Large Language Model Meta AI) — семейство больших языковых моделей компании Meta Platforms, Inc., признанной в РФ экстремистской организацией. Упоминание LLaMA используется исключительно в описательном ключе и не предполагает поддержки или одобрения её владельца.