Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов.

 По ходу мы рассмотрим:

• теоретические данные

• условия для работы этих GPU

• результаты практических тестов производительности

• объяснение полученных противоречий

• советы по небольшим доработкам (охлаждение, PCIexpress)

• сравнение друг с другом и другими GPU

Введение

Цена на эти видеокарты в несколько раз ниже Nvidia RTX, что привлекает попробовать использовать их вместо «обычных» собратьев. Да и жалко, когда пропадает такое высокотехнологичное оборудование. В русскоязычном сегменте интернета я не нашел внятных сведений о возможности применения этих видеокарт для чего-нибудь, кроме майнинга. Есть немало информации по использованию различных майнинговых видеокарт для игр, но по любым другим вопросам информация отрывочная и разрозненная, обычно по несколько комментов по этой теме на разных ресурсах. Особенно мало информации про CMP 50HX, CMP 90HX и подобные, так как для игр они бесперспективны.

Что о них известно:

• 10 ГБ видеопамяти

• отсутствуют видеовыходы

• не работают в большинстве приложений как графические ускорители

• имеют искусственные ограничения по вычислительным возможностям и урезанную до 4х линий шину PCIexpress 1.1

Однако, сайт techpowerup.com, высоко оценил их по производительности: CMP 50HX примерно как RTX 2080, а CMP 90HX ещё выше. Там же приведены краткие сведения о них и их «теоретическая производительность». Эти теоретические цифры кочуют из статьи в статью, от бенчмарка к бенчмарку. Всё здесь приводить не буду, кому интересно – обратитесь к оригиналу. Для сравнения приведены данные по NVIDIA GeForce RTX 3070 Ti.

CMP 90HX выглядит идентично RTX 3070 Ti, не правда ли? Но цена на б/у  RTX 3070 Ti как минимум вдвое больше. А CMP 50HX вообще за 5-6 т. р. купить можно. Так что же, нужно брать?

Не торопитесь, давайте сначала посмотрим что получается на самом деле.

 Как это работает

 Во-первых, нужен мощный блок питания – не менее 750 Вт. Карты весьма прожорливы, их TDP составляет 250/320 Вт для 50HX/90HX соответственно.

С отсутствующими видеовыходами всё ясно – нужна встройка, или любая видеокарта-«затычка» и всё без проблем будет работать.

После установки стандартных драйверов Nvidia карты определяются в системе, GPU-Z показывает их характеристики но в параметрах «Computing» и «Technologies» стоят не все «галочки».

В результате не все приложения с ними работают. Например, Ollama с ними работает, а LM Studio не видит. «Бублик» FurMark их так же не видит.

Следующий шаг – установка патченных драйверов Nvidia, идем сюда:
https://github.com/dartraiden/NVIDIA-patcher, читаем здесь
https://pikabu.ru/story/delaem_rtx_2070_iz_deshyovoy_cmp_40hx_za_9k_10357281.

Сейчас у меня стоит пропатченная последняя версия драйверов от Nvidia – 580.88. После этого видеокарты определяются в системе как RTX 2080 Ti и RTX 3070 Ti, но некоторые программы показывают их настоящие названия. LM Studio успешно завелась и уже видит Vulkan GPU, а «Бублик» FurMark теперь крутится.

Теория vs Практика – «холодный душ»

Но что это? Крутится-то «бублик» не больно резво, мягко говоря. Для CMP 50HX он показывает 24-29 FPS в зависимости от режима (GL/VK), а для CMP 90HX вообще 5 FPS.

Вот тут сразу ясно, почему для игр они не подходят. Но что же с вычислениями? Есть такая программка – Cuda-Z, которая определяет производительность видеокарты.

Самое интересное – в конце таблицы. Итак, здесь всё печально, никаких «теоретических» 11 и 21 TFLOPS для FP32 (Single-precision Float) и близко нет, вместо них 0,43 и 0,72 TFLOPS. Это в 25 и 30 раз меньше соответственно.

Что самое грустное, я не нашел никаких способов что-то с этим сделать. Поэтому бытует мнение, что эти карты никуда не годятся, кроме майнинга.

 Тесты в Ollama – а ведь неплохо

Попробуем запустить на них локальные нейросети и оценить скорость генерации. При работе ollama в 10 ГБ видеопамяти на 100% умещаются квантованные модели на 7b, 8b и даже некоторые на 9b. Вот скорость работы некоторых моделей (ток/с):

• llama3.1:8b-instruct-q6_K – 32

• dolphin3:8b – 28

• gemma2:9b – 33

• gemma3:4b-it-q8_0 – 57

Квантованные модели на 8b, целиком умещающиеся в видеопамяти выдают по 28-32 токена в секунду, модели по 4b – 45-57 ток/с. Причем CMP 50HX и CMP 90HX показывают результаты одинаковые с точностью до небольшой погрешности. Напомню, что CMP 90HX примерно вдвое дороже.

Замечу, что здесь производительность не зависит от CPU и ОЗУ компьютера. Я пробовал запускать их на старенькой материнке с AMD A10-5800k и более свежем Ryzen 5 5600G, результаты одинаковые.

Немного упомяну про LM Studio – здесь ситуация хуже, скорость работы моделей примерно в 1,5 – 2 раза меньше, чем в ollama. Например, qwen3:8b-q4_K_M выдает здесь около 14 ток/с вместо 28 в ollama.

Если взять модели побольше, то скорость резко падает из-за выгрузки части слоев LLM на CPU. При работе с моделями на 12-14b и обработке на CPU 20-30% модели скорость составляет около 11-13 ток/с.

gpt-oss:20b (37%/63%) выдает 10 ток/с, а dolphin-mixtral:8x7b (69%/31% - бОльшая часть на CPU) всего 7,2 ток/с. Но и нагрузка на GPU составляет всего около 10%, основная часть работает на CPU, поэтому такие тормоза.

Напомню, что если поставить два таких GPU, то объем VRAM составит уже 20 ГБ и туда «влезут» на 100% уже сильно квантованные модели на 12-14b, менее сжатые модели на 8b и даже gpt-oss:20b. А такие модели уже заметно «умнее», при этом работают они довольно шустро (ток/с):

• gemma3:12b-it-qat – 26

• qwen3:8b-q8_0 – 43

• gpt-oss:20b – 55 (да, пятьдесят пять)

Неплохо! Здесь есть несколько неочевидных нюансов.

1. Две видеокарты суммарно потребляют в таком режиме не 500-600 Вт, как можно подумать, а примерно столько же, сколько и одна.

2. Суммарная производительность у них примерно как у одной, так как слои распределены по обеим и обрабатываются последовательно. Дело в том, что ollama/llama.cpp не умеют распараллеливать вычисления одной модели на несколько GPU. Они загружают разные слои на разные карты, но обработка идет последовательно. Поэтому прирост только в объеме VRAM, а не в скорости.

3. Зато при этом греться они почти не будут. И шуметь тоже.

4. Две видеокарты с 10 ГБ VRAM хуже, чем одна с 20 ГБ VRAM, так как при размещении слоев происходит фрагментация VRAM и остаются неиспользуемые области. По-простому, если размер блоков памяти по 4 ГБ, то в каждую карту влезет по 2 блока по 4 ГБ, а всего в 2 карты – 16 ГБ. Если бы память была цельной, то в одну карту на 20 ГБ влезло бы 5 блоков общим объемом 20 ГБ. Можно примерно считать, что 2 GPU по 10 ГБ это примерно как 1 GPU на 16 ГБ.

Запуск LLM обычно приводит к 100% загрузки GPU и он, конечно, начинает греться. Вот здесь CMP 50HX и CMP 90HX ведут себя по-разному.

CMP 90HX показывает 100% нагрузки на GPU, но температура и потребляемая мощность при этом особо не растут, вентиляторы не прибавляют обороты. Вероятно, её производительность очень сильно «задушена» и она не особо напрягается. (Как позже выяснилось при проведении других замеров производительности, она всё же перегревается и не хочет сама разгонять кулера без внешнего управления.)

CMP 50HX так же показывает 100% нагрузки на GPU, вентиляторы почти не прибавляют обороты, но температура резко повышается и Hot Spot достигает 95 градусов. Алгоритм управления кулерами «зажимает» их обороты до 40-45%, не обращая внимания на перегрев. Проблема решается двумя способами.

1. Установить MSI Afterburner и настроить его на нужное управление вентиляторами. После этого он должен быть в автозагрузке.

2. Я обнаружил непонятную прошивку BIOS, которая ставится на CMP 50HX. При этом в работе видеокарты ничего не меняется, но вентиляторы начинают нормально управляться, автоматом от 50 до 100% оборотов, не допуская перегрева GPU. Прошивка здесь – VGA Bios Collection: MSI RTX 2080 10 GB | TechPowerUp.

Лайфхак – если ваша CMP 50HX перегревается, а кулер не разгоняется — попробуйте прошить BIOS от MSI RTX 2080 10GB (есть на TechPowerUp).

Секрет производительности в LLM

Вроде бы получились неплохие показатели производительности. Так в чём же дело? «Бублик»-то очень медленно крутится и игрушки дико тормозят. Ещё бы: 0,43 и 0,72 TFLOPS – это не 10 – 20, как у «нормальных» GPU.

К сожалению, у меня нет видеокарты RTX, чтобы напрямую их сравнить. Но примеры работы LLM на видеокартах RTX, 2060, 2070, 3060, 3070, которые я нашел в сети, показывают близкие результаты. По крайней мере, разница не в разы. И почему CMP 50HX и CMP 90HX показывают одинаковые результаты?

 Ситуация интересная и не так уж всё и плохо. Синтетические тесты показывали жалкие 0.44 TFLOPS – эти карты должны быть в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060, реальная скорость генерации — 30 токенов/с. Не сходится – похоже, что синтетика меряет что-то не то.

Если посмотреть на «теоретическую производительность», то все показатели CMP 90HX примерно вдвое выше, чем у CMP 50HX, кроме Integer и FP16 (Half Floating Point – вычисления с половинной точностью). Теоретическая производительность в FP16 у них высокая и почти одинаковая – около 22 TFLOPS, а реальную производительность FP16 Cuda-Z не показывает.

Современные LLM-фреймворки, такие как Ollama, для максимальной скорости могут использовать не полноценную точность FP32, а половинную — FP16. Дело в том, что при инференсе LLM высокая точность не нужна, для уменьшения объема данных здесь широко используется квантование (уменьшение разрядности и точности представления чисел). Вычисления в FP16 часто работают быстрее, а данные занимают меньше места. Что, если, ollama работает в FP16, раз они показывают одинаковые результаты и не такие плохие, как должны быть для FP32?

Стандартных бенчмарков и тестов GPU, показывающих реальную производительность GPU отдельно в FP16 я не нашел. Чтобы раскопать их реальную производительность пришлось копнуть глубже и провести небольшое расследование. Поиски привели на GitHub, где нашлось несколько исходников таких тестов. Один из них я и собрал – «OpenCL-Benchmark». А вот и его результат, который подтвердил мою догадку.

Вот они, заветные терафлопсы в FP16! CMP 50HX ещё и побыстрее считает оказывается… Обратите внимание на числа в скобках – коэффициент (2x) означает, что GPU поддерживает выполнение двух операций FP16 за такт, это признак высокой оптимизации. Но у CMP 50HX память помедленнее, поэтому в итоге выходит примерно одинаково.

Сравним с другими GPU

Ого, да тут есть порох в пороховницах!

По всей видимости, некоторая часть вычислений делается в FP32, а LM Studio использует их больше, что всё несколько тормозит, иначе CMP 50HX была бы ещё быстрее. Вероятно, результаты CMP можно ещё улучшить, если задаться целью и сделать версию движка llama.cpp, оптимизированную строго под FP16.

Немного теоретических предположений о других майнерских картах. CMP 30/40/70, P102/P104/P106 – все имеют более низкую производительность FP16 и меньше VRAM. Хотя, вроде бы на CMP 40HX играть можно, значит там FP32 нормально работает. Но, возможно, где-то FP16 сильно порезано, или вообще отключено.

 А что там с шиной PCI-express?

 Расширение до 16 линий возможно, но шина остается PCIexpress 1.1. Это делается аппаратно – допаиванием недостающих конденсаторов на линии PCIexpress. Плата рассчитана на 16 линий, но на большинстве майнерских карт конденсаторы запаяны только на 4 линиях. В майнинговых ригах эти карты часто работают вообще в режиме x1 для экономии слотов и ресурсов материнской платы. Допаяв конденсаторы на остальные линии, мы физически включаем их работу, никаких других блокировок здесь нет.

Может оказаться, что 16 линий всё равно работать не будут. Не все слоты материнских плат поддерживают 16 линий. Обычно только один слот работает на 16 линий. Если есть второй длинный слот, он обычно работает на 8 линий, третий вообще на 4. Посмотрите в таблицу выше – CMP 50HX работает на 8 линиях (хотя распаяны все 16), а CMP 90HX – на четырех.

Конденсаторы нужны 0402 емкостью 220 или 100 нФ, напряжение и прочие параметры не важны. Чтобы расширить шину до 16 линий, нужно распаять 24 конденсатора, а до 8 линий – всего 8. Предупреждаю тех, кто не представляет, как их паять – удовольствие ниже среднего, морока ещё та. Поэтому, лучше искать видеокарту с уже напаянными конденсаторами (цена при этом примерно на 1000 дороже).

Не ожидайте многого от расширения шины, GPU не станет работать быстрее! Ну, почти. Переход с 4 линий PCIexpress на 8 немножко увеличивает скорость генерации – примерно на 3%, расширение до 16 линий ещё чуть-чуть – около 1 ток/с. При 8 линиях шина уже не является узким местом. Но «бублик» от этого не будет крутиться быстрее и игрушки не пойдут, если что.

Существенно ускоряется загрузка моделей и контекста, они быстрее начинают отвечать. Расширение до 8 линий ускоряет загрузку примерно в полтора раза, расширение до 16 линий – ещё примерно на четверть (итого где-то вдвое быстрее, чем на 4 линиях). Например, при загрузке с быстрого NVMe накопителя, llama3.1:8b-instruct-q6_K грузится:

• 4 линии – 10,5 с

• 8 линий – 7 с

• 16 линий – 5,5 с.

При загрузке данных с HDD или SATA SSD всё будет гораздо медленнее и разница будет меньше.

 Сравнение видеокарт

Для RTX примерные данные из интернета – могут быть не точными, я встречал противоречивые результаты. Буду признателен за уточнения, при необходимости внесу изменения.

 Первое, что мы видим – не только FP16 определяют скорость работы. Очевидно, что частично на результат влияет и производительность FP32.

Более дорогая CMP 90HX ничем не лучше CMP 50HX и приобретать её не имеет смысла (по крайней мере на сегодня, пока неизвестны способы «оживить» её теоретические возможности).

Если Вас интересуют какие-то другие вычисления чисто в FP16, то здесь картина ещё контрастнее и CMP 50HX вне конкуренции.

Итоги

CMP 50HX в целом слабее GeForce RTX 20XX/30XX/…, но если есть желание попробовать побаловаться и поэкспериментировать, то при её нынешней цене – это идеальный вариант. Если я прав, то при вычислениях в Integer или FP16 (half) она примерно соответствует RTX 2060/3060, а возможно и 2070/3070 на 8 ГБ, а 2 штуки с успехом заменят гораздо более дорогую карту на 16 ГБ.

Но для других применений, в том числе игр, обучения серьезных LLM, точных FP64/FP32-вычислений (наука, CAD, 3D), они уже не годятся.