При нехватке памяти скорость генерации падает в десятки раз, а мощные видеокарты, способные это исправить, сегодня в дефиците и цена не радует. Поэтому китайские компании предлагают модифицированные варианты типовых GPU, наращивая память на 4090 и 5090 видеокартах, в два - три раза. Мы решили посмотреть, какие модифицированные карты с увеличенным объемом памяти есть на рынке и какие официальные версии они могут заменить, заодно сравним с профессиональными GPU, для которых память в 48Gb или 96Gb являются базовыми характеристиками.

RTX 5090 с 96 ГБ

В сентябре на Alibaba появилась RTX 5090 с 96 ГБ памяти, чем вызвала достаточно живой интерес. Карту продает Shenzhen Suqiao Intelligent Technology. Это китайский OEM/ODM-производитель видеокарт, материнских плат и серверов. Похожие предложения были замечены и у других продавцов.

Чтобы достичь такого результата, разработчики, скорее всего, установили двустороннюю печатную плату с модулями сверху и снизу. А еще модифицировали прошивку карты, которая должна корректно определять и адресовать увеличенный объем VRAM. 

Давайте сравним заявленные технические характеристики модифицированной версии и официальной RTX 5090.

Тут есть нестыковка. В характеристиках указан тип памяти GDDR6, но чтобы получить 96 ГБ, нужны чипы по 3 ГБ. У серийных GDDR6 и GDDR6X таких нет — максимум 2 ГБ на чип. Чипы по 3 ГБ выпускаются только в GDDR7. К примеру, такие стоят в RTX Pro 6000 Blackwell. С шиной также нестыковки, для 96GB нужна шина 512 бит и 32 чипа.

Основная привлекательность модифицированной RTX 5090 — относительно невысокая цена при объеме памяти 96 ГБ. На Alibaba карту можно купить в диапазоне от 3900 до 5900 в долларах, но себестоимость тоже не очень сходится. Даже просто донорские 5090 32Gb уже стоят дороже, а нужно добавить еще стоимость памяти. В итоге стоимость, заявленная как минимум втрое дешевле аналога RTX Pro 6000 Blackwell 96GB - на деле может оказаться выше, если эти карты вообще кому-то отгружаются, так как в реальности пока их не замечено.

Главный технический барьер - прошивка. NVIDIA подписывает VBIOS, и модифицированный образ просто так не прошить. Для Blackwell пока ходили только слухи об утекшей прошивке RTX 5090.

А что с живыми экземплярами? Карта висит на витринах больше двух месяцев, но подтвержденных кейсов мы не нашли:

• нет обзоров и разборов купленной на Alibaba карты

• нет скриншотов GPU-Z или nvidia-smi из надежных источников

• нет отзывов владельцев и тестов под нагрузкой

Фейки в этой теме уже были: в сети ходил скриншот nvidia-smi с «RTX 5090 на 128 ГБ», который так ничем и не подтвердился. Мы в mClouds, кстати, иногда получаем запросы, в том числе на аренду RTX 5090 c 96GB памяти и даже 128GB памяти, но даже реальных фото этих карт или обзоров еще не видели.

Так что тут остается ждать реальных отзывов об использовании RTX 5090 96GB, так как в теории они есть и предлагаются, а в реальности еще отзывов нет.

И если нужно 96GB видеопамяти для работы с моделями или другими задачами, пока реальной картой, доступной для покупки или аренды остается RTX 6000 PRO 96GB. У нас в облаке они тоже доступны.

RTX 4090 с 48 ГБ

С 4090 ситуация другая, карты уже не новинка, которую никто не видел, вполне вариант, с которым уже работают. Некоторые российские провайдеры предоставляют их в аренду, а кто-то и купил в онпрем и использует. Не все карты работают стабильно, но это вопрос тестирования и отбраковки конкретных экземпляров.

Технология модификации сходная: кристалл AD102 переносят на двустороннюю плату по образцу RTX 3090 с 24 посадочными местами под память. У родной платы RTX 4090 их 12. В итоге на карте 24 чипа GDDR6X по 2 ГБ.

Сравним характеристики модифицированной версии и официальной RTX 4090 и посмотрим, чем они отличаются.

Печатная плата с дополнительными модулями GDDR6X позволяет увеличить объем памяти, но может вызвать сложности с охлаждением. Чтобы избежать возможных локальных перегревов и троттлинга, в модифицированных картах часто используют турбинный вентилятор. Температуры работы у модифицированных карт выше и нужно тщательнее следить за их работой под нагрузкой, чтоб не столкнуться с перегревом. Кроме того, уровень шума у китайской модификации карты достаточно высокий, до 65 дБ.

Официальный аналог - NVIDIA L40S. На ней тот же кристалл AD102 и те же 48 ГБ, но память с ECC, пассивное охлаждение под серверную стойку. L40S достаточно популярны, стабильны в работе и потребляют меньше ватт, заодно и лучше с нагревом.

А что предлагает RTX PRO 6000 Blackwell 96 ГБ?

NVIDIA выпустила сразу три версии видеокарты RTX PRO 6000:

• RTX PRO 6000 Blackwell Server Edition для использования в серверах, многокарточные конфигурации, пассивное охлаждение.

• RTX PRO 6000 Blackwell Workstation Edition - позиционирование для рабочих станций

• RTX PRO 6000 Blackwell Max-Q Workstation Edition - также для рабочих станций с потреблением в 300 Вт, можно использовать несколько GPU.

Ключевые характеристики одинаковы для всех трех версий:

На данный момент RTX PRO 6000 Blackwell — оптимальный вариант для тех, кому для реализации проектов необходимо больше 80 ГБ памяти.

Увеличенное число улучшенных ядер CUDA, продвинутые энкодеры и декодеры NVENC и NVDEC ускоряют рендеринг, а поддержка вычислений FP4 увеличивает производительность инференса.

RTX PRO 6000 можно использовать в конфигурации двух карт одновременно, с пробросом в одну виртуальную машину, таким образом получая 192GB видеопамяти, доступной для работы в одной ВМ. При этом межкарточный обмен идет через PCI-E 5.0.

Сравним все видеокарты по ключевым параметрам 

Можно использовать и пару L40S: суммарно те же 96 ГБ, а по вычислениям в FP8 (1 466 TFLOPS против примерно 1 000 у PRO 6000) и числу видеодвижков (6 NVENC/NVDEC против 4) пара даже выигрывает. Минусом будет, необходимость делить модель между картами. Но нужно тестировать на своих задачах.

Что в итоге?

Модифицированные карты - это две очень разные истории. RTX 4090 на 48 ГБ живой и доступный вариант, такие карты уже работают в облаках, а кто-то и себе успел купить. Правда, цены на них тоже подросли, как на аренду, так и на покупку. Это компромисс, но понятный. Если не хочется компромиссов по стабильности работы в круглосуточном режиме, то оптимальный вариант выбора для 48Gb - NVIDIA L40S. Модифицированная же RTX 5090 на 96 ГБ пока существует только в карточках товаров: спецификации противоречат друг другу, цена не сходится с себестоимостью, а живых экземпляров никто не показал. Поэтому для 96GB оптимальным вариантом все еще остается RTX 6000 PRO 96Gb.

А вы бы поставили перепаянную карту в продакшен? Или может уже видели в реальности RTX 5090 96GB?