Статья не про майнинг и не для майнеров.

Недавно на Хабре была статья про сравнение карточек для вычислений. На мой взгляд статья получилась очень даже неплохой, но в ней никак не отразили позиции RTX 3090 Turbo и как-то подозрительно мало времени уделили А10.


На мой взгляд среди карточек с "большим" объемом памяти (более 12 гигабайт) по рекомендованной рыночной цене (РРК) 3090 является лидером хит-парада, а по рыночной цене — скорее уже А10. Детальный разбор почему и как я подходил к выбору карточек и тестированию — прошу под кат.


Также так случилось, что у меня под рукой оказалось большое количество рейзеров разной степени говённости. И сначала я замахивался, чтобы поставить некую точку в вечных дебатах про райзеры (а мнения разнятся от такого до банального "не работает" или "для DL нельзя использовать"), но в итоге все получилось чуть более сумбурно. Но я постарался подойти к тестированию райзеров тоже структурированно и аналитически.


И последнее — в прошлой статье я сокрушался, что мол нет на рынке большого выбора однослотовых решений по вменяемой цене. Теперь на выбор решений много, но с доступностью и ценами ситуация лучше не стала (есть как минимум 2 поколения карточек Quadro и Tesla A10, но геймерских нет, насколько я знаю).


Выбор карточек и теоретические цифры


Вообще в чатике нашего канала кто-то поделился супер-полными табличками с характеристиками в виде картинок (раз и два), но мы попробуем их немного упростить и разложить все на пальцах.


Простыми словами — физической и финансовой возможности (и мотивации) протестировать абсолютно все карточки у меня нет, но если верить вышеописанной статье, все-таки какая-то корреляция между спецификациями карточек и тестами прослеживается. Я собрал характеристики всех более менее свежих и интересных карточек (пожалуй кроме однослотовых прошлого поколения, которое не было очень удачным, да и Амперы уж очень сильно приросли по сравнению с прошлым поколением). Цены на момент публикации статьи могли уже поменяться.


Карточка VRAM, G Bwidth, Gb/s Цена, т.р. CUDA ядра Тенз. ядра TDP, W Слоты Кулер Арх. FP32 PCIE
RTX 3090 Turbo 24 936 300 (150) 10496 328 350 2 Есть 8nm 35.6 4.0
Tesla A10 24 600 300 8192 ? 150 1 Нет 8nm 31.2 4.0
Tesla A30 24 933 430 3804 224 165 2 Нет 8nm 31.2 4.0
Tesla A40 48 696 550 10752 336 300 2 Нет 8nm 37.4 4.0
Tesla A40 48 696 490 10752 336 300 2 Нет 8nm 37.4 4.0
Tesla A100 40 1555 900 6912 432 250 2 Нет 8nm 19.5 4.0
RTX A4000 16 448 150 6144 192 140 1 Есть 8nm 19.2 4.0
RTX A5000 24 768 280 8192 256 230 2 Есть 8nm 27.8 4.0
RTX A6000 48 768 500 10752 336 300 2 Есть 8nm 38.7 4.0
RTX 5000 16 448 190 3072* 384 230 2 Есть 12 nm 11.2 3.0

Пока в глаза бросается пожалуй лишь то, что на первый взгляд кроме рекомендованной рыночной цены на 3090, все карточки стоят сравнимое количество денег, кроме флагманской A100 (которая еще бывает с 80 GB памяти). Обратите еще внимание, что при переходе на последнее поколения Nvidia "увеличила" число CUDA-ядер в 2 раза, но они стали как бы в "2 раза меньше". Еще стоит обратить внимание на низкий TDP и однослотовость у A4000 и A10. Что грустно и закономерно (вставить комментарий про майнеров), 3090 "доросла" за год по цене примерно до своих серверных коллег.


Рост цен на 3090

3090_price


Так, получается очень много цифр! А если открыть полные таблички, то и мозг можно сломать. Плюс все это мягко говоря теоретические цифры, скорее всего из спецификаций или маркетинговых материалов. Давайте пойдем от противного — выберем какой-то бюджет, допустим 900 т.р. (чтобы влезла хотя бы одна A100, ха!) и посмотрим, что можно получить за эти деньги.


Карточка Штук VRAM, G FP32 TDP
RTX 3090 TURBO 3.0 72 107 900 (*)
Tesla A10 3.0 72 94 450
Tesla A30 2.1 50 66 347
Tesla A40 1.6 77 60 480
Tesla A40 1.8 86 67 540
Tesla A100 1.0 40 20 250
RTX A4000 6.0 96 115 840
RTX A5000 3.2 77 89 736
RTX A6000 1.8 86 70 540
RTX 5000 4.7 75 52 1081

(*) Еще важная ремарка состоит в том, что хотя якобы кто-то и "разгонял" 3090 до 500+ Ватт, в реальности лично у меня они потребляют в районе 300 Ватт (я вставлю именно эту цифру в следующую таблицу).


Да, при обучении нейросетей не всегда FP32 это самый важный индикатор, но с другими форматами данных в спецификациях больше непонятностей и маркетинга. По факту вы или будете учить в FP32, или использовать что-то вроде AMP (в тестах дальше мы попробуем и тензорные ядра).


Давайте проанализируем табличку. У карточек А20, А30 и A40 получается маловато "мощности", но есть вариант с большим количеством VRAM. A100 явно является флагманом и кажется, что даже относительно серверных карт ее цена завышена раза в 2 (не считая ситуации когда вам реально нужны 80 GB VRAM на карту или какие-то особые вычисления и выбора тогда по сути нет).


A10 и A4000 кажутся сильно интереснее с точки зрения наполнения сервера (они однослотовые и мало кушают), но тут получается, если вы хотите оптимизировать мощность вычислений — вам нужна A10, а A4000 получается как бы равной "половине" A10. Но если вы захотите поставить 5 или 6 карточек A10, 10-12 A4000 уже будет проблематично впихнуть. Держим в уме, что обычно слотов в материнских платах не более 7, и в лучших БП обычно не более 9 VGA кабелей. Вариант с колхозом и синхронизацией 2 БП мы опустим для простоты.


Чисто по характеристикам и размерам, A5000 кажется более энергоэффективным "собратом" 3090, а A6000 и RTX 6000 (прошлое поколение) — уже сильно послабее или для нишевых применений (на рубль конечно, не в вакууме).


Итак, постараемся подвести итоги. Дорогие и узкоспециализированные варианты отметаем. В сухом остатке остаются A5000 (лидер хит-парада из статьи по ссылке), 3090 и A10.


По цене, они к сожалению все более менее равны (по РРК у 3090 конкуренции вообще нет). Но тут получается, что 3090 даже по рыночной цене является более "быстрой" и горячей, чем A5000, но она все равно занимает 2 слота. А A10 получается несмотря на свою цену занимает нишу для билдов, где вы хотите поставить более 4 карточек. И да, как ни странно A5000 еще тоже относительно тяжело купить.


Тестируем карточки


Приведу результаты тестирования 3090 и A10. У 3090 есть один нюанс. На рынке есть две модели 3090 с турбиной — ASUS и Gigabyte. У решения от ASUS как-то криво проставлены заводские настройки скорости вентилятора и он не крутится быстрее 45-50%. У решения от Gigabyte такой проблемы нет. Поэтому я приведу результаты сравнения A10 и 3090 от Gigabyte "в стоке" (у A10 вообще нет движущихся частей) и 3090 от ASUS с заводским и автоматизированным управлением скоростью "фенов".


Чтобы лишний раз не возиться с компиляцией, установкой CUDA и прочего, тестировать будем вот так:


Скрипты для тестирования
# image
docker run --rm --gpus 0 -it --entrypoint bash nvidia/cuda:11.4.2-devel-ubuntu20.04
# gpu cooling (on host)
pip install coolgpus
sudo $(which coolgpus) --kill --temp 20 55 80 --speed 5 30 85
# git
apt update
apt install git
# gpu burn
git clone https://github.com/wilicc/gpu-burn.git
cd gpu-burn
make
./gpu_burn 120
./gpu_burn -tc 120
cd ../

То есть по сути просто берем официальный образ с CUDA 11.4 (девелоперская версия), собираем gpu-burn и вперед.


Карточка Команда В начале, Gflop/s В конце, Gflop/s Макс. темп., C Комментарий
ASUS 3090 ./gpu_burn 120 20,258 17,900 85 Кулер макс. 45% (сток)
ASUS 3090 ./gpu_burn 120 19,700 19,700 73 Кулер макс. 70% (кастом)
ASUS 3090 ./gpu_burn -tc 120 48,084 39,530 90 Кулер макс. 45% (сток)
ASUS 3090 ./gpu_burn -tc 120 48,215 48,215 74 Кулер макс. 70% (кастом)
Gigabyte 3090 ./gpu_burn 120 19,858 19,225 75 Кулер макс. 80%, 1 карта
Gigabyte 3090 ./gpu_burn 120 20,283 19,234 75 Кулер макс. 80%, 2 карты
Gigabyte 3090 ./gpu_burn 300 19,755 18,936 77 Кулер макс. 85%, 2 карты
Gigabyte 3090 ./gpu_burn -tc 120 49,359 47,142 75 Кулер макс. 80%, 2 карты

Получается, что по умолчанию решение от ASUS перегревается, но если крутить кулер хотя бы на 70%+, то все уже становится хорошо. Посмотрим теперь, что выдает A10:


Команда Gflop/s Макс. темп., C Комментарий
./gpu_burn 120 13934 74 Кулер DELTA, 90%, нет управления потоком
./gpu-burn -tc 120 41225 77 Кулер DELTA, 90%, нет управления потоком
./gpu-burn -tc 120 41225 77 Кулер DELTA, 50%, нет управления потоком
./gpu-burn -tc 300 37877 87 Кулер DELTA, 50%, нет управления потоком
./gpu-burn -tc 300 40251 81 Кулер DELTA, 100%, нет управления потоком

Тут важно отметить, что для первых тестов кулер DELTA стоит просто приклеенный к корпусу на двусторонний скотч. Поток воздуха никак на "направлялся", он просто дул в примерном направлении A10. Про управление воздушными потоками, дельтами и сборку оптимальных серверных билдов я наверное напишу как-нибудь потом, если эта статья наберет хотя бы +50, уж очень там много деталей и тонкостей, и не хочется это все вспоминать.



В итоге получается интересная картина. Без использования тензорных ядер A10 сильно уступает 3090, но с ними — они почти уже равны. А разница в TDP наблюдается почти в два раза (!). Как себя поведут карточки в реальной работе, еще конечно предстоит узнать. Я довольно сильно намучился с железом и сейчас пока нет моральных сил гонять тесты на реальных задачах. Скорее всего когда это произойдет, мы что-то напишем в нашем телеграм-канале.


Тестируем райзеры и пропускную способность


Итак, у меня был целый ассортимент разного рода райзеров. Фирменных и говённых, коротких и длинных, красивых и облезлых. Пару лет назад при более неформальном тесте, я приходил к выводу, что только райзер от TT работал. Изменилось ли что-то в этот раз? Если посмотреть видосики как люди делают 10-метровые удлинители (понятно, что это проплаченная постановочная реклама и райзеры там были заранее выбраны и вообще это скорее шоу для неискушенной публики), втыкая райзеры один в другой, хочется верить, что все будет хорошо.


И да, важная ремарка, я хочу, чтобы все просто работало из коробки. Без каких-либо настроек ОС, BIOS и чего-то подобного. Это дискуссионный момент, но как раз по этой причине я в итоге опять отказался от использования райзеров совсем.


risers


Райзер Фирма Длина Разъемы Комментарий
1 Phanteks 200 мм x16 Угловой
2 Noname 500 мм x8 => x16 Угловой
3 Thermaltake 300 мм x16 Прямой
4 Noname 600 мм x16 Угловой

Тестировать пропускную способность будем с помощью утилиты, которую предоставляет Nvidia в своем репозитории с CUDA-примерами. Точно так же, чтобы не возиться, просто берем официальный образ, не забывая спулить репозиторий на соответствующий тег релиза CUDA.


Скрипты для тестирования
# image
docker run --rm --gpus 0 -it --entrypoint bash nvidia/cuda:11.4.2-devel-ubuntu20.04
# git
apt update
apt install git
# bandwidth test
git clone --depth 1 --branch v11.4  https://github.com/NVIDIA/cuda-samples.git
cd cuda-samples/Samples/bandwidthTest
make
./bandwidthTest --memory=pinned --mode=quick --htod
./bandwidthTest --memory=pinned --mode=quick --dtoh
./bandwidthTest --memory=pageable --mode=quick --htod
./bandwidthTest --memory=pageable --mode=quick --dtoh
cd ../

Итоги теста получатся такие:


Карточка Тест GB/s Соединение
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --htod 26.2 Напрямую
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --dtoh 23.1 Напрямую
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --htod 11.5 Напрямую
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --dtoh 12.1 Напрямую
Gigabyte 3090 ./bandwidthTest --memory=pinned --mode=quick --htod 26.2 Напрямую
Gigabyte 3090 ./bandwidthTest --memory=pinned --mode=quick --dtoh 23.1 Напрямую
Gigabyte 3090 ./bandwidthTest --memory=pageable --mode=quick --htod 11.3 Напрямую
Gigabyte 3090 ./bandwidthTest --memory=pageable --mode=quick --dtoh 11.9 Напрямую
A10 ./bandwidthTest --memory=pageable --mode=quick --dtoh 26.2 Напрямую
A10 ./bandwidthTest --memory=pageable --mode=quick --dtoh 23.2 Напрямую
A10 ./bandwidthTest --memory=pageable --mode=quick --dtoh 11.4 Напрямую
A10 ./bandwidthTest --memory=pageable --mode=quick --dtoh 11.7 Напрямую
Любая Система не видит карточку NA Райзер №1
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --htod 1.7 Райзер №2
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --dtoh 1.7 Райзер №2
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --htod 1.7 Райзер №2
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --dtoh 1.7 Райзер №2
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --htod 26.2 Райзер №3
ASUS 3090 ./bandwidthTest --memory=pinned --mode=quick --dtoh 23.3 Райзер №3
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --htod 8 Райзер №3
ASUS 3090 ./bandwidthTest --memory=pageable --mode=quick --dtoh 8.9 Райзер №3
Любая Система не видит карточку NA Райзер №4

Зануда-mode on

Я использую базовые настройки тестов пропускной способности, т.к. очевидно, что если измерять ее на малых "чанках", то она будет очевидно хуже. Я пробовал разные сценарии, но везде есть очевидная корреляция, поэтому я решил тут не усложнять.


Подведем итоги. Райзер от TT по прежнему работает. Остальные скорее не работают. Райзер от TT почти не влияет на пропускную способность.


Когда райзеры не работают, выглядит это примерно так.

Да, я осознанно не занимаюсь всяческими настройками BIOS, не переключаю PCIE режимы, итд итп.




Вместо вывода


Надеюсь эта статья была вам интересна и полезна. Нам стоило довольно больших усилий (и финансовых ресурсов!) собрать это все вместе и изложить в понятном и интересном ключе.


Я пока морально не готов писать продолжение статьи про сбор суперкомпьютера, но в серверном форм-факторе, но если эта статья наберет +50, то думаю в начале января я сделаю над собой моральное усилие.


Всех с наступающими праздниками и Новым Годом!


PS Пара слов про сами карточки


Я нахожу своеобразную красоту в том, как выглядят утилитарные вещи. Карточки PNY выглядят очень просто, они очень утилитарно и экономично упакованы в коробки из обычного картона. Карточки от ASUS пытаются выглядеть немного как арт-объект, но при более близком рассмотрении все эти "красивости" это просто бесполезные пластиковые обвесы. A карточки от Gigabyte визуально сочетают в себе и какой-никакой промышленный дизайн, профессионализм, утилитарность и строгость внешнего вида (и очень хорошо стоят одна за другой, что конечно важнее!). Этого же я не могу сказать про упаковку карточек, коробки как обычно отталкивающе-аляпистые и налицо пустая трата ресурсов.


Смотреть картиночки







Комментарии (54)


  1. OGR_kha
    26.12.2021 11:19
    +3

    Прочитав фразу "лучшие карточки для расчетов", сначала подумал о банковских картах


    1. snakers4 Автор
      26.12.2021 11:22

      Это забавно, подумаю как переназвать статью =)


      1. snakers4 Автор
        26.12.2021 21:20
        +2

        Кажется я понял, почему набежали майнеры. Вероятно они подумали, что "расчеты" это эвфемизм для слова майнинг.


        Но называть "для нейросетей" тоже неверно, т.к. не только нейросети на них считают.


        Короче я хз, пусть останется как есть.


        1. ba00
          27.12.2021 05:53
          -2

          Люди которые не страдают предрассудками, понимают что расчеты - это математические опетации которые выполняются при помощи заявленного в статье железа. Потому они и идут почитать про "расчеты", а в статье исключительно "для нейросетей", но так называть автор не хочет, потому что тогда читать не будут... А так "тестирование, расчеты, видеокарты, 2021" отличнй набор слов в названии для выдачи гуглом...

          Да, по "тестируем 3090 2021" статья уже на первом месте в русской выдаче :)


          1. snakers4 Автор
            27.12.2021 06:11
            +1

            Добавил дисклеймер в начало статьи. Слово "нейросети" тоже собирает много кликов, пока зима вроде не пришла еще.


            Насчет остального — содержание статьи полностью соответствует ее названию, кликбейта тут нет, при написании статьи про поисковую оптимизацию и оскорблений чувств майнеров я думал в последнюю очередь.


            Потому они и идут почитать про "расчеты", а в статье исключительно "для нейросетей", но так называть автор не хочет, потому что тогда читать не будут...

            Опыт публикации на Хабре говорит, что важна скорее картинка и минимальная невсратость заголовка. Если статья набирает хотя бы немного просмотров, то прочитают ее уже все, кому тема интересна.


  1. ba00
    26.12.2021 12:56
    -1

    А где же про рассчеты мегахешей ? :)


    1. snakers4 Автор
      26.12.2021 13:29
      +9

      Если году в 2010-2012 я с интересом относился к блокчейн технологиям, но входить чисто как майнер желания был ноль, то сейчас я вообще честно говоря перестал понимать какая польза от этого всего.

      Ну жгутся ресурсы, ну майнеры уже стали отдельной страной по потреблению электричества, ну кто-то на бумаге богатеет, кто-то беднеет. А результат какой? Кроме того, что Нвидия получила огромный буст к капитализации и отрыв от конкурентов, с чем она конечно же "борется" (конечно нет).

      Рассказы про новую экономику как обычно не сбываются, применению таких технологий там где важно (голосование, договоры, законы) мешает инерция, коррупция и скрепы.

      Ну максимум банки или VISA рано или поздно подберут какой-нибудь эффективный блокчейн и вы этого даже не заметите.

      Поэтому ну их, как по идеологическим, так и экономическим причинам.

      Хотя я должен признать, что какие-то продукты, порожденные рынком майнеров, реально двигают общество, например стала сильно размываться грань между HPC сегментом и игровым / профессиональным сегментом железа.


      1. ba00
        26.12.2021 15:12
        -5

        Ну вы же статью называете "видеокарты для рассчетов", а самые массовые рассчеты (не считая игр) игнорируете. Называйте статью "тестирую GPU карты и видеокарты на производительность в нейросетях", но тогда ее вообще никто не прочитает кроме пары десятов человек.

        Про пользу для кого вы говорите ?

        Для вас как для тестировшика - это поднимет читаемость статьи очень сильно (можете сделать отдельную статью, протестировать теже самые карты в паре майнеров и выложить результаты, а потом сравнить читаемость статей)

        Для майнера - польза в деньгах

        Для производителей всех мастей - в проданном оберудовании\услугах\ресурсах

        Да, было бы полезно указать реальные цены за которые можно купить :)


        1. snakers4 Автор
          26.12.2021 15:37
          +3

          но тогда ее вообще никто не прочитает кроме пары десятов человек.

          Статистика моей прошлой статьи про HPC, статьи по ссылке до ката и уже этой статьи говорят об обратном.


          Да, было бы полезно указать реальные цены за которые можно купить :)

          В таблице указаны реальные цены.


          По остальным вопросам — демагогию про пользу майнинга для общества предлагаю разводить где-то в другом месте.


          1. ba00
            26.12.2021 20:55
            -3

            А про видеокарты то спросить можно ?

            В каком именно месте Tesla A10 или Tesla A100 является видеокартой ? Монитор в нее куда втыкать ?

            Заголовок ради хайпа это одно, а вот майнеры ЭТО ДРУГОЕ !!! :)


            1. czz
              26.12.2021 21:07
              +3

              В каком именно месте Tesla A10 или Tesla A100 является видеокартой ?

              www.nvidia.com/en-gb/design-visualization/virtual-workstation


              1. ba00
                27.12.2021 05:20
                -1

                О, раз вы вспомнили саму нвидию, то глянем что же она говорит:

                NVIDIA A10 Tensor Core GPU

                GeForce RTX 3090 Graphics Card

                Где же здесь про видеокарты А10 ?

                Да, судя по оценкам у автора знатно подгорает, когда его тыкают в разницу между Graphics Card и Data Center GPUs

                Впрочем этим страдают все подобные писатели, вроде пишет серьезную статью с цифрами про вычисления, а как только ему сообщаешь что не всё где стоит graphics processing unit называется видеокартой тут же полыхает :)

                Но тут похоже даблвин, у автора еще и от майнеров полыхает знатно, хотя объяснить чем же принципиально отличаются два вида "вычислений за деньги" (обучение нейросетей и майнинг) автор не может потому что "демагогия" :)


                1. snakers4 Автор
                  27.12.2021 05:31
                  +1

                  Слово GPU обычно переводится на русский как видеокарта.

                  Фразу графический процессор люди употребляют сильно меньше.


                  1. ba00
                    27.12.2021 05:46
                    -3

                    Именно про это я вам и сказал в самом начале, что название статьи вы сделали исключительно ради хайпа, потому что в первом же абзаце отлично оперируете понятием "карточек для вычислений" и даже даете ссылку на статью, где авторам не надо хайпа, потому они пишут "выбираем лучшие из девяти новых GPU", а если бы они написали "выбираем лучшие из девяти новых видеокарт" народу бы слетолось на статью на порядок больше.

                    Ну а вопрос про самые массовые расчеты (после игр) которые выполняются на GPU у вас вообще реакция неадекватная :)

                    Да, назови вы статью "тестируем обучении нейросетей на лучших GPU (цена\производительность) когца 2021 года" лично у меня вообще бы никаких вопросов не возникло, да и название бы на 100% отражало бы сожержание. Но тогда стаю прочтет намного меньше людей и в гугле она не будет выдавать в результатах по запросам типа "видеокарты рассчеты 3090 2021"...

                    Так может скажете чем же принципиально отличаются два вида "вычислений за деньги" (обучение нейросетей и майнинг) ? Или таки сделете пару тестов на мегахэши :) Ну что бы название по чесному соответствовало содержанию :)


                    1. AigizK
                      27.12.2021 08:47
                      +2

                      Это то же самое, что многие говорят ксерокс, имея ввиду мфу, памперс вместо подгузников. Если тут сравнивают с А10, то вряд ли тут будет идти речь про видеоигры.


                1. czz
                  27.12.2021 14:37
                  +2

                  То есть, для вас «графический процессор» от «видеокарты» отличается только наличием разъема для подключения монитора, несмотря на то, что «графический процессор» имеет полный пайплайн для рендеринга графики в память, а «видеокарта» имеет почти все те же возможности для вычислений?

                  Ну ок. Видели ноутбуки с двумя видеокартами (встроенная Intel и дискретная NVidia)? Там в ряде случаев работа организована так: дискретная видеокарта рендерит графику в память (может быть в свою, может быть, в системную), откуда встроенная видеокарта ее показывает. Дискретная видеокарта при этом может иметь свой выход HDMI, а может и не иметь выходов вообще. Тогда это видеокарта или нет?


                  1. snakers4 Автор
                    28.12.2021 07:51

                    Тут столько слоев и истории, что гораздо проще называть ксерокс ксероксом, чем каждый раз писать абзац, что мол исторически было несколько типов дивайсов, они слились в "видеокарты", а потом оказалось, что они подходят для DL и Nvidia написала CUDA, и потом все завертелось, а название осталось.


                    Если я не ошибаюсь (дрова и CUDA одинаковые ставятся на них же), на теслах вроде можно поднимать виртуальные машины с графическим интерфейсом. Ну чем они не видеокарты тогда?


                    Это конечно немного всрато, но на рынке для узкой прослойки специалистов были дивайсы, которые назывались "графический сопроцессор" или "математический сопроцессор". Одно время даже были карты PhysX для расчетов физики. И про них никто не помнит особо. А про GPU все знают.


                    Но история распорядилась так, что средства от массового B2C рынка Nvidia использовала для развития своих профессиональных линеек и вероятно экономя на разработке, просто поддерживает минимальное число сущностей. Все в выигрыше.


  1. crea7or
    26.12.2021 13:27

    Возникло лёгкое ощущение, что текст писала нейросеть...


    1. snakers4 Автор
      26.12.2021 13:30
      +2

      Почему?


      1. evasilenko
        26.12.2021 14:57
        -3

        Вообщем, да. Структурированности тексту не хватает. Освещены некоторые выхваченные моменты, которые может и правда самые важные (не мне судить).

        Текст предполагает читателя глубоко в теме. А если нет - толку мало. Я вот пожалел что открыл текст.

        С таким текстом ваша целевая аудитория - 15 гиков. И не все из них заморачивались добиться достаточного уровня доминантности на этом ресурсе, поэтому голосовать не имеют право.

        Так что много вам не наставят, такой статьей доминантность особо не поднять.


        1. snakers4 Автор
          26.12.2021 15:44
          +6

          Тут опять же, такой же ответ как в треде выше. Статистика статей говорит об обратном. HPC и его сегменты это новая тема, но имеющая своих читателей.


          Мне казалось, что на Хабре и должны приветствоваться технические статьи. Если вам не нравится конкретно моя — не читайте, голосуйте вниманием (или его отсутствием), но давайте критика будет конструктивной и продуктивной.


          PS
          Повторение слова "доминантность" в вашем посте меня пугает. Мы точно еще на Хабре?


          1. evasilenko
            27.12.2021 19:55

            Доминантность - это желание иметь рейтинг. Хабр отлично играет на самых базовых инстинктах приматов. А кто не хочет накапливать доминантность - тем затыкает рты. Вот как мне, например.

            После этой фразы "если эта статья наберет +50" можно было догадаться, что отзыв Вам не нужен, нужна только местная расчётная единица.

            Мой отзыв прежний, статья чрезвычайно узкой специализации на несколько гиков. С такой статьёй не набрать много местных денег. Хотя этим нескольким гикам она может и будет очень полезна, но они не могут поставить +10 каждый.

            А поскольку Вам нужна только местная валюта, то нет смысла писать такие статьи. Расширте аудиторию в предположении, что читать будут не чайники, но почти чайники.


            1. snakers4 Автор
              28.12.2021 07:39
              +1

              Доминантность — это желание иметь рейтинг. Хабр отлично играет на самых базовых инстинктах приматов. А кто не хочет накапливать доминантность — тем затыкает рты. Вот как мне, например.

              Какие бы ни были претензии к Хабру и его направлению (смотрим на слона в комнате — корп. блоги и "ализаровщина"), недавно я на Хабре поделился опытом работы сразу с рядом площадок. И знаете, на Хабре самая адекватная система. Вопреки.


              Понятно, что писать комменты под статьей про овального или написание веб-сайтов на ассемблере — это верный путь к сливу аккаунта, но я понял золотое правило — какой контент — такие и читатели, за редкими выбросами.


              Мой отзыв прежний, статья чрезвычайно узкой специализации на несколько гиков.

              Статистика статьи уже говорит об обратном.
              В текущих реалиях окрестность 30+ уже хорошо, 50+ уже вин. ​


              А поскольку Вам нужна только местная валюта, то нет смысла писать такие статьи. Расширте аудиторию в предположении, что читать будут не чайники, но почти чайники.

              Если бы мне нужна была только валюта, я бы писал сладострастные полные патоки и молочных берегов статьи про "машинное обучение это классно", про трактор, про вайти, про "как я заработал 300к в секунду".


              После этой фразы "если эта статья наберет +50" можно было догадаться, что отзыв Вам не нужен, нужна только местная расчётная единица.

              Я понимаю, что ценности у всех разные, но поверьте мне, в мире еще остались люди, кому нужны не только булочка и трамвайчик. И некоторые комментарии к этой статье это подтверждают. И я горжусь людьми, кто еще имеет какой-то стержень и держится.


              Основная ценность таких статей — это обмен мнениями с людьми в теме. Скажем так, каждый тянет свою лямку, но вместе получается очень интересный обмен знаниями. Можно за 5 минут пройти путь длиной в год.


              Опять же вопрос подачи. Если написать статью для токсичных обиженок, то они все превратят в балаган независимо от качества фактов в статье.


        1. StasTukalo
          26.12.2021 22:53
          +2

          Текст предполагает читателя глубоко в теме

          Ну как бы да. Это весьма специфичный текст про весьма специализированные устройства для очень небольшого количества весьма узких специалистов. Не вижу в этом ничего плохого. Можно сравнить с текстом по настройке карбюратора гоночного болида для работы на спирту в условиях высокой влажности - странно ожидать что этот текст станет популярным у массового читателя))


    1. Andrey_Dolg
      26.12.2021 14:32

      Строго говоря так и есть, правда скорее ансамбль нейросетей. )


  1. Ukaru
    26.12.2021 15:02
    -5

    Всего-то запустить Майнер на пару минут , узнать тера-мегахеши и в статье появится огромная информативная часть и статья станет интересна огромному числу аудитории)

    ;)


    1. ba00
      26.12.2021 15:04
      -4

      Но лучше на пару часов, что бы статистика набралась...


    1. czz
      26.12.2021 15:06
      +6

      А в обзоре микроскопов надо ими позабивать гвозди :)


    1. StasTukalo
      26.12.2021 18:09

      3090 - 110-120

      а5000 - 95-105

      ;)


      1. Ukaru
        27.12.2021 19:11

        Благодарю.


  1. czz
    26.12.2021 15:16
    +4

    Вместо геймерских райзеров рекомендую редрайверы вот такие:
    c-payne.com/products/pcie-gen4-slimsas-host-adapter-x16-to-2-8i-redriver?variant=39475105398989

    Со стороны девайса ставится такой адаптер:
    c-payne.com/products/slimsas-pcie-device-adapter-2-8i-to-x16?variant=39474790367437

    Соединяются двумя кабелями MiniSas 8i. Не все кабеля работают. Вот эти работают:
    www.amazon.com/gp/product/B08L4NJNH4/ref=ppx_yo_dt_b_search_asin_title?ie=UTF8&th=1

    Дороговато, но зато все по настоящему. На 75 см прекрасно работает PCIe 4.0.

    Сейчас out of stock, в январе должна поступить новая партия.


    1. snakers4 Автор
      26.12.2021 15:51
      +1

      Не разбираюсь в таких штуках, но не знал о их существовании, спасибо! Очень круто, если реально работает. Правда цена конечно уже одного порядка с некоторыми карточками, получается US$200 — 300 за комплект?


      Скажите, а ими можно сделать аналог дешевой локальной сети с высокой скоростью? Поясню суть проблемы. Сетевые карточки и коммутаторы на >> 10 гигабит относительно тяжело найти. Там пока правит очень дорогой enterprise сегмент, да и скорости сетей как-то стагнируют на фоне всего остального (можно найти списанное, но у меня мало понимания как это все готовить).


      Да и даже если и найти, скорость случайного доступа к файлам по сети будет не очень (понятно что большие файлы качать уже даже по 10 гигабитной сети не проблема). Но может быть этой штукой можно соединить несколько хостов для случайного доступа к файлам. По сути такое очень продвинутое сетевое хранилище, но с очень быстрым и последовательным и случайным чтением, а провод получается весьма компактный.


      1. Fox_exe
        26.12.2021 16:13
        +1

        А может посмотреть в сторону оптики? Есть ведь и PCI-E адаптеры и коммутаторы. И скоростя там совсем другие.


      1. czz
        26.12.2021 16:43
        +3

        Ну да, порядок цены такой. С картами за $200-300, конечно, не имеет смысла, но с картами за $3000 — почему бы и нет.
        Если достаточно pcie 4.0 8x, и материнка может делать бифуркацию слотов, то можно подключить две видеокарты к одному слоту.

        Соединить два хоста так не получится, на шине может быть только один хост. Но вообще, по IOPS 10-гигабитная сеть не должна быть совсем уж узким местом, как минимум 10000 IOPS по ней должно проходить.


        1. snakers4 Автор
          26.12.2021 20:58

          Я подумал на досуге над вашим комментарием. У меня есть сетевая шара с RAID-массивами через 10G сеть. Но там харды. Но я не пробовал сетевую шару с SSD. Может описанной мной проблемы не существует. Спасибо за то, что пооппонировали.


      1. gdigger
        27.12.2021 05:12
        +6

        Поискать на ebay/aliexpress двухпортовые Mellanox MCX354A-FCBT (если повезёт, то чуть дороже 5к рублей за штуку), там же MC2207130-001 QSFP+ DAC (на ali сейчас есть по 3к метровые). Получится полноценный infiniband на 56G с RDMA. Относительно бюджетно, если расстояния небольшие.

        Вот тут вполне развёрнуто -- https://www.hwp.ru/articles/otkazyvaemsya_ot_10gbe_v_polzu_infiniband_instruktsiya_po_pokupke_na_vtorichnom_rynke/


        1. snakers4 Автор
          27.12.2021 05:15
          +1

          Вот за что обожаю Хабр так это за такие комментарии!


          1. snakers4 Автор
            27.12.2021 09:17

            Вообще мысль в космос, на Хабре очень не хватает статьи, где человек покупает такое и тестирует на разных сценариях.


            Ведь годнота же лютая будет.


            Сам я наверное доберусь до такого когда-то (у меня есть мечты пересобрать все свои сервера в красивые корпуса, поставить в одну стойку, сделать такую сеть, но пока это мечты и резкой потребности нет), но наверное не скоро.


            1. gdigger
              27.12.2021 10:52
              +1

              В сети есть несколько описаний таких тестирований, видимо просто до Хабра ещё не добрался с этим народ...

              Как я всё что мне интересно с этим вариантом перепробую, может и раскачаюсь сюда написать ;)


              1. snakers4 Автор
                28.12.2021 07:41

                Я подписался на ваш аккаунт, если вы сделаете такое, +2 вы сразу получите не глядя от меня =)


    1. StasTukalo
      26.12.2021 22:12
      +1

      Спасибо. Незнал о том что есть такое. Правда цена кусается- за райзер в сборе придется отдать 250 евро..


  1. AlexeySi
    26.12.2021 17:02
    +3

    Как-то мыслей и цифр много но... Начнем с того что у нас в принципе 2 разные задачи - обучение и продакшн инференс. На обучение нужна одна конфигурация сервера и одни карты. На инференс как у меня на 500+ камер совсем другая конфигурация...

    По тестированию в статье от селектел всё более четко понятно про A10, A4000,... И из реального опыта A4000 плохо ставятся в вплотную к друг к другу даже в Gpu сервер аля Asus Esc4000a. Они засасывают воздух сверху и снизу, при установке вплотную это не работает и карты перегреваются даже при 100+ cfm от двух Delta 80mm 16000 Rpm. Нужна конструкция как у A10 или 3090 с турбиной без кожуха и турбины с забором воздуха сзади.


    1. snakers4 Автор
      26.12.2021 17:11
      +1

      Наверное надо было написать, что статья скорее про обучение.

      Насчет A4000 думаю пользователям хабра будет полезна эта информация. Полагаю решение - не ставить их вплотную?


      1. AlexeySi
        26.12.2021 17:33
        +1

        На 100% согласен что про обучение и tradeoff между 3090 и А5000.

        При не постановке вплотную теряется смысл, приходим к тем же 4ре А5000 вместо 8 А4000)

        А10 при двойной цене от А4000 в инференсе не дает двойного прироста(


        1. snakers4 Автор
          26.12.2021 17:37

          А10 при двойной цене от А4000 в инференсе не дает двойного прироста(

          В инференсе понятно в принципе. А в обучении вы их сравнивали? Я ограничился просмотром спецификаций и бенчмарков. Там может и не прямо два раза, но разница была солидная.


          1. AlexeySi
            26.12.2021 17:46
            +1

            По обучению как понимаете все весьма двояко. Все зависит от вашего кода (используете ли вы tensorrt, тренируется ли в параллели,итд) IMHO: Если не заморачиваться то наверное всегда проще и выгоднее арендовать сервер на 8*A100/ V100 вы все равно 24/7 свое оборудование не загрузите. Приватность датасетов тоже в большинстве случаев - паранойя.

            A10ю пока не купил( пока решаю и для принятия решения наверное арендую на тест.


            1. snakers4 Автор
              26.12.2021 19:03
              +1

              Насчет арендовать и собирать это вечный холивор, и раньше, особенно с ценами на подержанные карты он не особо стоял - берешь карты, которые стояли в "музее" и вперед. Сейчас уже с ростом цен это все менее понятно.

              Какое-то время назад я сложил мнение (по итогу своих расчетов и гугления), что после 12 месяцев работы с 60%-70%загрузкой **новые** карточки становятся выгоднее.

              Да и в мире не бывает чудес, если компания продуктовая и постоянно что-то крутится, то по сути становится 1 посредником меньше ценой геморроя. Но зато открываются некоторые возможности. Плюс цена аренды в долларах и есть всякие непонятные экстерналии типа банов всего амазона.

              С другой стороны про те же датасеты, если они большие, могут возникнуть моменты с постоянным их копированием, плюс всегда есть какие-то свои кастомные вещи.


  1. StasTukalo
    26.12.2021 17:48
    +5

    Здравствуйте, коллега! Спасибо за статью! Есть несколько замечаний к Вашему подходу. Также некоторые утверждения о ценах спорны, хотя рынок очень живой.

    1. Самая главная претензия- Вы совершенно не поинтересовались температурой памяти под нагрузкой:

    1.1. В данном поколении карт именно чипы памяти перегреваются, а не чип гпу. Например, на 3090 при вычислительных задачах чип гпу может иметь температуру менее 65 градусов, а чипы памяти при этом работать на предельной для себя температуре в 105 и даже в 110 градусов. Страшно представить, какая температура у памяти будет, если гпу раскочегарен до 85 градусов.

    1.2. Если сравнивать промышленные квадры а5000 с геймерскими 3090 - то основное отличие именно в температуре памяти (подозреваю, что дело в качестве чипов - на геймерские идет отбраковка) - на квадрах память сильно холоднее (80-85 градусов), чем на 3090 (100-110 градусов). Насколько быстро убиваются чипы, работающие на предельно разрешенных производителем температурах, думаю объяснять не нужно. Сам я этот момент по началу пропустил, потому что на момент выхода 3090 не было еще возможности смотреть температуру чипов памяти. А какогда она появилась и я увидел разогретость памяти до 110 градусов- я перестал рассматривать геймерские карты (3090) для вычислений - даже если они превосходят немножко по вычислительной мощности- они имеют все шансы быстро умереть.

    1.3. TESLA А10 также не вариант для не-серверного применения, ибо сколхозить достойное охлаждение не получится (я пытался приспособить пару тесл К80 для домашнего пользования - ничего хорошего не получается- или перегрев или воет, как боинг на взлете); Естественно, всегда есть вариант запихнуть их в соответствующий серверный корпус, но это будет очень громко и для дома или офиса не подходит;

    1. Про цены. Абсолютный лидер на данный момент - это А5000. Стоит она в районе 210тр (никак не 280, которые указал автор), если брать десяток- то можно найти дешевле. 3090 же стоит дороже 300тр. Брать 3090 за больший ценник, при ее более низком качестве - для меня странно. Единственный плюс у 3090 - это гарантия, если брать ее в ДНС и , возможно, лучшая ликвидность на вторичном рынке, но это не точно)) А5000 приходится покупать без гарантии у продавцов, которые таскают из Китая. Тут вопрос спорный - если эксплуатировать в хорошем температурном режиме - то карты работают 3+ года и только потом начинают помирать. Во всяком случае, так было на предыдущих поколениях. Поэтому я решил брать без гарантии, но дешевле. Брать А4000 или А2000 я смысла не вижу - карты с объемом памяти менее 24Гб я не рассматриваю, хотя это все таки должно определяться задачей.

    2. Момент про то, сколько карты занимают "слотов" - мне кажется странным делать на этом хоть какой-то акцент. Мы говорим о применении вне дата центров, насколько я понял. Поэтому считаю, что запихивать такие карты в бытовые корпуса- так плотно как вы это показали на последних фотографиях - недопустимо. Между картами должен быть продуваемый ощутимый зазор -задняя сторона карты должны обдуваться, иначе начинается перегрев памяти. Поэтому, как бы это пошло не звучало и не выглядело, типичный майнерский риг из двенадцати палочек- самая удачная конфигурация для размещения карт в домашнем и офисном применении.

    Успехов Вам!


    1. snakers4 Автор
      26.12.2021 19:16
      +2

      Здравствуйте, коллега! Спасибо за статью! Есть несколько замечаний к Вашему подходу. Также некоторые утверждения о ценах спорны, хотя рынок очень живой.

      Ну я написал дисклеймер, что цены записал как было на тот день.

      1.1. В данном поколении карт именно чипы памяти перегреваются, а не чип гпу. Например, на 3090 при вычислительных задачах чип гпу может иметь температуру менее 65 градусов, а чипы памяти при этом работать на предельной для себя температуре в 105 и даже в 110 градусов. Страшно представить, какая температура у памяти будет, если гпу раскочегарен до 85 градусов.

      Ну именно 3090 я стараюсь особо не держать выше 70 градусов. Вопрос, а как вы мониторите температуру именно чипов памяти? Я всегда полагался на утилиты типа nvidia-smi / nvtop / gpustat и особо не знал беды.

      А какогда она появилась и я увидел разогретость памяти до 110 градусов- я перестал рассматривать геймерские карты (3090) для вычислений - даже если они превосходят немножко по вычислительной мощности- они имеют все шансы быстро умереть.

      Это интересно. А как вы снимаете температуру чипа памяти?

      1.3. TESLA А10 также не вариант для не-серверного применения, ибо сколхозить достойное охлаждение не получится

      В статье не шло речи про домашнее или офисное применение (камон, там вентилятор DELTA звучит как пылесос на видео), да и вообще я постарался вынести тему самого билда за скобки. Для него даже многие геймерские карточки не подходят, так как мерзко гудят на высоких оборотах.

      Про цены. Абсолютный лидер на данный момент - это А5000. Стоит она в районе 210тр (никак не 280, которые указал автор), если брать десяток- то можно найти дешевле. 3090 же стоит дороже 300тр. Брать 3090 за больший ценник, при ее более низком качестве - для меня странно. Единственный плюс у 3090 - это гарантия, если брать ее в ДНС и , возможно, лучшая ликвидность на вторичном рынке, но это не точно)) А5000 приходится покупать без гарантии у продавцов, которые таскают из Китая. Тут вопрос спорный - если эксплуатировать в хорошем температурном режиме - то карты работают 3+ года и только потом начинают помирать. Во всяком случае, так было на предыдущих поколениях. Поэтому я решил брать без гарантии, но дешевле. Брать А4000 или А2000 я смысла не вижу - карты с объемом памяти менее 24Гб я не рассматриваю, хотя это все таки должно определяться задачей.

      Это интересный инсайд. Я когда смотрел цены, не особо много искал альтернативных поставщиков. Да, с 3090 я учитываю свой прошлый опыт (пока позитивный) и потенциальную ликвидность (думаю проф. карты продать будет почти нереально). Переплата конечно неприятна, но я вообще раньше думал, что карты "профессионального" сегмента официально у нас купить невозможно. Каждый раз когда интересовался про наличие A5000 у официальных продавцов - их в наличии всегда было условно 1 штука. А в нормальном количестве 3090 и A10 я так полагаю появились совсем недавно.

      Поэтому считаю, что запихивать такие карты в бытовые корпуса- так плотно как вы это показали на последних фотографиях - недопустимо. Между картами должен быть продуваемый ощутимый зазор -задняя сторона карты должны обдуваться, иначе начинается перегрев памяти. Поэтому, как бы это пошло не звучало и не выглядело, типичный майнерский риг из двенадцати палочек- самая удачная конфигурация для размещения карт в домашнем и офисном применении.

      Я не совсем понимаю, где на фото можно было увидеть бытовой корпус. А как вы решаете вопрос с райзерами на таком риге? У меня с ними опыт пока не очень для DL.


      1. czz
        26.12.2021 20:47
        +3

        Это интересно. А как вы снимаете температуру чипа памяти?

        В Линуксе ее никак не получить (драйвер не отдает), но можно судить косвенно — если в nvidia-smi -q появляется флаг SW Thermal Slowdown, при этом температура ядра нормальная — то это троттлинг памяти. Температура троттлинга у нее 110 градусов.


        1. AlexeySi
          27.12.2021 00:47
          +1

          лайфхак интересный???????? Nvidia подтвердила что в системе есть change request на поддержку gpu memory temperature в nvml на уровне драйверов, но за год воз и ныне там( вопрос частично политический, не хотят показывать людям детали какова ситуация в реальности.


      1. StasTukalo
        26.12.2021 22:45
        +2

        Ну именно 3090 я стараюсь особо не держать выше 70 градусов. Вопрос, а как вы мониторите температуру именно чипов памяти? Я всегда полагался на утилиты типа nvidia-smi / nvtop / gpustat и особо не знал беды

        GPU-Z с какогото момента начала иметь эту возможность. Для 3090 и а5000 оно работает. Ну это под виндой. Под линуксом вот ниже коллега порекомендовал косвенный метод с флагом SW Thermal Slowdown , за что ему спасибо- не знал о нем.

        В статье не шло речи про домашнее или офисное применение

        Слушайте, а если мы говорим про "недомашнее" и "неофисное" применение- то какой смысл в 3090? я бы даже и а5000 не стал рассматривать (если не предполагается майнить в простоях между МЛ.. я бы брал пассивные тесла и не думал бы ни о чем плохом. Какой смысл запихивать в специализированный сервант карточки для гейминга или для раб.станций, если ценник одинаков?

        Это интересный инсайд. Я когда смотрел цены, не особо много искал альтернативных поставщиков.

        Авито ими кишит. Но рынок крайне стремный- много мошенников. Из московских организаций покупал а5000 у "Срв-трейд" в Щелково в белую. Также покупал у одного питерского продавца на авито. Если что- обращайтесь, дам его контакт. Но в целом конечно рынок стремный- встречаешься как дурак с кучей денег с непонятными людьми, покупаешь кота в мешке.. брр.. но вроде пока все хорошо)

        А как вы решаете вопрос с райзерами на таком риге? У меня с ними опыт пока не очень для DL

        В целом как и Вы. Тоесть условные 80 процентов райзеров идут в помойку. На винде даже не нужно начинать нагружать гпу- зачастую в лог валится огромный поток ошибок pci-e устройства сразу после загрузки.

        Колега выше вон посоветовал интересную штуку на базе slim-SAS-овских кабелей. Судя по его отзыву с нормальным кабелем эта штука хорошо держит частоты, но ценник- мама дорогая! 250 евро за райзер там получается. 10 карт- 2500 евро.. Я свой мл-дл делаю на свои кровные и честно говоря меня душит жаба..

        Сетевые карточки и коммутаторы на >> 10 гигабит относительно тяжело найти

        Вы тут не правы. И 10, и 40 и 56 гбпс сейчас часто встречаются на авито- и карты и свичи. Естественно это стоит дороже чем гигабит, но абсолютно доступно тем, кто может купить а5000. Ищите по производителю "melanox". Сам все собираюсь себе закупить это дело, но пока вроде справляется гигабитный ethernet.


  1. snakers4 Автор
    27.12.2021 06:01
    +2

    GPU-Z с какогото момента начала иметь эту возможность. Для 3090 и а5000 оно работает. Ну это под виндой. Под линуксом вот ниже коллега порекомендовал косвенный метод с флагом SW Thermal Slowdown, за что ему спасибо- не знал о нем.

    Operating system Windows XP, Vista, 7, 8, 10, увы =(


    Какой смысл запихивать в специализированный сервант карточки для гейминга или для раб.станций, если ценник одинаков?
    Из московских организаций покупал а5000 у "Срв-трейд" в Щелково в белую.
    Но в целом конечно рынок стремный- встречаешься как дурак с кучей денег с непонятными людьми, покупаешь кота в мешке… брр… но вроде пока все хорошо)

    Банально несколько причин (не факт что они претендуют на полную рациональность, но у меня вообще недавно было мнение, что неигровые карты в РФ купить проблематично, а заказывать и ждать что-то не хотелось, да и на некоторые модели я так понимаю там тоже есть свои моменты):


    • Я до этого никогда не работал с пассивными картами — всегда есть опасение, а вдруг что-то пойдет не так? А вдруг есть какой-то скрытый подводный камень, который решается только для "официальных дилеров", которые продают системы в сборке в США с 2x-3x маржой?
    • Есть позитивный опыт работы с 3090 (правда тогда мы смогли купить их по 150к, но это совсем другая история)
    • Опять же, встречаться в переулке без гарантии что-то совсем стрёмно, а "Срв-трейд" я видел, но не особо смог понять насколько они будут гарантию давать, хотя вроде организация давно существует

    Вы тут не правы. И 10, и 40 и 56 гбпс сейчас часто встречаются на авито- и карты и свичи. Естественно это стоит дороже чем гигабит, но абсолютно доступно тем, кто может купить а5000. Ищите по производителю "melanox". Сам все собираюсь себе закупить это дело, но пока вроде справляется гигабитный ethernet.

    Да комментарий выше наконец открыл мне глаза на это. Ключевой термин я так понял это Infiniband. Статья по ссылке выше дает на это исчерпывающий ответ.


    Я начал просто с 10G сети между мамками напрямую, сейчас сижу на недорогом маленьком 10G свиче (такие бывают внезапно), но всегда приятно знать, что есть куда расти и без особых вложений (относительно).
    Грубо говоря при переборе всего хозяйства можно сделать весьма интересные вещи!


    1. snakers4 Автор
      28.12.2021 07:43

      Да, с пассивными картами по итогу все норм.