Уже прошел год как вышел Debian 12 Bookworm и, основанный на нем, Proxmox 8. Несмотря на тот факт, что мои предыдущие статьи по пробросу дискретной Видеокарты в виртуальную машину, в кол-ве 4-х на Хабре, частично все еще актуальны для последней версии Proxmox, в тематических чатах регулярно поступали обращения обновить статью, а так же выяснилось что, у тех кто пользуется такими инструкциями, есть определенное непонимание в нюансах, из-за чего приходится проходить вместе с ними всю цепочку действий заново.

Введение

Здесь я хочу отметить, что настоящая статья тематически будет поделена на 3 части:

• Нюансы выбора железа на АМ5 сокете, которые могут быть не всем интересны и, потому, большая ее часть будет под спойлером;
• Актуализированная инструкция по настройке проброса дискретной видеокарты (GPU Passthrough) с учетом имеющихся под рукой у меня конфигураций железа на AM5 B650 и LGA1151v2 H370
  
  Видеопрезентация проброса видеокарт (GPU Passthrough)

  Видеоролик с результатами проброса mobile GTX1660ti Max-Q в ноутбуке:
  
  

  
  Видеоролик с результатами проброса GTX1070 на десктопе:
  
  
• Все выжимки и инструкции по сопутствующей настройке ВМ из трех первых моих статей для гипервизора Proxmox, а так же свежий опыт, которым могу с Вами поделиться.

1. Выбор железа на AM5 сокете

По итогу промежуточного апгрейда текущий ПК принял следующий вид:

• Процессор — AMD Ryzen 9 7900X
• Материнская плата — AsRock B650m PG Riptide
• ОЗУ — G.Skill Trident Z5 RGB 96Gb (2x48Gb) DDR5-6400 (F5-6400J3239F48GX2-TZ5RK)
• Система охлаждения — Thermalright Peerless Assassin 120 PA120
• Видеокарта — INNO3D GeForce GTX 1070 iChill X4
• RAID-контроллер — LSI 9211-8i
• Жесткий диск — WD Red WD40EFRX, 4Тб, HDD, SATA III, 3.5" х8
• SSD диск — SSD NVMe M.2 Samsung 970 EVO Plus 1Tb (из наличия)
• Блок питания — THERMALTAKE TR2 TRX-850M Bronze, 850Вт, 135мм, черный, retail
• Корпус — Fractal Design Node 804 черный (mATX)
• Монитор — 27" Dell UltraSharp U2713HM

Конечно здесь потребуется еще заменить блок питания на более мощный и видеокарту на более современную, но и в текущем виде всё работает прекрасно.

2. Настройка Proxmox 8 для GPU Passthrough

При обсуждения в тематической группе в Телеграмме выяснилось, что на некотором оборудовании GPU Passthrough работает из коробки, достаточно лишь добавить видеокарту как PCI-устройство через WEB-интерфейс в настройках виртуальной машины, другим приходится настраивать с нуля и полностью. Возможно ответ кроется в выборе материнской платы или есть некий скрипт, автоматизирующий настройки Proxmox, но это не точно. В случае, если у Вас при добавлении устройства в свойствах виртуальной машины, проброс видеокарты в виртуальную машины автоматически не произошел, то придется настраивать ручками, как обычно. Собственно об этом ниже.

В принципе здесь инструкция будет в общих чертах повторять предыдущую мою старую статью, посвященной пробросу видеокарты на ноутбуке, при использовании Proxmox 6/7 версий, за некоторыми нюансами. Но обо всём по порядку.

2.1 Что нам потребуется для установки и настройки

• ЦП и материнская плата должны поддерживать VT-x, VT-d для Intel или AMD-Vi, IOMMU для AMD, а так же эти технологии необходимо активировать в BIOS до начала настройки. При этом не гарантируется, что все будет работать из коробки, из-за, возможно, плохой аппаратной реализации и отсутствия или низкого качества драйверов.
• Если будет использоваться ноутбук, то потребуется ноутбук с дискретной игровой видеокартой, у которого схема подключения к дисплею/монитору типа MUXed/MUXless с прямым выводом на видео разъём.
  
  
• Роутер с доступом в интернет (Для настройки и последующего использования я бы рекомендовал подключаться кабелем к роутеру).
• Физический выделенный жесткий диск SSD под хост и ВМ объёмом от 250Гб.
• Загрузочная USB флешка с Proxmox'ом (надстройка над Debian Linux + KVM).
• Последняя версия VirtIO драйверов.
• Дополнительный внешний монитор, подключённый к Вашему ноутбуку кабелем в видео-разъем управляемым напрямую дискретной видеокартой (кроме случаев, если у Вас дисплей ноутбука напрямую подключен к дискретной видеокарте).
• Дополнительную мышь и клавиатуру для гостевой системы, по крайней мере для первоначальной настройки.
• Для удобства — второй ПК/ноутбук в сети на время установки и настройки софта, категорически для Вашего удобства, но это не является необходимым условием работы и дальнейшей эксплуатации такого ноутбука.

2.2 Установка Proxmox и настройка хоста

Здесь и далее нужно отметить, что рендер сайта Habr кавычки штрихом '' '' местами автоматически заменяет на кавычки елочкой «». Прошу Вас, учитывайте это при копировании команд из этой статьи, т.к. иначе настроить верно не удастся. Если кто-то
знает как обходить это ограничение в статьях при публикации, то прошу дать мне знать. Спасибо.

0-й этап. Соединяем оборудование кабелями LAN и присоединяем их к роутеру, для включения в локальную сеть. Включаем, проверяем что бы в UEFI (BIOS'е) на устройстве, выполняющем функции хост для Proxmox, были включены нужные параметры виртуализации, указанные в требованиях к железу выше в этой статьи.

1-й этап. Устанавливаем Proxmox. Здесь все просто, самое главное аккуратнее с IP, т.к. теперь Ваше устройство по Вами выбранному протоколу (LAN/WiFi) будет работать на статике и именно через него виртуальные машины будут получать интернет. Не всегда это удобно, хотя потом можно будет перенастроить или даже обойти, например пробросив в виртуальную машину напрямую порт с USB — 4G модемом.

После установки на ПК/ноутбуке будет доступна только консоль, но в локальной сети Proxmox будет доступен через WEB-интерфейс по адресу:

https://"указанный_вами_при_установке_IP:8006

или, для тех случаях если Вы используете DE на хосте:

https://127.0.0.1:8006
https://localhost:8006

Login: root
Password: тот_что_вы_указали_при_установке_Proxmox

В случае если нет второго ПК/ноутбука, то перед дальнейшей настройкой необходимо установить графический интерфейс для Linux:

После перезагрузки хоста, открываем браузер, вводим в строке адреса сайта адрес WEB-интерфейса Proxmox (см. чуть выше по тексту), прописываем логин и пароль пользователя root и попадаем в:

2-й этап. Настраиваем хост. Открываем консоль хоста под root'ом. Для этого в браузере выбираем слева название Вашего Proxmox сервера, данное Вами при установке, и кликнув на нем правой кнопкой мыши, выбираем в выпадающем меню Shell. Либо выполняем команды непосредственно в текстовом терминале сервера на хосте.

# nano /etc/default/grub

и редактируем строку, заменив в ней значения на следующие:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

Если у Вас ЦП от AMD, то в строке выше intel_iommu=on меняете на amd_iommu=on, либо полностью опускаете этот аргумент, т.к. он теперь не является обязательным. А вот iommu=pt я рекомендую прописывать во всех случаях. Включение этого режима может повысить производительность. Это связано с тем, что виртуальные машины передадут запросы DMA непосредственно в аппаратный IOMMU.

После этой манипуляции необходимо сохранить файл (Ctrl+O, затем Enter), выйти из редактора nano в консоль (Ctrl+X) и дать команду, с последующей командой на перезагрузку хоста (если у Вас в это время крутятся параллельно несколько ВМ, то перезагрузку стоит осуществлять после выключения таких ВМ вручную через WEB-интерфейс):

# update-grub
# reboot now

Если все сделано правильно, и оборудование поддерживает верные настройки, то скрипт из ArchWiki

# for g in $(find /sys/kernel/iommu_groups/* -maxdepth 0 -type d | sort -V); do
    echo "IOMMU Group ${g##*/}:"
    for d in $g/devices/*; do
        echo -e "\t$(lspci -nns ${d##*/})"
    done;
done;

Покажет нам вот такую красоту:
Здесь надо отметить, что: если распределение оборудования по IOMMU группам у Вас плохое, то нужно пытаться решить эту проблему с обновления прошивки UEFI (BIOS) для Вашей материнской платы.

Далее прописываем в консоли следующие команды, которые отвечают за уменьшение проблем с работой пробрасываемого железа в виртуальную машину.

# echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
# echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf

Прописываем в файле конфигурации # nano /etc/modules загрузку необходимых драйверов (упоминание vfio_virqfd не обязательно, т.к., начиная с ядра Linux версии 6.2 и старше, теперь он включен автоматически):

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

Сохраняем файл и выходим. Затем запрещаем Proxmox'у использовать следующие драйвера видеокарт на хосте, в зависимости от того какую видеокарту Вы пробрасываете в ВМ:

AMD GPUs

# echo "blacklist amdgpu" >> /etc/modprobe.d/blacklist.conf
# echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf

NVIDIA GPUs

# echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf 
# echo "blacklist nvidia*" >> /etc/modprobe.d/blacklist.conf

Intel GPUs

# echo "blacklist i915" >> /etc/modprobe.d/blacklist.conf

Прописываем следующую команду (здесь 01:00 блок адресов дискретной ВК, что бы уточнить Ваш случай, то необходимо дать команду # lspci)

# lspci -n -s 01:00

на что получаем ответ навроде этого:

01:00.0 0300: 10de:1b81 (rev a2)
01:00.1 0403: 10de:10f0 (rev a1)

Запоминаем эти значения, после чего создаем/открываем для редактирования файл настроек # nano /etc/modprobe.d/vfio.conf и аккуратно прописываем:

options vfio-pci ids=10de:1b81,10de:10f0 disable_vga=1

На этом настройка самого Proxmox у нас закончена, необходимо дать следующие команды, (если у Вас в это время крутятся параллельно несколько ВМ, то перезагрузку стоит осуществлять после выключения таких ВМ вручную через WEB-интерфейс):

# update-initramfs -u -k all
# reboot now

3-й этап. Настраиваем виртуальную машину. Теперь из WEB-интерфейса через браузер создаем и настраиваем виртуальную машину, в дальнейшем, для более тонкой работы с файлом конфигурации ВМ, можно будет работать через текстовый редактор из консоли # nano /etc/pve/qemu-server/номер_виртуальной_машины_из_WEB-интерфейса.conf. Здесь нужно отметить следующее:

• args:, добавляется при работе через текстовый редактор. Стоит помнить, что сколько бы ни было параметров, они должны быть в одной строке args:.
• cpu: host, если Вы планируете играть в игры на ВМ или работать. При этом cores это потоки ЦП. Сколько бы Вы их ни отдали ВМ, необходимо что-то оставить хосту, хотя бы парочку cores, превышать лимит физических потоков Вашего ЦП не рекомендуется, т.к. иначе виртуальная машина просто не запустится.
• sockets: 1, всегда, если Вы не знаете зачем Вам больше и как это работает.
• bios: ovmf, и никакой другой, если Вы планируется GPU Passthrough. Если гость на Linux'е, не поленитесь, при запуске виртуальной машины зажмите F2 и уберите крестик с опции Secure boot.
• machine: q35, без вариантов
• scsihw: virtio-scsi-single, что бы установщик гостя на Windows увидел виртуальный диск, то не поленитесь подсунуть ему iso образ VirtIO с драйверами, а позже не поленитесь установить полный пакет гостевых дополнений в системе. Рекомендую использовать именно virtio scsi single, т.к. получается отдельный контроллер на каждый диск. Соответственно все виртуальные диски оформлять как SCSI. Если для хранения данных ВМ у Вас используется SSD, то обязательно при конфигурации диска добавлять опции «discard» и «ssd emulation».
  
  
  
• balloon: 0, если ВМ на Windows, т.к. при значение 1 начинает грузить ЦП, но при этом экономит ОЗУ, потребляя ее в динамическом режиме. Если выключить, то хост резервирует за виртуальной машиной указанный в настройках полный объем ОЗУ. У ВМ на Linux такой проблемы нет — можно смело пользоваться.
• vga: none, и только так. Картинку с видеокарты снимать напрямую видеокабелем HDMI/DP/DVI/VGA, подключаемым в нее.

Nvidia с апреля 2021 года на игровых видеокартах не блокирует проброс своего оборудования в виртуальную машину.

Соответственно прописывание аргументов в настройках более не требуется, если же кто-то столкнется на старой версии драйверов, то текст в настройках конфигурационного файл следующий:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX,kvm=off'

В общем по итогу этих манипуляций у Вас получится что-то навроде этого:

Здесь нужно сказать следующее: Если Ваше железо приняло все текущие настройки на ура, то при старте ВМ с подключенным монитором в видеопорт дискретной видеокарты вы увидите картинку с логотипом Proxmox на заставке. Дальше следуют 3 пути развития событий:

— Идеальный — весь процесс установки ОС вы будете наблюдать на внешнем мониторе. Тогда тормозим систему, пробрасываем USB мышь и временно USB клавиатуру. После чего вновь стартуем ВМ и проводим установку до конца.

— Дальше логотипа Proxmox ситуация не сдвинется с места, не смотря на то, что если все-таки подключить софтовую видеокарту и подключится к виртуальной машине через консоль VNC в браузере через WEB-интерфейс, то процессом установки ОС можно будет управлять дальше. В этот момент нужно остановиться и проверить настройки хоста Proxmox. Возможно потребуется дополнительно прописать параметры в файле grub/конфигурационных файлах в каталоге /etc/modprobe.d. Т.к. если видеосигнал пошел, то и проброс возможен. А может быть проблема просто в с том, что Вы забыли в конфигурации ВМ выключить софтовую видеокарту vga: none

— Черный дисплей и отсутствие видеосигнала на внешнем мониторе. Скорее всего вы потерпели фиаско и, если проблема не в отсутствии контакта, неверных настройках, забытом переключателе питания или канале видео вывода на мониторе, то — увы!

3. Выжимки и небольшие инструкции из первых трех статей

3.1 Проброс других PCI-e устройств в виртуальную машину.

Для того что бы пробросить такое устройство, не видеокарту, достаточно что бы Ваше железо поддерживало VT-x, VT-d от Intel или AMD-Vi, IOMMU от AMD, а так же через grub эта опция была включена в системе, см.описание выше. Если интересующее Вас устройство изолировано в отдельной IOMMU группе, то, как правило, такое устройство может быть проброшено в ВМ. Для того что бы определить адрес интересующего Вас устройства, обычно, достаточно дать команду в консоли хоста # lspci и изучить листинг вывода, после чего через WEB-интерфейс добавить такое устройство:


3.2 Добавляем локальный SATA диск в ВМ

Такие HDD/SSD можно пробрасывать как через проброс контроллера как PCIe устройство по методу указанному в статье (не рекомендую пробрасывать контроллер интегрированный в материнскую плату, только подключенные к PCIe), либо напрямую:

заходим в каталог # cd /dev/disk/by-id, через команду # dir или # ls смотрим листинг… копируем строки вида ata-WDC_WD40EFRX-68WT0N6_WD-WCC4E1АС9SХ9, в которой прописан интерфейс подключения, марка и номер серии жесткого диска. Затем открываем файл конфигурации ВМ # nano /etc/pve/qemu-server/номер_виртуальной_машины_из_WEB-интерфейса.conf и пишем:

sata1: volume=/dev/disk/by-id/ata-WDC_WD40EFRX-68WT0N6_WD-WCC4E1АС9SХ9

и при следующем старте все работает, при этом учитывайте, что sata0-sata5, т.е. для одной ВМ число подключаемых таким образом дисков, включая виртуальных, не может превышать 6 шт.

3.3 Как прокинуть в ВМ клавиатуру с порта PS/2:

Сперва вводим команду в консоли # dmesg | grep input, затем ищем в тексте запись навроде

…
input: AT Translated Set 2 keyboard as /devices/platform/i8042/serio0/input/input<b>2</b>
…

Запоминаем цифру 2 в конце, она может быть в Вашем случае и другой. Потом в файле настроек ВМ в строку добавляем # nano /etc/pve/qemu-server/номер_виртуальной_машины_из_WEB-интерфейса.conf:

args: -object 'input-linux,id=kbd,evdev=/dev/input/event<b>2</b>,grab_all=on,repeat=on'

вставляя 2 в конец evdev=/dev/input/event2

Для PS/2 мыши и тачпада на ноутбуке — аналогично!

3.4 По USB:

Что касается USB устройств там все проще, устройства прокидываются прямо из веб формы по ID или же целиком можно прокинуть порт. Однако есть нюанс — если Вы по каким-либо причинам не можете, как и я, прокинуть аудиоустройство в ВМ, т.к. оно содержится в группе с ключевыми контроллерами без которых хост не может полноценно работать, то проброс порта/устройства через USB решает эту проблему, но звук может начать отваливаться через некоторое время работы, шипеть/гудеть и прочие… прочее, в то же время на нативной системе все будет замечательно. В этом случае необходимо пробрасывать не порт/устройство, а сам контроллер USB как PCIe устройство по методу указанному в статье. И все резко наладится. Но в то же время через хост, после запуска ВМ, с такими настройками пробросить другие устройства с этого контроллера больше не получится.

Еще момент, в некоторых случаях USB-токены могут содержать не только ключ, но и сопутствующую flash память, например ключи Guardan c flash-памятью. Соответственно они для системы видны как малый хаб и необходимо добавлять 2 устройства, через веб интерфейс, вместо одного.

3.5 Тестирование и сравнение производительности нативной системы с ВМ.

С этой темой я разбирался в прошлом году, по результатам простых тестов была написана статья, которую рекомендую к прочтению:Есть ли жизнь в виртуалке на ПК? Если коротко, то основной вывод — для работы и игр накладные расходы на виртуализацию (потери производительности) сравнительно небольшие, в офисных/игровых/инженерных задачах, что бы это мешало работе.

3.6 SSD и trim. Личное мнение и опыт:

Больная тема для виртуализации. Для того что бы дать эту команду для всех смонтированных дисков/разделов SSD на хосте, то достаточно в консоли команду # fstrim -av, однако к этому нужно добавить, что если у Вас по умолчанию разделы ВМ находятся на LVM, то для них эта команда эта не сработает. Что бы на таких томах/областях диска заработал trim необходимо отредактировать файл настроек LVM # nano /etc/lvm/lvm.conf, для чего в строке необходимо перед переменной убрать комментирующий символ # и приравнять ее значение к 1. После сохранить файл, выйти из него и перезагрузить хост. Тогда осуществлять trim таких областей, в которых хранятся данные гостевых виртуальных машин на хосте, можно будет из самих виртуальных машин.

...
issue_discards = 1
...

Более подробно можно прочитать в статье Активация discard (TRIM) на Linux для SSD

3.8 Основной гайд по настройке PCI Passthrough и GPU Passthrough переместился из Proxmox Wiki в документацию.

3.9 Проблема установить драйвер для видеокарт Nvidia для Debian Linux 12

Периодически проблема всплывает в тематических чатах, не буду говорить за всех, но, будете смеяться, мне помогло следующее: Проблемы в linux-headers, точнее в том что заголовки к ядру нужно установить вручную, т.к. почему-то этот пакет не идет «из коробки».

Дело было так: я проверил выключенный secure boot, обновил установленную систему, установил последний драйвер Nvidia из репозитория, на initramfs ядро высыпало множество предупреждений в консоли, и тут меня осенило, без перезагрузки, нашел к своему ядру linux-headers пакет и тупо его установил, в процессе установки тот переустановил текущее ядро и перепрописал NV_VERBOSE=1.


3.10 По выбору видеокарты для GPU Passthrough

3.10.1 AMD RADEON 5xxx, 6xxx, 7xxx, NVIDIA GeForce 7, 8, GTX 4xx, 5xx, 6xx, 7xx, 9xx, 10xx, 15xx, 16xx и RTX 20xx были отмечены как работающие. Более новые тоже должны работать без проблем.

3.10.2 AMD Navi (5xxx (XT) / 6xxx (XT)) страдает от ошибки сброса (см. github.com/gnif/vendor-reset), хотя пользователям удалось заставить их работать, они требуют гораздо больше усилий и, вероятно, не будут работать полностью стабильно (см. Специфические проблемы AMD и пути их обхода). AMD Navi 7xxx (XT) скорее не пробрасываются, чем пробрасывают из-за проблем реализации/работы FLR (Function-level reset).

3.10.3 Возможно, вам придется загрузить некоторые конкретные параметры в grub.cfg или другие значения настройки конфигурационных файлов для ядра Linux (по пути в /etc/modprobe.d), чтобы ваша конфигурация работала стабильно.

3.10.4 Хорошая тема с форума Arch Linux

3.10.5 В случае проблем обязательно убедитесь что хост не использует драйвер видеокарты. Так же зачастую выручает перемещение карты в другой слот или включить / отключить legacy boot support в BIOS (UEFI) хоста.

3.11 При пробросе видеокарты в госте на Linux, если в роли хоста выступает ноутбук, полезно будет добавить в grub опцию pcie_aspm=off

С помощью технологии ASPM (Active-State Power Management) можно эффективно управлять потреблением энергии шин PCI Express (PCIe, Peripheral Component Interconnect Express) посредством их перевода в энергосберегающий режим, если подключенные через них устройства не используются. ASPM контролирует обе точки подключения и позволяет снизить потребление энергии, даже если подключенное устройство находится в рабочем режиме. При активации ASPM задержка ответа устройства увеличивается из-за времени, затрачиваемого на переключение режимов шины.

3.12 Ограничения метода описанного в статье.
В каждый момент времени на хосте может быть проброшено только одно устройство/видеокарта, по методу указанному в статье. Однако ничто не мешает Вам создать несколько ВМ с такими настройками и запускать их поочередно. Бэкап «на горячую» таких ВМ тоже невозможен, т.к. у хоста нет доступа к памяти видеокарты в момент работы.

3.1415926535 Proxmox, в настоящее время, использует один из двух загрузчиков, в зависимости от настроек диска, выбранных в установщике.
Для систем EFI, установленных с ZFS в качестве корневой файловой системы, используется systemd-boot, если не включена опция Secure Boot. Во всех других развертываниях используется стандартный загрузчик GRUB (обычно это относится и к системам, установленным поверх Debian).

В этом случае параметры для ядра системы (”intel_iommu=on iommu=pt”/”amd_iommu=on iommu=pt”), активирующие включение в системе работу опции IOMMU, нужно будет размещать не в конфигурационном файле grub, а в файле # nano /etc/kernel/cmdline. Применение настроек вызывается командой proxmox-boot-tool refresh с последующей перезагрузкой системы. Далее настройки ничем не отличаются от написанных в статье.

Более подробно о настройке systemd-boot здесь и здесь

P.S.

Бонусные материалы от автора статьи:

• Есть ли жизнь в виртуалке на ПК? (простые тесты производительности ВМ и хоста в обыденных задачах пользователя)
• PCI Passthrough. Proxmox Wiki (актуальная редакция)