Без особой помпы вышла новая версия Proxmox Virtual Environment - 7.1. Эта опенсорс-платформа виртуализации, построенная на базе Debian, KVM, LXC, Ceph, давно зарекомендовала себя. Авторы, кстати, говорят о более чем полумиллионе хостов, где она развернута.
Новая версия Proxmox Virtual Environment несёт несколько новых функциональных возможностей и множество улучшений для задач управления через веб-интерфейс: поддержка Windows 11, включая TPM, улучшенный мастер создания ВМ/контейнера, возможность устанавливать политики сохранения резервных копий для каждого задания резервного копирования в графическом интерфейсе, а также новый демон-планировщик, поддерживающий более гибкие расписания.
Вот подборка основных моментов:
Debian 11.1 "Bullseye", но с использованием более нового ядра Linux 5.13
LXC 4.0, Ceph 16.2.6, QEMU 6.1 и OpenZFS 2.1
Мастер создания виртуальных машин с настройками по умолчанию для Windows 11 (q35, OVMF, TPM)
Настройка сохранения резервных копий для каждого задания резервного копирования через графический интерфейс. Это позволяет пользователям настраивать разумные политики резервного копирования для каждого задания резервного копирования не только из API и CLI, но и из веб-интерфейса.
Расширенные опции планирования для заданий резервного копирования. Задания резервного копирования в Proxmox VE теперь запускаются новым демоном-планировщиком под названием pvescheduler, который поддерживает более гибкие опции расписания. Это уже ставшие привычными задания verify и garbage collection из Proxmox Backup Server (которые, в свою очередь, вдохновлены systemd-timers). Кроме того, резервные копии могут быть помечены как "защищенные", что предотвратит их автоматическое или ручное удаление без предварительного снятия флага protected.
Для виртуальных машин эта версия включает поддержку добавления модуля Trusted Platform Module (TPM) 2.0 в любую виртуальную машину. Среди прочего, это позволяет пользователям устанавливать и запускать Windows 11. TPM можно легко добавить с помощью флажка в веб-интерфейсе. Кроме того, функция безопасной загрузки UEFI теперь встроена и включена в базовый пакет QEMU; обновленный мастер установки позволяет выбрать TPM v2.0 и UEFI. Во вновь создаваемых виртуальных машинах появилась поддержка безопасной загрузки с возможностью предварительной регистрации дистрибутива Linux и ключей Microsoft.
Контейнеры в Proxmox VE 7.1 теперь поддерживают Fedora 35 и Ubuntu 21.10, а также дистрибутивы AlmaLinux и Rocky Linux, включая шаблоны. Шаблоны контейнеров могут быть сжаты с помощью алгоритма сжатия без потерь Zstandard (Zstd) с открытым исходным кодом. Для новых непривилегированных контейнеров, создаваемых через веб-интерфейс, по умолчанию включена функция вложенности. Это обеспечивает лучшую совместимость с современными версиями systemd, используемыми в более новых шаблонах.
Двухфакторная аутентификация (TFA) получила усовершенствования. Чтобы улучшить контроль доступа, для одной учетной записи можно настроить несколько "вторых" факторов. Добавлена поддержка WebAuthn (заменяющий U2F) и одноразовых ключей восстановления. Все это можно настроить из веб-интерфейса.
Другие заметные усовершенствования
Упрощено создание виртуальных гостевых систем с несколькими дисками. Теперь дополнительные диски можно добавить в мастере создания, что избавляет от необходимости добавлять их после создания ВМ или контейнера.
Диски SCSI и Virtio VM могут быть помечены как доступные только для чтения.
Ceph: в Proxmox VE 7.1 поддерживается несколько экземпляров CephFS. Теперь полностью поддерживается конфигурация внешних кластеров Ceph через API.
P.S. Обновиться с 7.0 до 7.1 можно через веб-инерфейс, а с 6.4 до 7.1 - путем выполнения инструкции по адресу https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0 .
Комментарии (32)
Worky
19.11.2021 16:47Есть вопросы по ПРоксу:
1) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?
2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.
meDveD_spb
19.11.2021 18:311) онлайн расширение диска с виртуалкой Винды как в есхи - оно уже может?
Может примерно с самого появления. Для Винды, с момента появления Windows VirtIO Drivers (2015). Да, для 1 и 2 пункта они дожны быть установлены в VM. Умеет и сжимать.
2) свопить ОЗУ виртуалки может? есхи такое может и это экономит озу на хосте.
Умеет практически с самого рождения (c версии 2.3). Называется Ballooning device.
Dynamic_Memory_Management
czz
19.11.2021 17:45Теперь бы еще шифрование состояния TPM с загрузкой ключа из удаленного KMS (key management service).
Proxmox отличная штука, но появления фич приходится годами ждать.
werter_l
20.11.2021 19:29+1Хорошая новость. Долгой жизни проекту. Пользуем еще с версии 3, а с недавнего времени всю их линейку — PVE, PBS, PMG.
Зы. Сборник ссылок по работе с proxmox, pfsense etc forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2
Зы2. Все для самосбора на китайских мат. платах xeon-e5450.ru/socket-2011-3/aktualnye-sborki-na-2011-3-sokete Работоспособно, проверено лично — мат. плата kllisre d4 + xeon 2xxx v3. Кому мало, есть мат.платы на 2 CPU
celebrate
А поделитесь пожалуйста опытом, насколько Proxmox сейчас способен заменить VMware vSphere? Насколько я вижу, продукт активно развивается, насколько он хорош или плох сейчас?
meDveD_spb
Уже давненько как способен. По функционалу, гибкости, хотя нет смысла перечислять, в целом, во всём превосходит.
rionnagel
Во всем? Он научился в Fault Tolerance/Zero Downtime? hot plug есть cpu/ram?
Ну и я сомневаюсь, что есть аналог vmware tanzu.
Хотя сами скоро планируем перебраться либо на proxmox, либо на oVirt там где у нас hyper-v.
meDveD_spb
Нет. Но есть Replication, HA и Live Migration, причем без общего хранилища.
(есть ли это у VMware, имею ввиду LM без общего места?)
Есть.
по-моему тут выбор очевиден)
meDveD_spb
Rancher, Portainer
rionnagel
Понятия не имею (но скорее всего есть, live migration точно, а второе это скорее обычная репликация, так и бесплатный hyper-v может), без хранилки последний раз использовал vmware более 10 лет назад. Я могу представить без схд/сеф/гластер и т.д. варианты когда вы бедны, либо 1-2 хоста "на поиграть". Просто для "резерва" проще уже сделать общую хранилку с избыточностью в 50%.
Не "из коробки". Так и что угодно может.
ovirt?) Нене, я не куплюсь на холиварную тему. Такие выборы надо хорошо продумывать смотря на масштаб, требования, прайс, сопровождение и т.д..
Возможно у вас инфраструктура вся на ms, возможно есть требования регулятора, либо тот же FT для древних и критичных монолитов, либо приложения подразумевают использование NSX, возможно есть какие-либо фичи, критичные вам, которые есть только в определенном продукте и т.д. и т.п.
Как бы вы не любили проксмокс это панацеей быть не может в принципе. Особенно учитывая, что коробочная проприетарная дрянь очень любит ограничиваться поддержкой исключительно vmware и hyper-v.
meDveD_spb
А если нет хранилки и узлы в разных местах? И мы не хотим использовать ceph/glusterfs.
3 узла в разных местах со своими дисками.
Replication это для того, если один узел внезапно отомрёт.
А Live Migration, чтобы перенести c одного хоста на другой без даунтайма.
когда например необходима перезагрузка какого-то хоста.
Не имеет значения.
Делаем сам хост отказоустойчевым, две фазы, проксмокс установлен в рейд btrfs или zfs.
В Proxmox есть поддерка SDN из коробки. Или использовать NSX-T.
rionnagel
Live migration умеет практически любая система виртуализации без общей хранилки. Я думал вы под "без хранилки" имели ввиду в первую очередь HA, которому она обычно везде нужна.
Ну тут я никакого особого кейса не вижу. Просто везде по хосту. Если достаточно, то ок.
Извините, но это предложении из серии купить серверное железо вместо использования рабочей станции для хоста гипервизора. Этого как-то маловато мягко говоря для критичного сервиса, например генерящего деньги (с разумных сумм).
Вы с ума сошли? Большая контора со всей инфарструктурой на мс будет использовать проксмокс на хостах гипервизорах чтобы что???
Стоимость владения, дискаунты, системы управления конфигурациями и централизация, лицензии, саппорт, технический персонал и прочее. Это будет ЗНАЧИТЕЛЬНО дороже по приобретению, внедрению, сопровождению, саппорту и ВСЕМ прочим параметрам.
meDveD_spb
критичный сервис на рабочей станции?
я этого не говорил. чтобы обезопасить по питанию и для софтрейда, для этого не нужно серверное железо.
rionnagel
Конечно нет. Если есть критичный сервис, то и на серверное железо должно найтись денег), как и денег на платку для рэйда. Хотя бы б/у. Моя мысль скорее заключалась в том, что более надёжный хост это и так само собой разумеющееся вещь. Но это не является каким-либо решением в принципе, что может быть хоть какой-либо заменой FT.
meDveD_spb
А с появление Proxmox Backup Server, и выбора не оставил если в какой-то момент встаёт вопрос выбора из .. Если у вас не миллионы VM, и не нужен VDI/Horizon.
kharlashkin
Пару лет назад даже поднимал "самописный VDI" на скриптах с помощью Proxmox, Spice и LTSP - очень годно получилось.
Правда Spice очень прожорлив к полосе пропускания сети и при стриминге 1080p съедал под 200 Мбит, но и тормозов не было. На одном сервере спокойной было протестировано 100 VM в пользовательском режиме, 1С/браузер/офис.
meDveD_spb
Да, слышал и видел вариантики с VDI, не совсем удобными способами, хотя и рабочими. Если в своей компании или там где ты всея айти, то да.
Всё, что я нашёл более-менее рабочего и похожего, это Deskpool
https://www.deskpool.com/quick-startup/proxmox/
Надо будет попробовать его на актуальной ветке.
camojiet
Где-то год назад пришло озарение, что это, наверное единственная годная альтернатива RDP это и есть Proxmox+Spice+LTSP. Времени на попробовать так и не было. Какой вы использовали клиент (я не про стандартный, а например, который можно запихать в PXE + DHCP)?
Вообще, в офисе можно было бы и не запускать LTSP на гипере. Часть сотрудников, работающих в офисе могут работать на толстых клиентах (у кого железо позволяет). Локально те же кеды будут очень бодры, и полоса пропускания такая не понадобится. Но встаёт вопрос о том, как подключиться к такой машине снаружи, чтобы человек мог зайти в свою терминальную сессию с дома, например. (На данный момент двадцатку лидеров по скачке на sourceforge замыкает TurboVNC, если погуглить, то можно наютубить человека, играющего в какую-то последнюю кваку, через это протокол. Сам - не пробовал. Хотя VNC, конечно не прокинет ни смарткарту, ни принтер, но как простое решение вполне сойдет. Ну или подключиться к локально запущенной Xorg или Wayland через spice. Тоже не знаю, можно ли. Если можно, и прокидываются usb и звук то круто - это оно и есть, терминальное решение, даже круче, чем на базе RDP (за счет толстых клиентов).
Если клиент тонкий, и рабочее место крутится на proxmox, тогда проблем нет - всё централизовано, и всегда мы знаем куда подключаться - на центральный VDI. Но в этом случае не используется возможность запуска LTSP в режиме толстого клиента, в котором не гоняется по сети растровая картинка. Не говоря о том, что тонкие клиенты - это нередко просто старые машины, и некоторые из них вполне ничего и вполне потянут KDE Plasma.
Мой парк тонких клиентах крутится на WTware (Windpows server + RDP). Очень удобно, но хочется Linux на клиентах, полностью opensource решение. 95% моего парка тонких клиентов +/- годные компы и рухлядь, способная отражать картинку на мониторе, два RaspBerry Pi3 B+
На момент установки, самый дешёвый вариант тонкой станции - это Raspberry 3, тогда она стоила 5тыр, а сейчас 10. Столько же, сколько и Rasp 4. Получается самый оптимальный тонкий клиент теперь Raspberry 4(? втварь, вроде ничего, кроме малины, не поддерживает). Вроде как пахнет виндой на arm (или я уже отстал?). В общем варианты есть. Если использовать Raspberry 4, то Plasma на ней будут летать, вместе с 1С, офисом и хромом и 4-х Gb памяти для большинства пользователей - достаточно.
В каждой шутке есть доля шутки... (Я знаю, что VDI это не то пальто, просто идея пришла в голову, вдруг выстрелит).
Извините за сумбурность. Просто очень интересна эта тема, и перекапываю гугл примерно раз в пол года по ней. Очень мало информации. Поэтому спасибо, что поделились реальными данными в части количества машин и полосы пропускания.
Времени на скрипты почти нет. Да и поддержка таких нововведений может сорвать другие работы. Поэтому жду решения из коробки и в редкие часы досуга, пробую всякие spice, x2go и т.д. Пока ближе всех конечно же spice. X2Go - это прям разочарование, даже с KDrive - шляпа.
Deskpool ещё не смотрел, думаю в НГ каникулы поиграться. Предварительно понял только, что бесплатно там что-то только в отношении RDP, будет ли там хорошо работать удалённая убунта (через RDP?) есть сомнения.
Если с помощью spice можно подключиться не к виртуальной машине, а к реальной, пробросив звук и USB, то можно сказать что это будет самое интересное решение по VDI (смесь толстых и тонких клиентов, с возможностью подключаться к толстым клиентам снаружи). Есть люди у которых есть в офисе рабочая станция, а есть те, которые работают из дома. Первым нужны ресурсы proxmox, а вторым - нет. У нас в организации, например перевод на толстые клиенты почти полностью бы разгрузил терминальную машину, и убрал бы нагрузку на локальную сеть.
kharlashkin
В смысле стандартный? LTSP на то и терминальный проект, который грузит по сети образ Linux, в моем случае был ubuntu 16.04, на нем был в автозапуске Spice Viewer, который и подключался уже к proxmox в режиме киоска.
Нашел вот даже видео теста самого Spice - очень бодро.
Скриптами я уже оборачивал автосоздание копий VM Windows для пользователей, их автоматический запуск и остановку, для отдельных делал доступ на веб-интерфейс с возможностью входа в VM через скачивание файла для подключения.
camojiet
Точно, LTSP... Пардон. Я уже давно ковырял тему, только сейчас вспомнил, что меня беспокоило по части клиента. При подключении к виртуалке через spice прокс даёт файл для клиента spice для единоразового доступа (файл после использования трётся). То есть это некий ticket. Я предполагаю, что средствами самого проксмоса и можно насоздавать пользователей, дать права на просмотр своей машины и через api проксмокса получать такие тикеты через какую-нибудь вебку. Вы так и сделали? Может поделитесь основными api запросами? Тема живая и вполне можно её довести до статьи на хабре. Кто-нибудь может новогодние праздники захочет заморочиться.
То есть пользователь с дома зашёл через vpn в офисную сеть(ну или как-то иначе), попал на самодельную вебку (или блин, вообще на сам проксмокс), получил этот файл, запустил его прям из браузера, и вуаля, у пользователя перед носом полноценный рабочий стол со звуком пробросом USB (блэкджеком).
Знающие товарищи, подскажите, можно ли подключиться spice не в виртуальному рабочему столу, а реальному, то есть к тому, который на данный момент выведен на монитор рабочей станции? Можно ли перехватить реальный звук, USB?
Если нельзя... То что уж... Есть X2Go, который точно может(транслировать картинку с монитора), или TurboVNC. Не то пальто, конечно, но что делать.
В общем, если заморачиваться с толстыми клиентами (и к толстым клиентам таки можно подключиться через spice), то должно быть промежуточное звено которое будет знать, где толстый а где виртуалка запущены, и которое будет выдавать файлы для доступа через spice или в проксмокс или к толстому клиенту. Ну а если не заморачиваться, то попробовать сделать на базе api проксмокса. Совсем уж скриптить - лень. И я уже устал поддерживать свои старые рукожопые скрипты десятилетней давности. Когда -то давно было интересно скриптить, сегодня хочется, чтобы было как можно меньше модулей, как работают которые знаю только я (В нашей деревне мало админов работающих с linux).
Без толстых клиентов, наверное на данный момент LTSP+SPICE+PX это самая козырная альтернатива RDP. С толстым клиентом - RDP даже курит.
Worky
Плюсы Прокса:
1) не нужно подбирать железо под него - работает везде, где работает линукс.
2) софторейд. но тогда нужно сначала поставить дебиан, а потом накатить прокс.
А в целом - он какбы посредине между просто есхи и всферой
meDveD_spb
ни в коем случае, это делается при установке PVE
что может сфера, чего не может Proxmox?
Worky
MDRAID имею виду. В проксе все для ЗФС.
сложный вопрос, не пробовал сравнивать. но мне интересно, кто как себя вести будет при 100% нагрузке цпу....
meDveD_spb
Proxmox не рекомендует использовать mdraid, пооэтому и не поддерживает.
Worky
Работает, как часы. А они пихают ЗФС везде.
camojiet
Я ставил на mdraid сначала. При первом использовании zfs я жидко обосрался, так как при простом зеркале из простых домашних SATA массив просто был никакой. При нагрузке iowait взлетал в небеса и не спускался. Тогда я поставил дебиан на зеркало mdadm стандартным текстовым инсталлером и сверху накатил проксмокс. На mdadm массив заработал, так как и должен был. (система грузилась на обоих дисках по одиночке).
С zfs на стенде что я только не делал, разве что в церковь не ходил. Потратил на него где-то месяца два и так не добился приемлемой производительности. Даже с вынесеными zil и кэшем на ssd. Потом ещё через пол года и год были такие же копания гугла и эксперементов по месяцу где то. Узнал много нового, но ключевое так и не познал, видимо.
Результат дала установка SAS контроллера и самых простых SAS (7200 6Tb) дисков с двумя m2 дисками по 128. M2 разбиты на 100 и 28, 28 в зеркале - zil, 100 кэш на чтение в страйпе.
Массив потянул примерно 25 терминальных рыл, но вешал работу при отправке почасовых снапов на бэкап сервер, от чего пришлось отказаться (оставил только суточные). Мне, кстати, попадался вот такой параметр, который я не пробовал ещё:
zfs_per_txg_dirty_frees_percent = 0
Спустя какое-то время, обнаружил, что утром, люди испытывают дискомфорт. Я опять давай копать везде и накопал zfs_txg_timeout = 15 вместо стандартных 5. В результате утренние просадки ушли. В общем, я посмотрел наверное все маны первых 5-10 страниц по разным запросам, пробовал всё подряд и по отдельности и в комплексе. Пока я не могу похвастаться тем, что я прям уверен, что у меня правильно настроенный массив (скорее всего это далеко не так). Так или иначе такая сборка сейчас почти не порождает io wait в отличие от далее описанного случая. Возможно тут играет роль серверное железо во главе с нормальным SAS контроллером и дисками.
Мне нужен был максимально быстрый массив, но чтобы он был в zfs и зашифрован. Взял два по 128 для системы, два m2(PCI-E4) по 1Tb, два sata SSD по 512.
Первая пара под систему, вторая под массив, третья под вспомогательный массив. Ещё так же был сделан одиночный sata hdd в массив под бекапы.
Железо домашнее, но бодрое (Ryzen 7 5800X). Ну и в итоге даже при копировании с зеркала 1Tb m2 на 512 SSD 1С-ной базы (где-то 50 гиг), iowait увеличивается до 25 и чувствуются лаги, если копировать базу на одиночный HDD то io подрывает до 85, на часик. Второе происходит в нерабочее время, поэтому вопрос остро не стоит. Понятно, конечно, SATA, домашнее железо. Но вот почему с зеркала SSD на зеркало SSD на такой машине io заметно увеличивается и даёт дискомфорт, а тот же mdadm на старом компе, со старыми дисками в зеркале не даёт такой io wait (пусть даже при меньшей скорости записи, но я дискомфорта не чувствую). Иными словами у меня складывается впечатление, что zfs пытается засунуть в блочное устройство данные, со скоростью с которой устройство не справляется. Я писал об этом на форуме проксмокса, и там мне посоветовали ограничить скорость записи на виртуальное устройство в самом проксмоксе, в свойствах ВМ. Ну так себе совет, в общем. Подскажите, знающие товарищи, какие ещё параметры покрутить (предлагайте всё, кроме ashift) буду проверять опять по порядку всё подряд. Проблему надо решать. Вопрос не в том, конечно, почему у zfs высокий iowait а у mdadm + ext4 низкий, а почему он НАСТОЛЬКО высокий, и как бы его сделать ниже.
Но с zfs я уже не слезу. Я не знаю с помощью чего ещё нативно можно держать географически удалённую холодную, зашифрованную, почасовую копию любого по размеру массива.
С btrfs ещё не знаком, если она позволяет тоже самое, что zfs но не подрывает io то хрен с ним пересяду на на неё.
Про mdadm кто-то писал, что не поддерживается. Знаете, когда проксмокс был ещё 5-ым, там в гуях не было и LVM. Это же не значит, что проксмокс его тогда его не поддерживал. Пользуйтесь хоть чем, proxmox в первую очередь debian, а потом уже всё остальное.
meDveD_spb
raid еще для btrfs
oller
Если костылинг вас устраивает, то proxmox заменяет vmware. Стабильность правда сильно ниже, отсутствуют адекватные qos и другие болячки, но с каждым релизом всё взрослеет, ещё года 2 и уже можно будет сравнивать, правда vmware уже кубер внедрила, а проксмоксу это ближайшие лет 5 не светит.
achekalin Автор
Ходят слухи, что с платным репо PVE становится постабильнее и покорпоративнее. Не пробовал, не могу сказать - как и не знаю, можно ли на одну подписку обновлять сразу много хостов PVE (на нас это была проблема - там поддержка стоит заметно, если на много хостов прикидывать, а от поддержки хочется, базово, как раз энерпрайзную репу)
Еще бы VMWare поднажать, а то ведь, кроме вполне себе бесплатного, если без покупки поддержки, PVE, на пятки наступает (по крайней мере, старается делать это, причем с куда большим упорством, чем PVE) компания "мелкий мягкий" со своим Hyper-V. И если PVE решили пойти "своим путем" (скажем, решили, что md - это зло, а вот zfs, который еще нужно уметь готовить - это хорошо; решили, что работа с shared storage по iscsi или fc - это не по опен-сорсному, а вот Ceph стоит давать в руки всем и каждому для построения production-ready инфраструктуры; что btrfs (!!!) - это вообще про хост с виртуализацией; честно, не знал бы Proxmox GMBH - решил бы, что парни продались конкурентам и ухудшают свой продукт специально), то MS четко обозначает свое место на рынке и хорошо понимает, какого конкурента собирается подсиживать.
Что же до VMWare в сумме, то, конечно, привыкнув к его костылингу и необычности решений, можно и жить, тем более, что, условно, работать оно работает, в силу дизайна защищая туповатых новичков от попыток сэкономить железо установкой на хост дополнительного софта (вроде "давайте на хост с PVE еще mysql и пару сайтов закинем, нафига для этого нарезать ВМ-ку?" - в ESXi такое не прокатыает в силу того, что это не линукс). А чтос каждым релизом ESXi нужно буквальнр молиться, чтобы работавшее раньше железо продолжило работать, так это только добавляет остроты жизни!
meDveD_spb
А какие ограничения при работе с shared storage по iscsi?
работает отлично, особенно на ядре 5.15.
если он только под установку самого PVE, если никаких аномалий не проявится, чего его готовить, установил и забыл.
oller
Hyper-V - хоронят, насколько мне извевтно, 2019 последний! проброс GPU сделали костылингом вообще как класс, похоронив remotefx
VMWare не костылинг, а скорее решение не шагу влево, а вот костылингом уже обвязывают, после чего Proxmox может выглядеть весьма привлекательно), но это вопрос кому нужна стабильность а кому функциональность. Ну и опять же vmware обновлять просто незачем, в отличии от Proxmox, у которого половину болячек решается обновлением на новую версию
Пожив на Proxmox на нем держу только dev, проблемы с сетями и дисками сплошные (ну как 1 в полгода за глаза, а за месяц уже ад), а вот 24*7 строго на vmware где таких проблем нет.