Привет! Меня зовут Александр Щербаков. Я DevOps команд страхования в Банки.ру. На своём карьерном пути я успел поработать эникейщиком, системным администратором и, наконец, DevOps-инженером с несколькими командами разработки. Как и любой инженер, я стремлюсь постоянно совершенствоваться: получать новые знания, изучать как устоявшиеся, так и только появившиеся технологии.
И здесь сразу появляется главная проблема — для развития DevOps нужна среда, где можно запускать ПО для исследования. Разработчикам проще: открыл документацию, скачал IDE, начал пробовать и изучать новую технологию. А вот DevOps-инженеру одной только IDE будет мало, так как часть его работы как минимум завязана на Linux серверах. Поэтому важно не просто знать, как использовать готовые решения, но и понимать, как они функционируют на уровне инфраструктуры.
Чтобы получить это понимание, нужно уметь разворачивать и настраивать серверы самостоятельно. В этом поможет работа с домашним сервером. Она позволит глубже погрузиться в процессы, увидеть, как все устроено изнутри, и набраться практического опыта для решения реальных задач. На мой взгляд, такой подход гораздо эффективнее, чем просто взаимодействие с облачными сервисами.
У меня есть опыт приобретения и развёртки домашнего сервера, поэтому я решил написать серию статей, в которых расскажу о подготовке и поэтапной установке сервера.
Еще не так давно вышли обновления популярного софта: Ubuntu 24, аппаратного гипервизора Proxmox 8.2 и Kubernetes 1.30. Хочется попробовать их на практике.
В статьях раскрою следующие аспекты:
Выбор железа.
Установка и настройка Proxmox 8.2.x для работы дома. Создание стандартных образов на базе Ubuntu Server (22 и 24).
Создание и парковка домена у одного из хостеров и получение бесплатного Let’s encrypt wildcard SSL-сертификата на купленный домен.
Сборка и настройка собственного NAS хранилища.
Установка сервера Gitlab для обучения CI/CD и хранения написанного кода.
Установка Kubernetes: установим runners для Gitlab и сопутствующий софт.
Полезные ссылки для самостоятельного изучения.
Эта статья — инструкция, которая поможет начинающим администраторам и DevOps инженерам расширить свои знания и получить прикладной опыт работы с данным стеком технологий. В качестве бонуса в дальнейшем у нас останется платформа и наработки для быстрого запуска личных проектов и полезного софта (например, умный дом, медиасервер и т.д.)
Выбираем железо
Сразу небольшое отступление: если хотите сделать кластер с гипервизорами Proxmox (два и больше сервера работают вместе), то лучше всего приобретать железо с процессорами одного производителя. Тогда откроется возможность переезда работающих виртуальных машин с одной ноды кластера без остановки самой виртуальной машины.
Итак, для подобных экспериментов нам понадобится железо, на котором всё это будет крутиться. Конечно, можно обойтись и просто домашним ПК, но тот же Virtualbox/Workstation Pro не предназначены для работы 24/7. Для домашнего гипервизора я выбрал Proxmox, так как у него хорошая совместимость с доступным для нас железом. Но предлагаю рассмотреть и другие варианты.
Одноплатные ПК по типу Raspberry pi: сама малинка и её клоны – Orange PI, Banana PI, Potato Pi и т.д. Нам, к сожалению, не подходит, так как зачастую одноплатники используют в качестве диска microSD карточки, менее надежные и медленные, чем HDD/SSD диски.
Мини-ПК китайских брендов: Beelink, Geekom, Minisforum и других. Рынок заполнен экземплярами с ценником от десяти тысяч рублей и до бесконечности. Чаще всего встречаются мини-ПК на процессорах AMD Ryzen от 3000 серии и выше, а также бюджетные варианты с Intel n100. К плюсам подобных машин я бы отнес компактность, доступность, цену и минимальный шум. К минусам — скудный апгрейд, частое отсутствие разъёмов pci-e и посредственную китайскую сборку из б/у или восстановленных комплектующих.
Б/У сервер с Авито. Хорошая опция для энтузиастов, но найти достойный экземпляр с нормальным ценником сложно. Плюс, если вы живёте в квартире, постоянно шумящий сервер будет раздражать, а электричества «накрутит» больше, чем другие варианты.
Конструктор Лего. Варианты типа старенького ПК/ноутбука или сборка сервера из китайских комплектующих на базе сокетов 2011 и 2011-v3. Ещё не так давно в продажу на площадках стали поступать б/у серверные материнские платы в формфакторах ATX и EATX на тех же сокетах. Производители: Lenovo, Supermicro, Asus и т.д.
Выбор железа опционален и зависит от ваших потребностей и условий. Я выделил варианты, которые мне кажутся оптимальными и привлекательными.
У меня самого сейчас в наличии Lenovo Thinkstation, который и трудится в качестве домашнего сервера. Параметры следующие:
процессор intel core i3 10105t 4c/8t
32Gb оперативной памяти SODIMM DDR4
общий объем дискового пространства в 1,5 TB на nvme и ssd дисках (по факту - что было в наличии)
установленный гипервизор Proxmox 8.2.2
Устанавливаем и настраиваем гипервизор Proxmox
Здесь всё достаточно просто: идём на сайт Proxmox и скачиваем установочный ISO файл. Еще нам понадобится флешка размером от 16 гигабайт. Почему такой большой объём: вместо распространенного Rufus для создания загрузочной флешки, мы задействуем Ventoy. Ventoy позволяет нам не записывать ISO-файлы, как это делает Rufus. Он просто размечает флешку на загрузочный диск, на который можно скопировать ISO файл для его дальнейшего запуска. Таким образом, на одну среднюю флешку может поместиться с пяток полезных ISO образов. Например, у меня реализовано это так:
Я взял внешний корпус для nvme диска и установил туда nvme SSD диск на 256 гигабайт, получив очень шустрый внешний диск. Через разметку Ventoy выделил 50 гигабайт для копирования образов для запуска, остальное пространство — мои личные файлы.
На раздел Ventoy сложил несколько нужных мне образов:
При подключении к железу и при запуске с этого внешнего диска они дают следующий результат:
Остаётся просто выбрать образ, с которого мы будем грузиться и устанавливать нужную нам ОС.
Установить Ventoy очень просто:
загружаем с официального сайта и разархивируем;
вставляем флешку в свободный порт;
запускаем Ventoy2Disk и жмём Install.
в появившийся раздел Ventoy копируем ранее скачанный нами ISO Proxmox.
Затем вставляем эту флешку в наше железо, загружаемся в Boot Menu, загружаемся с флешки в Ventoy и выбираем строку с Proxmox iso. Жмём загрузку с ISO и попадаем в меню установки Proxmox.
Выбираем графическую установку и принимаем лицензионное соглашение (EULA).
Выбираем жёсткий диск для установки Proxmox.
Устанавливаем пароль на root пользователя и вписываем почту.
Далее идёт настройка hostname системы и его статического IP адреса.
На следующей вкладке мы увидим информацию, которую вносили на предыдущих этапах: сверяемся и жмём Install. Установка закончится достаточно быстро, железо перезагрузится, и мы увидим следующий результат:
Дальше идем в браузер. Используя адрес со скриншота (обычно он выглядит как https://ранее_заданный_при_установке_ip:8006/), попадаем в веб-управление Proxmox, попутно соглашаясь на небезопасное https-соединение (в дальнейшем пофиксим через SSL-сертификат):
Вводим root в username и тот пароль, который указывали при установке. Попадаем в панель управления, которая предупреждает, что у нас нет подписки на этот сервер Proxmox. Не волнуйтесь, чуть позже уберём и это сообщение.
Обычно при свежей установке я шёл в консоль, открывая попутно вот эту страницу, и менял платные репозитории на бесплатные, чтобы в дальнейшем получать обновления софта. Но недавно энтузиасты начали распространять в сети сайт Proxmox VE Helper-Scripts, на котором выложены готовые скрипты для настройки свежего Proxmox.
Итак, на этом этапе нас интересует Post Install Script
Заходим и копируем его:
bash -c "$(wget -qLO - https://github.com/tteck/Proxmox/raw/main/misc/post-pve-install.sh)"В Proxmox открываем вверху Shell, вставляем скопированную строчку и запускаем:
Скрипт спросит про отключение платного репозитория, включение бесплатного, включение тестового репозитория (я выбрал — нет), про отключение плашки о том, что вы используете софт без подписки, про включение/отключение высокой доступности (я выбрал оставить). И напомнит, что нужно поддерживать команду разработки Proxmox ?
В конце запустит обновление и перезагрузку системы.
После перезагрузки мы получаем работающий гипервизор для домашнего использования с бесплатными репозиториями для дальнейших обновлений и без раздражающей плашки о подписке. Дальше я обычно использую самописный скрипт, который на выбор качает облачный образ Ubuntu (22.04 или 24.04), и создаёт готовый шаблон CloudInit на базе этих образов. Это нужно для быстрого создания серверов на Ubuntu через клонирование шаблонов. Содержимое скрипта ниже.
#!/bin/bash
# Указываем директорию
DIRECTORY="/root"
# Меню выбора версии Ubuntu
OPTION=$(whiptail --title "Меню выбора версии Ubuntu" --menu "Выберите версию Ubuntu" 15 60 2 \
"1" "Ubuntu 22.04" \
"2" "Ubuntu 24.04" 3>&1 1>&2 2>&3)
case $OPTION in
1)
ISO_FILE="jammy-server-cloudimg-amd64.img"
URL="https://cloud-images.ubuntu.com/jammy/current/jammy-server-cloudimg-amd64.img"
TEMPLATE_ID=2204
TEMPLATE_NAME="Ubuntu-22.04"
;;
2)
ISO_FILE="noble-server-cloudimg-amd64.img"
URL="https://cloud-images.ubuntu.com/noble/current/noble-server-cloudimg-amd64.img"
TEMPLATE_ID=2404
TEMPLATE_NAME="Ubuntu-24.04"
;;
*)
echo "Неверный вариант"
exit 1
;;
esac
# Проверка существования шаблона с ID TEMPLATE_ID
if qm list | grep -qw "$TEMPLATE_ID"; then
echo "Шаблон с ID $TEMPLATE_ID уже существует. Пропускаем создание шаблона."
exit 0
fi
# Проверяем, существует ли файл в директории
if [ -f "$DIRECTORY/$ISO_FILE" ]; then
echo "Файл $ISO_FILE уже существует в $DIRECTORY. Пропускаем загрузку."
else
echo "Файл $ISO_FILE не найден в $DIRECTORY. Начинаем загрузку..."
wget -O "$DIRECTORY/$ISO_FILE" "$URL"
if [ $? -eq 0 ]; then
echo "Файл успешно загружен."
else
echo "Ошибка при загрузке файла."
exit 1
fi
fi
# Создание и настройка виртуальной машины
qm create $TEMPLATE_ID --memory 4096 --cores 2 --net0 virtio,bridge=vmbr0 --scsihw virtio-scsi-pci --name $TEMPLATE_NAME
qm set $TEMPLATE_ID --scsi0 local-lvm:0,import-from=$DIRECTORY/$ISO_FILE
qm set $TEMPLATE_ID --ide2 local-lvm:cloudinit
qm set $TEMPLATE_ID --boot order=scsi0
qm set $TEMPLATE_ID --serial0 socket --vga serial0
qm resize $TEMPLATE_ID scsi0 +30G
qm template $TEMPLATE_ID
echo "Шаблон с ID $TEMPLATE_ID и именем $TEMPLATE_NAME успешно создан."
Базовая установка и настройка Proxmox закончена. Далее продолжим ставить сопутствующий софт.
Установка NginxProxyManager и получение Wildcard SSL-сертификата от Let’s Encrypt для использования с приложениями в домашней сети
Сразу предупрежу, что для реализации этой части нужен внешний домен. У меня, например, есть домен k3s.host.
Как видно из названия, это прокси-сервер на Nginx. До знакомства с Proxmox VE Helper-Scripts я обычно создавал LXC контейнер в Proxmox, а в сам контейнер уже ставил docker-compose и, следуя инструкции, создавал прокси-сервер.
Теперь всё намного проще. Нужно скопировать и вставить скрипт в shell Proxmox отсюда.
bash -c "$(wget -qLO - https://github.com/tteck/Proxmox/raw/main/ct/nginxproxymanager.sh)"Скрипт проведёт по меню создания LXC контейнера, спрашивая будущий ID, IP адрес, ресурсы и прочее, и установит ProxyManager в сам контейнер. Ссылка для входа на прокси будет такого типа: http://192.168.0.18:81 (у вас будет другая, но 81 порт на конце останется. Зависит от того, какой адрес задали во время работы скрипта.)
Email: admin@example.com
Password: changeme
После ввода логина и пароля последний нам предложат поменять. Меняем и попадаем в меню управления прокси-сервера.
Дальше нас интересует секция с SSL сертификатами.
На скриншоте видно, что я использую свой лично приобретённый домен в связке с DNS CloudFlare. Но в статье я опишу бесплатный вариант с DuckDNS.
Идём на duckdns.org и логинимся любым удобным способом. Попадаем в панель управления DNS.
В пункте domains придумываем домен. Для тестов я успел взять домен k8s-lab.duckdns.org
В настройке домена в секции current ip задаём IP-адрес сервера nginxproxymanager. У меня это 192.168.0.18. У вас — тот, что вы указали при установке скриптом. Обязательно запишите токен, он пригодится.
Возвращаемся в открытую вкладку с nginxproxymanager и начинаем создавать наш SSL-сертификат. Жмём add SSL-certificate, выбираем Let’s Encrypt и заполняем поля в таком виде:
Вписываем ваш свежий домен, email, в DNS провайдерах выбираем DuckDNS и вписываем токен со страницы управления DuckDNS. Нажимаем сохранить и ждём создания вашего сертификата
Возможно, вы можете получить ошибку о том, что certbot ничего не знает про DuckDNS. Для решения этой проблемы нужно зайти в shell самого nginxproxymanager и установить пакет duckdns следующей командой:
pip install -U certbot-dns-duckdnsЧерез некоторое время работы мы получили валидный сертификат на наш домен:
Итак, время проверить работоспособность сертификата. Идём в Hosts и выбираем Proxy Hosts. Нажимаем add proxy host, заполняем данные для Proxmox и сохраняем.
Теперь при посещении https://proxmox.k8s-lab.duckdns.org попадаём в панель управления Proxmox.
Смотрим, как обстоят дела с сертификатом.
С ним все отлично — мы получили SSL‑сертификат, который можно будет использовать для любого сервиса внутри сети через прокси-менеджер.
Итак, в сегодняшней статье мы рассмотрели варианты железа для домашней лаборатории, установили и настроили Proxmox для дальнейшей комфортной работы, познакомились с Proxmox VE Helper-Scripts и развернули прокси-сервер, раздающий сертификаты внутри нашей сети.
Если материал окажется интересным и полезным для сообщества, далее планирую показать установку Gitlab и Kubernetes для изучения CI/CD.
Для подготовки статьи я использовал следующие ресурсы:
И множество других мелких статей и видео, из которых я почерпнул информацию ?
Комментарии (107)
Rezzet
10.07.2024 07:18+4Proxmox мне понравился именно для виртуальных машин. А вот NAS на TrueNas Scale сделал. С виртуалками там убого все, но "приложения" ставить попроще.
Iselston
10.07.2024 07:18+2Поддерживаю. Именно платформу NAS для хранения семейных архивов и презентации пулов хранения организовал на trunas (кроме хранения только пара контейнеров держится там), а "вычислительные" ноды (две nuc-подобных балалайки из Китая) уже на proxmox.
Но правда у меня и цель была - не только построить хранилку дома, но и поиграться с виртуализацией. А то я её уже лет 7 не трогал :)
LukinBoris
10.07.2024 07:18Виртуализация развивается быстрыми темпами, и у вас наверняка будет много интересного опыта и возможностей для экспериментов.
project_delta Автор
10.07.2024 07:18ну в целом статья подготовительная, то есть показать, что можно сделать гипервизор на коленке, а потом уже навесить на него современные сервисы)
breakingtesting
10.07.2024 07:18лучше всего приобретать железо с процессорами одного производителя. Тогда откроется возможность переезда работающих виртуальных машин с одной ноды кластера без остановки самой виртуальной машины
В некоторых случаях также будет работать между AMD и Intel, описано тут https://forum.proxmox.com/threads/live-migration-between-intel-xeon-and-amd-epyc2-linux-guests.68663/
https://forum.proxmox.com/threads/live-migration-cpu-types-and-performance.137946/
project_delta Автор
10.07.2024 07:18ну я предпочитаю сразу какой то унифицированный зоопарк дома) Но за ссылки спасибо, почитаю)
SlavikF
10.07.2024 07:18Интересно, что в статье есть совет по поводу выбора процессоров для кластера, но ничего не говорится по поводу выбора файловой системы.
сделать кластер с гипервизорами Proxmox (два и больше сервера работают вместе)
С двумя серверами сделать кластер не получится. Минимум - 3.
Есть вариант 2 servers + witness, но это всё равно получается 3.
И самое главное: где будут храниться диски для виртуалок в кластере? Если в обычной файловой системе (ext4, zfs), то при потери ноды кластер вам никак не поможет, потому что диск с виртуалкой потерян.
Для работы с кластером есть варианты:
Кластерная файловая система. У Proxmox для этого есть CephFS, но как по мне она показалась довольно сложной в управлении и поддержке. Но вариант рабочий. Опять же - минимум 3 сервера.
Shared file system. То есть NFS на отдельном сервере. Но для домашней лабы в этом смысла нет, потому что при выходе из строя ЕДИНСТВЕННОГО сервера NFS - весь кластер падает, и зачем такой кластер, в котором выход из строя одного компонента ложит весь кластер?
По этой причине, я решил себе для домашней лабы поставить Harvester. Там из коробки:
Кластер
Гипервизор
Kubernetes
кластерная файловая система (Longhorn)
Всё можно завести на двух серверах + witness, включая файловую систему
Конечно у Harvester есть свои недостатки:
ограниченная поддержка прокидывания (pass through): для GPU надо лишние движения делать на хосте, USB pass through обещают в следующей версии
нет возможности создавать администраторские аккаунты (или я ещё не разобрался)
vikarti
10.07.2024 07:18+1
И самое главное: где будут храниться диски для виртуалок в кластере? Если в обычной файловой системе (ext4, zfs), то при потери ноды кластер вам никак не поможет, потому что диск с виртуалкой потерян.Репликация
У меня собственно домашний (мы ж про домашние сетапы говорим?) сетап:
2 ноды (там еще и количество ядер/памяти раза в 4 различается) + witness (сейчас witness живет на Proxmox Backup Server, раньше на Synology)
большиноство виртуалок/контейнеров - имеют включенную ZFS replication каждые 15 минут + HA.
Узел вырубается аварийно - все чему разрешено - взлетает на оставшемся (некоторые виртуалки нельзя потому что привязки к железу вроде GPU/ключей или просто ресурсов надо МНОГО, или потому что лучше уж пусть лежит чем со старыми данными само взлетает). Ну да - потеря данных за 15 минут, терпимо почти для всего, лучше уже так чем сдохнет вообще все. Для тех виртуалок где 15 минут разницы в данных может быть критично - автоматический запуск отключен а вот репликация все равно включена(если что - потом руками уже решать - реплику использовать или с бекапа поднимать)
nikweter
10.07.2024 07:18+1Как пользователь похожей конфигурации (2 xeon и 1 Epyc3) скажу что не все так радужно.
Да, флагами cpu можно добиться стабильного переезда, но вот стабильная работа после этого получается не всегда. Причем стабильность зависит еще и от вложенной ОС. Например, Ubuntu 18.04 почти всегда ловит Kernel Panic в течение 5-10-30 минут после переезда. Ubuntu 20.04 - не всегда. А 22.04 - крайне редко. Windows и Centos - тоже редко.
В любом случае, даже через пару недель после переезда ВМ можно обнаружить ее в панике (или намертво зависшей). Так что крайне рекомендую однородную процессорную среду в кластере. 10 лет жил на Xeon и горя не знал. Увы, Epyc в плане производительности на ядро клали синих на обе лопатки последние несколько лет.
morokk
10.07.2024 07:18Я недавно ставил proxmox, 8.1.4, и с ventoy он у меня не заработал, так что я раскатал его прямо на флешку. Может ventoy у меня какой-то старый был.
project_delta Автор
10.07.2024 07:18+1да, там какая то проблема была в связке Proxmox 8.1 и Ventoy где то в феврале. Я тогда ставил версию 8.0 через Ventoy и обновлялся уже до 8.1
Fox_exe
10.07.2024 07:18+3Не понял, зачем вообще упоминули RaspberryPI, причём в минус записали Micro-SD под систему?
Proxmox на ARM, на сколько я помню, не существует и планов его портирования небыло (в начале года точно). И это основная причина, почему его досихпор нет на Raspberry и подобных.
RaspberyPI и подобные давно обзавелись полноценным NVME портом. Есть и девайсы с SATA. Есть ещё USB3.0 для внешних дисков. Вариантов организации миниатюрного NAS'а с мизерным энергопотреблением - сотни.
А MicroSD под систему вполне хватает. Особенно если логи и прочие постоянные записи вынести в рамдиск. (Сами виртуалки хранить на внешних накопителях).
Fox_exe
10.07.2024 07:18+7Ещё в статье нет ни слова про разметку диска (LVM/ZFS/Raid), хотя тема тоже очень важная.
Особенно интересно всё становится, когда выясняется, что диски в виртуалках заметно тормозят даже в режиме VirtIO. Приходится разбираться в форматах хранения (Qcow2 / Raw) и устройстве самого хранилища (lvm / zfs / btrfs / ext4). Плюс ещё кеши настраивать (writeback/pass-throught).Вот про это всё было бы заметно интереснее читать, чем про очердное "скачал-установил-запустил" без подробностей, но с малокому нужными костылями (nginxproxy вместо static-ip/no-ip client, Ventoy вместо DD или Rufus).
LuchS-lynx
10.07.2024 07:18Да вроде там нормальная скорость для raw на LVM, у самого так на стоковых настройках крутятся виртуалки, если скорости принципиальны, то всегда можно пробросить диск физически или даже контроллер (с кучей оговорок, например PCI-e Raid-контроллер). Но у меня обычное игровое железо и одновременно крутится не более 3х виртуалок. В принципе даже современные игры на прокинутом HDD работают в FHD разрешении нормально, т.е. зависимость fps составляет больше от ВК, чем от диска. ИМХО.
RKupkenov
10.07.2024 07:18Было бы интересно почитать про проброс дисков... Как раз собирается неторопясь сервак на x99 qd4 + 2690v4 м думаю TrueNAS ставить как виртуалку или проще отдельным юнитом...
project_delta Автор
10.07.2024 07:18Ну я буду делать железный NAS и потом в одной и статей выйдет заметка, как подружить его с проксмоксом. Сначала нужны эксперименты и чтение документации)
LuchS-lynx
10.07.2024 07:18Я пробрасываю диски как через virtio, где, собственно есть потери, но они, при внешне больших цифрах, внезапно, мало сказываются в целом на производительности, т.к. оставшихся цифр достаточно для задач - например игры, видеомонтаж, копирование данных и т.п. Либо проброс через проброс контроллера как PCI-e оборудования, тогда потери стремятся к нулю.
Как пример я тестировал ноутбук и виртуалку для игр, при игре на том же ноуте, получилось что в виртуалке fps даже чуточку выше.
https://habr.com/ru/articles/743756/
Johan_Palych
10.07.2024 07:18+1Есть порт. На хабре писали про установку на OrangePi 5 и Nanopc-T6
https://github.com/jiangcuo/Proxmox-Port/wiki/Install-Proxmox-VE-on-Debian-bookworm
kirnil
10.07.2024 07:18+1Давно поигрался с Ventoy поимел неожиданности и взял себе IODD ST400, теперь наслаждаюсь функциональностью и универсальностью
project_delta Автор
10.07.2024 07:18Спасибо за подсказку)
в целом, я тут кручу в основном домашние железки, поэтому сильно навороченное тоже не нужно,
а так, у меня корпус для nvme дисков от Ugreen и диск на 250 гигов. Вполне хватает для моих нужд)
RKupkenov
10.07.2024 07:18Была бы альтернатива еще у IODD под размер nvme :(
The_KOPACb
10.07.2024 07:18Есть же переходники nvme-sata, которые фитятся в 2.5 отсек (:
Я понял о чём вы, но думаю там по железу / коду очень много писать для поддержки pci-e ссдшников.
RKupkenov
10.07.2024 07:18Да не в переходнике дело :) Хотелось бы компактное устройство размером с обычный корпус для NVME и с USB-C, а не микро 3.0.
petro_64
10.07.2024 07:18+5Люто плюсую, сам уже очень давно использую Proxmox в домашней инфра, в системах умных домов, друзьям и т.п. Штука великолепная, удобная и linux-native, работать с ним одно удовольствие.
Недавно только столкнулся с конфликтом своей системы конфигурации на удалённой ноде - если накосячить с
/etc/hosts, то отваливается и веб панелька, и sshauthorized_keys:-) У меня доступ обычно только по ключам, и пришлось мудохаться вприсядку, что бы вернуть доступ к ноде, к которой у меня нет физического доступа.project_delta Автор
10.07.2024 07:18Хорошая статья, закинул в ссылки себе. Вдруг что то подобное будет.
Кстати, не хотите на Хабре её перепостить? Обычно народ гуглит проблемы и ссылка на Хабр часто в топе...
rm-rf-all
10.07.2024 07:18Вопрос можно по k8s. Сейчас изучаю его и интересует вопрос с self-hosted кластером. Использую minikube. Но не могу найти информацию, как обойти момент того, что бы иметь доступность до подов с внешки без запуска minikube tunnel. Может подскажите что и как?
project_delta Автор
10.07.2024 07:18ответил ниже
кстати говоря, minikube интересней заменить microK8S от ubuntu. Он там сразу после установки предлагает поставить нужные дополнения. Но это уже такое, личная рекомендация)
alhimik45
10.07.2024 07:18+1microk8s жирный, сама ubuntu тоже большая с кучей фигни, даже серверная версия. На ноутбуке ощутимо разгоняет вентилятор если запускать в виртуалке для разработки.
Мне больше зашёл k3s в alpine, жрёт куда меньше ресурсов.
rm-rf-all
10.07.2024 07:18Вопрос можно по k8s. Сейчас изучаю его и интересует вопрос с self-hosted кластером. Использую minikube. Но не могу найти информацию, как обойти момент того, что бы иметь доступность до подов с внешки без запуска minikube tunnel. Может подскажите что и как?
project_delta Автор
10.07.2024 07:18+1А metalLB стоит на кластере?
я использую версию с Ingress и metallb
для ингресса беру бесплатный nginx ингресс, который есть на сайте кубера (но почему то ссылку не смог найти)
в общем, ставим ингресс контроллер и балансировщик metallb. Настраиваем
Пишем под ваш микросервис файл ингресса с выбросом портов наружу
Вам нужен metallb и ingress controller, чтобы выкинуть поду в наружу)
кстати говоря, nginxproxymanager потом пригодится в дальнейшем, чтобы раздавать ssl сертификаты на сервисы из кубера
alhimik45
10.07.2024 07:18интересует вопрос с self-hosted кластером.
Minikube для продакшен? Вообще авторы minikube не рекомендуют его использовать для чего-то кроме development. И он запускает k8s либо в виртуалке либо в docker/podman, а значит для открытия доступа к нему нужно ещё манипуляции с сетью на этом уровне проделывать
rm-rf-all
10.07.2024 07:18А что есть для прода? Я только пока minikube для изучения использую. Рад был бы услышать рекомендации.
project_delta Автор
10.07.2024 07:18+1Если быстрая установка курьера для изучения - то есть k3s (там скрипт соберёт тебе кластер из пары виртуалок за пару минут, а инструкция к нему всего в пару строк) или microk8s на убунту ( который стартует в пару команд)
rm-rf-all
10.07.2024 07:18А что есть для прода? Я только пока minikube для изучения использую. Рад был бы услышать рекомендации.
jingvar
10.07.2024 07:18Кровь из глаз, люди кони, все в перемешку.
Статью можно на цитаты разбирать.
Из уважения к автору, публично обсуждать статью не буду.
entze
10.07.2024 07:18+2можно отдельную статью без кровавых коней? И уважение автора не пострадает и людям польза.
Про выбор параметров и FS для хранения тоже интересно.jingvar
10.07.2024 07:18+2Можно, но нужно сделать самое сложное - поставить задачу. После формирования условий задачи, посмотреть доступные технологии и оценить их в рамках условий, прикинуть куда можно и нужно расти. И только потом писать гайд. Если в контексте данной статьи - нужена была домашняя виртуализация? В пределах одного сервера? Нужна ли была отказоустойчивость для сервисов на виртуалках? А сервисы сами в ha не умеют? А нужен ли перфоманс на вм - типа CPU pinning numa nodes? Нужна ли миграция вм между серверами и тд
Если просто виртуалки запускать, то берем любой Linux, qemu/kvm libvirt vitualmanager и все. Обвязок вокруг этого набора великое множество. Если нужно кубы запускать в виртуалках то тоже есть решения. Но не надо путать iaas и paas.
Athermoned
10.07.2024 07:18+1По поводу выбора сервера. Тоже владею сервером дома, который взял на авито. Если не принципиально наличие IPMI и прочих плюшек серверного железа, рекомендую рассмотреть б/у рабочие станции. Они будут дешевле серверов, их больше на рынке и их можно проапгрейдить. У самого Lenovo Thinkstation C30, брал с 32гб ОЗУ и без жесткого диска за 50к. 128гб ОЗУ DDR3 обошлось 8к на авито, Новый серверный SSD на 500гб от kingstone - 8k
project_delta Автор
10.07.2024 07:18о, спасибо за наводку, надо будет попробовать. В них же, получается, стоит сокет 2011? Если это так, то туда можно поставить любой процессор xeon линеек e5 v1 и v2
Athermoned
10.07.2024 07:18+1Можно, но лично мне, такой апгрейд - избыточный. У меня стоит 2х Intel Xeon E5-2620v2, что в итоге дает 24 ядра. Думал, что хватит не на долго и тоже со временем поставлю более мощные процессоры, но в итоге имею LA 0.80 0.60 0.64. Если хотите еще поиграться с сетью, то тут рекомендую у китайцев взять мини ПК с 4 LAN портами и селероном на борту. Туда устанавливаете pfSense/OpnSense и сеть для домашней лаборатории готова. Лично я, использую Findarling AN2 J4125 с OpnSense. (Можно было до недавнего времени найти на озоне, сейчас только на али экспрессе)
project_delta Автор
10.07.2024 07:18ну я приобрёл сейчас на процессоре intel n100 плату с 4 портами по 2.5 гигабита/с. Жду посылку, буду пробовать новое железо для себя) Плюс она пойдёт на домашний NAS потом
project_delta Автор
10.07.2024 07:18Посмотрел варианты на авито - реально есть от 30к. По факту в бюджет до 60 тысяч можно собрать монстра на 2х топовых процессорах xeon 2697v2 и тонной оперативки. Единственный минус, который я вижу - это потребление такой сборки...
Athermoned
10.07.2024 07:18У меня после появления сервера коммуналка по электричеству выросла на 2к рублей. Ну и он работает 24/7.
project_delta Автор
10.07.2024 07:18+1вот поэтому я всё ещё смотрю на мини пк и платы с процессором n100 )
у меня миник есть около 50 ватт в нагрузке, плата с n100 около 20 будет кушать)Вообще облизываюсь на minisforum ms-01, но он сейчас взлетел в цене и часто на маркетплейсах отсутствует(
VenbergV
10.07.2024 07:18Возможно что я что-то пропустил, но чем не подходит Intel NUC10? Там может быть i7-10710U.
tachyon-tomsk
10.07.2024 07:18Продал такого монстра, подходит только частный дом отапливать (хорошо хоть на monero в манинг бум окупил себя).
На i5-12400 (на который поменял) все виртуалки работают шустрее, причем очень заметно как шустрее.
Kil1J0y
10.07.2024 07:18Вот кстати, не знал про duckdns что там есть управление acme, у меня домен на reg ru и там соответственно через api, и через api реализовал ddns, иногда меняется ip а зона ещё не обновилась, радует простой не большой, в целом не сложно, единственное на роутер не влез node, пришлось на rpi делатать это. Только серверов в локалке у меня два, полноценная машина на Windows server с 64гб озу, r5 5600х и машинка по проще на атлоне 2000g там уже proxmox и lxc, зачем windows server спросите, для rdgw и фермы соответственно, из вне это либо подключится открыть 443 порт и через web, или vpn или ssh проброс. Vpn простой без излишков просто wg на rpi, через rpi я так же включаю сервера через wol.
В качестве резерва ovpn с сертификатами и ключом на токене. В качестве СА использую XCA
Dominux
10.07.2024 07:18+1Почему выбрали именно Proxmox для домашнего сервера, а не нативный LXC, например, раз все равно ставите на Линукс? И почему не контейнеризация вместо тяжеловесной виртуализации?
Kameleon3107
10.07.2024 07:18По железу есть еще вариант собрать на базе mini-ITX из десктопных комплектующих. Без заморочек все покупается и собирается, энергопотребление близко к ноутбучному. У меня 4-х ядерный Intel Atom, 8гб ОЗУ, 4 порта SATA. Что еще надо для домашнего сервера?
isden
10.07.2024 07:18+1Я такое и собрал. Рязань 7 5800X, ECC оперативы добил до предела материнки, 4 SSD (и еще один порт SATA свободен). Потребление в среднем 30-60 ватт, в пике чуть больше сотни.
project_delta Автор
10.07.2024 07:18ну у вас прям совсем жир получился)
там на нём и NAS можно хостить на таком и виртуалки запускать с докером (современные nas операционки чуть ли не в кубер умеют из коробки)
AiratHalitov
10.07.2024 07:18+2Думаю да, однозначно нужно продолжение. Сервер у меня есть (и не один), планирую пройти на днях по вашему гайду и поставить Proxmox.
Про Ventoy не знал, спасибо! Иначе использовать 64 гиговые флешки под Rufus под один образ системы было как-то расточительно))
project_delta Автор
10.07.2024 07:18+1Ну на флешку в 64 гига поместится в среднем 10-15 образов, если туда поставить Ventoy. Тут сам смысл в удобстве, так как тот же rufus тратит время на то, чтобы нарезать образ на флешку, а на Ventoy нужно всего лишь скопировать его в специальный раздел на флешке
Isiirk
10.07.2024 07:18+1Самый бестолковый гипервизор, что я видел, почему его так любят доморощенные админы, не понимаю, без обид
project_delta Автор
10.07.2024 07:18Тут наверное главный вопрос кроется в том, что если ставить esxi, то свежие версии это танец с бубном, чтобы пропатчить образ на не поддерживаемые сетевухи. Мне пару раз приходилось проходить этот квест и как бы это удовольствие такое себе. Хотя ключи на него и гуглятся. Поэтому proxmox удобнее, так как ставится на всем, что можно (по крайней мере, я ставил на кучу разного железа и он заводился без вопросов)
Isiirk
10.07.2024 07:18Так он дубовый, производительность ниже плинтуса, заводится да, но как учебное пособие ... Было дело увидел его в продакшене да еще под 1с... Чуть не лег
bit8
10.07.2024 07:18+2Возможно криво настроен или я хз. У меня в пару офисов крутится 1с, win ser и еще пару ubunt для задач. Справляется с задачами. Проблем не было.
Главное для меня было возможность сборки кластеров и бэкапы, все это есть и работает хорошоIsiirk
10.07.2024 07:18Два раза уже видел таких админов, которые потом на vds уходят, и услуги нам продают, карму уже не жалко. Людей жалко, кто на этом потом работает
Dante4
10.07.2024 07:18то свежие версии это танец с бубном, чтобы пропатчить образ на не поддерживаемые сетевухи
Потому что не надо втыкать дерьмо реалтек?
project_delta Автор
10.07.2024 07:18а если это встроенная сетевуха на китайском миниПК? И тут абсолютный рандом, что туда вкрутит дядюшка Сяю...
Dante4
10.07.2024 07:18А зачем Вам китайский миниПК без спецификаций под виртуализацию? Вы хотите много секса с внезапными kernel panic?
Есть вполе себе Lenovo SFF с доступными и понятными спецификациями
И целый набор Intel NUC от разных вендоров
project_delta Автор
10.07.2024 07:18Если вы внимательно прочли статью, то я писал, что к меня lenovo.
Dante4
10.07.2024 07:18Так Вы сами привели в пример китайский no-name. Если Вы купили себе Lenovo с Realtek, а потом говорите, что ESXi не подходит по причине купленного железа с дерьмо NIC...
Ну, тут мне нечего добавить, правда
nikweter
10.07.2024 07:18+1А что вы предлагаете на замену?
Dante4
10.07.2024 07:18На замену proxmox в домашних условиях? ESXi, Hyper-V. Ничего лучше этого не изобрели. И практических знаний будет больше, чем от Proxmox.
На замену proxmox в домашних условиях с соблюдением легальных подоплёк? ESXi Free (ключ найти не сложно, доказательств что он не твой нет), Hyper-V Free 2019 (всё ещё доступен для скачивания официально)
На замена proxmox в коммерческих условиях с точки зрения легальности? Уже вопрос интереснее. Зависит от количества хостов, где они расположены, какая на них нагрузка, есть ли аудиторские проверки легальности ПО (но чё-то я не припоминаю, чтобы у VMware \ Microsoft остались в РФ представительства, которые могли бы проводить подобную проверку). Но даже так, Hyper-V при наличии хоть ОДНОЙ легальной купленной лицензии Microsoft.
P.S. Знаю я людей которые proxmox в проде держат. Уважаю их стальные яйца. Правда у них все сервисы на проксе имеют HA на уровне приложений.
VenbergV
10.07.2024 07:18ESXi всегда имел страшную вещь - HCL. Из него легко вылетает даже серверное оборудование средней свежести от именитых брендов. И у HP DL360 Gen9 10GB сеть превращается в тыкву, после очередного обновления ESXi 7.x
Hyper-V для исключительно Linux VM и контейнеров - сродни принуждению разработчика для k8s к работе в WSL.
При поступлении заявления в полицию от "бдительных" граждан о нелицензионном ПО, проверка произойдет и без представителей. Не появится гражданско-правовая ответственность. А административная и уголовная будут в полный рост.Dante4
10.07.2024 07:18ESXi всегда имел страшную вещь - HCL
Это называется не *страшная вещь*, а *не использовать оборудование дедов в проде*.
И у HP DL360 Gen9 10GB сеть превращается в тыкву, после очередного обновления ESXi 7.x
Наверно потому что надо использовать оборудование, которое не является раритетом непонятно зачем созданным? Есть Mellanox. Который спокойно поддерживается в 6.7, 7.0 и 8.0. Есть Intel, который поддерживается с 5.5 до 8.0. Даже Broadcom если совсем тяжело.
Вы ещё скажите, что использовать Adaptec 10 летней давности это ОК.
При поступлении заявления в полицию от "бдительных" граждан о нелицензионном ПО, проверка произойдет и без представителей. Не появится гражданско-правовая ответственность. А административная и уголовная будут в полный рост.
Hyper-V Free бесплатен для использования. А если у Вас есть Windows Server, но нет лицензии на него, то гипервизор вообще не важен. Вы бы сперва мат часть изучили, а потом уже говорили про ответственность
isden
10.07.2024 07:18Это не гипервизор. Гипервизором там штатный KVM. Плюс штатные контейнеры LXC.
А сабж - просто графическая оболочка с наворотами ко всему этому.
InikonI
10.07.2024 07:18Для дома (подчеркиваю дома) альтернатив почти что и нет.
Он запускается и работает на сетапах куда другие "настоящие" гипервизоры и не встанут.
Альтернативы отойдут или по отсутствию поддержки оборудования, или по минимальным системным требованиям.
Например выше есть еще предложение использовать Harvester.
Так вот у него системные требования это минимум 8 ядер и 32ГБ (это только на тестирование), а для использования 16 ядер и 64Гб.
У меня на основной сервер бы установилось, но вспомогательный даже в минимум не укладывается.
Я использую два сервера proxmox объединенных в "кластер".
Один сервер основной, много ядер много оперативной памяти.
Второй вспомогательный используется как доп. место для бекапа и служит временным на время обслуживания основного.
На него я переношу ВМ с роутером, контейнеры LXC с DNS, LDAP, сервер мессенджера и пр. (Причем виртуалка с роутером мигрирует на живую, без перезагрузок)
Даже поддержка zfs для меня является плюсом в пользу proxmox.
Пусть ее критикуют за низкую производительность (это действительно так), но альтернатив для дома тоже не так много.
На Linux zfs я использовал еще с самых первых версий (сейчас тех версий даже в оф. репозитории не найти).
У меня и основной ПК в то время был на Linux и даже грузился с zfs, proxmox в то время конечно же еще не было.
Так же поддержка контейнеров это тоже хорошее подспорье для дома.
Я как и многие использую и docker в LXC. Использую как штатные образы так и создаю свои образы и для docker, и для LXC.VenbergV
10.07.2024 07:18+2Второй год живет Proxmox кластер из трех NUC10 с glusterfs. VM маршрутизатора и пара служебных VM не останавливаются при сервисном обслуживании.
Dante4
10.07.2024 07:18И в чём проблема использования Hyper-V в этой конструкции?
С ESXi я ещё понять могу, у Вас может быть какой-нибудь игровой *ультра быстрый* Realtek, но с hyper-v у Вас какие сложности?
InikonI
10.07.2024 07:18И в чём проблема использования Hyper-V в этой конструкции?
Сложно сказать, я не имею большого опыта с Hyper-V.
Может и нет у него проблем с таким использованием.
Но у него так же нет и поддержки контейнеров.Я довольно долго использовал Linux и как десктопную ОС и как сервер.
Использовал и там и там debian (на десктопе тестовую ветку).
Когда вышла версия ZFS on Linux я стал использовать эту ФС как основную.
Фактически совпало по времени, я тогда был в поисках ФС для хранения данных.
Рассматривал и ReFS даже попробовал поставить себе для тестов, увидел одну проблему что ReFS скрывала папки начинающиеся со знака подчеркивания (может опция какая была включена).
Стал использовать zfs и использую до сих пор.
Изначально на сервере не было никакой виртуализации все запускалось в основной ОС.
После добавился докер.
При замене сервера опять был выбор остаться на голой ОС и контейнерах, или переход на виртуализацию.
Рассматривал несколько вариантов, в тестовом режиме пробовал все.
Варианты были ESXi Free, Hyper-V, Citrix и proxmox.
У Citrix была интересная концепция для десктопа, когда в одну из ВМ штатно подбрасывался GPU и можно было подключив монитор и периферию использовать как раб. место (я даже пробовал триальную версию - работало хорошо, можно было быстро переключаться на вторую ОС). Но Citrix отпал по финансам, бесплатных версий на тот момент или совсем не было, или я не нашел.
ESXi отпал так он в то время был в процессе перехода управления с выделенного клиента в веб интерфейс.
Веб интерфейс был куцый (даже сейчас там только самый минимум, нужно больше ставь vCenter или что то подобное).
Hyper-V был интересен, на Hyper-V Server при желании даже можно было интерфейс для управления ВМ поставить.
Но для удаленного управления им нужен виндовс, не то что бы проблема, но на тот момент у меня на десктопе был linux, Виндовс запускался с проброшенным GPU и можно было бы управлять с него, но proxmox по удобству все равно оказывался выше.
Дальше просто перенос текущей системы даже не в ВМ, а в контейнер LXC и постепенное развитие.
У кого то кто начинал изначально с виндовс вполне мог быть свой путь в котором Hyper-V оказывался более удобным.
tachyon-tomsk
10.07.2024 07:18Слышу про proxmox из каждого утюга. Подскажите какие преимущества он дает по сравнению qemu с virt-manager? По обзорам смотрел, наоборот ограничения увидел, на любую ось не поставишь (у меня на маке с m1 например, ubuntu, cent os, raspberry). Еще и стоит немало.
vikarti
10.07.2024 07:18+1Стоит он бесплатно если поддержку не покупать.
Из преимуществ - работает везде. Есть нормальные интегрированные средства бекапа включая инкрементальный.
tachyon-tomsk
10.07.2024 07:18По документации везде вижу что он требует установку целиком дистрибутива.
Не нашел возможности скачать и собрать из исходников или скомпилированных бинарников, поэтому как минимум на мак или на имеющуюся ОС не поставить (qemu даже на windows удавалось запустить в WSL, только не помню с kvm или нет, но ядро патченное под это есть).
По бэкапам голый kvm конечно неудобен, и готовых решений я не находил, только скриптом, если целиком образ включенной vm надо скопировать.
Использую мгновенные снэпшоты на уровне фс и бэкапы на уровне гостевой ос.
Также в virt-manager есть бесячий момент, vm можно без остановки мигрировать с хоста на хост, но вот если хост упал, то я не могу быстро поднять на другом, т.к. настройки он целиком переносит при миграции, а не оставляет на каждом хосте (опять же делаю скриптом из бэкапа).
В такой ситуации proxmox позволит ли поднять на другом хосте упавшие виртуалки (HA не требуется)?
И пробовали ли к proxmox подключать virt-manager? По идее же должен работать, возможно только изменения proxmox не подтянент, если на своих шаблонах работает а не на конфигах qemuisden
10.07.2024 07:18По документации везде вижу что он требует установку целиком дистрибутива.
Ну вот, например:
https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_12_Bookworm
tachyon-tomsk
10.07.2024 07:18Принял, спасибо
Можно попробовать, только он ядро на свое заменяет, gpu passthrough интересно не сломается ли.
project_delta Автор
10.07.2024 07:18а я в статье описал, как можно включить бесплатную версию и убрать плашку о том, чтобы вы купили платную поддержку. В итоге всё работает вполне штатно и можно получать обновления по сети.
Pest85
Я бы еще добавил что ProxMox это не только hypervisor но и полноценный Debian.
Со всеми вытекающими плюшками.
LuchS-lynx
Который работает с ядром от Ubuntu, если ставить с образа c сайта Proxmox, а не накатывать поверх развернутого Debian, не смотря на пакетную базу бывалые люди поговаривают что все же ядра Ubuntu, случается, хуже работает с той же сетью (т.е. некоторыми сетевыми картами) по сравнению с Debian
https://pve.proxmox.com/wiki/Proxmox_VE_Kernel
isden
Если накатывать поверх дебиана, то он тоже тащит свое ядро proxmox-kernel-*.
SlavikF
Насчёт "полноценный" - тут ещё надо разобраться:
Например, Docker поставить на такой "Debian-Proxmox" можно, но работать он будет криво, потому что Docker настраивает firewall под себя, и при этом сеть слетает у виртуалок. Вот здесь можно посмотреть детали:
https://forum.proxmox.com/threads/running-docker-on-the-proxmox-host-not-in-vm-ct.147580/
Да, можно (и рекомендуется) Docker поставить в виртуалку, но получается несколько слоёв: Server -> VM -> Docker -> программа. Как-то ненадёжно.
В LXC ставить Docker тоже не рекомендуют, уже не помню почему.
czz
Я пробовал, и насколько я помню, при этом overlayfs не работал, нужно было использовать overlayfs через fuse, и это было медленно.
eps
Там что-то про вложенные cgroups и user id mapping через них. В неожиданные моменты в неожиданных местах появляются неожиданные ошибки вроде «can't create file: permission denied».
Я после пары таких ошибок (и нескольких часов отладки) разочаровался и переставил Docker на хост
isden
Конкретно в сабже нужно добавить вот такое в конфу контейнера:
isden
Я ставил и в kvm, и в lxc - все прекрасно работает.
InikonI
Тоже много лет использую docker в lxc.
Особых проблем не припомню. Кроме размещения overlayfs2 на zfs dataset.
В старых версиях докера, которые не позволяли размещать на zfs dataset overlayfs2 приходилось выделять zvol и форматировать его в ext4.
Современные докер уже позволяет размещать overlayfs2 на zfs dataset (самае значимая фича для меня была).
Причем у меня даже такая матрешка работает (сильно не пинайте, просто так получилось):
В контейнере lxc запущен docker, в docker gitlab runner с docker dind.
Для сборки образа lxc в CI/CD Gitlab запускается образ докера с lxc и с hashicorp packer.
В этом контейнере packer создает и запускает lxc контейнер, который затем пакуется в образ и далее может быть использован в proxmox.
Pest85
Хм, у меня стоит Docker с Portainer начиная с proxmox6 и до последнего 8.
Никаких проблем не замечал
Pest85
Хм, у меня стоит Docker с Portainer начиная с proxmox6 и до последнего 8.
Никаких проблем не замечал
Pas
Мы только в LXC докер и суём с его приколами а-ля "я тут вам сконфигурю всякое, но что и где не скажу". Отлично работает, надо только нестинг включить. И пристрелить легко в случае чего, чтобы не вычищать его следы из того же фаерволла bare metal.