23.04.2020 12:46
bordakovskiy 11 2900 Источник
Всем привет, меня зовут Иван и я алкоголик системный администратор (OPS).

Я бы хотел рассказать как разворачиваю виртуальные машины на ESXi без vCenter с помощью Terraform.

Довольно часто приходится разворачивать/пересоздавать виртуалки, что бы протестировать то или иное приложение. В силу лени я подумал об автоматизации процесса. Мои поиски привели меня к замечательному продукту компании hashicorp, terraform.

Думаю многие знают что такое Terraform, а кто не знает, это приложение для управления любым облаком, инфраструктурой или службой используя концепцию IasC (Инфраструктура как код).

В качестве среды виртуализации я использую ESXi. Довольно простая, удобная и надёжная.
Предвижу вопрос.
Зачем terraform если можно использовать vCenter Server?
Можно конечно, но. Во-первых, это дополнительная лицензия, во-вторых, данный продукт очень ресурсоемкий и просто не поместится на моём домашнем сервере, и в-третьих возможность прокачать скиллы.

В качестве сервера выступает платформа Intel NUC:

CPU: 2 CPUs x Intel(R) Core(TM) i3-4010U CPU @ 1.70GHz
RAM: 8Gb
HDD: 500Gb
ESXi version: ESXi-6.5.0-4564106-standard (VMware, Inc.)

И так, обо всём по порядку.

Пока давайте настроим esxi, а именно откроем VNC порт в настройках файрвола.

По умолчанию, файл защищён от записи. Проводим следующие манипуляции:

chmod 644 /etc/vmware/firewall/service.xml
chmod +t /etc/vmware/firewall/service.xml
vi /etc/vmware/firewall/service.xml

дописываем в конец файла следующий блок:

<service id="1000">
  <id>packer-vnc</id>
  <rule id="0000">
    <direction>inbound</direction>
    <protocol>tcp</protocol>
    <porttype>dst</porttype>
    <port>
      <begin>5900</begin>
      <end>6000</end>
    </port>
  </rule>
  <enabled>true</enabled>
  <required>true</required>
</service>

Выходим, сохраняем. Меняем права обратно и перезагружаем сервис:

chmod 444 /etc/vmware/firewall/service.xml
esxcli network firewall refresh

В данном случае VNC нужен для коннекта к виртуальной машине и указания пути к kickstart файлу.

Актуально до перезагрузки хоста. После же, данную манипуляцию придётся повторить.

Дальше всю работу буду проводить в виртуальной машине на этом же сервере.

Характеристики:

OS: Centos 7 x86_64 minimal
RAM: 1GB
HDD: 20GB
Selinux: disable
firewalld: disable

Далее нам потребуется packer, так же продукт компании HashiCorp.

Нужен он, для автоматической сборки «золотого» образа. Который мы будем использовать в будущем.

yum install unzip git -y
curl -O https://releases.hashicorp.com/packer/1.5.5/packer_1.5.5_linux_amd64.zip
unzip packer_1.5.5_linux_amd64.zip -d /usr/bin && rm -rf packer_1.5.5_linux_amd64.zip
packer version
Packer v1.5.5

На шаге packer version может возникнуть ошибка, так как в RedHat-based может находиться пакет с таким же названием.

which -a packer
/usr/sbin/packer

Для решения можно создать симлинк, либо использовать абсолютный путь /usr/bin/packer.

Теперь нам потребуется ovftool download link. Скачиваем, кладём на сервер и устанавливаем:

chmod +x VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle
./VMware-ovftool-4.4.0-15722219-lin.x86_64.bundle
Extracting VMware Installer...done.
You must accept the VMware OVF Tool component for Linux End User
License Agreement to continue.  Press Enter to proceed.
VMWARE END USER LICENSE AGREEMENT
Do you agree? [yes/no]:yes
The product is ready to be installed.  Press Enter to begin
installation or Ctrl-C to cancel. 
Installing VMware OVF Tool component for Linux 4.4.0
    Configuring...
[######################################################################] 100%
Installation was successful.

Движемся дальше.

На гите я подготовил всё необходимое. 

git clone https://github.com/letnab/create-and-deploy-esxi.git && cd create-and-deploy-esxi

В папку iso нужно положить дистрибутив операционной системы. В моём случае это centos 7.

Так же необходимо отредактировать файл centos-7-base.json:

variables: указать свои данные для подключения
iso_urls: указать актуальный
iso_checksum: чексумма вашего образа

После всех изменений запускаем сборку:

/usr/bin/packer build centos-7-base.json

Если всё настроено и указано верно, то вы увидите картину автоматической инсталляции операционной системы.
packer-centos7-x86_64 output will be in this color.

==> packer-centos7-x86_64: Retrieving ISO
    packer-centos7-x86_64: Using file in-place: file:///root/create-and-deploy-esxi/iso/CentOS-7-x86_64-Minimal-1908.iso
==> packer-centos7-x86_64: Remote cache was verified skipping remote upload...
==> packer-centos7-x86_64: Creating required virtual machine disks
==> packer-centos7-x86_64: Building and writing VMX file
==> packer-centos7-x86_64: Starting HTTP server on port 8494
==> packer-centos7-x86_64: Registering remote VM...
==> packer-centos7-x86_64: Starting virtual machine...
    packer-centos7-x86_64: The VM will be run headless, without a GUI. If you want to
    packer-centos7-x86_64: view the screen of the VM, connect via VNC with the password "" to
    packer-centos7-x86_64: vnc://10.10.10.10:5900
==> packer-centos7-x86_64: Waiting 7s for boot...
==> packer-centos7-x86_64: Connecting to VM via VNC (10.10.10.10:5900)
==> packer-centos7-x86_64: Typing the boot command over VNC...
==> packer-centos7-x86_64: Waiting for SSH to become available...



Данный процесс у меня занимает 7-8 минут.

После успешного завершения в папке output-packer-centos7-x86_64 будет находится ova файл.

Устанавливаем Terraform:

curl -O https://releases.hashicorp.com/terraform/0.12.24/terraform_0.12.24_linux_amd64.zip
unzip terraform_0.12.24_linux_amd64.zip -d /usr/bin/ && rm -rf terraform_0.12.24_linux_amd64.zip
terraform version
Terraform v0.12.24

Так как у Terraform нет провайдера под ESXi, нужно его собрать.

Ставим go:

cd /tmp
curl -O https://dl.google.com/go/go1.14.2.linux-amd64.tar.gz
tar -C /usr/local -xzf go1.14.2.linux-amd64.tar.gz && rm -rf go1.14.2.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin
go version
go version go1.14.2 linux/amd64

Далее собираем провайдер:

go get -u -v golang.org/x/crypto/ssh
go get -u -v github.com/hashicorp/terraform
go get -u -v github.com/josenk/terraform-provider-esxi
export GOPATH="$HOME/go"
cd $GOPATH/src/github.com/josenk/terraform-provider-esxi
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -ldflags '-w -extldflags "-static"' -o terraform-provider-esxi_`cat version`
cp terraform-provider-esxi_`cat version` /usr/bin

Мы на финишной прямой. Поехали раскатывать наш образ.

Переходим в папку:

cd /root/create-and-deploy-esxi/centos7

Первым делом, редактируем файл variables.tf. Нужно указать подключение к серверу ESXi.

В файле network_config.cfg содержаться сетевые настройки будущей виртуальной машины. Меняем под свои нужды и запускаем однострочник:

sed -i -e '2d' -e '3i "network": "'$(gzip < network_config.cfg| base64 | tr -d '\n')'",' metadata.json

Ну и в файле main.tf меняем путь к ova файлу на свой, если отличается.

Момент истины.

terraform init
Initializing the backend...

Initializing provider plugins...

The following providers do not have any version constraints in configuration,
so the latest version was installed.

To prevent automatic upgrades to new major versions that may contain breaking
changes, it is recommended to add version = "..." constraints to the
corresponding provider blocks in configuration, with the constraint strings
suggested below.

* provider.esxi: version = "~> 1.6"
* provider.template: version = "~> 2.1"

Terraform has been successfully initialized!

You may now begin working with Terraform. Try running "terraform plan" to see
any changes that are required for your infrastructure. All Terraform commands
should now work.

If you ever set or change modules or backend configuration for Terraform,
rerun this command to reinitialize your working directory. If you forget, other
commands will detect it and remind you to do so if necessary.

terraform plan
Refreshing Terraform state in-memory prior to plan...
The refreshed state will be used to calculate this plan, but will not be
persisted to local or remote state storage.

data.template_file.Default: Refreshing state...
data.template_file.network_config: Refreshing state...

------------------------------------------------------------------------

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

Terraform will perform the following actions:

  # esxi_guest.Default will be created
  + resource "esxi_guest" "Default" {
      + boot_disk_size         = (known after apply)
      + disk_store             = "datastore1"
      + guest_name             = "centos7-test"
      + guest_shutdown_timeout = (known after apply)
      + guest_startup_timeout  = (known after apply)
      + guestinfo              = {
          + "metadata"          = "base64text"
          + "metadata.encoding" = "gzip+base64"
          + "userdata"          = "base64text"
          + "userdata.encoding" = "gzip+base64"
        }
      + guestos                = (known after apply)
      + id                     = (known after apply)
      + ip_address             = (known after apply)
      + memsize                = "1024"
      + notes                  = (known after apply)
      + numvcpus               = (known after apply)
      + ovf_properties_timer   = (known after apply)
      + ovf_source             = "/root/create-and-deploy-esxi/output-packer-centos7-x86_64/packer-centos7-x86_64.ova"
      + power                  = "on"
      + resource_pool_name     = (known after apply)
      + virthwver              = (known after apply)

      + network_interfaces {
          + mac_address     = (known after apply)
          + nic_type        = (known after apply)
          + virtual_network = "VM Network"
        }
    }

Plan: 1 to add, 0 to change, 0 to destroy.

------------------------------------------------------------------------

Note: You didn't specify an "-out" parameter to save this plan, so Terraform
can't guarantee that exactly these actions will be performed if
"terraform apply" is subsequently run.

Финиш:

terraform apply

Если всё сделано верно, то через 2-3 минуты будет развёрнута новая виртуальная машина из ранее сделанного образа.

Варианты использования всего этого, ограничиваются только фантазией.

Я всего лишь хотел поделиться наработками и показать основные моменты при работе с данными продуктами.

Благодарю за внимание!

P.S.: буду рад конструктивной критике.