Угадай, данную статью написал ChatGPT или нет?

Хотите потестировать приложение, или опробовать в работе инструмент? В этой статье опишу то, как организовал тестовый стенд на Linux. Стенд поддерживает работу с доменами, умеет генерировать TLS сертификаты, легко масштабируется, окружение строится по принципе IaaC, не требует много ресурсов, легко разворачивается скриптами или SCM, есть UI, не зависит от внешних сервисов.

Я являюсь системным инженером и наиболее эффективным языком для инструкций считаю "птичий" технический язык. Содержимое представляет собой последовательность команд с вкраплением комментариев, по которым коллега может однозначно понять этапы построения окружения без лишних слов. А дополнительную информацию о перечисленных инструментах можно легко получить уже из документации и после чего внести правки для тестового стенда. Кроме примеров кода и команд опишу те плюсы и те минусы, которые свойственны этой архитектуре, как бы громко это не звучало.

Конфигурация обыденная и не представляет ценности или сложности с точки зрения моего опыта, но может пригодится начинающим инженерам или даже опытным программистам, которые пишут код для сервисов или используют сервисную архитектуру для решения задач, но не погружаются в технические детали.

Используемые инструменты

Nomad — https://www.nomadproject.io
Consul — https://www.consul.io
Vault — https://www.vaultproject.io
Traefik — https://traefik.io
Packer — https://www.packer.io
Docker — http://docker.io

Плюсы

• Набор инструментов с легкостью умещается на небольшой виртуальной машине

• Инженер использует на практике современные подходы по релизу и выкладке программного обеспечения

• В случае необходимости стенд легко масштабируется в боевое окружение. Отлично подходит для MVP проекта

Минусы

• Не подходит для отладки "на лету", но такая возможность есть

• Не пользуется популярностью

Краткое описание

Код приложения собирается с помощью Packer в образ и размещается на локальном сервере (аналог Docker Registry). На данном этапе можно потренироваться с версионированием и работой в различных окружениях.

Приложение запускается в виде контейнера Docker и вместе с тем появляется возможность оркестрации, т. е. множественных запусков и стратегий обновления контейнеров с помощью Nomad. Секретные данные передаются в контейнер шаблонами go-template или через переменные окружения из Vault.

В случае Web-приложения или приложения с административным интерфейсом в Traefik создаются точки входа HTTPS с сертификатами TLS от Let'sEncrypt.

Как будет проходить настройка

Я буду приводить примеры установки и настройки сервера для Ubuntu, но различия с другими дистрибутивами будут только на этапе установки пакетов.

Виртуальная машина

Для тестового стенда подойдет виртуальная машина с 2 ядрами, 4Г памяти и диском объемом 20Г. Можете оценить объем используемой памяти на примере моего стенда:

 3236 root     traefik traefik                  N/A    1.37%    1.37%    1.37%
 3488 root     bin/console bot run              N/A    1.16%    1.28%    1.42%
 3416 root     bin/console bot run              N/A    1.17%    1.28%    1.42%
  858 root     /usr/bin/containerd              N/A    1.49%    1.49%    1.52%
 3300 nobody   /bin/prometheus --config.fi      N/A    1.56%    1.56%    1.56%
  986 root     /usr/bin/dockerd -H unix://      N/A    2.13%    2.13%    2.21%
  928 consul   /usr/bin/consul agent -conf      N/A    2.35%    2.35%    2.35%
 3840 root     /usr/bin/nomad agent -confi      N/A    1.57%    1.67%    2.48%
  934 vault    /usr/bin/vault server -conf      N/A    5.45%    5.45%    5.45%
-------------------------------------------------------------------------------
   88 12                                        N/A   25.49%   28.31%   45.90%

Это полностью запущенный стенд состоящий из 5 сервисов на 4Г памяти (45% занято). Дороже всего обходится секретность.

Установка инструментов и репозиториев

https://developer.hashicorp.com/nomad/downloads
https://docs.docker.com/engine/install/ubuntu/

mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
curl -fsSL https://apt.releases.hashicorp.com/gpg | gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com \
    $(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.list
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
    $(lsb_release -cs) stable" > /etc/apt/sources.list.d/docker.list

Устанавливаем пакеты

apt update
apt install nomad vault consul docker-ce docker-compose packer jq

Настройка Docker + Docker Registry

systemctl start docker

Сейчас нам нужно запустить локальное хранилище образов, которое будет работать идентично публичному облаку или внутреннему в компании.

Создаем файл с описанием сервиса docker-compose.yml

cat >docker-compose.yml <<EndOfText
version: "3.9"
services:
  registry:
    container_name: registry
    image: registry:2
    ports:
      - 5000:5000
    volumes:
      - ./config.yml:/etc/docker/registry/config.yml
      - /var/lib/registry:/var/lib/registry
EndOfText

И файл с конфигурацией сервиса config.yml

cat >config.yml <<EndOfText
version: 0.1
log:
  fields:
    service: registry
storage:
  cache:
    blobdescriptor: inmemory
  filesystem:
    rootdirectory: /var/lib/registry
http:
  addr: :5000
  headers:
    X-Content-Type-Options: [nosniff]
health:
  storagedriver:
    enabled: true
    interval: 10s
    threshold: 3
EndOfText

После запуска наши образы будут храниться в папке /var/lib/registry

Запускаем

docker-compose up -d

Настройка Consul

Генерируем ключ шифрования

CONSUL_KEY=$(consul keygen)

Создаем файл /etc/consul.d/lab_consul.hcl

cat >/etc/consul.d/lab_consul.hcl <<EndOfText
client_addr = "0.0.0.0"
acl {
  enabled = true
}
ui_config {
  enabled = true
}
bind_addr = "127.0.0.1"
bootstrap_expect = 1
server = true
encrypt = "$CONSUL_KEY"
EndOfText

Запускаем

systemctl restart consul; sleep 10
consul acl bootstrap --format json > ./acl-token-bootstrap-consul.json
export CONSUL_HTTP_TOKEN=`cat ./acl-token-bootstrap-consul.json | jq -r ".SecretID"`

Проверяем

# consul members
Node  Address         Status  Type    Build   Protocol  DC   Partition  Segment
test  127.0.0.1:8301  alive   server  1.14.0  2         dc1  default    <all>

Панель по адресу

echo "http://$(curl -s ifconfig.me):8500"

Настройка Vault

Создаем файл /etc/vault.d/vault.hcl

cat >/etc/vault.d/vault.hcl <<EndOfText
ui = true
storage "file" {
  path = "/opt/vault/data"
}
listener "tcp" {
  address       = "0.0.0.0:8200"
  tls_disable = "true"
}
api_addr = "http://127.0.0.1:8200"
cluster_addr = "https://127.0.0.1:8201"
EndOfText

Запускаем

systemctl restart vault; sleep 10
export VAULT_ADDR='http://127.0.0.1:8200'
vault operator init -key-threshold 1 -key-shares 1 -format json > ./acl-token-bootstrap-vault.json
export VAULT_TOKEN=$(cat ./acl-token-bootstrap-vault.json | jq -r ".root_token")
export VAULT_UNSEAL_KEY=$(cat ./acl-token-bootstrap-vault.json | jq -r ".unseal_keys_b64 | .[]")
vault operator unseal $VAULT_UNSEAL_KEY
vault login $VAULT_TOKEN

В Vault нам потребуется подключить модуль для хранения наших секретов

vault secrets enable -version=2 kv

Теперь сохраним токен Consul в хранилище Vault

vault kv put kv/consul/token value=$CONSUL_HTTP_TOKEN

Панель по адресу

echo "http://$(curl -s ifconfig.me):8200"

Настройка Nomad

Создаем файл /etc/nomad.d/lab_nomad.hcl

cat >/etc/nomad.d/lab_nomad.hcl <<EndOfText
consul {
  address = "127.0.0.1:8500"
  token   = "$CONSUL_HTTP_TOKEN"
}
acl {
  enabled = true
}
telemetry {
  publish_allocation_metrics = true
  publish_node_metrics       = true
}
plugin "docker" {
  config {
    volumes {
      enabled = true
    }
  }
}
vault {
  enabled = true
  address = "http://localhost:8200"
  token = "$VAULT_TOKEN"
}
EndOfText

Запускаем

systemctl restart nomad; sleep 10
nomad acl bootstrap -json > ./acl-token-bootstrap-nomad.json
export NOMAD_TOKEN=`cat ./acl-token-bootstrap-nomad.json | jq -r ".SecretID"`

Панель по адресу

echo "http://$(curl -s ifconfig.me):4646"

Запуск Traefik

Создаем файл traefik.nomad

export MY_MAIL="some@domain.ltd"
cat >traefik.nomad <<EndOfText
job "traefik" {
  datacenters = ["dc1"]
  type        = "service"
  group "traefik" {
    count = 1
    network {
      port "http"  {static = 80}
      port "https" {static = 443}
      port "api"   {static = 8081}
    }
    service {
      name = "traefik"
      port = "api"
      tags = ["traefik.enable=true", "traefik.port=8081"]
    }
    task "traefik" {
      driver = "docker"
      config { 
        image        = "traefik:v2.2"
        network_mode = "host"
        volumes = [ "local/traefik.yaml:/etc/traefik/traefik.yaml" ]
      }
      template {
        destination = "local/traefik.yaml"
        data = <<EOF
entryPoints:
  http:
    address: ':80'
  https:
    address: ':443'
  traefik:
    address: ':8081'
api:
  dashboard: true
  insecure: true
log:
  level: DEBUG
certificatesResolvers:
  myresolver:
    acme:
      email: $MY_MAIL
      storage: /data/acme.json
      httpChallenge:
        entryPoint: http
providers:
  consulCatalog:
    prefix: traefik
    exposedByDefault: false
    endpoint:
      address: 127.0.0.1:8500
      scheme: http
      token: {{with secret "kv/consul/token"}}{{.Data.data.value}}{{end}}
      tls:
        insecureSkipVerify: true
EOF
      }
    }
  }
}
EndOfText

Проверяем наш конфиг и применяем

nomad plan traefik.nomad
nomad run traefik.nomad

Панель по адресу

echo "http://$(curl -s ifconfig.me):8081"

Сборка приложения

Создаем файл whoami.pkr.hcl

cat >whoami.pkr.hcl <<EndOfText
packer {
  required_plugins {
    docker = {
      version = ">= 1.0.1"
      source = "github.com/hashicorp/docker"
    }
  }
}
source "docker" "whoami" {
  image  = "traefik/whoami"
  commit = true
  run_command = [
    "-d", "-i", "--rm", "-t", "--", "{{.Image}}"
  ]
}
build {
  sources = ["source.docker.whoami"]
  post-processors {
    post-processor "docker-tag" {
      repository =  "localhost:5000/dev/whoami"
        tags = ["0.0.1"]
      }
    post-processor "docker-push" {}
  }
}
EndOfText

И запускаем сборку

packer init .
packer build .

В конце сборки будет указан адрес образа для следующего шага

Запуск тестового приложения

Создаем файл whoami.nomad

cat >whoami.nomad <<EndOfText
job "whoami" {
  datacenters = ["dc1"]
  type        = "service"
  group "whoami" {
    count = 1
    network {
      port "http" {to = 80}
    }
    service {
      name = "whoami"
      port = "http"
      tags = [
        "traefik.enable=true",
        "traefik.http.routers.whoami.entrypoints=http",
        "traefik.http.routers.whoami.rule=host(\`$(curl -s ifconfig.me)\`)",
        "traefik.http.routers.whoami.middlewares=whoami-to-https",
        "traefik.http.middlewares.whoami-to-https.redirectscheme.scheme=https",
        "traefik.http.middlewares.whoami-to-https.redirectscheme.permanent=true",
        "traefik.http.routers.whoami-https.entrypoints=https",
        "traefik.http.routers.whoami-https.rule=host(\`$(curl -s ifconfig.me)\`)",
        "traefik.http.routers.whoami-https.tls.certresolver=myresolver"]
    }
    task "whoami" {
      driver = "docker"
      config {
        image = "localhost:5000/dev/whoami:0.0.1"
        ports = ["http"]
      }
    }
  }
}
EndOfText

Проверяем и запускаем наш сервис

nomad plan whoami.nomad
nomad run whoami.nomad

Проверить можно по адресу

echo "http://$(curl -s ifconfig.me)"

После запуска обработать напильником...

Думаю на примере готового приложения дальше будет разобраться попроще.

Пример скрипта для быстрой настройки стенда

Скрипт не идемпотентный, будте осторожны! Запускайте только на новой виртуальной машине с Ubuntu.

curl https://git.sr.ht/~wilful/Shared/blob/master/init.sh | bash -x

Посмотреть все доступные адреса панелей можно так

journalctl -t laboratory -xe

Что можно улучшить?

https://www.waypointproject.io?

Оригинал тут