Эта статья является свободной интерпретацей официального руководства Creating Highly Available Clusters with kubeadm для Stacked control plane nodes. Мне не нравятся сложный язык и примеры использованные в нем, поэтому я написал свое руководство.

Если у вас появятся какие-либо вопросы или вам будет что-то неясно, обратитесь к официальной документации или спросите Google. Все этапы описаны здесь в максимально простой и сдержанной форме.

Вводные данные

У нас есть 3 ноды:

• node1 (10.9.8.11)
• node2 (10.9.8.12)
• node3 (10.9.8.13)

Мы сделаем для них один отказоустойчивый IP-адрес:

• 10.9.8.10

Затем установим кластер etcd и Kubernetes на них.

Настройка балансировщика

Первым делом нам нужно установить Keepalived на все три ноды:

apt-get -y install keepalived

Теперь запишем конфиг /etc/keepalived/keepalived.conf:

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 1
    priority 100
    advert_int 1
    authentication {
        auth_type AH
        auth_pass iech6peeBu6Thoo8xaih
    }
    virtual_ipaddress {
        10.9.8.10
    }
}

Активируем и запустим Keepalived на всех трех нодах:

systemctl start keepalived
systemctl enable keepalived

Теперь мы можем проверить, что одна из нод получила адрес 10.9.8.10 на интерфейсе eth0.

Разворачиваем Kubernetes кластер

Убедитесь, что на всех нодах установлены последние пакеты Kubernetes:

apt-get -y install kubeadm kubelet kubectl

Так же остановите Keepalived демон на всех нодах кроме последней.

systemctl stop keepalived

Первая нода

Теперь мы сгенерируем конфиги для kubeadm (под каждую мастер-ноду нам нужен отдельный конфиг):

CLUSTER_IP=10.9.8.10
NODES=(node1 node2 node3)
IPS=(10.9.8.11 10.9.8.12 10.9.8.13)
POD_SUBNET="192.168.0.0/16"

for i in "${!NODES[@]}"; do
  HOST=${IPS[$i]}
  NAME=${NODES[$i]}
  INITIAL_CLUSTER=$(
    for j in "${!NODES[@]}"; do
      echo "${NODES[$j]}=https://${IPS[$j]}:2380"
    done | xargs | tr ' ' ,
  )

cat > kubeadm-config-${NODES[$i]}.yaml <<EOT
apiVersion: kubeadm.k8s.io/v1alpha3
kind: ClusterConfiguration
kubernetesVersion: stable
apiServerCertSANs:
- "${CLUSTER_IP}"
controlPlaneEndpoint: "${CLUSTER_IP}:6443"
etcd:
  local:
    extraArgs:
      initial-cluster: "${INITIAL_CLUSTER}"
      initial-cluster-state: new
      name: ${NODES[$i]}
      listen-peer-urls: "https://${IPS[$i]}:2380"
      listen-client-urls: "https://127.0.0.1:2379,https://${IPS[$i]}:2379"
      advertise-client-urls: "https://${IPS[$i]}:2379"
      initial-advertise-peer-urls: "https://${IPS[$i]}:2380"
    serverCertSANs:
      - "${NODES[$i]}"
      - "${IPS[$i]}"
    peerCertSANs:
      - "${NODES[$i]}"
      - "${IPS[$i]}"
networking:
    podSubnet: "${POD_SUBNET}"
EOT
done

Инициируем etcd на первой ноде, сгенерируем сертификаты и admin-config

kubeadm="kubeadm --config=kubeadm-config-${HOSTNAME}.yaml"
$kubeadm alpha phase preflight master
$kubeadm alpha phase certs all
$kubeadm alpha phase kubelet config write-to-disk
$kubeadm alpha phase kubelet write-env-file
$kubeadm alpha phase kubeconfig kubelet
$kubeadm alpha phase etcd local
$kubeadm alpha phase kubeconfig admin
systemctl start kubelet

Скопируем сгенерированные сертификаты и kubeadm конфиги на остальные control plane ноды.

NODES="node1 node2"
CERTS=$(find /etc/kubernetes/pki/ -maxdepth 1 -name '*ca.*' -o -name '*sa.*')
ETCD_CERTS=$(find /etc/kubernetes/pki/etcd/ -maxdepth 1 -name '*ca.*' -o -name '*sa.*')

for NODE in $NODES; do
  ssh $NODE mkdir -p /etc/kubernetes/pki/etcd
  scp $CERTS $NODE:/etc/kubernetes/pki/
  scp $ETCD_CERTS $NODE:/etc/kubernetes/pki/etcd/
  scp /etc/kubernetes/admin.conf $NODE:/etc/kubernetes
  scp kubeadm-config-$NODE.yaml $NODE:
done

Вторая нода

Инициируем etcd на второй ноде:

kubeadm="kubeadm --config=kubeadm-config-${HOSTNAME}.yaml"
$kubeadm alpha phase preflight master
$kubeadm alpha phase certs all
$kubeadm alpha phase kubelet config write-to-disk
$kubeadm alpha phase kubelet write-env-file
$kubeadm alpha phase kubeconfig kubelet
$kubeadm alpha phase etcd local
systemctl start kubelet

Третья нода

Инициируем Kubernetes master с etcd на последней ноде.

(убедитесь что IP балансировщика установлен и указывает на эту ноду)

kubeadm init --config kubeadm-config-${HOSTNAME}.yaml

Первая и вторая ноды

Теперь мы можем инициировать Kubernetes master на первых двух нодах:

kubeadm="kubeadm --config=kubeadm-config-${HOSTNAME}.yaml"
$kubeadm alpha phase kubeconfig all
$kubeadm alpha phase controlplane all
$kubeadm alpha phase kubelet config annotate-cri
$kubeadm alpha phase mark-master

А также запустить демон Keepalived:

systemctl start keepalived