-1. То, с чем имеем дело

Речь пойдет о приложение на Laravel, чтобы показать от начала и до конца весь процесс. Но аналогичным образом можно деплоить россыпь сервисов на go, python-приложения, небольшие сайты на WP, html-страницы и много всего. До какого-то уровня этого достаточно, а затем уже и в команде появляется отдельный человек, который улучшит и дополнит.

0. Готовимся к работе.

FROM ubuntu:16.04

ARG AWSCLI_VERSION=1.12.1
ARG HELM_VERSION=2.8.2
ARG ISTIO_VERSION=0.6.0
ARG KOPS_VERSION=1.9.0
ARG KUBECTL_VERSION=1.10.1
ARG TERRAFORM_VERSION=0.11.0

# Install generally useful things
RUN apt-get update                                            && apt-get -y --force-yes install --no-install-recommends     curl                                                        dnsutils                                                    git                                                         jq                                                          net-tools                                                   ssh                                                         telnet                                                      unzip                                                       vim                                                         wget                                                      && apt-get clean                                            && apt-get autoclean                                        && apt-get autoremove                                       && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

# Install AWS CLI
RUN apt-get update                                            && apt-get -y --force-yes install                             python-pip                                                && pip install awscli==${AWSCLI_VERSION}                    && apt-get clean                                            && apt-get autoclean                                        && apt-get autoremove                                       && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

# Install Terraform
RUN wget -O terraform.zip https://releases.hashicorp.com/terraform/${TERRAFORM_VERSION}/terraform_${TERRAFORM_VERSION}_linux_amd64.zip   && unzip terraform.zip   && mv terraform /usr/local/bin/terraform   && chmod +x /usr/local/bin/terraform   && rm terraform.zip

# Install kubectl
ADD https://storage.googleapis.com/kubernetes-release/release/v${KUBECTL_VERSION}/bin/linux/amd64/kubectl /usr/local/bin/kubectl
RUN chmod +x /usr/local/bin/kubectl

# Install Kops
ADD https://github.com/kubernetes/kops/releases/download/${KOPS_VERSION}/kops-linux-amd64 /usr/local/bin/kops
RUN chmod +x /usr/local/bin/kops

# Install Helm
RUN wget -O helm.tar.gz https://storage.googleapis.com/kubernetes-helm/helm-v${HELM_VERSION}-linux-amd64.tar.gz 	&& tar xfz helm.tar.gz 	&& mv linux-amd64/helm /usr/local/bin/helm 	&& chmod +x /usr/local/bin/helm 	&& rm -Rf linux-amd64 	&& rm helm.tar.gz

# Create default user "kops"
RUN useradd -ms /bin/bash kops
WORKDIR /home/kops
USER kops

# Ensure the prompt doesn't break if we don't mount the ~/.kube directory
RUN mkdir /home/kops/.kube   && touch /home/kops/.kube/config

version: '2.1'
services:
  cluster-main:
    container_name: cluster.com
    image: cluster.com
    user: root
    stdin_open: true
    volumes:
      - ./data:/data
      - ./.ssh:/root/.ssh
      - ./.kube:/root/.kube
      - ./.aws:/root/.aws

  cluster-proxy:
    container_name: cluster.com-kubectl-proxy
    image: cluster.com
    user: root
    entrypoint: kubectl proxy --address='0.0.0.0' --port=8001 --accept-hosts='.*'
    ports:
      - "8001:8001"
    stdin_open: true
    volumes:
      - ./data:/data
      - ./.ssh:/root/.ssh
      - ./.kube:/root/.kube
      - ./.aws:/root/.aws

docker.build:
  docker build -t cluster.com .

docker.run:
  docker-compose up -d

docker.bash:
  docker exec -it cluster.com bash

1. Поднимаем наш кластер.

Дальше будет вольный перевод этой заметки. Я опущу много теоретических моментов, постараюсь описать краткую выжимку. Все таки формат моей заметки — tldr.

AWS CLI

aws iam create-group --group-name kops

# Политики доступа
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonEC2FullAccess --group-name kops
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonRoute53FullAccess --group-name kops
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess --group-name kops
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/IAMFullAccess --group-name kops
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AWSCertificateManagerFullAccess --group-name kops
aws iam attach-group-policy --policy-arn arn:aws:iam::aws:policy/AmazonVPCFullAccess --group-name kops
 
aws iam create-user --user-name kops
 
aws iam add-user-to-group --user-name kops --group-name kops
 
aws iam create-access-key --user-name kops

aws configure 

Инициализируем Terraform

# Переходим в папку
cd /data/aws-cluster-init-kops-terraform

# Экспортируем переменные от AWS CLI
export AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id)
export AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key)
 
# Инициализируем terraform
terraform init
terraform get
terraform apply
 
# Берем NS сервера
cat update-zone.json  | jq ".Changes[].ResourceRecordSet.Name=\"$(terraform output name).\""  | jq ".Changes[].ResourceRecordSet.ResourceRecords=$(terraform output -json name_servers | jq '.value|[{"Value": .[]}]')"  > update-zone.json

Kops

export NAME=$(terraform output cluster_name)
export KOPS_STATE_STORE=$(terraform output state_store)
export ZONES=$(terraform output -json availability_zones | jq -r '.value|join(",")')

kops create cluster     --master-zones $ZONES     --zones $ZONES     --topology private     --dns-zone $(terraform output public_zone_id)     --networking calico     --vpc $(terraform output vpc_id)     --target=terraform     --out=.     ${NAME}

Здесь нужна небольшая ремарка. Terraform создаст VPC, и нам необходимо будет немного подправить конфиг, который нам отдаст kops. Это делается достаточно просто, через вспомогательный образ ryane/gensubnets:0.1

# Внутри конейнера
terraform output -json > subnets.json

# На вашей машине хоста
echo subnets.json | docker run --rm -i ryane/gensubnets:0.1

additionalPolicies:
  master: |
    [
      {
        "Effect": "Allow",
        "Action": ["route53:ListHostedZonesByName"],
        "Resource": ["*"]
      },
      {
        "Effect": "Allow",
        "Action": ["elasticloadbalancing:DescribeLoadBalancers"],
        "Resource": ["*"]
      },
      {
        "Effect": "Allow",
        "Action": ["route53:ChangeResourceRecordSets"],
        "Resource": ["*"]
      }
    ]
  node: |
    [
      {
        "Effect": "Allow",
        "Action": ["route53:ListHostedZonesByName"],
        "Resource": ["*"]
      },
      {
        "Effect": "Allow",
        "Action": ["elasticloadbalancing:DescribeLoadBalancers"],
        "Resource": ["*"]
      },
      {
        "Effect": "Allow",
        "Action": ["route53:ChangeResourceRecordSets"],
        "Resource": ["*"]
      }
    ]

kops update cluster   --out=.   --target=terraform   ${NAME}

terraform apply

$ kubectl get nodes
NAME                            STATUS         AGE
ip-10-20-101-252.ec2.internal   Ready,master   7m
ip-10-20-103-232.ec2.internal   Ready,master   7m
ip-10-20-103-75.ec2.internal    Ready          5m
ip-10-20-104-127.ec2.internal   Ready,master   6m
ip-10-20-104-6.ec2.internal     Ready          5m

2. Поднимаем наше приложение

Сервисные шутки

# Init helm
kubectl create serviceaccount --namespace kube-system tiller
kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller
kubectl patch deploy --namespace kube-system tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'
helm init

kubectl apply -f default-namespace.yaml
kubectl apply -f storage-classes.yaml
kubectl apply -f route53.yaml
kubectl apply -f docker-hub-secret.yml
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

PostgreSQL + Redis

# Разворачиваем etcd для stolon
cd etcd-chart
helm install --name global-etcd .

# Разворачиваем сам stolon
cd stolon-chart
helm dep build
helm install --name global-postgres .

# Разворачиваем redis
kubectl apply -f redis

Nginx + PHP

kubectl apply -f nginx
kubectl apply -f php

# Собираем образ с кодом где-то на локальной машине или в Teamcity
docker build -t GROUP/crm-code:latest .
docker push GROUP/crm-code:latest

# Обновляем код (здесь немного лайфхаков)
kubectl set image deployment/php-fpm php-fpm=GROUP/php-fpm
kubectl rollout status deployment/php-fpm
kubectl set image deployment/php-fpm php-fpm=GROUP/php-fpm:latest

kubectl set image deployment/nginx nginx=danday74/nginx-lua
kubectl rollout status deployment/nginx
kubectl set image deployment/nginx nginx=danday74/nginx-lua:latest

kubectl rollout status deployment/php-fpm
kubectl rollout status deployment/nginx