Kubernetes

Minikube

1. EBS 볼륨 사이즈 변경

   curl -s https://raw.githubusercontent.com/youngwjung/aws-tools/main/resize.sh \
   | bash /dev/stdin 30

2. Minikube 설치

   {
       curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
       sudo install minikube-linux-amd64 /usr/local/bin/minikube
   }

3. 클러스터 생성

   minikube start

4. 실행중인 Pod 확인

   minikube kubectl -- get pod --all-namespaces

5. 데모 애플리케이션 배포

   minikube kubectl -- run nginx --image=nginx

6. 서비스 엔드포인트 생성

   minikube kubectl -- expose pod nginx --port=80 --type=NodePort

7. 서비스 엔드포인트 및 포트 확인

   minikube service nginx

8. 서비스 엔드포인트로 접속되는지 확인

   curl $(minikube service nginx --url)

9. 클러스터 삭제

   minikube delete

쿠버네티스 클러스터 생성

1. 실습 환경 생성

   {
       cd ~/environment/container-labs
       git pull
       terraform init
       terraform apply --target=module.kubernetes --auto-approve
   }

2. 인스턴스 정보 확인

   terraform show -json |\
   jq -r '.values.root_module.child_modules | .[].resources | .[] | select(.address | contains("module.kubernetes.aws_instance")) | .name + ": " + .values.public_ip'

3. SSH 비밀번호 확인

   terraform show -json |\
   jq -r '.values.root_module.child_modules | .[].resources | .[] | select(.address == "module.kubernetes.random_password.this").values.result'

4. 새로운 터미널을 열고 첫번째 컨트롤 플레인 노드로 사용할 인스턴스로 SSH 연결

   ssh root@CP_IP_ADDRESS

5. 시스템 구동에 필요한 라이브러리 설치

   sudo apt update && sudo apt install -y \
   curl apt-transport-https vim git wget gnupg2 net-tools \
   software-properties-common lsb-release ca-certificates uidmap 

6. 컨테이너 런타임 구동에 필요한 overlay와 br_netfilter 커널 모듈 불러오기

   {
       cat <<EOF | sudo tee /etc/modules-load.d/kubernetes.conf
   overlay
   br_netfilter
   EOF
   
       sudo modprobe overlay
       sudo modprobe br_netfilter
   }

7. 컨테이너 런타임 구동에 필요한 커널 파라미터 설정

   {
       cat <<EOF | sudo tee /etc/sysctl.d/kubernetes.conf
   net.bridge.bridge-nf-call-iptables  = 1
   net.bridge.bridge-nf-call-ip6tables = 1
   net.ipv4.ip_forward                 = 1
   EOF
   
       sudo sysctl --system
   }

8. containerd 설치

   {
       sudo mkdir -p /etc/apt/keyrings
       curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
       echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
       sudo apt update && apt install -y containerd.io
       sudo containerd config default | tee /etc/containerd/config.toml
       sudo sed -e 's/SystemdCgroup = false/SystemdCgroup = true/g' -i /etc/containerd/config.toml
       sudo systemctl restart containerd
   }

9. 쿠버네티스 설치 및 구동에 필요한 바이너리 설치

   {
       curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
       echo "deb  http://apt.kubernetes.io/  kubernetes-xenial  main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
       sudo apt update && sudo apt install -y kubelet=1.28.1-00 kubeadm=1.28.1-00 kubectl=1.28.1-00
   }

10. /etc/hosts 파일에 아래와 같은 라인 추가 - CP_IP_ADDRESS는 CP 노드 IP주소

    CP_IP_ADDRESS k8scp

    예를들어 CP의 IP주소가 123.45.67.89라면 아래처럼 입력

    123.45.67.89 k8scp

11. 클러스터 설정 파일 생성

    cat << EOF | tee kubeadm-config.yaml
    apiVersion: kubeadm.k8s.io/v1beta3
    kind: ClusterConfiguration
    kubernetesVersion: 1.28.1
    controlPlaneEndpoint: "k8scp:6443"
    networking:
      podSubnet: 192.168.0.0/16
    EOF

12. 컨트롤 플레인 노드 구성

    kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.out

13. kubeconfig 파일 복사

    {
        mkdir -p $HOME/.kube
        sudo cp /etc/kubernetes/admin.conf $HOME/.kube/config
    }

14. kubeconfig 파일 확인

    cat ~/.kube/config

15. 실행중인 Pod 확인

    kubectl get pod --all-namespaces

16. Pending 상태의 Pod의 상세내용 확인

    kubectl describe pod \
    $(kubectl get pod -A --field-selector=status.phase=Pending -o=jsonpath='{.items[0].metadata.name}') \
    -n $(kubectl get pod -A --field-selector=status.phase=Pending -o=jsonpath='{.items[0].metadata.namespace}')

17. 노드 목록 확인

    kubectl get node

18. CP 노드 상태 확인

    kubectl describe node cp

19. kubelet 로그 확인

    sudo journalctl -u kubelet -n 10 --no-pager

20. CNI 플러그인 설치

    kubectl apply -f \
    https://raw.githubusercontent.com/youngwjung/lf-training/main/LFS458/v1.28.1/SOLUTIONS/s_03/cilium-cni.yaml

21. 실행중인 Pod 확인

    kubectl get pod -A

22. CP 노드 상태 확인

    kubectl describe node cp

23. kubectl 명령어에 대한 bash completion 설정

    {
        echo 'source <(kubectl completion bash)' >>~/.bashrc
        source <(kubectl completion bash)
    }

24. 새로운 터미널을 열고 워커 노드로 사용할 인스턴스로 SSH 연결

    ssh root@WORKER_IP_ADDRESS

25. 시스템 구동에 필요한 라이브러리 설치

    sudo apt update && sudo apt install -y \
    curl apt-transport-https vim git wget gnupg2 net-tools \
    software-properties-common lsb-release ca-certificates uidmap 

26. 컨테이너 런타임 구동에 필요한 overlay와 br_netfilter 커널 모듈 불러오기

    {
        cat <<EOF | sudo tee /etc/modules-load.d/kubernetes.conf
    overlay
    br_netfilter
    EOF
    
        sudo modprobe overlay
        sudo modprobe br_netfilter
    }

27. 컨테이너 런타임 구동에 필요한 커널 파라미터 설정

    {
        cat <<EOF | sudo tee /etc/sysctl.d/kubernetes.conf
    net.bridge.bridge-nf-call-iptables  = 1
    net.bridge.bridge-nf-call-ip6tables = 1
    net.ipv4.ip_forward                 = 1
    EOF
    
        sudo sysctl --system
    }

28. containerd 설치

    {
        sudo mkdir -p /etc/apt/keyrings
        curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
        echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
        sudo apt update && apt install -y containerd.io
        sudo containerd config default | tee /etc/containerd/config.toml
        sudo sed -e 's/SystemdCgroup = false/SystemdCgroup = true/g' -i /etc/containerd/config.toml
        sudo systemctl restart containerd
    }

29. 쿠버네티스 설치 및 구동에 필요한 바이너리 설치

    {
        curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
        echo "deb  http://apt.kubernetes.io/  kubernetes-xenial  main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
        sudo apt update && sudo apt install -y kubelet=1.28.1-00 kubeadm=1.28.1-00 kubectl=1.28.1-00
    }

30. /etc/hosts 파일에 아래와 같은 라인 추가 - CP_IP_ADDRESS는 CP 노드 IP주소

    CP_IP_ADDRESS k8scp

31. 컨트롤 플레인 노드에 연결된 터미널로 이동

32. Worker 노드 조인 명령어 생성

    kubeadm token create --print-join-command --ttl 0

33. Worker 노드에 연결된 터미널로 이동해서 위의 명령어를 실행하고 나온 명령어를 실행

34. 컨트롤 플레인 노드에 연결된 터미널로 이동

35. 노드 상태 확인

    kubectl get no

샘플 애플리케이션 배포

1. Deployment 생성

   kubectl create deployment nginx --image=nginx

2. Deployment 상태 확인

   kubectl get deploy

3. Pod가 생성되었는지 확인

   kubectl get pod

4. 생성된 NGINX Deployment 상태 상세 확인

   kubectl describe deployment nginx 

5. 클러스터에 발생한 이벤트 확인

   kubectl get events  --sort-by='.metadata.creationTimestamp'

6. Deployment에 속하는 Pod 삭제

   kubectl delete pod -l app=nginx

7. Pod가 존재하는지 확인

   kubectl get pod

8. Service 생성

   kubectl expose deploy nginx --port 80

9. NGINX 서비스 확인

   kubectl get svc nginx

10. NGINX 서비스에 연결된 Endpoints 확인

    kubectl get ep nginx

11. 실행중인 Pod의 IP 주소 확인

    kubectl get pod -l app=nginx -o wide

12. 서비스 엔드포인트 및 포트 확인

    kubectl get svc nginx

13. NGINX 서비스의 ClusterIP에 HTTP 요청

    curl $(kubectl get svc nginx -o=jsonpath='{.spec.clusterIP}')

14. NGINX 서비스에 연결된 Endpoints 주소로 HTTP 요청

    curl $(kubectl get ep nginx -o=jsonpath='{.subsets[0].addresses[0].ip}:{.subsets[0].ports[0].port}')

15. NGINX Deployment의 Replica 갯수를 3개로 변경

    kubectl scale deployment nginx --replicas=3

16. Pod가 추가로 생성됐는지 확인

    kubectl get pod -l app=nginx -o wide

17. NGINX 서비스에 연결된 Endpoints 확인

    kubectl get ep nginx

18. NGNIX 서비스를 NodePort 타입으로 변경

    kubectl patch svc nginx --type='json' -p '[{"op":"replace","path":"/spec/type","value":"NodePort"}]'

19. NGINX Service 엔드포인트 및 포트 확인

    kubectl get svc nginx

20. 웹브라우저에서 ANY_NODE_IP:SERVICE_NODE_PORT 로 접속되는지 확인 - 아래 명령어로 주소 확인 가능

    echo "$(curl -s ifconfig.io):$(kubectl get svc nginx -o=jsonpath='{.spec.ports[0].nodePort}')"

21. NGINX Deployment의 Replica 갯수를 0개로 변경

    kubectl scale deployment nginx --replicas=0

22. 웹브라우저에서 ANY_NODE_IP:SERVICE_PORT 로 접속되는지 확인

23. NGINX Deployment의 Replica 갯수를 2개로 변경

    kubectl scale deployment nginx --replicas=2

24. 웹브라우저에서 ANY_NODE_IP:SERVICE_PORT 로 접속되는지 확인

25. 리소스 삭제

    {
        kubectl delete deployment nginx
        kubectl delete svc nginx
    }

고가용성 쿠버네티스 클러스터 구성

1. HAProxy로 SSH 접속

   ssh root@HAPROXY_IP_ADDRESS

2. HAProxy 설치

   sudo apt update && sudo apt install -y haproxy

3. HAProxy 설정파일 /etc/haproxy/haproxy.cfg 에 아래의 라인들을 추가 - CP_IP_ADDRESS에 CP 노드의 IP 주소를 넣으세요.

   frontend kubernetes-cp
      mode	tcp
      option tcplog
      bind *:6443
      default_backend kubernetes-cp-nodes
   
   backend kubernetes-cp-nodes
      mode tcp
      balance roundrobin
      server cp1 CP_IP_ADDRESS:6443 check  
   
   listen stats
        bind :9999
        mode http
        stats enable
        stats hide-version
        stats uri /stats

4. HAProxy 데몬을 재시작하고 상태 확인

   {
       sudo systemctl restart haproxy
       sudo systemctl status haproxy --no-pager
   }

5. CP 노드에 연결된 터미널로 이동

6. /etc/hosts 파일에서 k8scp에 지정된 IP주소를 HAProxy IP 주소로 변경

   HAPROXY_IP_ADDRESS k8scp

7. Worker 노드에 연결된 터미널로 이동

8. /etc/hosts 파일에서 k8scp에 지정된 IP주소를 HAProxy IP 주소로 변경

   HAPROXY_IP_ADDRESS k8scp

9. 웹 브라우저를 열고 HAPROXY_IP_ADDRESS:9999/stats 주소로 접속

10. CP 노드에 연결된 터미널로 이동

11. kubectl 명령어로 API 호출

    {
        kubectl get node
        kubectl get pod -A
    }

12. HAProxy 통계 페이지를 리프레시해서 트래픽 정보가 업데이트 되는지 확인

13. SecondCP로 SSH 접속

    ssh root@SECOND_CP_IP_ADDRESS

14. 시스템 구동에 필요한 라이브러리 설치

    sudo apt update && sudo apt install -y \
    curl apt-transport-https vim git wget gnupg2 net-tools \
    software-properties-common lsb-release ca-certificates uidmap

15. 컨테이너 런타임 설치

    {
        cat <<EOF | sudo tee /etc/modules-load.d/kubernetes.conf
    overlay
    br_netfilter
    EOF
    
        sudp modprobe overlay
        sudo modprobe br_netfilter
    
        cat <<EOF | sudo tee /etc/sysctl.d/kubernetes.conf
    net.bridge.bridge-nf-call-iptables  = 1
    net.bridge.bridge-nf-call-ip6tables = 1
    net.ipv4.ip_forward                 = 1
    EOF
    
        sudo sysctl --system
        
        sudo mkdir -p /etc/apt/keyrings
        curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
        echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
        sudo apt update && apt install -y containerd.io
        sudo containerd config default | tee /etc/containerd/config.toml
        sudo sed -e 's/SystemdCgroup = false/SystemdCgroup = true/g' -i /etc/containerd/config.toml
        sudo systemctl restart containerd
    }

16. 쿠버네티스 설치

    {
        curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
        echo "deb  http://apt.kubernetes.io/  kubernetes-xenial  main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
        sudo apt update && apt install -y kubelet=1.28.1-00 kubeadm=1.28.1-00 kubectl=1.28.1-00
    }

17. /etc/hosts 파일에 아래와 같은 라인 추가

    HAPROXY_IP_ADDRESS k8scp

18. ThirdCP로 SSH 접속

    ssh root@THIRD_CP_IP_ADDRESS

19. 14번부터 17번 단계를 실행

20. CP 노드에 연결된 터미널로 이동

21. 컨트롤 플레인 조인 명령어 생성

    echo "sudo kubeadm join k8scp:6443 --control-plane \
    --token $(sudo kubeadm token create) \
    --discovery-token-ca-cert-hash sha256:$(openssl x509 -pubkey \
    -in /etc/kubernetes/pki/ca.crt | openssl rsa \
    -pubin -outform der 2>/dev/null | openssl dgst \
    -sha256 -hex | grep -oE '[A-z0-9]+$') \
    --certificate-key $(sudo kubeadm init phase upload-certs --upload-certs| tail -1)" 

22. 위에서 생성한 명령어를 SecondCP 노드 및 ThirdCP 노드에 실행

23. HAProxy 노드에 연결된 터미널로 이동

24. HAProxy 설정파일 /etc/haproxy/haproxy.cfg 을 아래와 같이 수정

    ...
    ...
    backend kubernetes-cp-nodes
       mode tcp
       balance roundrobin
       server cp1 CP_IP_ADDRESS:6443 check
       server cp2 SECOND_CP_IP_ADDRESS:6443 check
       server cp3 THIRD_CP_IP_ADDRESS:6443 check

25. HAProxy 데몬을 재시작하고 상태 확인

    {
        sudo systemctl restart haproxy
        sudo systemctl status haproxy --no-pager
    }

26. 웹 브라우저를 열고 HAPROXY_IP_ADDRESS:9999/stats 주소로 접속해서 위에서 추가한 노드들의 연결 상태 확인

27. CP 노드에 연결된 터미널로 이동

28. Node 목록 확인

    kubectl get node

29. kubectl 명령어로 몇가지 API 호출을 실행하고 HAProxy 통계사이트에서 로드가 분산되는지 확인

    for i in {1..10}; do kubectl get pod; done

고가용성 테스트

1. 실행중인 ETCD Pod 확인

   kubectl get pod -n kube-system -l component=etcd 

2. ETCD Pod 로그 확인

   kubectl -n kube-system logs etcd-secondcp | grep leader

3. 실행중인 ETCD Pod의 IP 주소 확인

   kubectl get pod -n kube-system -l component=etcd -o wide 

4. ETCD 클러스터의 멤버 목록 확인

   kubectl -n kube-system exec -it etcd-cp -- \
   etcdctl -w table \
   --endpoints localhost:2379 \
   --cacert /etc/kubernetes/pki/etcd/ca.crt \
   --cert /etc/kubernetes/pki/etcd/server.crt \
   --key /etc/kubernetes/pki/etcd/server.key \
   member list

5. ETCD 클러스터 멤버 목록을 환경변수로 지정

   {
       export ETCD_ENDPOINTS=$(kubectl -n kube-system exec -it etcd-cp -- \
       etcdctl -w json \
       --endpoints localhost:2379 \
       --cacert /etc/kubernetes/pki/etcd/ca.crt \
       --cert /etc/kubernetes/pki/etcd/server.crt \
       --key /etc/kubernetes/pki/etcd/server.key \
       member list \
       | jq -r '.members | map(.clientURLs[]) | join(",")')
       echo $ETCD_ENDPOINTS
   }

6. ETCD 클러스터의 리더 확인

   kubectl -n kube-system exec -it etcd-cp -- \
   etcdctl -w table \
   --endpoints $ETCD_ENDPOINTS \
   --cacert /etc/kubernetes/pki/etcd/ca.crt \
   --cert /etc/kubernetes/pki/etcd/server.crt \
   --key /etc/kubernetes/pki/etcd/server.key \
   endpoint status

7. ETCD 클러스터의 각 멤버별 상태 확인

   kubectl -n kube-system exec -it etcd-cp -- \
   etcdctl -w table \
   --endpoints $ETCD_ENDPOINTS \
   --cacert /etc/kubernetes/pki/etcd/ca.crt \
   --cert /etc/kubernetes/pki/etcd/server.crt \
   --key /etc/kubernetes/pki/etcd/server.key \
   endpoint health

8. ETCD 클러스터의 리더 Pod가 배포된 노드에 가서 kubelet 및 컨테이너 런타임 정지- CP 노드의 ETCD가 가장 먼저 구성되었기 때문에 일반적으로 CP 노드에 배포된 ETCD가 리더

   {
       sudo systemctl stop kubelet
       sudo crictl --runtime-endpoint=unix:///run/containerd/containerd.sock \
       stop $(sudo crictl --runtime-endpoint=unix:///run/containerd/containerd.sock ps -q)
       sudo systemctl stop containerd.service
   }

9. ETCD Pod 로그 확인

   kubectl -n kube-system logs etcd-secondcp | grep leader

10. 웹 브라우저를 열고 HAPROXY_IP_ADDRESS:9999/stats 주소로 접속해서 위에서 노드들의 연결 상태 확인

11. ETCD 클러스터의 리더가 변경되었는지 확인

    kubectl -n kube-system exec -it etcd-secondcp -- \
    etcdctl -w table \
    --endpoints $ETCD_ENDPOINTS \
    --cacert /etc/kubernetes/pki/etcd/ca.crt \
    --cert /etc/kubernetes/pki/etcd/server.crt \
    --key /etc/kubernetes/pki/etcd/server.key \
    endpoint status

12. ETCD 클러스터 각 멤버별 상태 확인

    kubectl -n kube-system exec -it etcd-secondcp -- \
    etcdctl -w table \
    --endpoints $ETCD_ENDPOINTS \
    --cacert /etc/kubernetes/pki/etcd/ca.crt \
    --cert /etc/kubernetes/pki/etcd/server.crt \
    --key /etc/kubernetes/pki/etcd/server.key \
    endpoint health

13. Node 상태 확인

    kubectl get node

14. CP 노드에서 kubelet 및 컨테이너 런타임을 재실행

    {
        sudo systemctl start containerd.service
        sudo systemctl start kubelet
    }

15. 웹 브라우저를 열고 HAPROXY_IP_ADDRESS:9999/stats 주소로 접속해서 위에서 노드들의 연결 상태 확인

16. 노드 상태 확인

    kubectl get node

17. 모든 Pod가 정상적으로 실행되고 있는지 확인

    kubectl get pod -A -o wide

18. ETCD 클러스터의 리더가 다시 변경되었는지 확인

    kubectl -n kube-system exec -it etcd-secondcp -- \
    etcdctl -w table \
    --endpoints $ETCD_ENDPOINTS \
    --cacert /etc/kubernetes/pki/etcd/ca.crt \
    --cert /etc/kubernetes/pki/etcd/server.crt \
    --key /etc/kubernetes/pki/etcd/server.key \
    endpoint status

19. ETCD 클러스터 각 멤버별 상태 확인

    kubectl -n kube-system exec -it etcd-secondcp -- \
    etcdctl -w table \
    --endpoints $ETCD_ENDPOINTS \
    --cacert /etc/kubernetes/pki/etcd/ca.crt \
    --cert /etc/kubernetes/pki/etcd/server.crt \
    --key /etc/kubernetes/pki/etcd/server.key \
    endpoint health

20. Cloud9에 연결된 터미널로 이동해서 리소스 삭제

    {
        cd ~/environment/container-labs
        terraform destroy --target=module.kubernetes --auto-approve
    }

Amazon EKS

1. eksctl 설치

   {
       cd ~/environment
       curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp
       sudo mv /tmp/eksctl /usr/local/bin
   }

2. eksctl 버전 확인

   eksctl version

3. 현재 로그인된 IAM 자격증명 확인

   aws sts get-caller-identity

4. IAM 자격증명 설정 - https://kubernetes.youngwjung.com/preparation/cloud9#cloud9

5. EKS 클러스터 생성

   eksctl create cluster \
   --name mycluster \
   --nodes-min=2 \
   --nodes-max=5 \
   --region ap-northeast-2

6. kubectl 설치

   {
       curl -LO "https://dl.k8s.io/release/v1.27.1/bin/linux/amd64/kubectl"
       sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl
       echo 'source <(kubectl completion bash)' >>~/.bashrc
       source <(kubectl completion bash)
   }

7. Node 목록 확인

   kubectl get node

8. 쿠버네티스 클러스터 버전 확인

   kubectl version --short

9. Deployment 생성

   kubectl create deployment nginx --image=nginx --replicas=3

10. 생성된 Pod 확인

    kubectl get po

11. Service 생성

    kubectl expose deployment nginx --port 80 --type LoadBalancer

12. 생성된 Service 확인

    kubectl get svc nginx

13. 생성된 ELB 주소 확인

    kubectl get svc nginx \
    -o=jsonpath='{.status.loadBalancer.ingress[0].hostname}{"\n"}'

14. 웹브라우저에서 위에서 확인한 URL로 접속

15. 리소스 삭제

    {
        kubectl delete deploy nginx
        kubectl delete svc nginx
    }

16. 데모 애플리케이션 배포 - https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/#run-and-expose-php-apache-server

    cat <<EOF | kubectl apply -f -
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: php-apache
    spec:
      selector:
        matchLabels:
          app: php-apache
      replicas: 1
      template:
        metadata:
          labels:
            app: php-apache
        spec:
          containers:
          - name: php-apache
            image: k8s.gcr.io/hpa-example
            ports:
            - containerPort: 80
            resources:
              limits:
                cpu: 2
              requests:
                cpu: 1
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: php-apache
      labels:
        app: php-apache
    spec:
      ports:
      - port: 80
      selector:
        app: php-apache
    EOF

17. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

18. Metrics Server 설치 - https://github.com/kubernetes-sigs/metrics-server#kubernetes-metrics-server

    kubectl apply -f \
    https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

19. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

20. 데모 애플리케이션에 부하를 발생시키는 Pod 생성

    kubectl create deploy load-generator \
    --image=busybox:1.28 \
    --replicas=10 \
    -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

21. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

22. HPA 생성

    kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=5

23. 위에서 생성한 HPA 상태 확인

    kubectl get hpa php-apache

24. HPA 상태 모니터링

    kubectl get hpa php-apache -w

25. Ctrl+C를 입력해서 HPA 모니터링을 중지하고 Pod가 생성되었는지 확인

    kubectl get pod -l app=php-apache

26. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

27. Pending 상태의 Pod가 있다면 아래의 명령어를 통해서 그 이유를 확인

    kubectl describe pod \
    $(kubectl get pod -o=jsonpath='{.items[?(@.status.phase=="Pending")].metadata.name}')

28. Cluster Autoscaler 설치

    {
        export CLUSTER_NAME=$(kubectl get node \
        -o=jsonpath='{.items[0].metadata.labels.alpha\.eksctl\.io\/cluster-name}')
        export ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
        export ASG_NAME=$(aws autoscaling describe-auto-scaling-groups --query \
        "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='$CLUSTER_NAME']].AutoScalingGroupName" --output text)    
        
        eksctl utils associate-iam-oidc-provider --region=ap-northeast-2 \
        --cluster=$CLUSTER_NAME --approve
        
        eksctl create iamserviceaccount \
        --cluster=$CLUSTER_NAME \
        --namespace=kube-system \
        --name=cluster-autoscaler \
        --attach-policy-arn=arn:aws:iam::aws:policy/AmazonEC2FullAccess \
        --override-existing-serviceaccounts \
        --approve \
        --region ap-northeast-2
        
        kubectl apply -f \
        https://raw.githubusercontent.com/kubernetes/autoscaler/master/cluster-autoscaler/cloudprovider/aws/examples/cluster-autoscaler-autodiscover.yaml
        
        kubectl -n kube-system patch deployment cluster-autoscaler --type=json \
        -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/command", "value": [
        "./cluster-autoscaler",
        "--v=4",
        "--stderrthreshold=info",
        "--cloud-provider=aws",
        "--skip-nodes-with-local-storage=false",
        "--expander=least-waste",
        "--node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/'${CLUSTER_NAME}'",
        "--balance-similar-node-groups",
        "--skip-nodes-with-system-pods=false"
        ]}]'
    }

29. Cluster Autoscaler 로그 확인

    kubectl -n kube-system logs deploy/cluster-autoscaler

30. Pending 상태였던 Pod가 생성 되었는지 확인

    kubectl get pod -l app=php-apache

31. Node 갯수 확인

    kubectl get node

32. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

33. 데모 애플리케이션에 부하를 발생시키는 Pod 삭제

    kubectl delete deploy load-generator

34. Pod의 리소스 사용량 확인

    kubectl top pod -l app=php-apache

35. HPA 상태 확인

    kubectl get hpa php-apache

36. HPA 상세 내용 확인

    kubectl describe hpa php-apache

37. 데모 애플리케이션의 복제본 갯수는 1개로 강제 지정

    kubectl scale deployment php-apache --replicas=1

38. Pod가 삭제 되었는지 확인

    kubectl get pod -l app=php-apache

39. 데모 애플리케이션 삭제

    kubectl delete deploy php-apache

40. Pod가 삭제 되었는지 확인

    kubectl get pod -l app=php-apache

41. Node가 삭제 되는지 확인

    kubectl get node

42. Cluster Autoscaler 로그 확인

    kubectl -n kube-system logs deploy/cluster-autoscaler

43. EKS 클러스터 삭제

    eksctl delete cluster --name mycluster --region ap-northeast-2