Panduan Praktikal Autoscaling Kapasiti Awan dan Operasi Kos

Senario

Sebuah platform e-dagang menggunakan Kubernetes di AWS EKS dengan Cluster Autoscaler (CA) dan Horizontal Pod Autoscaler (HPA). Mereka mengalami peningkatan kos dan prestasi tidak menentu: kependaman tinggi semasa puncak, penggunaan nod di bawah 30% ketika luar puncak.

Gejala

• Bil bulanan meningkat >25%
• Purata penggunaan CPU nod di bawah 20% ketika luar puncak
• HPA sering mencetus tetapi Pod baharu lambat menjawab
• Log CA menunjukkan ralat "scale-up blocked"

Diagnosis

1. Periksa konfigurasi HPA: kubectl get hpa -n <namespace> untuk sasaran metrik. Pastikan permintaan dan had sumber ditetapkan wajar.
2. Analisis log CA: kubectl logs -n kube-system deployment/cluster-autoscaler untuk punca kegagalan (had kumpulan nod, kuota AWS).
3. Periksa penggunaan nod: kubectl top nodes dan kubectl describe nodes.
4. Gunakan AWS Cost Explorer dengan penapis tag untuk kenal pasti perbelanjaan terbuang pada nod terbiar.

Arahan

# Lihat status HPA
kubectl get hpa --all-namespaces

# Papar log CA
export CA_POD=$(kubectl get pods -n kube-system -l app.kubernetes.io/name=aws-cluster-autoscaler -o jsonpath='{.items[0].metadata.name}')
kubectl logs -n kube-system $CA_POD --tail=50

# Ubah saiz kumpulan nod (min/max) melalui AWS CLI
aws autoscaling update-auto-scaling-group --auto-scaling-group-name <ASG_NAME> --min-size 2 --max-size 10

# Tetapkan permintaan & had sumber Pod (contoh deployment)
kubectl set resources deployment <app> -n <ns> --requests=cpu=500m,memory=512Mi --limits=cpu=1,memory=1Gi

Kawalan Risiko

• Sebelum ubah saiz nod, cipta PodDisruptionBudget: kubectl create pdb <name> --selector=app=<app> --min-available=2
• Tetapkan ambang pengecilan CA (misalnya penggunaan <50% untuk 10 minit) melalui argumen permulaan: tambah --scale-down-utilization-threshold=0.5 --scale-down-delay-after-add=10m
• Gunakan afin dan anti-afin nod untuk elak beban kerja mengganggu kapasiti mengejut

Pengembalian

• Kembalikan saiz nod asal: aws autoscaling update-auto-scaling-group --auto-scaling-group-name <ASG_NAME> --min-size <asal> --max-size <asal>
• Undur perubahan HPA: kubectl rollout undo deployment/<deployment-name> -n <namespace>
• Kembalikan parameter CA: kubectl edit deployment cluster-autoscaler -n kube-system dan pulihkan argumen sebelumnya

Pengesahan

• Pantau kos: Gunakan AWS Cost Explorer atau Kubecost untuk lihat perubahan kos harian selama seminggu.
• Sahkan tindak balas penskalaan: Jalankan ujian beban (cth, k6) untuk pastikan HPA dan CA berskala tanpa lengah.
• Periksa penggunaan nod: kubectl top nodes dan kubectl describe nodes pastikan penggunaan luar puncak meningkat melebihi 40%.

Bila Hantar Tiket OpsGlobal

• Jika kelewatan penskalaan berterusan (tiada nod baharu dalam 5 minit)
• Log CA menunjukkan "Failed to find node group" atau ralat had laju API AWS
• Perlu bantuan konfigurasi HPA metrik tersuai (cth, berdasarkan panjang giliran)
• Gangguan kerap akibat penamatan Spot instance menjejaskan kestabilan beban kerja