Penskalaan Automatik Kapasiti Awan dan Operasi Kos: Panduan Praktikal Kubernetes

Senario

Sebuah platform e-dagang mengalami lonjakan trafik semasa promosi dan beban rendah pada masa lain. Penskalaan manual menyebabkan kependaman semasa puncak dan pembaziran sumber semasa lembah, dengan kos awan bulanan melebihi belanjawan sebanyak 40%.

Gejala

• Penggunaan CPU nod secara konsisten melebihi 85% atau di bawah 20%
• Pod kerap OOMKilled atau Pending
• Bil awan menunjukkan pertumbuhan luar biasa dalam kos instance EC2/EKS

Diagnosis

1. Analisis metrik kluster: Gunakan kubectl top nodes dan kubectl top pods untuk melihat penggunaan sumber.
2. Semak konfigurasi Horizontal Pod Autoscaler (HPA): Pastikan metrik dan ambang sesuai.
3. Periksa log Cluster Autoscaler (CA): kubectl logs -n kube-system deployment/cluster-autoscaler
4. Analisis kos: Gunakan tag kos pembekal awan (contohnya AWS Cost Explorer) dikumpulkan mengikut ruang nama atau label.

Arahan Utama

Dayakan HPA

kubectl autoscale deployment frontend --cpu-percent=70 --min=3 --max=20

Konfigurasikan Cluster Autoscaler

Edit ConfigMap:

kubectl edit configmap -n kube-system cluster-autoscaler-config

Tambah scale-down-utilization-threshold: 0.5 untuk menurunkan ambang pengecilan.

Contoh Pengoptimuman Kos

Gunakan instance Spot:

kubectl label nodes --all spot=yes
# Kemudian tentukan pemilih nod dalam deployment

Kawalan Risiko

• Tetapkan Pod Disruption Budget (PDB) untuk perkhidmatan kritikal: yaml apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: web-pdb spec: maxUnavailable: 1 selector: matchLabels: app: web
• Laksanakan pengecilan secara beransur: tetapkan stabilizationWindowSeconds dalam HPA
• Dayakan amaran kos: contohnya AWS Budgets memberitahu apabila perbelanjaan melebihi 80%

Pelan Rollback

1. Kembalikan HPA: kubectl delete hpa frontend kemudian cipta semula versi lama.
2. Matikan Cluster Autoscaler: kubectl scale deployment/cluster-autoscaler --replicas=0 -n kube-system
3. Jika ada sandaran, guna semula manifest Deployment dan Service sebelumnya.

Pengesahan

• Gunakan kubectl describe hpa frontend untuk periksa metrik semasa dan replika yang dikehendaki.
• Pantau bilangan nod: kubectl get nodes.
• Bandingkan laporan kos: perbelanjaan sebenar harus menurun tanpa pelanggaran SLO.

Bila untuk Menghantar Tiket OpsGlobal

• Penskalaan automatik menyebabkan isu kestabilan (contohnya pengusiran kerap, PDB menghalang pengecilan)
• Kos masih tidak normal atau tidak berkurang seperti yang dijangka
• Kluster besar (100+ nod) memerlukan pengoptimuman strategi
• Persekitaran multi-awan atau hibrid

Pasukan SRE OpsGlobal boleh bertindak balas dalam masa 15 minit, menawarkan strategi penskalaan automatik tersuai dan audit kos.