Menguasai Autoscaling Kapasiti Awan dan Operasi Kos: Panduan Praktikal

Senario

Syarikat memindahkan beban kerja ke awan. Untuk memastikan peralihan lancar, pasukan kejuruteraan pada mulanya menyediakan sumber secara berlebihan, menyebabkan bil awan melambung tinggi manakala penggunaan kekal sangat rendah. Semasa trafik puncak, beberapa perkhidmatan mengalami kemerosotan prestasi, had pemprosesan, dan pelanggaran SLO. Pasukan memerlukan strategi autoscaling dan pengurusan kapasiti yang mengekalkan prestasi sambil mengawal kos.

Gejala

• Bil awan bulanan sangat tinggi, tetapi penggunaan CPU dan memori kekal di bawah 20% untuk tempoh yang lama.
• Semasa puncak perniagaan, Pod mengalami pendikit CPU, tamat masa permintaan, dan juga OOMKill.
• Bilangan replika tetap dan tidak berubah mengikut trafik.
• Nod kluster kekal statik walaupun beban rendah.
• Laporan kos menunjukkan perbelanjaan sumber pengiraan mendominasi, tanpa penjelasan yang jelas.

Diagnosis

Mula-mula, kumpulkan data menggunakan alat asli Kubernetes dan pemantauan platform awan.

# Semak penggunaan sumber nod dan Pod
kubectl top nodes
kubectl top pods -A

# Semak konfigurasi dan status HPA sedia ada
kubectl get hpa -A
kubectl describe hpa -n <namespace>

# Semak status autoscaler kluster (contoh untuk EKS)
kubectl get clusterautoscaler -n kube-system

# Untuk GKE, gunakan gcloud untuk memeriksa konfigurasi autoscaling kluster
gcloud container clusters describe <cluster-name> --region <region>

Analisis data: - Jika HPA tidak dikonfigurasi atau salah konfigurasi, bilangan replika tidak akan berskala dengan beban. - Jika permintaan dan had sumber Pod tidak ditetapkan atau ditetapkan terlalu tinggi/rendah, penjadualan dan penskalaan akan menjadi tidak berkesan. - Jika autoscaler kluster tidak diaktifkan, nod tidak akan berskala berdasarkan keperluan penjadualan Pod.

Gunakan alat pengurusan kos awan (contohnya, AWS Cost Explorer, GCP Cost Management) untuk menganalisis kos mengikut perkhidmatan, namespace, atau label, mengenal pasti sumber utama pembaziran.

Arahan

1. Laraskan HPA

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: my-app-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-app
  minReplicas: 2
  maxReplicas: 20
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60
    - type: Resource
      resource:
        name: memory
        target:
          type: Utilization
          averageUtilization: 70

Guna konfigurasi:

kubectl apply -f hpa.yaml

2. Aktifkan Cluster Autoscaler

• EKS: Aktifkan managed-nodegroup semasa penciptaan kluster, tetapkan --min-size dan --max-size.
• GKE: gcloud container clusters update <cluster> --enable-autoscaling --min-nodes 1 --max-nodes 10
• AKS: az aks update --resource-group <rg> --name <cluster> --enable-cluster-autoscaler --min-count 1 --max-count 10

3. Tetapkan Permintaan dan Had Sumber

Edit Deployment dan konfigurasikan permintaan serta had yang tepat untuk setiap kontena. Gunakan cadangan VPA sebagai titik permulaan.

Kawalan Risiko

• Sentiasa tetapkan PodDisruptionBudget (PDB) untuk beban kerja kritikal bagi memastikan kesinambungan perkhidmatan semasa kemas kini bergulir atau pengurangan skala.
• Tetapkan sempadan penskalaan untuk HPA (contohnya, jangan tetapkan maxReplicas terlalu tinggi) untuk mengelakkan penskalaan berlebihan.
• Uji semua konfigurasi autoscaling dalam persekitaran bukan pengeluaran terlebih dahulu untuk mengesahkan tingkah laku yang dijangkakan.
• Tetapkan had min/maks untuk kumpulan nod dalam autoscaler kluster untuk mengelakkan pengembangan tidak sengaja kepada kos yang sangat tinggi.
• Apabila menggunakan Vertical Pod Autoscaler (VPA), mulakan dalam mod "recommendation" sebelum mengaktifkan mod "auto".
• Pantau kekerapan penskalaan untuk mengelakkan "thrashing" (penskalaan kerap). Laraskan --horizontal-pod-autoscaler-sync-period atau ambang metrik jika perlu.

Gulung Balik

Jika autoscaling menyebabkan masalah, anda boleh gulung balik dengan cepat:

# Padam HPA dan pulihkan bilangan replika manual
kubectl delete hpa my-app-hpa
kubectl scale deployment my-app --replicas=5

# Lumpuhkan autoscaler kluster
# EKS: buang konfigurasi autoscaling melalui konsol AWS atau CLI
# GKE: gcloud container clusters update <cluster> --no-enable-autoscaling
# AKS: az aks update --resource-group <rg> --name <cluster> --disable-cluster-autoscaler

Sebelum gulung balik, pastikan bilangan replika yang ditetapkan secara manual dapat menampung beban semasa untuk mengelakkan gangguan perkhidmatan.

Pengesahan

• Perhatikan status HPA: kubectl describe hpa menunjukkan Current Replicas dan Desired Replicas, dan semak peristiwa penskalaan.
• Gunakan Grafana atau pemantauan awan untuk mengesan perubahan CPU, memori, latensi P99, dan kos.
• Bandingkan kadar pencapaian SLO dan bil awan sebelum dan selepas perubahan.
• Semak sama ada bilangan nod kluster berubah mengikut permintaan Pod melalui kubectl get nodes.

Contohnya, semasa waktu puncak, replika sepatutnya berskala automatik dari 2 ke 10, dan nod dari 3 ke 6; semasa waktu rendah, ia sepatutnya mengecil untuk mengurangkan kos.

Bila Perlu Hantar Tiket OpsGlobal

Kami mengesyorkan untuk menghubungi kami dengan segera jika:

• Autoscaling kerap mengalami "thrashing", menyebabkan ketidakstabilan aplikasi yang tidak dapat diperbaiki dengan pelarasan biasa.
• Had kuota platform awan (contohnya, had vCPU) menghalang pengembangan kluster, memerlukan pelarasan kuota atau reka bentuk semula seni bina.
• Anomali kos meningkat tanpa sumber yang dapat dijelaskan menggunakan alat sedia ada.
• Anda perlu mereka bentuk strategi penskalaan yang kompleks, seperti HPA berdasarkan metrik tersuai (lengah Kafka, kedalaman baris gilir permintaan), atau campuran instance Spot dan On-Demand.
• Penskalaan kluster menghasilkan ralat dalaman yang memerlukan siasatan mendalam.

Pakar SRE OpsGlobal boleh membantu anda mereka bentuk dan melaksanakan penyelesaian pengurusan kapasiti dan pengoptimuman kos yang mantap, membolehkan anda beroperasi dengan lebih pantas dan menjimatkan lebih banyak dalam awan.