Membina Pagar CI/CD yang Kukuh untuk Kejuruteraan Siaran

Senario

Penggunaan mikroservis memasuki CrashLoopBackOff, menyebabkan ralat API 503. Siasatan mendedahkan versi baru kehilangan ConfigMap yang diperlukan, menyebabkan aplikasi gagal dimulakan.

Gejala

• Pod tersekat dalam CrashLoopBackOff
• Titik akhir perkhidmatan mengembalikan 503
• Penggera pemantauan berbunyi

Diagnosis

1. Periksa log pod:

kubectl logs <nama-pod> -n <ruang-nama>

1. Huraikan peristiwa pod:

kubectl describe pod <nama-pod> -n <ruang-nama>

1. Sahkan kewujudan ConfigMap:

kubectl get configmap <nama-configmap> -n <ruang-nama>

Perintah dan Pagar

Tambah pemeriksaan ini ke saluran paip CI/CD anda: - Pengesahan pra-penggunaan: Gunakan kubectl diff untuk membandingkan konfigurasi

kubectl diff -f deployment.yaml

• Ujian integrasi: Jalankan ujian automatik sebelum penggunaan

# Dalam skrip CI
kubectl apply -f test-env.yaml
run-integration-tests
kubectl delete -f test-env.yaml

• Pelepasan canary: Dedahkan versi baru secara beransur-ansur

# Menggunakan Service Mesh atau strategi Deployment
apiVersion: apps/v1
kind: Deployment
spec:
  strategy:
    canary:
      steps:
      - setWeight: 10
      - pause: {duration: 5m}

• Penggulungan semula automatik: Konfigurasikan dasar Rollout

kubectl rollout undo deployment/<nama-deployment> -n <ruang-nama>

Kawalan Risiko

• Pastikan ConfigMap dan Secret dibuat sebelum penggunaan
• Gunakan Helm atau Kustomize untuk mengurus konfigurasi, elakkan suntingan manual
• Laksanakan pintu kelulusan: Hanya benarkan penggunaan yang dicetuskan oleh PR yang telah disemak kod

Langkah Penggulungan Semula

1. Gulung semula penggunaan Kubernetes:

kubectl rollout undo deployment/<nama-deployment> -n <ruang-nama>

1. Jika dicetuskan oleh Git, balikkan komit Git:

git revert <hash-komit>
git push origin main

1. Sahkan pemulihan perkhidmatan:

curl http://<url-perkhidmatan>/healthz

Pengesahan

• Periksa status pod: kubectl get pods -n <ruang-nama>
• Periksa titik akhir: kubectl get endpoints <nama-perkhidmatan>
• Perhatikan metrik pemantauan (contohnya, kadar permintaan berjaya, kependaman)

Bila Serahkan Tiket OpsGlobal

• Jika penggulungan semula gagal atau anda tidak boleh mengakses kluster
• Jika isu berterusan lebih daripada 30 minit dan puncanya tidak diketahui
• Jika anda memerlukan bantuan untuk mengkonfigurasi pagar CI/CD atau mengaudit saluran paip

Pasukan OpsGlobal menyediakan sokongan 24/7 untuk membantu anda mengoptimumkan proses siaran dan mengurangkan masa henti.