Penyelesaian Masalah Produksi Runbook SRE Linux: Dari Insiden ke Tindak Balas Automatik

Gambaran Keseluruhan

Dalam pengeluaran, kegagalan tidak dapat dielakkan. Runbook SRE adalah alat penting untuk mengekalkan kebolehpercayaan perkhidmatan. Post ini menggunakan senario Kubernetes biasa—Pod crash loop—untuk menunjukkan aliran kerja penyelesaian masalah lengkap dari pengesanan gejala hingga tindak balas automatik.

Senario

Aplikasi mikroservis yang berjalan di Kubernetes mengalami Pod dalam keadaan CrashLoopBackOff.

Gejala

• Status Pod: CrashLoopBackOff
• Log: OutOfMemoryError atau proses dibunuh oleh OOM Killer
• Pemantauan: Penggunaan memori sentiasa melebihi ambang

Langkah Diagnosis

1. Periksa status Pod bash kubectl get pods -n <namespace> | grep -v Running
2. Periksa log Pod bash kubectl logs <pod-name> -n <namespace> --previous
3. Huraikan peristiwa Pod bash kubectl describe pod <pod-name> -n <namespace>
4. Periksa sumber nod bash kubectl top nodes kubectl top pods -n <namespace>
5. Analisis penggunaan memori bash # Exec ke dalam kontena (jika masih berjalan) kubectl exec -it <pod-name> -n <namespace> -- bash # Lihat memori proses ps aux --sort=-%mem | head -n 10

Kawalan Risiko

• Lakukan tindakan di luar waktu puncak untuk mengurangkan kesan kepada pengguna.
• Laraskan kuota sumber terlebih dahulu: kubectl edit deployment <deployment> untuk meningkatkan had memori.
• Jangan padam Pod berkeadaan tanpa penilaian terlebih dahulu.
• Gunakan kubectl cordon <node> untuk mengasingkan nod yang rosak.

Pelan Rollback

1. Sahkan isu berpunca daripada perubahan terkini.
2. Rollback deployment: bash kubectl rollout undo deployment/<deployment> -n <namespace>
3. Jika rollback gagal, kembali ke semakan yang diketahui baik: bash kubectl rollout history deployment/<deployment> -n <namespace> kubectl rollout undo deployment/<deployment> --to-revision=<revision>

Pengesahan

• Pastikan status Pod Running dan stabil.
• Pantau keluk penggunaan memori kembali ke garis dasar.
• Laksanakan ujian trafik biasa.

Bila Menghantar Tiket OpsGlobal

• Isu berterusan selepas banyak percubaan rollback.
• Masalah melibatkan konfigurasi sistem peringkat rendah (parameter kernel, sistem fail).
• Perlu penalaan prestasi atau semakan seni bina.
• Tindak balas pantas diperlukan di luar waktu perniagaan.

Runbook berstruktur membolehkan pasukan SRE mengurangkan MTTR. Untuk isu kompleks, sokongan pakar tepat pada masanya adalah kunci.