Prometheus, Grafana dan OpenTelemetry dalam Tindakan: Panduan Praktikal Penyelesaian Masalah Kebolehperhatian Kubernetes

Senario

Sebuah kluster Kubernetes platform e-dagang mengalami lonjakan kependaman dalam perkhidmatan mikro order-service semasa waktu puncak, dari purata 200ms ke 2s, menyebabkan pesanan tamat masa. Pasukan telah menggunakan Prometheus + Grafana untuk pemantauan dan OpenTelemetry untuk pengesanan teragih.

Gejala

• Papan pemuka Grafana menunjukkan kependaman permintaan HTTP P99 untuk order-service meningkat dari 200ms ke 2s
• Penggunaan CPU Pod tidak meningkat dengan ketara, tetapi penggunaan memori semakin meningkat
• Surihan OpenTelemetry mendedahkan titik akhir /checkout adalah kesesakan, dengan panggilan payment-gateway mengambil 1.5s

Diagnosis

1. Buka Grafana, periksa histogram http_request_duration_seconds untuk order-service untuk mengesahkan kependaman P99
2. Semak penggunaan sumber Pod: kubectl top pod -n production -l app=order-service; memori semakin meningkat dan menghampiri had OOM
3. Dalam UI OpenTelemetry (contohnya Jaeger), pilih surihan /checkout; payment-gateway menunjukkan 3 percubaan semula akibat tamat masa
4. Periksa metrik payment-gateway: panel Grafana menunjukkan kadar ralat 5% dan kependaman P95 8s

Arahan

# Pertanyaan histogram kependaman (PromQL)
histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket{service="order-service", endpoint="/checkout"}[5m])) by (le))

# Semak sumber Pod
kubectl top pod -n production -l app=order-service

# Lihat 100 log terakhir
kubectl logs --tail=100 -n production deployment/order-service

echo "Pintu pembayaran perlahan; pertimbang pemutus litar"

Kawalan Risiko

• Pastikan amaran pertanyaan perlahan Grafana diaktifkan dan dimaklumkan kepada SRE sebelum perubahan
• Lumpuhkan pemutus litar automatik pada payment-gateway untuk mengelakkan kegagalan berantai
• Sandarkan ConfigMap: kubectl get configmap -n production order-service-config -o yaml > /tmp/order-config-backup.yaml

Gulung Balik

Jika kependaman tidak bertambah baik selepas pembetulan:

kubectl rollout undo deployment/order-service -n production
kubectl rollout status deployment/order-service -n production

Jika konfigurasi berubah, pulihkan:

kubectl apply -f /tmp/order-config-backup.yaml

Pengesahan

1. Jalankan ujian beban: hey -z 30s -c 10 http://order-service.production/checkout
2. Sahkan Grafana menunjukkan kependaman P99 di bawah 300ms
3. Semak surihan OpenTelemetry: panggilan payment-gateway di bawah 500ms
4. Sahkan tiada log ralat baru

Bila Menghantar Tiket OpsGlobal

• Jika pasukan anda kekurangan pengesanan OpenTelemetry dan memerlukan bantuan penggunaan
• Apabila kegagalan berantai merentas pelbagai perkhidmatan tidak dapat diasingkan
• Untuk konfigurasi penggera lanjutan (contohnya penggera berasaskan SLO)
• Jika analisis kesesakan sumber kluster melebihi keupayaan pasukan