Pemerhatian Praktikal dengan Prometheus, Grafana, dan OpenTelemetry

Senario

Platform e-dagang anda berjalan di Kubernetes. Pengguna melaporkan proses pembayaran lambat. Pasukan SRE melihat lonjakan kependaman P99 dari 200ms ke 2s, tetapi CPU dan memori normal. Jejak OpenTelemetry menunjukkan rentang pangkalan data hilang.

Gejala

• Papan pemuka Grafana menunjukkan kependaman P99 tinggi.
• Metrik Prometheus http_request_duration_seconds meningkat, tetapi node_cpu_seconds_total kekal.
• Jejak tidak lengkap—rentang pangkalan data tiada.
• Tiada log ralat.

Diagnosis

1. Periksa konfigurasi OpenTelemetry Collector: Konfigurasi kekurangan pemproses batch, menyebabkan kelewatan hantar rentang.
2. Sahkan sasaran Prometheus scrape: Pastikan titik metrik collector dikikis.
3. Periksa log Collector: Jalankan kubectl logs <otel-collector-pod>. Lihat tamat masa dan cubaan semula.

Arahan

Sandaran konfigurasi semasa

kubectl get configmap otel-collector-config -o yaml > otel-collector-config.bak.yaml

Kemas kini dan gunakan konfigurasi baru

Tambah pemproses batch:

processors:
  batch:
    timeout: 5s
    send_batch_size: 1000

Gunakan:

kubectl apply -f otel-collector-config.yaml
kubectl rollout restart deployment otel-collector

Sahkan sasaran Prometheus

kubectl port-forward svc/otel-collector 8888
curl http://localhost:8888/metrics | grep otel

Kawalan Risiko

• Uji perubahan konfigurasi di persekitaran pementasan dahulu.
• Gunakan strategi biru/hijau untuk kemas kini collector.
• Sandarkan ConfigMap dan Deployment semasa.
• Pantau penggunaan sumber collector untuk elakkan OOM.

Balik Pulih

Jika masalah timbul, balik pulih segera:

kubectl apply -f otel-collector-config.bak.yaml
kubectl rollout restart deployment otel-collector

Pengesahan

1. Periksa Grafana: Kependaman P99 harus menurun.2. Jejak OpenTelemetry kini menunjukkan rentang pangkalan data.3. Jalankan PromQL: histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[5m])).

Bila Hantar Tiket OpsGlobal

• Isu masih berterusan selepas semua langkah.2. Metrik atau jejak teras hilang sepenuhnya.3. Perlukan bantuan mengoptimumkan prestasi atau konfigurasi collector.4. Syak ada hambatan infrastruktur yang tidak diketahui.