Prometheus, Grafana dan OpenTelemetry: Panduan Praktikal untuk Kebolehcerapan Produksi

Senario

Anda menguruskan aplikasi mikroservis yang berjalan di Kubernetes. Pengguna melaporkan peningkatan masa respons dan tamat masa sekali-sekala. Anda perlu mengenal pasti punca dengan cepat.

Gejala

• Kependaman aplikasi keseluruhan melonjak: P99 meningkat dari 200ms ke 2s.
• Sesetengah permintaan mengembalikan ralat HTTP 500.
• Amaran pemantauan diaktifkan, tetapi metrik sedia ada (CPU, memori) tidak menunjukkan anomali.

Diagnosis

1. Sahkan bahawa Pengumpul OpenTelemetry telah digunakan dan menerima jejak/metrik daripada aplikasi.
2. Di Grafana, semak papan pemuka "Kependaman Perkhidmatan" yang telah dibina. Perhatikan lonjakan kependaman pertanyaan pangkalan data dalam satu mikroservis.
3. Beralih ke paparan jejak, cari jejak yang sepadan, dan kenal pasti pertanyaan SQL perlahan (masa pelaksanaan 1.8s).
4. Periksa Prometheus untuk metrik kolam sambungan pangkalan data; sambungan telah habis.

Arahan

Arahan ini menganggap persekitaran Kubernetes dengan Helm dan kubectl dikonfigurasikan.

1. Gunakan Pengumpul OpenTelemetry

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm upgrade --install otel-collector open-telemetry/opentelemetry-collector \
  --set config.exporters.prometheus.endpoint="0.0.0.0:8889" \
  --set config.service.pipelines.metrics.exporters="[prometheus]" \
  --namespace observability --create-namespace

2. Konfigurasikan Prometheus untuk mengikis metrik

cat <<EOF | kubectl apply -f -
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: otel-collector
  namespace: observability
spec:
  selector:
    matchLabels:
      app.kubernetes.io/instance: otel-collector
  endpoints:
  - port: metrics
    interval: 15s
EOF

3. Import papan pemuka Grafana

Gunakan UI atau API Grafana untuk mengimport papan pemuka OpenTelemetry yang telah dibina (ID: 15905).

Kawalan Risiko

• Tetapkan kadar persampelan yang sesuai (contohnya persampelan berasaskan kepala) untuk mengelakkan kehabisan memori dalam Pengumpul di bawah beban tinggi.
• Pastikan selang pengikisan Prometheus munasabah (tidak terlalu pendek) untuk mengurangkan beban.
• Sandarkan peraturan Prometheus sedia ada dan papan pemuka Grafana sebelum membuat perubahan.

Pengembalian

Jika perubahan menyebabkan masalah:

helm rollback otel-collector -n observability
kubectl delete servicemonitor otel-collector -n observability

Pulihkan konfigurasi Prometheus dan papan pemuka Grafana daripada sandaran.

Pengesahan

1. Di Grafana, semak bahawa papan pemuka baharu menunjukkan kependaman dan kadar ralat yang betul untuk semua perkhidmatan.
2. Gunakan kubectl logs untuk mengesahkan Pengumpul OpenTelemetry tiada ralat.
3. Simulasikan permintaan perlahan dan sahkan jejak baharu direkodkan dengan betul.

Bila Perlu Menghantar Tiket OpsGlobal

Hantar tiket jika: - Kependaman atau kadar ralat tidak bertambah baik selepas integrasi. - Anda memerlukan papan pemuka tersuai atau peraturan amaran. - Kluster anda besar dan memerlukan penalaan prestasi untuk Pengumpul. - Anda menghadapi ralat yang tidak dapat dijelaskan (contohnya Pengumpul ranap, kehilangan data).