Membina Saluran Pemerhatian Bersatu: Prometheus, Grafana dan OpenTelemetry dalam Amalan

Senario

Sebuah platform e-dagang menjalankan mikroservis di Kubernetes. Pengguna melaporkan pesanan lambat dan tamat masa. Pasukan operasi mempunyai Prometheus dan Grafana untuk metrik asas tetapi tidak dapat mengenal pasti punca sebenar.

Gejala

• Amaran Prometheus: Kadar ralat perkhidmatan pesanan meningkat kepada 5%, kependaman p99 >2s.
• Papan pemuka Grafana menunjukkan CPU/memori normal tetapi pemprosesan rangkaian tidak normal.
• Log mengandungi hanya ralat "masa tamat perkhidmatan hulu" yang berselang-seli.

Diagnosis

Perkenalkan jejak teragih melalui OpenTelemetry. Instrumen auto dan backend jejak (Jaeger/Tempo) mendedahkan rantaian panggilan penuh.

1. Gunakan OpenTelemetry Collector

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm install otel-collector open-telemetry/opentelemetry-collector --values otel-collector-values.yaml

Contoh otel-collector-values.yaml:

mode: deployment
config:
  receivers:
    otlp:
      protocols:
        grpc:
          endpoint: 0.0.0.0:4317
  processors:
    batch:
      timeout: 1s
  exporters:
    prometheus:
      endpoint: 0.0.0.0:8889
    otlp:
      endpoint: tempo.monitoring:4317
      tls:
        insecure: true

Nota: Konfigurasikan TLS dan auth dalam pengeluaran.

2. Konfigurasi Prometheus untuk Mengikis Metrik OpenTelemetry

Tambah job dalam konfigurasi Prometheus:

scrape_configs:
  - job_name: 'otel-collector'
    static_configs:
      - targets: ['otel-collector:8889']

3. Cipta Papan Pemuka Grafana

Import papan pemuka OpenTelemetry pra-bina (ID: 14032) atau panel tersuai untuk kependaman jejak, kadar ralat dan kebergantungan.

Keputusan Diagnosis

Jejak mendedahkan bahawa perkhidmatan pesanan mengalami kelewatan resolusi DNS apabila memanggil gerbang pembayaran. Pengoptimuman cache DNS menyelesaikan isu.

Kawalan Risiko

• Uji konfigurasi OpenTelemetry dalam bukan pengeluaran terlebih dahulu.
• Tetapkan had sumber untuk Collector (CPU 500m, memori 512Mi).
• Aktifkan pensampelan (cth. 100 jejak/saat) untuk mengelakkan beban berlebihan.

Balik Semula

Jika Collector menyebabkan isu prestasi:

helm uninstall otel-collector

dan alih keluar job yang sepadan daripada Prometheus.

Pengesahan

1. Sahkan penurunan metrik dalam Grafana.
2. Semak log Collector: kubectl logs -l app=otel-collector.
3. Hantar permintaan ujian dan lihat jejak dalam UI Jaeger.

Bila Serahkan Tiket OpsGlobal

• Hadapi ketidakserasian SDK OpenTelemetry dengan bahasa pengaturcaraan anda.
• Perlukan metrik perniagaan tersuai atau tahap terperinci jejak.
• Kluster besar memerlukan pensampelan atau penyelesaian storan yang dioptimumkan.