Membina Tindanan Keterhatian Bersatu dengan Prometheus, Grafana, dan OpenTelemetry

Senario

Aplikasi mikroperkhidmatan anda digunakan di Kubernetes dan mengalami kependaman serta peningkatan ralat yang sekejap. Anda kini menggunakan Prometheus dan Grafana untuk metrik, tetapi kekurangan penjejakan teragih dan perkaitan log, menjadikan analisis punca memakan masa.

Gejala

• Masa tindak balas API berubah-ubah dan kadar ralat meningkat secara berkala.
• Papan pemuka yang berbeza menunjukkan metrik yang bercanggah dan sukar dikaitkan.
• Log menunjukkan ralat tetapi tidak dapat dikesan kembali kepada permintaan dan laluan kod tertentu.

Diagnosis

• Metrik menunjukkan lonjakan penggunaan CPU dalam beberapa perkhidmatan tanpa log ralat yang sepadan.
• Data jejak hilang, menghalang visualisasi laluan permintaan.
• Log dan metrik mempunyai offset masa, menjadikan perkaitan tidak berkesan.

Perintah

1. Pasang Operator dan Pengumpul OpenTelemetry:

kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml

1. Gunakan konfigurasi Pengumpul OpenTelemetry:

apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
  name: otel-collector
spec:
  config: |
    receivers:
      otlp:
        protocols:
          grpc:
          http:
    processors:
      batch:
    exporters:
      prometheus:
        endpoint: "0.0.0.0:8889"
        namespace: otel
      logging:
    service:
      pipelines:
        metrics:
          receivers: [otlp]
          processors: [batch]
          exporters: [prometheus, logging]

1. Konfigurasikan Prometheus untuk mengikis metrik Pengumpul OpenTelemetry:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: otel-collector
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: otel-collector
  endpoints:
  - port: metrics
    interval: 15s

1. Tambah sumber data Prometheus di Grafana dan import papan pemuka sedia ada.
2. Instrumen aplikasi anda dengan SDK OpenTelemetry untuk menghantar jejak dan metrik kepada Pengumpul.

Kawalan Risiko

• Sandarkan data Prometheus sedia ada menggunakan API snapshot sebelum penggunaan.
• Hadkan sumber CPU dan memori Pengumpul untuk mengelakkan kesan kepada pengeluaran.
• Laksanakan pensampelan untuk mengurangkan jumlah jejak, contohnya sampel 1 daripada 100 permintaan.
• Sahkan dalam persekitaran ujian kecil terlebih dahulu.

Pengembalian

• Padamkan Operator dan Pengumpul OpenTelemetry: kubectl delete -f otel-collector.yaml.
• Pulihkan konfigurasi Prometheus dengan mengalih keluar ServiceMonitor.
• Mulakan semula Pod yang terjejas untuk melumpuhkan SDK OpenTelemetry.

Pengesahan

• Periksa metrik Prometheus di Grafana untuk metrik otel_*.
• Hantar permintaan ujian dan sahkan jejak di Jaeger atau Zipkin.
• Sahkan log dikaitkan dengan ID jejak melalui agregasi log (contohnya Loki).

Bila Serahkan Tiket OpsGlobal

• Ketidakselarasan data atau kemerosotan prestasi selepas integrasi.
• Pengumpul OpenTelemetry ranap berulang atau OOM.
• Jejak hilang atau konfigurasi pensampelan tidak berfungsi.
• Perlukan bantuan pakar mengoptimumkan saluran paip atau papan pemuka tersuai.