生产级可观测性实战：Prometheus + Grafana + OpenTelemetry 集成指南

场景

某电商平台在Kubernetes上部署微服务，业务增长后频繁出现延迟飙升和错误率上升，但现有监控仅覆盖基础设施，无法定位应用层问题。团队决定引入OpenTelemetry进行分布式追踪，并结合Prometheus和Grafana构建统一可观测性平台。

症状

• 用户响应时间从200ms激增至2s
• 部分API错误率超过5%
• 现有Prometheus告警无法关联到具体服务或调用链

诊断

1. 检查Prometheus指标：rate(http_request_duration_seconds_sum[5m]) 发现高延迟集中在支付服务
2. 使用Grafana Explore查询OpenTelemetry trace：{service.name="payment-service"} && duration > 1s 定位到数据库查询慢
3. 进一步分析发现数据库连接池耗尽，导致请求排队

命令

安装OpenTelemetry Collector

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm upgrade --install otel-collector open-telemetry/opentelemetry-collector \
  --set config.exporters.otlp.endpoint=otel-collector:4317

配置Prometheus接收OTLP指标

# prometheus.yml
scrape_configs:
  - job_name: 'otel-collector'
    static_configs:
      - targets: ['otel-collector:8888']

创建Grafana仪表盘

导入官方OpenTelemetry仪表盘模板（ID: 15941）

风险控制

• 先在一台非关键节点部署otel-collector，观察资源消耗（CPU、内存）
• 对采样率进行限制，避免存储爆炸：set config.processors.batch.timeout=10s
• 确保告警阈值不触发错误警报，逐步调整

回滚

helm uninstall otel-collector
# 恢复Prometheus配置
kubectl delete configmap prometheus-config -n monitoring
kubectl create configmap prometheus-config --from-file=prometheus.yml
kubectl rollout restart deployment prometheus -n monitoring

验证

1. 访问Grafana，确认trace数据出现
2. 运行负载测试：k6 run --vus 10 --duration 30s script.js
3. 检查追踪详情：一个完整的请求应包含所有span，且时间戳对齐

何时提交OpsGlobal工单

• 部署后指标丢失或trace不完整
• 系统资源占用异常升高
• 需要定制采样策略或高级告警规则
• 团队无Kubernetes权限或经验

如需专家协助，请在工单中描述集群版本、已安装组件及具体报错。