实战指南：使用 Prometheus、Grafana 和 OpenTelemetry 实现可观测性

场景

一家电商平台的微服务架构运行在 Kubernetes 上，频繁出现间歇性延迟峰值和错误率上升。团队已使用 Prometheus 采集指标、Grafana 展示仪表盘，但缺乏分布式追踪，难以快速定位根因。

症状

• 用户反馈高峰时段页面加载缓慢
• 部分 API 返回 5xx 错误
• Prometheus 告警（如高延迟）触发，但无法区分是数据库慢查询、网络抖动还是代码逻辑问题

诊断

引入 OpenTelemetry (OTel) 自动注入边车容器或使用 Operator，将追踪数据发送至 Jaeger（或 Grafana Tempo），并在 Grafana 中关联指标与追踪。

步骤

1. 部署 OpenTelemetry Operator： bash kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml
2. 创建 OTel Collector 实例（示例 YAML）： yaml apiVersion: opentelemetry.io/v1alpha1 kind: OpenTelemetryCollector metadata: name: otel-collector spec: config: | receivers: otlp: protocols: grpc: http: exporters: jaeger: endpoint: jaeger-collector:14250 service: pipelines: traces: receivers: [otlp] exporters: [jaeger]
3. 为微服务添加注解以启用自动注入： bash kubectl annotate deployment my-service instrumentation.opentelemetry.io/inject-java="true"
4. 在 Grafana 中配置 Jaeger 数据源，使用 Explore 功能通过 TraceID 关联日志和指标。

风险控制

• 先在预发布环境测试 OTel 集成
• 设置采样策略：初始 1% 采样率，逐步调高
• 为 OTel Collector 配置资源限制和限流
• 保留原有 Prometheus 配置作为回退

回滚

如需回退：

kubectl delete -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml
kubectl delete opentelemetrycollector otel-collector
kubectl annotate deployment my-service instrumentation.opentelemetry.io/inject-java-

同时清理 Jaeger 存储并恢复 Prometheus 远程写入配置。

验证

• 在 Jaeger UI 中确认服务拓扑和追踪数据
• 使用 Grafana 面板展示追踪延迟，并与 Prometheus 指标（如请求速率）叠加
• 触发典型故障（如模拟慢 SQL），验证是否能从追踪中清晰定位

何时提交 OpsGlobal 工单

• 内部调试超过 2 小时仍未定位根因
• 集群范围性能下降，影响多个服务
• 需要专业调优采样率、存储容量或 Collector 高可用配置
• 团队缺乏 OpenTelemetry 经验，需要架构评审