使用Prometheus、Grafana和OpenTelemetry实现可观测性：实战指南

场景

您的电商平台运行在Kubernetes上，用户反映结账页面响应缓慢。SRE团队发现P99延迟飙升，但CPU和内存指标正常。OpenTelemetry追踪数据显示部分数据库查询跨度缺失。

症状

• Grafana面板显示P99延迟从200ms上升到2s。
• Prometheus指标中，http_request_duration_seconds增加，但node_cpu_seconds_total平稳。
• OpenTelemetry追踪链不完整，缺少数据库查询的span。
• 日志系统无异常错误。

诊断

1. 检查OpenTelemetry Collector配置：查看otel-collector-config.yaml，发现缺少batch处理器，导致span发送延迟。
2. 验证Prometheus Scrape配置：确认scrape_configs中是否包含otel-collector的指标端点。
3. 检查Collector日志：使用kubectl logs 查看错误，发现超时和重试。

命令

查看当前Collector配置

kubectl get configmap otel-collector-config -o yaml > otel-collector-config.bak.yaml

更新配置并应用

编辑配置文件，添加batch处理器：

processors:
  batch:
    timeout: 5s
    send_batch_size: 1000

应用变更：

kubectl apply -f otel-collector-config.yaml
kubectl rollout restart deployment otel-collector

验证Prometheus Target

kubectl port-forward svc/otel-collector 8888
curl http://localhost:8888/metrics | grep otel

风险控制

• 在非生产环境先测试配置变更。
• 使用蓝绿部署策略更新Collector。
• 备份当前ConfigMap和Deployment配置。
• 监控Collector资源使用，避免OOM。

回滚

如果变更导致问题，立即回滚：

kubectl apply -f otel-collector-config.bak.yaml
kubectl rollout restart deployment otel-collector

验证

1. 确认Grafana面板中P99延迟下降。
2. 查看OpenTelemetry追踪是否完整，数据库查询span出现。
3. 使用PromQL查询：histogram_quantile(0.99, rate(http_request_duration_seconds_bucket[5m]))。

何时提交OpsGlobal工单

• 经过上述步骤问题仍未解决。
• 核心指标或追踪完全丢失。
• 需要专家协助优化Collector性能或配置。
• 怀疑基础设施层面存在未知瓶颈。