使用Prometheus、Grafana和OpenTelemetry构建生产级可观测性

场景

你在Kubernetes集群上运行基于OpenTelemetry SDK注入的微服务，通过OpenTelemetry Collector将指标导出到Prometheus，并使用Grafana进行可视化。突然，某些服务的指标在Grafana面板中消失，依赖这些指标的告警不再触发。

症状

• Grafana面板显示“无数据”或数据点缺失。
• Prometheus目标状态显示“down”或“unknown”。
• OpenTelemetry Collector日志中出现大量错误（如连接超时、导出失败）。

诊断

1. 检查OpenTelemetry Collector的健康状态和日志： bash kubectl logs -n observability <collector-pod-name>
2. 验证Prometheus目标是否正常：访问Prometheus UI或通过API查询： bash curl -s http://prometheus:9090/api/v1/targets | jq
3. 检查OpenTelemetry Collector的配置文件（通常为ConfigMap），确认exporters、receivers和pipelines配置正确。
4. 测试组件间网络连通性，例如从Collector pod向Prometheus发送测试指标： bash kubectl exec -it <collector-pod> -- curl -X POST -H "Content-Type: application/json" -d '{"resourceMetrics":[{"resource":{},"scopeMetrics":[{"scope":{},"metrics":[{"name":"test","unit":"1","sum":{"dataPoints":[{"asDouble":1.0}],"aggregationTemporality":1}}]}]}]}' http://prometheus:9090/api/v1/otlp/v1/metrics

命令

• 查看所有相关Pod状态：kubectl get pods -n observability
• 获取Collector配置：kubectl get configmap -n observability otel-collector-config -o yaml
• 检查Prometheus scrape配置：kubectl get configmap -n monitoring prometheus-config -o yaml
• 实时查看Collector日志：kubectl logs -f -n observability <collector-pod>

风险控制

• 在生产环境中操作前，先在预发布环境验证所有变更。
• 使用kubectl diff预览配置变更影响：kubectl diff -f new-config.yaml
• 避免直接编辑运行中的ConfigMap，应通过版本控制的YAML文件更新。

回滚

• 若Collector配置导致故障，恢复最近一次正常配置： bash kubectl apply -f previous-otel-config.yaml -n observability
• 若Prometheus scrape配置出错，还原Prometheus ConfigMap并重启Prometheus Pod。
• 保留配置文件的Git历史，以便快速回滚。

验证

• 确认Prometheus目标的“State”变为“UP”。
• 在Grafana中刷新仪表板，确认指标数据重新出现。
• 触发测试告警，验证告警规则正确执行。
• 检查Collector日志无错误输出。

何时提交OpsGlobal工单

若完成上述步骤后问题依然存在，或你需要专家协助优化OpenTelemetry Collector性能、扩展Prometheus存储、设计复杂仪表板，或遇到基础设施层面（如网络、存储）的疑难问题，请立即提交工单。我们提供7×24小时SRE支持，快速恢复你的可观测性堆栈。