在 Kubernetes 中利用 Prometheus、Grafana 和 OpenTelemetry 掌握可观测性

场景

你运行一个 Kubernetes 上的微服务应用，需要端到端的可观测性，包括指标、追踪和日志。你已部署 Prometheus 用于指标，Grafana 用于仪表盘，以及 OpenTelemetry Collector 用于追踪和日志。最近，用户报告某些端点的响应变慢，错误率上升。Prometheus 告警显示高延迟和错误率。

症状

• 用户反馈页面加载缓慢，偶尔出现 5xx 错误。
• Prometheus Alertmanager 触发 HighRequestLatency 和 HighErrorRate 告警。
• Grafana 仪表盘显示 p99 延迟超过 500ms，错误率超过 5%。

诊断

1. 打开 Grafana，查看预建的“Kubernetes 服务”仪表盘，过滤到受影响的命名空间。
2. 识别出延迟高的服务——通常是 payment-service 和 order-service。
3. 转到“追踪”页面（如 Grafana Tempo 数据源），搜索受影响的端点，查看分布式追踪。
4. 发现 payment-service 对数据库的调用耗时很长（超过 1 秒），且部分调用失败。
5. 同时检查 payment-service 的日志，通过 kubectl logs 或 OpenTelemetry 日志导出。

命令

部署 OpenTelemetry Collector

使用 Helm 安装 OpenTelemetry Collector：

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm install otel-collector open-telemetry/opentelemetry-collector \
  --set config.exporters.prometheus.endpoint="0.0.0.0:8889" \
  --set config.service.pipelines.metrics.exporters=[prometheus]

配置 Prometheus 抓取 OpenTelemetry Collector 指标

在 Prometheus 的 scrape_configs 中添加：

- job_name: 'opentelemetry-collector'
  static_configs:
    - targets: ['otel-collector:8889']

应用重启以注入 OTel SDK（示例为 Java 应用）

kubectl set env deployment/payment-service JAVA_TOOL_OPTIONS="-javaagent:/opt/opentelemetry-javaagent.jar"
kubectl rollout restart deployment/payment-service

查询 Prometheus 确认指标

kubectl port-forward svc/prometheus-kube-prometheus-prometheus 9090:9090
curl http://localhost:9090/api/v1/query?query=rate(http_server_duration_ms_sum[5m])

风险控制

• 在修改 Prometheus 或 OpenTelemetry 配置前，备份现有配置： bash kubectl get configmap -n monitoring prometheus-kube-prometheus-prometheus -o yaml > prometheus-config-backup.yaml
• 使用金丝雀发布策略测试 OpenTelemetry Collector 的新版本，仅对少数服务启用。
• 对指标导出设置速率限制，避免过载：在 OpenTelemetry Collector 配置中添加 limit 处理器。
• 修改任何导出设置前，先在模拟环境中验证。

回滚

如果更改导致问题：

1. 恢复 Prometheus ConfigMap： bash kubectl apply -f prometheus-config-backup.yaml kubectl delete pod -n monitoring -l app.kubernetes.io/component=prometheus
2. 回滚 OpenTelemetry Collector Helm 版本： bash helm rollback otel-collector 0
3. 回滚应用部署（例如移除 Javaagent）： bash kubectl set env deployment/payment-service JAVA_TOOL_OPTIONS- kubectl rollout restart deployment/payment-service

验证

• 检查 Prometheus 目标状态：http://localhost:9090/targets 确保 OpenTelemetry Collector 为 UP。
• 在 Grafana 中查看“OpenTelemetry Collector”仪表盘，确认指标流入。
• 执行一条测试请求，在 Grafana Tempo 中查看追踪是否存在。
• 验证告警是否恢复：kubectl get alerts -n monitoring。

何时提交 OpsGlobal 工单

如果你遇到以下情况，请提交工单：

• 无法将 OpenTelemetry 与现有 Prometheus 或 Grafana 集成。
• 需要为自定义服务配置分布式追踪。
• 在回滚步骤后问题仍然存在。
• 需要监控环境中的安全最佳实践配置。