KubernetesSREPrometheusGrafanaOpenTelemetry
场景
某电商平台Kubernetes集群中，一个名为order-service的微服务在高峰时段响应延迟飙升，从平均200ms飙升至2s，导致订单超时失败。团队已部署Prometheus + Grafana作为监控栈，并利用OpenTelemetry进行分布式追踪。
症状
- Grafana仪表盘显示
order-service的HTTP请求延迟P99从200ms升至2s - Pod CPU使用率未显著增加，但内存消耗缓慢上升
- OpenTelemetry追踪显示
/checkout端点耗时剧增，其中payment-gateway调用占1.5s
诊断
- 打开Grafana，查看
order-service的http_request_duration_seconds直方图，确认P99延迟峰值 - 检查Pod资源指标：
kubectl top pod -n production -l app=order-service，发现内存使用持续增长，触发OOM阈值 - 进入OpenTelemetry UI（如Jaeger），选择
/checkout追踪，发现payment-gateway外部调用超时重试3次 - 进一步检查
payment-gateway服务的可观测性数据：其Grafana面板显示错误率5%，且P95延迟8s
命令
# 查看延迟直方图（PromQL）
histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket{service="order-service", endpoint="/checkout"}[5m])) by (le))
# 检查Pod资源
kubectl top pod -n production -l app=order-service
# 查看最近100条日志
kubectl logs --tail=100 -n production deployment/order-service
echo "支付网关响应慢，考虑降级"
风险控制
- 在操作前，确保Grafana慢查询告警已启用并通知SRE
- 禁用
payment-gateway自动熔断，避免级联故障 - 创建临时配置映射备份：
kubectl get configmap -n production order-service-config -o yaml > /tmp/order-config-backup.yaml
回滚
若部署修复后延迟未改善，回滚版本：
kubectl rollout undo deployment/order-service -n production
kubectl rollout status deployment/order-service -n production
若变更配置，恢复备份：
kubectl apply -f /tmp/order-config-backup.yaml
验证
- 执行负载测试：
hey -z 30s -c 10 http://order-service.production/checkout - 确认Grafana中P99延迟回落至300ms以下
- 检查OpenTelemetry追踪，确保
payment-gateway调用时间<500ms - 验证无新错误日志
何时提交OpsGlobal工单
- 如果内部没有OpenTelemetry追踪能力，需OpsGlobal协助部署
- 当多服务级联故障无法隔离时
- 需要配置高级告警规则（如基于SLO的告警）
- 集群资源瓶颈分析超出团队能力
适用场景
适合正在处理 Observability、Kubernetes, SRE, Prometheus, Grafana 相关问题的团队，用于快速建立排查路径和交付标准。
问题背景
本文通过一个实际场景，展示如何利用Prometheus、Grafana和OpenTelemetry诊断Kubernetes中微服务的性能问题，并提供完整的排障步骤、风险控制及回滚方案。
排查步骤
先确认影响范围和最近变更，再收集日志、配置、指标和链路数据，最后按风险从低到高执行修复。
命令示例
示例命令请替换为你的真实资源名，并使用环境变量保存账号、密码、token 等敏感信息。
风险说明
生产环境操作前需要确认备份、权限边界、变更窗口和回滚路径，避免扩大故障影响。
回滚方案
保留原配置和发布版本；如修复后指标异常，立即回退配置、镜像或数据库变更并复核日志。
交付清单
问题定位记录、关键命令、修复步骤、验证结果、后续优化建议。
遇到类似技术问题？
如果你的服务器、K8s、Docker、CI/CD、数据库或监控系统出现类似问题，可以提交日志和配置文件，我们帮你远程诊断。