掌握 Kubernetes 事件响应：集群可靠性实践指南

场景

假设一个关键部署在高流量期间导致集群资源争用，引发服务延迟升高和部分请求超时。

症状

• Pod 重启次数激增（kubectl get pods 显示 CrashLoopBackOff）
• 应用返回 503 错误
• node 级别 CPU/内存使用率超过 80%
• 用户反馈响应时间变慢

诊断

1. 检查节点资源：kubectl top nodes 显示资源使用情况。
2. 查看 Pod 状态：kubectl get pods -o wide 确认异常 Pod 分布。
3. 深入 Pod：kubectl describe pod <pod-name> 检查事件和资源限制。
4. 日志分析：kubectl logs <pod-name> --tail=100 查找错误。
5. 集群事件：kubectl get events --sort-by='.lastTimestamp' 定位触发点。

命令示例

# 查看节点资源
kubectl top nodes

# 查看所有命名空间的 Pod 状态
kubectl get pods --all-namespaces | grep -v Running

# 获取部署详情
kubectl describe deployment <deployment-name>

# 滚动查看日志
kubectl logs --tail=50 -l app=<app-label>

风险控制

• 设置资源配额（ResourceQuota）防止单个团队耗尽集群资源。
• 使用优先级类（PriorityClass）确保关键服务优先调度。
• 配置 Pod 中断预算（PodDisruptionBudget）避免滚动更新期间全量中断。
• 对于关键部署，启用 HorizontalPodAutoscaler 自动扩缩。

回滚操作

# 回滚到上一个版本
kubectl rollout undo deployment/<deployment-name>

# 回滚到指定版本
kubectl rollout undo deployment/<deployment-name> --to-revision=3

# 验证回滚状态
kubectl rollout status deployment/<deployment-name>

验证

• 监控指标：检查请求延迟（P99）、错误率、Pod 重启次数。
• 金丝雀发布：将新版部署到少量副本，观察一段时间。
• 负载测试：使用 hey 或 wrk 模拟流量，确保性能达标。

何时提交 OpsGlobal 工单

• 根本原因不明确，且问题持续超过 30 分钟。
• 需要集群层面审计，例如 etcd 慢查询、控制平面异常。
• 内部团队缺乏事后复盘经验。
• 需要专家协助优化资源分配或架构。

OpsGlobal 的 SRE 团队提供 24/7 支持，帮助您快速恢复并防止复发。