为Kubernetes部署构建可靠的CI/CD护栏

场景

您的团队正在自动化部署一个关键微服务到Kubernetes集群。CI/CD流水线通过了所有测试，但部署后服务却无法正常响应。您怀疑是资源限制或探针配置有问题。

症状

• Pod状态显示CrashLoopBackOff或Running但未通过就绪探针。
• 日志显示OOMKilled或资源不足。
• 新版本未获得流量，旧版本仍在服务。

诊断

使用以下命令进行检查：

# 检查Pod状态和事件
kubectl describe pod <pod-name> -n <namespace>

# 查看容器日志
kubectl logs <pod-name> -n <namespace> --previous

# 检查资源使用情况
kubectl top pod <pod-name> -n <namespace>

# 验证就绪探针配置
kubectl get pod <pod-name> -n <namespace> -o yaml | grep -A10 readinessProbe

命令示例

# 假设Pod因OOMKilled重启
kubectl get events --field-selector involvedObject.name=<pod-name> -n <namespace>
# 输出显示：OOMKilled
# 调整Deployment的资源限制
kubectl set resources deployment/<deployment-name> -n <namespace> --limits=cpu=500m,memory=512Mi --requests=cpu=250m,memory=256Mi

风险控制

• 在CI流水线中添加资源限制检查：使用kubectl dry-run和自定义验证。
• 强制就绪探针和存活探针配置。
• 实施渐进式部署（如滚动更新或金丝雀发布）。
• 使用Pod安全策略或OPA Gatekeeper。

回滚

如果部署失败，立即回滚：

kubectl rollout undo deployment/<deployment-name> -n <namespace>
# 或者回滚到特定版本
kubectl rollout undo deployment/<deployment-name> -n <namespace> --to-revision=2

验证

回滚后验证：

kubectl rollout status deployment/<deployment-name> -n <namespace>
kubectl get pods -n <namespace> | grep <deployment-name>
# 检查所有Pod均正常

何时提交OpsGlobal工单

• 当您需要专家设计完整的CI/CD护栏策略时。
• 当故障涉及平台级问题（如Ingress、证书、集群资源耗尽）。
• 当您需要24/7监控和告警配置支持。