云容量自动扩缩容与成本运营：Kubernetes 生产实践指南

场景

某电商平台在促销期间流量激增，平时负载较低。手动扩缩容导致高峰期响应延迟或低谷期资源浪费，每月云成本超预算 40%。

症状

• 集群节点 CPU 利用率持续高于 85% 或低于 20%
• Pod 频繁 OOMKill 或 Pending
• 云账单显示 EC2/EKS 实例费用异常增长

诊断

1. 分析集群指标：使用 kubectl top nodes 和 kubectl top pods 查看资源使用。
2. 审查 Horizontal Pod Autoscaler (HPA) 配置：确认指标和阈值是否合理。
3. 检查 Cluster Autoscaler (CA) 日志：kubectl logs -n kube-system deployment/cluster-autoscaler
4. 成本分析：使用云提供商成本标签（如 AWS Cost Explorer）按命名空间或标签分组。

关键命令

启用 HPA

kubectl autoscale deployment frontend --cpu-percent=70 --min=3 --max=20

配置 Cluster Autoscaler

编辑 ConfigMap：

kubectl edit configmap -n kube-system cluster-autoscaler-config

添加 scale-down-utilization-threshold: 0.5 以降低缩容阈值。

成本优化示例

使用 Spot 实例：

kubectl label nodes --all spot=yes
# 然后在部署中指定节点选择器

风险控制

• 设置 Pod Disruption Budget (PDB) 确保关键服务可用性： yaml apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: web-pdb spec: maxUnavailable: 1 selector: matchLabels: app: web
• 实施优雅缩容：在 HPA 中设置 stabilizationWindowSeconds
• 开启成本警报：例如 AWS Budgets 超过 80% 预算时通知

回滚计划

1. 恢复 HPA 配置：kubectl delete hpa frontend 然后重建旧版本。
2. 关闭 Cluster Autoscaler：kubectl scale deployment/cluster-autoscaler --replicas=0 -n kube-system
3. 如有备份，重新应用之前的 Deployment 和 Service 版本。

验证

• 使用 kubectl describe hpa frontend 检查当前指标和期望副本数。
• 监控节点数量：kubectl get nodes。
• 对比成本报告：实际费用应下降且无性能 SLO 违规。

何时提交 OpsGlobal 工单

• 自动扩缩容导致稳定性问题（如频繁驱逐、PDB 阻止缩容）
• 成本异常或未按预期降低
• 集群规模较大（100+ 节点）需要优化策略
• 涉及多云或混合云环境

OpsGlobal 的 SRE 团队可在 15 分钟内响应，提供定制化扩缩容方案和成本审计。