云容量自动扩展与成本优化实战指南

场景

某电商平台在AWS EKS上运行Kubernetes集群，使用Cluster Autoscaler和HPA管理容量。近期出现成本飙升与性能波动：高峰期请求延迟增加，非高峰期节点利用率低于30%。

症状

• 云账单月度环比增长25%以上
• 节点CPU平均利用率在非高峰时低于20%
• HPA频繁触发扩展，但Pod启动后仍响应缓慢
• Cluster Autoscaler日志显示“scale-up blocked”错误

诊断

1. 检查HPA配置：kubectl get hpa -n <namespace> 查看指标阈值。确认资源请求（requests）和限制（limits）是否合理。
2. 分析Cluster Autoscaler日志：kubectl logs -n kube-system deployment/cluster-autoscaler 查找阻止扩展的原因（如节点组上限、AWS资源限制）。
3. 检查节点利用率：kubectl top nodes 和 kubectl describe nodes 查看资源分配与利用率。
4. 使用AWS Cost Explorer按节点组和标签分析成本，识别空闲资源。

命令与操作

# 查看HPA状态
kubectl get hpa --all-namespaces

# 查看Cluster Autoscaler日志
export CA_POD=$(kubectl get pods -n kube-system -l app.kubernetes.io/name=aws-cluster-autoscaler -o jsonpath='{.items[0].metadata.name}')
kubectl logs -n kube-system $CA_POD --tail=50

# 调整节点组最小/最大实例数（通过AWS CLI）
aws autoscaling update-auto-scaling-group --auto-scaling-group-name <ASG_NAME> --min-size 2 --max-size 10

# 设置Pod资源请求与限制（示例Deployment）
kubectl set resources deployment <deployment-name> -n <namespace> --requests=cpu=500m,memory=512Mi --limits=cpu=1,memory=1Gi

风险控制

• 修改节点组规模前，确保有PodDisruptionBudget保护关键服务：kubectl create pdb <name> --selector=app=<app> --min-available=2
• 为Cluster Autoscaler设置scale-down的利用阈值（如50%）和评估间隔（10分钟），避免频繁缩容：在CA启动参数中添加 --scale-down-utilization-threshold=0.5 --scale-down-delay-after-add=10m
• 使用节点亲和性和反亲和性避免干扰性工作负载占用突发资源

回滚

• 若调整后出现异常，恢复节点组原始配置：aws autoscaling update-auto-scaling-group --auto-scaling-group-name <ASG_NAME> --min-size <original> --max-size <original>
• 回滚HPA资源限制：kubectl rollout undo deployment/<deployment-name> -n <namespace>
• 恢复Cluster Autoscaler参数：编辑Deployment kubectl edit deployment cluster-autoscaler -n kube-system 还原之前参数

验证

• 观察成本趋势：使用AWS Cost Explorer或第三方工具（如Kubecost）监控未来几天的每日成本变化。
• 验证扩展响应：模拟负载测试（如使用k6）并发压力，确认HPA和CA按预期扩展且无阻塞。
• 检查节点利用率：kubectl top nodes 和 kubectl describe nodes 确保非高峰期节点利用率上升至40%以上。

何时提交OpsGlobal工单

• 调整后仍出现扩展延迟（超过5分钟无新节点）
• Cluster Autoscaler日志显示“Failed to find node group”或AWS API限流错误
• 需要帮助配置自定义指标HPA（如基于消息队列长度的扩展）
• 成本分析显示大量Spot实例被回收导致的中断