掌握云容量自动扩缩容与成本运维：SRE实战指南

场景

假设您正在Kubernetes上运行一个电子商务平台，Pod根据CPU和内存进行伸缩。在促销活动期间，集群扩展到数百个节点，云账单飙升。活动结束后，节点仍然利用率不足，但您的账单仍然很高。这是自动扩缩容未与成本治理对齐时的常见问题。

症状

• 云账单在没有相应流量增长的情况下增加。
• Pod因节点资源不足而被驱逐。
• 集群节点的平均利用率低（低于20%）。
• 频繁的扩容和缩容事件导致抖动。
• 即使资源似乎可用，延迟也会飙升。

诊断

从Kubernetes指标开始：

kubectl get hpa -n <namespace>
kubectl describe hpa <hpa-name> -n <namespace>
kubectl top nodes
kubectl top pods -n <namespace>

检查集群自动扩缩容日志：

kubectl logs -f deployment/cluster-autoscaler -n kube-system

查看云成本浏览器以识别成本驱动因素：EC2、EKS、存储、数据传输等。

常见问题： - HPA配置了默认指标，在突发流量下反应滞后。 - 集群自动扩缩容的缩容阈值过于保守。 - 运行多个状态ful应用副本，其中存在空闲副本。 - 使用按需实例，而使用Spot实例可以显著降低成本。

命令

以下命令用于检查和调整：

# 查看HPA配置
kubectl get hpa -A

# 检查资源利用率
kubectl top nodes --sort-by=cpu

# 临时缩容部署
kubectl scale deployment <deployment> --replicas=1 -n <namespace>

# 更新HPA最小/最大
kubectl autoscale deployment <deployment> --min=1 --max=10 --cpu-percent=70 -n <namespace>

# 编辑HPA
kubectl edit hpa <hpa-name> -n <namespace>

# 在节点池上启用集群自动扩缩容（AWS示例）
aws eks update-nodegroup-config --cluster-name <cluster> --nodegroup-name <ng> --scaling-config minSize=1,maxSize=5

# 使用Spot实例（Azure示例）
az aks nodepool add --resource-group <rg> --cluster-name <aks> --name spotpool --node-count 1 --spot-max-price -1 --priority Spot

风险控制

• 在云提供商中设置硬预算（如AWS Budgets、GCP Budget Alerts）。
• 使用Kubernetes资源请求/限制防止Pod消耗超出必要。
• 实施PodDisruptionBudgets以在扩容期间保持可用性。
• 基于请求延迟或队列深度配置HPA自定义指标。
• 对关键工作负载使用Spot实例与按需实例混合。

回滚

• 将以前的HPA配置文件保存在源代码控制中。使用kubectl apply -f previous-config.yaml回滚。
• 对于集群自动扩缩容更改，恢复节点池缩放设置。
• 如果您缩容了副本，使用kubectl scale deployment <deployment> --replicas=<original>恢复。

验证

• 使用负载测试工具（如k6、locust）模拟流量并观察扩容。
• 监控云成本仪表板以确保稳定。
• 检查利用率是否保持在目标范围内（例如40-70%）。
• 确认没有Pod驱逐或限流事件。

何时提交OpsGlobal工单

如果您遇到： - 难以诊断的复杂扩容行为。 - 尽管尝试了优化，但成本异常反复出现。 - 需要架构审查或实施高级自动扩缩容。 - 需要第二双眼睛处理的时间敏感事件。

在OpsGlobal门户提交工单，并附上您收集的诊断信息。