掌握云容量自动缩放：在Kubernetes中平衡性能与成本

场景

某公司将其电商平台迁移到云原生Kubernetes环境。初期手动配置节点和Pod数量，导致高峰期性能不足，低谷期资源浪费。账单每月增长30%以上。

症状

• 云账单持续上升，但CPU/内存利用率平均低于30%。
• 高峰期用户响应时间超过5秒，甚至超时。
• 节点数量恒定，Pod请求频繁触发限流。

诊断

1. 使用kubectl top pods和kubectl top nodes查看资源使用。
2. 分析集群自动缩放日志：kubectl logs -n kube-system cluster-autoscaler。
3. 检查HorizontalPodAutoscaler配置：kubectl describe hpa <hpa-name>。

命令

配置HorizontalPodAutoscaler（HPA）

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: web-app-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: web-app
  minReplicas: 3
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70

应用：kubectl apply -f hpa.yaml。

配置Cluster Autoscaler（假设使用AWS）

确保节点组设置了最小/最大大小。编辑自动缩放组标签：

kubectl annotate nodegroup <nodegroup-name> cluster-autoscaler.kubernetes.io/min-size=2
kubectl annotate nodegroup <nodegroup-name> cluster-autoscaler.kubernetes.io/max-size=20

使用VerticalPodAutoscaler优化资源请求

kubectl apply -f https://raw.githubusercontent.com/kubernetes/autoscaler/master/vertical-pod-autoscaler/deploy/vpa-v1-crd.yaml
kubectl apply -f https://raw.githubusercontent.com/kubernetes/autoscaler/master/vertical-pod-autoscaler/deploy/recommender-deployment.yaml

然后创建VPA：

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: web-app-vpa
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind: Deployment
    name: web-app
  updatePolicy:
    updateMode: "Auto"
  resourcePolicy:
    containerPolicies:
    - containerName: '*'
      minAllowed:
        cpu: 100m
        memory: 128Mi
      maxAllowed:
        cpu: 1
        memory: 512Mi

风险控制

• 使用PodDisruptionBudget保证可用性：

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: web-app-pdb
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: web-app

• 设置HPA的cool-down周期避免抖动：在HPA中增加behavior字段。
• 使用Spot实例降低计算成本，但设置适当的中断处理（例如，使用Pod优先调度）。

回滚

1. 删除或修改HPA/VPA配置：kubectl delete hpa web-app-hpa。
2. 将节点组恢复到原始大小。
3. 监控指标直到稳定。

验证

• 检查Pod数量是否随负载变化：kubectl get pods -w。
• 对比账单：使用云成本工具（如AWS Cost Explorer）。
• 性能指标：响应时间<1秒，错误率<0.1%。

何时提交OpsGlobal工单

• 自动缩放策略无法达到SLA（例如，高峰期间仍超时）。
• 节点组无法自动缩减（残留Spot中断问题）。
• 需要复杂的成本分摊或预算策略。