Kubernetes集群访问与密钥管理安全加固实践

场景

一个SRE团队管理多个Kubernetes集群，发现某开发人员因误操作删除了生产命名空间中的所有Pod，导致服务中断。调查显示该开发人员拥有集群管理员权限（cluster-admin），权限过大且未使用最小权限原则。

症状

• 生产环境Pod被意外删除
• 审计日志显示用户使用了kubectl delete pods --all
• 该用户拥有cluster-admin ClusterRoleBinding

诊断

1. 检查用户权限：kubectl get clusterrolebinding <user-binding> -o yaml
2. 查看用户可执行的操作：kubectl auth can-i --list --as=<user>
3. 审计日志：kubectl logs -n kube-system <apiserver-pod> --tail=100 | grep <user>

命令（安全加固）

1. RBAC最小权限

# 创建只读角色
kubectl create clusterrole readonly --verb=get,list,watch --resource=pods,services,deployments
# 绑定到用户（命名空间级别）
kubectl create rolebinding readonly-binding --clusterrole=readonly --user=<user> --namespace=<namespace>
# 删除原有cluster-admin绑定
kubectl delete clusterrolebinding <old-binding>

2. Pod安全策略（PodSecurity）

# 启用PodSecurity准入控制器（kube-apiserver配置）
--enable-admission-plugins=PodSecurity
# 设置基线策略（示例）
kubectl label ns <namespace> pod-security.kubernetes.io/enforce=baseline

3. 网络策略

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all
spec:
  podSelector: {}
  policyTypes:
  - Ingress
  - Egress

4. 密钥管理（External Secrets Operator）

# 安装ESO
helm repo add external-secrets https://charts.external-secrets.io
helm install external-secrets external-secrets/external-secrets -n external-secrets --create-namespace
# 创建SecretStore指向Vault
kubectl apply -f secretstore.yaml
# 创建ExternalSecret自动同步
kubectl apply -f externalsecret.yaml

风险控制

• 实施前备份RBAC绑定：kubectl get clusterrolebinding -o yaml > backup-rbac.yaml
• 使用金丝雀用户先行测试
• 启用审计日志（--audit-log-path=/var/log/kube-apiserver-audit.log）

回滚

# 恢复RBAC绑定
kubectl apply -f backup-rbac.yaml
# 禁用PodSecurity策略
kubectl label ns <namespace> pod-security.kubernetes.io/enforce-
# 删除网络策略
kubectl delete networkpolicy deny-all

验证

# 验证用户权限
kubectl auth can-i delete pod --as=<user> -n <namespace>
# 测试密钥同步
kubectl get externalsecret -n <namespace>
# 测试网络隔离
kubectl exec -it <pod> -- curl <other-pod-ip> # 应超时

何时提交OpsGlobal工单

• 需要审计现有集群权限并制定最小权限策略
• 需要集成外部密钥管理（如Vault、AWS Secrets Manager）
• 出现安全事件需要取证和修复
• 合规要求（如PCI-DSS、SOC2）需实施网络策略和Pod安全