Redis、RabbitMQ、Kafka 中间件可靠性实战：从故障到恢复

场景

一家电商平台在促销活动期间，微服务调用链中出现大量超时。Redis 缓存命中率下降，RabbitMQ 队列堆积，Kafka 消费者滞后严重，导致用户体验下降。

症状

• API 响应时间从 200ms 飙升至 5s
• Redis info 显示 keyspace_misses 激增
• RabbitMQ 管理界面队列 messages_ready 持续增长
• Kafka 消费者组 LAG 字段超过 10000

诊断

1. Redis: 运行 redis-cli INFO stats | grep keyspace 检查命中率。高 keyspace_misses 表示缓存未命中，可能因过期或内存淘汰。运行 redis-cli MEMORY USAGE <key> 找出大键。
2. RabbitMQ: 使用 rabbitmqctl list_queues name messages_ready consumers 查看队列消费者数量。若消费者不足，检查消费者服务日志。
3. Kafka: 执行 kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --describe 查看每个分区的 LAG。滞后高表示消费者处理速度慢或分区分配不均。

命令示例

# Redis 诊断
redis-cli -h <host> -p 6379 INFO stats | grep -E 'keyspace_(hits|misses)'

# RabbitMQ 诊断
rabbitmqctl list_queues name messages_ready consumers memory

# Kafka 消费者滞后
kafka-consumer-groups.sh --bootstrap-server <broker>:9092 --group <group> --describe

风险控制

• 对 Redis 启用 maxmemory 和 allkeys-lru 策略防止 OOM
• 为 RabbitMQ 设置队列 x-max-length 或 TTL 避免无限堆积
• 在 Kafka 消费者中实施背压（如调整 max.poll.records）
• 使用 Kubernetes HPA 自动扩展消费者副本

回滚步骤

1. Redis: 如果因 Lua 脚本导致，禁用脚本或回滚代码
2. RabbitMQ: 删除堆积队列（谨慎！）或迁移消费者到更快实例
3. Kafka: 停止消费者，重置偏移量到早期位置（kafka-consumer-groups --reset-offsets --to-earliest）
4. 回退变更：kubectl rollout undo deployment/<service>

验证

• Redis: redis-cli MONITOR 观察实时请求，确认命中率回升
• RabbitMQ: 队列 messages_ready 逐渐下降至稳态
• Kafka: LAG 归零且分区均匀分配
• 应用: 使用 Prometheus + Grafana 监控 API 延迟

何时提交 OpsGlobal 工单

• 当上述措施无效，或需要专家调优集群配置（如 Kafka 分区重分配）
• 当根因涉及复杂网络分割或存储故障
• 当需要 24/7 全托管的 SRE 支持时