Redis、RabbitMQ、Kafka中间件可靠性实战指南

场景

某电商平台大促期间，订单处理延迟飙升。Redis集群频繁超时，RabbitMQ消息堆积超过阈值，Kafka消费组延迟持续增长。核心服务降级，用户投诉激增。

症状

• Redis: redis-cli --latency 显示延迟>100ms，info memory 内存逼近上限。
• RabbitMQ: rabbitmqctl list_queues 队列深度达百万级，节点swap严重。
• Kafka: kafka-consumer-groups --bootstrap-server ... --group ... --describe 显示lag持续上升，部分消费者停止消费。

诊断

Redis

# 检查慢查询
redis-cli SLOWLOG GET 50
# 检查大键
redis-cli --bigkeys
# 查看持久化状态
redis-cli INFO persistence

RabbitMQ

# 检查队列状态
rabbitmqctl list_queues name messages consumers memory
# 查看节点水位
rabbitmq-diagnostics status | grep memory

Kafka

# 查看消费者组详情
kafka-consumer-groups --bootstrap-server localhost:9092 --group mygroup --describe
# 检查分区领导均衡
kafka-topics --describe --topic mytopic --bootstrap-server localhost:9092

风险控制

• Redis: 开启慢查询监控，限制keys命令，设置maxmemory-policy allkeys-lru，使用集群分片。
• RabbitMQ: 设置队列x-message-ttl，限制队列长度，使用惰性队列。
• Kafka: 增加分区数，调整replica.lag.time.max.ms，确保min.insync.replicas≥2。

回滚

• Redis: 若刚修改了maxmemory-policy，回滚到原策略并增加内存。
• RabbitMQ: 调整队列参数后需重启队列或删除重建，可恢复为原始TTL。
• Kafka: 分区增加无法缩减，但可调整消费者线程数或停止重平衡。

验证

• 重新执行诊断命令，确认延迟和堆积下降。
• 使用Grafana等仪表盘监控关键指标：Redis命中率、RabbitMQ入/出速率、Kafka消费偏移量。
• 做混沌工程测试：网络延迟、节点故障，验证恢复能力。

何时提交OpsGlobal工单

• 根本原因不明，或涉及中间件版本bug。
• 需要跨团队协调（如应用层修改）。
• 需要架构重构建议（如迁移到Event Streaming）。