确保 Redis、RabbitMQ 和 Kafka 在生产中的可靠性：实用指南

场景

中间件如 Redis、RabbitMQ 和 Kafka 是现代分布式系统的核心。常见的故障场景包括： - Redis：内存溢出（OOM）、复制延迟、集群故障切换问题。 - RabbitMQ：队列积压、磁盘满、内存告警。 - Kafka：Broker 宕机、分区未充分复制、ISR 收缩。

症状

• 延迟飙升、错误率上升、服务降级。
• Redis 客户端连接失败或超时。
• RabbitMQ 发布者确认失败，消费者停止消费。
• Kafka 生产者报错，消费者滞后增加。

诊断

使用内置工具： - Redis: redis-cli ping, INFO memory, SLOWLOG GET - RabbitMQ: rabbitmq-diagnostics check_alarms, rabbitmqctl list_queues - Kafka: kafka-broker-api-versions.sh, kafka-topics --describe

检查日志： - Redis: /var/log/redis/redis-server.log - RabbitMQ: /var/log/rabbitmq/ - Kafka: logs/server.log

命令示例

Redis 内存使用：

redis-cli -h host -p 6379 INFO memory | grep used_memory_human

RabbitMQ 队列积压：

rabbitmqctl list_queues name messages_ready messages_unacknowledged

Kafka 分区状态：

kafka-topics --bootstrap-server localhost:9092 --describe --topic test

风险控制

• 设置资源限制（内存、磁盘）。
• 配置告警（Prometheus + Alertmanager）。
• 使用副本和冗余。
• 实施优雅关闭和健康检查。

回滚

• Redis：如果节点故障，提升从节点为主节点；或使用哨兵进行自动故障转移。
• RabbitMQ：重置内存水位线，删除阻塞的队列，或重建镜像队列。
• Kafka：重启失败的 Broker，重新分配分区，或手动设置 ISR。

验证

• Redis: SET key value 并 GET 验证。
• RabbitMQ: 发送并消费一条消息。
• Kafka: 生产并消费一条消息，检查消费者滞后。

何时提交 OpsGlobal 工单

当问题超出团队能力或需要紧急支持时： - 无法自行恢复的关键数据丢失。 - 集群脑裂或数据不一致。 - 需要架构审查或性能调优。