确保中间件可靠性：Redis、RabbitMQ和Kafka实战指南

场景

你负责管理一个运行Redis、RabbitMQ和Kafka作为关键中间件的Kubernetes集群。用户反映部分请求超时，消息偶尔丢失或重复。监控显示错误率和延迟飙升。

症状

• Redis：缓存命中率下降，复制滞后增加，RDB快照期间出现“LOADING”状态。
• RabbitMQ：队列中存在未确认消息，节点报告内存告警，消息速率下降。
• Kafka：分区离线，ISR缩小，消费者滞后飙升。

诊断

Redis

# 检查复制状态
redis-cli -h <host> -p <port> info replication
# 查看角色:master, connected_slaves, master_repl_offset差异
# 检查集群健康
redis-cli -h <host> -p <port> cluster info | grep cluster_state
# 查看慢查询
redis-cli SLOWLOG GET 10

RabbitMQ

# 检查集群状态
rabbitmqctl cluster_status
# 查看分区和运行节点
# 检查告警（内存、磁盘）
rabbitmq-diagnostics check_alarms
# 查看队列状态
rabbitmqctl list_queues name messages_ready messages_unacknowledged

Kafka

# 描述主题分区
kafka-topics --bootstrap-server <broker> --describe --topic <topic>
# 检查消费者组滞后
kafka-consumer-groups --bootstrap-server <broker> --group <group> --describe
# 检查broker日志错误
kafka-run-class.sh kafka.tools.DumpLogSegments --files <logdir>/<partition>/<segment>.log

风险控制

• 变更前备份：对于Redis，执行BGSAVE并复制dump.rdb。对于RabbitMQ，导出定义。对于Kafka，备份配置并使用kafka-reassign-partitions工具。
• 金丝雀部署：先在一个节点上测试新配置。
• 资源限制：确保Pod设置了CPU/内存请求和限制，防止资源争抢。

回滚

• Redis：回退配置更改（如CONFIG SET），或从RDB/AOF文件恢复。
• RabbitMQ：使用rabbitmqadmin import从备份恢复定义。对于集群分区，按正确顺序重启节点。
• Kafka：使用kafka-reassign-partitions恢复以前的副本分配，或回退broker配置并滚动重启。

验证

• 健康端点：Redis PING，RabbitMQ管理API /api/health/checks/alarms，Kafka broker kafka-broker-api-versions.sh。
• 合成测试：编写简单的生产者/消费者脚本验证消息传递和延迟。
• 监控：检查Prometheus指标（Redis、RabbitMQ、Kafka exporter），确认延迟和错误率恢复到基线。

何时提交OpsGlobal工单

如果按照以上步骤操作后仍遇到数据不一致、持续分区故障，或需要调优复制因子、消费者偏移量或集群扩展的专业知识，请联系OpsGlobal进行根本原因分析和修复。