掌握中间件可靠性：Redis、RabbitMQ、Kafka生产实践

场景

您的电商平台出现结账失败。监控显示Redis延迟飙升至500ms，RabbitMQ队列积压10万条消息，Kafka消费者滞后超过每分区1万条。原因可能是内存限制配置不当、消费者代码未优化以及网络分区。

症状

• Redis查询的p99延迟升高
• RabbitMQ队列报警（内存告警）
• Kafka消费者滞后告警
• 支付处理出现用户可见错误

诊断

Redis

运行 redis-cli info stats | tail -20 检查 instantaneous_ops_per_sec 和 rejected_connections。使用 redis-cli memory stats 查看碎片率。

RabbitMQ

使用 rabbitmqctl list_queues name messages messages_ready messages_unacknowledged consumers memory 识别拥塞队列。检查 rabbitmq-diagnostics status 查看告警。

Kafka

运行 kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --describe 查看滞后。检查 kafka-log-dirs 了解磁盘使用情况。

命令

# Redis：检查延迟
redis-cli --intrinsic-latency 100
# RabbitMQ：清空队列（谨慎使用）
rabbitmqctl purge_queue my_queue
# Kafka：重置消费者偏移（小心）
kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --topic my-topic --reset-offsets --to-earliest --execute

注意：清空和重置可能导致数据丢失；仅在可接受消息丢失时使用。

风险控制

• 启用Redis惰性释放：CONFIG SET lazyfree-lazy-eviction yes
• 使用x-max-length限制RabbitMQ队列长度
• 增加Kafka分区或消费者并行度
• 在应用程序中实现断路器以防止级联故障

回滚

• Redis：使用 CONFIG SET lazyfree-lazy-eviction no 恢复配置
• RabbitMQ：重新应用原始队列限制
• Kafka：恢复之前的消费者偏移或使用正确配置重启
• 通用：回滚应用程序代码变更

验证

• 检查Redis延迟降至10ms以下
• RabbitMQ队列数量减少
• Kafka消费者滞后降为零
• 监控应用程序响应时间

何时提交OpsGlobal工单

如果您缺乏实施控制的能力，或者问题在基础故障排除后仍然存在，请提交工单。OpsGlobal的SRE团队能够诊断深层问题，例如缓冲区膨胀、内核调优和复杂网络分区。