Panduan Praktikal Kebolehpercayaan Middleware: Redis, RabbitMQ, Kafka

Senario

Semasa jualan kilat, pemprosesan pesanan menjadi lambat. Redis cluster kerap timeout, RabbitMQ queue bertimbun berjuta-juta, Kafka consumer lag meningkat mendadak. Perkhidmatan teras merosot.

Simptom

• Redis: redis-cli --latency menunjukkan >100ms; INFO memory menghampiri had. Eviksi bermula.
• RabbitMQ: rabbitmqctl list_queues menunjukkan kedalaman queue >1 juta; node swap.
• Kafka: kafka-consumer-groups --bootstrap-server ... --group ... --describe menunjukkan lag meningkat; beberapa pengguna berhenti.

Diagnosis

Redis

# Pertanyaan lambat
redis-cli SLOWLOG GET 50
# Kunci besar
redis-cli --bigkeys
# Status persistensi
redis-cli INFO persistence

RabbitMQ

# Butiran queue
rabbitmqctl list_queues name messages consumers memory
# Penggunaan memori
rabbitmq-diagnostics status | grep memory

Kafka

# Lag pengguna
kafka-consumer-groups --bootstrap-server localhost:9092 --group mygroup --describe
# Taburan partition
kafka-topics --describe --topic mytopic --bootstrap-server localhost:9092

Kawalan Risiko

• Redis: Aktifkan log perlahan; elakkan KEYS; tetapkan maxmemory-policy allkeys-lru; guna Redis Cluster.
• RabbitMQ: Tetapkan x-message-ttl pada queue; hadkan max-length; guna lazy queues.
• Kafka: Tambah partition; laraskan replica.lag.time.max.ms; pastikan min.insync.replicas≥2.

Rollback

• Redis: Kembalikan maxmemory-policy ke nilai asal dan skala memori.
• RabbitMQ: Alih keluar atau laraskan TTL; padam dan buat semula queue jika perlu.
• Kafka: Partisi tidak boleh dikurangkan; laraskan tetapan kumpulan pengguna atau hentikan pengimbangan semula.

Pengesahan

• Jalankan semula arahan diagnosis untuk mengesahkan pengurangan lag/timbunan.
• Pantau papan pemuka: kadar hit Redis, kadar terbit/guna RabbitMQ, kemajuan offset pengguna Kafka.
• Jalankan eksperimen kekacauan (latensi rangkaian, kegagalan nod) untuk mengesahkan ketahanan.

Bila Serah Tiket OpsGlobal

• Punca tidak jelas, disyaki bug middleware.
• Perlukan koordinasi merentas pasukan (perubahan aplikasi).
• Perlukan nasihat seni bina (contoh: beralih dari RabbitMQ ke Kafka).