Memastikan Kebolehpercayaan Middleware: Panduan Praktikal untuk Redis, RabbitMQ dan Kafka

Senario

Anda mengurus kluster Kubernetes yang menjalankan Redis, RabbitMQ dan Kafka sebagai middleware kritikal. Pengguna melaporkan bahawa beberapa permintaan gagal dengan tamat masa, dan mesej kadangkala hilang atau berganda. Pemantauan anda menunjukkan peningkatan kadar ralat dan lonjakan latensi.

Gejala

• Redis: Peningkatan miss cache, ketinggian replikasi bertambah, status LOADING muncul semasa snapshot RDB.
• RabbitMQ: Baris gilir mempunyai mesej tidak diakui, nod melaporkan amaran memori, dan kadar mesej menurun.
• Kafka: Partisi menjadi luar talian, ISR mengecil, dan ketinggalan pengguna melonjak.

Diagnosis

Redis

# Periksa status replikasi
redis-cli -h <host> -p <port> info replication
# Cari role:master, connected_slaves, perbezaan master_repl_offset
# Periksa kesihatan kluster
redis-cli -h <host> -p <port> cluster info | grep cluster_state
# Lihat pertanyaan perlahan
redis-cli SLOWLOG GET 10

RabbitMQ

# Periksa status kluster
rabbitmqctl cluster_status
# Cari partisi dan nod yang berjalan
# Periksa amaran (memori, cakera)
rabbitmq-diagnostics check_alarms
# Lihat status baris gilir
rabbitmqctl list_queues name messages_ready messages_unacknowledged

Kafka

# Huraikan partisi topik
kafka-topics --bootstrap-server <broker> --describe --topic <topic>
# Periksa ketinggalan kumpulan pengguna
kafka-consumer-groups --bootstrap-server <broker> --group <group> --describe
# Periksa log broker untuk ralat
kafka-run-class.sh kafka.tools.DumpLogSegments --files <logdir>/<partition>/<segment>.log

Kawalan Risiko

• Sandaran sebelum perubahan: Untuk Redis, BGSAVE dan salin dump.rdb. Untuk RabbitMQ, eksport definisi. Untuk Kafka, sandaran konfigurasi dan gunakan alat kafka-reassign-partitions.
• Pelaksanaan canary: Uji konfigurasi baru pada satu nod dahulu.
• Had sumber: Pastikan permintaan dan had CPU/memori ditetapkan untuk pod untuk mengelakkan kebuluran.

Gulung Balik

• Redis: Kembalikan perubahan konfigurasi (cth., CONFIG SET), atau pulihkan dari fail RDB/AOF.
• RabbitMQ: Pulihkan definisi dari sandaran menggunakan rabbitmqadmin import. Untuk partisi kluster, mulakan semula nod dalam urutan yang betul.
• Kafka: Gunakan kafka-reassign-partitions untuk memulihkan tugasan replika sebelumnya, atau kembalikan konfigurasi broker dan mulakan semula secara rolling.

Pengesahan

• Titik akhir kesihatan: Redis PING, API pengurusan RabbitMQ /api/health/checks/alarms, broker Kafka kafka-broker-api-versions.sh.
• Ujian sintetik: Tulis skrip pengeluar/pengguna mudah untuk mengesahkan penghantaran mesej dan latensi.
• Pemantauan: Periksa metrik Prometheus untuk exporter Redis, RabbitMQ, dan Kafka; sahkan latensi dan kadar ralat kembali ke garis dasar.

Bila Perlu Hantar Tiket OpsGlobal

Jika selepas mengikuti langkah-langkah ini anda masih mengalami ketidakkonsistenan data, kegagalan partisi yang berterusan, atau kepakaran diperlukan untuk menala faktor replikasi, ofset pengguna, atau skala kluster, hubungi OpsGlobal untuk analisis punca dan pembetulan.