Memastikan Kebolehpercayaan Middleware: Panduan Praktikal untuk Redis, RabbitMQ, dan Kafka

Senario

Anda seorang SRE yang bertugas. Platform e-dagang pasukan anda mengalami kelewatan pemprosesan pesanan semasa jualan kilat. Seni bina menggunakan Redis untuk cache sesi, RabbitMQ untuk barisan pesanan, dan Kafka untuk strim acara. Selepas peristiwa penskalaan baru-baru ini, lonjakan latensi berlaku.

Gejala

• Redis: Latensi meningkat > 100ms, CPU tinggi, pengusiran.
• RabbitMQ: Kedalaman barisan bertambah, pengguna melahu, amaran cakera.
• Kafka: Ketinggalan pengguna meningkat, CPU broker tinggi, replikasi partition kurang.

Diagnosis

Redis

• redis-cli info stats periksa evicted_keys.
• redis-cli slowlog get untuk arahan perlahan.
• redis-cli client list untuk sambungan.
• Gunakan memory doctor jika OOM.

RabbitMQ

• rabbitmqctl list_queues name messages consumers memory.
• Periksa amaran cakera dan memori melalui rabbitmqctl status.
• Dayakan log surih jika perlu.

Kafka

• kafka-consumer-groups --bootstrap-server <server> --describe --group <group> untuk ketinggalan.
• kafka-topics --describe --under-replicated-partitions.
• Periksa log broker dan metrik JMX.

Arahan (dengan nota keselamatan)

Redis

• Untuk membersihkan arahan perlahan, pertimbangkan skala replika baca atau optimumkan struktur data. Gunakan CLIENT KILL dengan berhati-hati.

RabbitMQ

• Untuk membuka ikatan barisan sementara: rabbitmqctl set_policy untuk menghadkan panjang barisan atau rabbitmqadmin delete queue dengan berhati-hati. Gunakan rabbitmqctl set_disk_free_limit untuk melaraskan amaran.

Kafka

• Untuk menyekat pengguna: tingkatkan partition atau gunakan pengimbangan semula kumpulan pengguna. Untuk partition panas, kafka-reassign-partitions.sh. Jangan padam topik tanpa sandaran.

Kawalan Risiko

• Sentiasa ambil gambar RDB/AOF Redis sebelum perubahan.
• Untuk RabbitMQ, sandarkan definisi dengan rabbitmqadmin export.
• Untuk Kafka, sandarkan offset dan konfigurasi topik. Gunakan kesedaran rak.

Prosedur Undur

Redis

• Pulihkan daripada sandaran RDB atau AOF. Pastikan tiada tulis belum selesai hilang.

RabbitMQ

• Import semula definisi, kosongkan barisan jika perlu.

Kafka

• Tetapkan semula offset kumpulan pengguna melalui kafka-consumer-groups --reset-offsets. Untuk kehilangan data, main semula dari yang terakhir komited.

Pengesahan

• Redis: redis-benchmark uji latensi. Pantau pengusiran dan hits/misses.
• RabbitMQ: Terbitkan mesej ujian, sahkan kadar penggunaan.
• Kafka: Hasilkan dan guna rekod ujian, periksa ketinggalan berkurang.

Bila perlu hantar tiket OpsGlobal

• Jika punca utama tidak jelas selepas pemeriksaan.
• Jika kehilangan data berlaku atau risiko kehilangan data.
• Jika pod Kubernetes but semula atau isu volum berterusan berterusan.
• Jika anda memerlukan bantuan dengan penalaan halus konfigurasi atau pengerasan keselamatan.