Memastikan Kebolehpercayaan Middleware: Amalan Terbaik Redis, RabbitMQ, dan Kafka untuk SRE

Dalam pengeluaran, Redis, RabbitMQ, dan Kafka adalah middleware kritikal yang menyokong seni bina mikroservis. Sebarang isu kebolehpercayaan boleh menyebabkan kegagalan berantai. Artikel ini menyediakan pendekatan sistematik untuk mendiagnosis dan menyelesaikan masalah biasa dengan middleware ini.

Senario

Andaikan anda mempunyai kluster Kubernetes yang menjalankan beberapa mikroservis di mana: - Redis digunakan untuk caching dan storan sesi - RabbitMQ mengendalikan barisan tugas tak segerak - Kafka digunakan untuk penstriman peristiwa

Suatu hari, pengguna melaporkan peningkatan latensi, beberapa permintaan tamat masa, dan juga ketidakselarasan data.

Gejala

• Redis: Penggunaan memori menghampiri had, entri log perlahan meningkat, kelewatan replikasi
• RabbitMQ: Barisan terkumpul, sambungan pengguna kerap putus, penggera cakera
• Kafka: Ketinggalan kumpulan pengguna meningkat, I/O cakera broker tepu, pemilihan semula pemimpin partition

Diagnosis

Redis

• Gunakan redis-cli info memory untuk memeriksa fragmentasi memori dan maxmemory
• Jalankan redis-cli slowlog get 50 untuk melihat pertanyaan perlahan
• Dalam Kubernetes: kubectl exec pod/redis-pod -- redis-cli -a $PASSWORD info (perhatikan keselamatan kata laluan)
• Pantau dengan kubectl top pod untuk penggunaan CPU/memori

RabbitMQ

• Jalankan rabbitmqctl list_queues name messages_ready messages_unacknowledged untuk memeriksa kedalaman barisan
• Gunakan rabbitmqctl list_connections untuk melihat status sambungan
• Dalam Kubernetes: kubectl logs deployment/rabbitmq -c rabbitmq | grep -i error

Kafka

• Periksa ketinggalan kumpulan pengguna: kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --describe
• Pantau cakera broker: kafka-log-dirs --bootstrap-server localhost:9092 --describe
• Kubernetes: kubectl exec pod/kafka-pod -- df -h /var/lib/kafka/data

Kawalan Risiko

• Konfigurasikan maxmemory dan polisi pengusiran Redis (cth., allkeys-lru), dayakan kegigihan RDB/AOF
• RabbitMQ: Tetapkan panjang maksimum barisan, TTL mesej, gunakan barisan cermin HA
• Kafka: Laraskan replication.factor dan min.insync.replicas, pastikan ruang cakera mencukupi
• Kubernetes: Tetapkan permintaan/had sumber, konfigurasikan prob liveness dan readiness

Rollback

• Redis: Pulihkan daripada sandaran AOF atau RDB, atau rollback ke versi penggunaan sebelumnya
• RabbitMQ: Jika pertukaran atau barisan ditambah, padamkannya dan pulihkan konfigurasi; pulihkan data daripada sandaran
• Kafka: Gunakan kafka-reassign-partitions untuk menetapkan semula partition, atau tetapkan semula offset pengguna ke keadaan sebelumnya

Pengesahan

• Redis: Jalankan redis-cli ping untuk mengesahkan sambungan, gunakan redis-benchmark untuk menguji latensi
• RabbitMQ: Hantar mesej ujian dan sahkan penggunaan, periksa pemantauan kedalaman barisan mencapai sifar
• Kafka: Hasilkan dan guna mesej, sahkan latensi dan throughput kembali normal

Bila Hantar Tiket OpsGlobal

• Anda telah mencuba diagnosis dan tindakan di atas tetapi masalah masih berterusan
• Anda memerlukan pemulihan data profesional (cth., fail RDB rosak)
• Penalaan kluster yang kompleks atau reka bentuk seni bina diperlukan
• Anda memerlukan sokongan dalam talian 24/7

Pasukan SRE OpsGlobal menyediakan analisis mendalam dan penyelesaian pantas untuk memastikan kluster middleware anda stabil.