Kebolehpercayaan Middleware Redis, RabbitMQ, Kafka: Dari Kegagalan ke Pemulihan

Senario

Sebuah platform e-commerce mengalami tamat masa yang besar semasa jualan kilat. Kadar capaian cache Redis menurun, baris gilir RabbitMQ bertimbun, dan kependaman pengguna Kafka melonjak, menjejaskan pengalaman pengguna.

Gejala

• Masa respons API melompat dari 200ms ke 5s
• keyspace_misses Redis meningkat secara mendadak (semak dengan INFO stats)
• messages_ready baris gilir RabbitMQ terus bertambah
• LAG kumpulan pengguna Kafka melebihi 10000

Diagnosis

1. Redis: Jalankan redis-cli INFO stats | grep keyspace untuk menyemak nisbah capaian. Kehilangan yang tinggi menunjukkan ketidakcekapan cache. Gunakan MEMORY USAGE <key> untuk mencari kunci besar.
2. RabbitMQ: Laksanakan rabbitmqctl list_queues name messages_ready consumers untuk melihat jika pengguna kurang. Periksa log pengguna.
3. Kafka: Jalankan kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --describe untuk melihat kependaman setiap partition. Kependaman tinggi bermakna penggunaan perlahan atau pembahagian tidak sekata.

Arahan Contoh

# Diagnosis Redis
redis-cli -h <host> -p 6379 INFO stats | grep -E 'keyspace_(hits|misses)'

# Diagnosis RabbitMQ
rabbitmqctl list_queues name messages_ready consumers memory

# Kependaman pengguna Kafka
kafka-consumer-groups.sh --bootstrap-server <broker>:9092 --group <group> --describe

Kawalan Risiko

• Konfigurasikan maxmemory Redis dengan dasar pengusiran allkeys-lru
• Tetapkan x-max-length atau TTL baris gilir RabbitMQ untuk mengelakkan pertumbuhan tanpa had
• Laksanakan tekanan balik dalam pengguna Kafka (contohnya, laraskan max.poll.records)
• Gunakan HPA Kubernetes untuk menskalakan pod pengguna secara automatik

Langkah Rollback

1. Redis: Jika skrip Lua menyebabkan isu, lumpuhkan atau kembalikan kod.
2. RabbitMQ: Padam baris gilir yang bertimbun (berhati-hati!) atau pindahkan pengguna ke contoh yang lebih pantas.
3. Kafka: Hentikan pengguna dan tetapkan semula offset ke awal: kafka-consumer-groups --reset-offsets --to-earliest
4. Kembalikan deployment: kubectl rollout undo deployment/<service>

Pengesahan

• Redis: Gunakan redis-cli MONITOR untuk memerhatikan permintaan langsung; kadar capaian harus pulih.
• RabbitMQ: messages_ready baris gilir harus menurun secara beransur-ansur ke keadaan stabil.
• Kafka: Semak LAG kembali ke sifar dan partition diagihkan secara sekata.
• Aplikasi: Pantau kependaman API melalui Prometheus + Grafana.

Bila Menghantar Tiket OpsGlobal

• Jika langkah di atas gagal, atau penalaan pakar diperlukan (misalnya, penugasan semula partition Kafka).
• Jika punca akar melibatkan pembahagian rangkaian kompleks atau kegagalan storan.
• Apabila sokongan SRE terurus 24/7 diperlukan.