Buku Panduan SRE Linux: Penyelesaian Masalah Pengeluaran Secara Praktikal

Senario

Aplikasi mikroservis berjalan pada pelayan Linux 4-teras, 8GB dengan Nginx dan Node.js. Tiba-tiba, amaran pemantauan menunjukkan lonjakan ralat HTTP 502, dan pengguna tidak dapat mengakses perkhidmatan.

Gejala

• Purata beban >10 (normal <2)
• I/O menunggu >30%
• Respons SSH lambat
• dmesg menunjukkan banyak ralat "hung_task_timeout_secs"

Langkah Diagnosis

1. Periksa beban sistem bash uptime top -bn1 | head -5 Output: load average: 12.5, 10.3, 8.7.

2. Kenal pasti proses penggunaan tinggi bash ps aux --sort=-%cpu | head -10 ps aux --sort=-%mem | head -10 Proses pekerja Nginx menggunakan 300% CPU (mungkin gelung tak terhingga).

3. Analisis kesesakan I/O bash iostat -x 1 3 %util hampir 100%, await >100ms — isu prestasi cakera.

4. Periksa ruang cakera dan inod bash df -h / df -i / Penggunaan cakera 85%, inod normal, tetapi fail log berkembang pesat.

5. Lihat log sistem bash tail -100 /var/log/messages | grep -i error Dijumpai: "EXT4-fs error: journal has aborted".

6. Periksa konsistensi sistem fail bash touch /test && sync && rm /test # ujian tulis Jika gagal, jadualkan fsck semasa waktu penyelenggaraan; berhati-hati.

Kawalan Risiko

• Elakkan fsck semasa waktu puncak: risiko kehilangan data.
• Cuba pasang semula baca-sahaja dahulu: bash mount -o remount,ro /dev/sda1 /
• Sandarkan data kritikal: gunakan dd atau rsync selepas pengesahan.

Langkah Balik

Jika perubahan terkini menyebabkan isu (cth., kemas kini konfigurasi, tampalan kernel): 1. Balikkan aplikasi: bash systemctl restart nginx # atau muat konfigurasi lama 2. Balikkan kernel (memerlukan but semula): bash grub2-set-default "CentOS Linux (3.10.0-1160.el7.x86_64) 7 (Core)" reboot 3. Jika sistem fail rosak, pulihkan dari sandaran atau gunakan gambaran LVM.

Pengesahan

• Sahkan beban normal: uptime
• Sahkan I/O berkurang: iostat -x 1 2
• Sahkan kesihatan perkhidmatan: curl -I http://localhost/health
• Periksa papan pemuka pemantauan: kadar ralat kembali ke 0.

Bila Perlu Hantar Tiket OpsGlobal

• Langkah penyelesaian masalah gagal
• Perlu fsck tetapi tidak boleh jadualkan masa henti
• Disyaki kegagalan perkakasan (cth., sektor buruk)
• Perlu nyahpepijat kernel atau penalaan prestasi
• Perlu analisis punca akar jangka panjang atau pengoptimuman seni bina

Sertakan dengan tiket: - Log dmesg dan /var/log/messages - Output top dan iostat - Garis masa perubahan

Buku panduan standard ini membolehkan SRE mendiagnosis dan memulihkan isu pengeluaran dengan cepat, dan melantik kepada OpsGlobal untuk sokongan pakar.