Nginx API网关性能调优实战：从症状到解决方案

场景

在Kubernetes集群中，Nginx常作为API网关处理流量。某日，业务高峰期间，用户报告页面加载缓慢，部分请求返回502 Bad Gateway。运维团队接手调查。

症状

• P99延迟从20ms飙升至500ms
• Nginx错误日志频繁出现"upstream timed out"和"no live upstreams"
• 监控显示Nginx worker进程CPU使用率达90%
• 上游服务健康检查通过，但Nginx连接池枯竭

诊断

1. 检查Nginx连接状态：curl -s http://localhost/nginx_status | grep -E 'Active|Waiting'
2. 查看上游统计：curl -s http://localhost/upstream_status（需启用ngx_http_upstream_module）
3. 检查内核参数：sysctl net.core.somaxconn net.ipv4.tcp_max_syn_backlog
4. 检查Nginx配置中的proxy_pass和buffers设置：nginx -T | grep -E 'proxy_buffer|proxy_busy|worker_connections'
5. 使用h2load进行压力测试：h2load -c 100 -n 10000 -H 'Host: example.com' http://localhost/

命令与操作

调整worker进程数和连接数

worker_processes auto;
worker_rlimit_nofile 65535;
events {
    worker_connections 10240;
    multi_accept on;
    use epoll;
}

重新加载：nginx -s reload

优化proxy缓冲区

proxy_buffer_size 4k;
proxy_buffers 8 16k;
proxy_busy_buffers_size 32k;
proxy_temp_file_write_size 64k;

增加上游超时

proxy_connect_timeout 10s;
proxy_send_timeout 30s;
proxy_read_timeout 30s;

调整内核参数

sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=65535
sysctl -w net.ipv4.tcp_tw_reuse=1

风险控制

• 先在不重要的集群中测试配置变更
• 使用nginx -t验证配置语法
• 执行nginx -s reload实现热加载，不中断流量
• 若需修改内核参数，确保持久化（/etc/sysctl.conf）并备份原值

回滚方案

1. 恢复原Nginx配置：cp /etc/nginx/nginx.conf.bak /etc/nginx/nginx.conf && nginx -s reload
2. 恢复内核参数：sysctl -p /etc/sysctl.conf.bak
3. 回滚后监控错误率是否恢复

验证

• 观察延迟指标：应降至P99 50ms以下
• 检查错误日志：502/504错误消失
• 压力测试：h2load输出显示请求成功率100%
• 持续监控24小时，确认稳定

何时提交OpsGlobal工单

• 以上步骤无法解决问题
• 需要专业工具如Wireshark抓包分析
• 上游服务本身存在性能瓶颈，需协同开发团队
• 需要长期性能优化建议或架构调整

OpsGlobal的SRE专家可提供远程诊断和优化，确保API网关稳定高效运行。