NginxAPI网关性能调优SRE
场景
某电商平台使用Nginx作为API网关,近期用户反馈接口响应缓慢,P99延迟从200ms飙升至2s。
症状
- 上游服务器返回502/504错误增多
- Nginx错误日志出现"upstream timed out"
- 连接数接近worker_connections上限
诊断
- 检查Nginx错误日志:
tail -f /var/log/nginx/error.log - 查看上游响应时间:通过
upstream_time变量在access日志中记录 - 检查连接池:
curl -s http://localhost/nginx_status | grep Active - 分析缓冲区设置:默认proxy_buffering可能导致上游响应慢时积压
命令
调整worker_connections(/etc/nginx/nginx.conf):
events {
worker_connections 4096;
multi_accept on;
}
启用并调大缓冲区(/etc/nginx/conf.d/api_gateway.conf):
location /api/ {
proxy_pass http://upstream;
proxy_buffering on;
proxy_buffer_size 8k;
proxy_buffers 8 32k;
proxy_busy_buffers_size 64k;
proxy_read_timeout 60s;
proxy_send_timeout 60s;
# 启用上游长连接
proxy_http_version 1.1;
proxy_set_header Connection "";
keepalive_requests 1000;
keepalive_timeout 120s;
}
验证语法:nginx -t,热重载:systemctl reload nginx
风险控制
- 先在灰度实例上测试
- 监控CPU、内存和连接数
- 确保上游服务有足够容量
回滚
保留原配置备份为.bak,替换后重新加载:
cp /etc/nginx/conf.d/api_gateway.conf.bak /etc/nginx/conf.d/api_gateway.conf
nginx -s reload
验证
- 观察P99延迟是否下降:使用Prometheus和Grafana
- 检查错误日志是否减少
- 执行负载测试:
ab -n 10000 -c 100 http://gateway/api/test
何时提交OpsGlobal工单
如果调整后延迟仍未改善,或问题涉及上游应用性能、数据库查询慢、DNS解析等问题,建议提交工单让OpsGlobal SRE团队介入深度分析。
适用场景
适合正在处理 Performance、Nginx, API网关, 性能调优, SRE 相关问题的团队,用于快速建立排查路径和交付标准。
问题背景
本文通过真实场景演示如何诊断和解决Nginx作为API网关时的高延迟问题,包含具体命令、风险控制和回滚步骤。
排查步骤
先确认影响范围和最近变更,再收集日志、配置、指标和链路数据,最后按风险从低到高执行修复。
命令示例
示例命令请替换为你的真实资源名,并使用环境变量保存账号、密码、token 等敏感信息。
风险说明
生产环境操作前需要确认备份、权限边界、变更窗口和回滚路径,避免扩大故障影响。
回滚方案
保留原配置和发布版本;如修复后指标异常,立即回退配置、镜像或数据库变更并复核日志。
交付清单
问题定位记录、关键命令、修复步骤、验证结果、后续优化建议。
遇到类似技术问题?
如果你的服务器、K8s、Docker、CI/CD、数据库或监控系统出现类似问题,可以提交日志和配置文件,我们帮你远程诊断。