nginx 连接限制

Question

我们有 2 个 nginx 服务器在 3 个具有 TCP 连接的 php5-fpm 服务器前面以 1000reqs/秒的速度完美运行。我们认为一台 nginx 服务器就足够了，并将我们所有的流量重定向到它。但是，服务器不能提供超过 750reqs/sec 的服务。它有千兆以太网，总流量不超过 100 兆比特 (Debian 6.0)

我们找不到任何原因，谷歌搜索后发现它可能与 TCP 问题有关。但是我们似乎不太可能对这个连接数和带宽(大约 70 兆位/秒)进行任何更改后来我们将一半的流量重定向回另一个 nginx，并再次达到 1000reqs/秒。

我们一直在查看 nginx 错误和访问日志。是否有任何工具或文件可以帮助我们找到问题的解决方案？

Answer 1

大多数 Linux 发行版都有 28232 ephemeral ports available .服务器需要为每个连接使用一个临时端口，以便为新连接释放主要端口(即 http 服务器端口 80)。

因此，如果服务器每秒处理 php5-fpm 通过 TCP 生成的内容的请求数为 1000，那么您分配的端口数为每秒 2000 个。实际情况并非如此，它可能是 5% 的 PHP 和 95% 的静态(没有端口分配)并且 IIRC nginx<->php-fpm 为后续请求保持端口打开。有很多因素会影响这些数字，但为了争论起见，我们假设 1000 端口分配/秒。

从表面上看这似乎不是问题，但默认情况下端口不会立即释放并可供新连接使用。这种行为有多种原因，我强烈建议您彻底了解 TCP在任意进行此处(或其他任何地方)详述的更改之前。

主要是称为 TIME_WAIT 的连接状态(套接字在关闭后等待处理仍在网络中的数据包，netstat man page)阻止端口被释放以供重用。在最近的(全部？)linux 内核上，TIME_WAIT 被硬编码为 60 秒，并且根据 RFC793一个连接可能会在 TIME_WAIT 中停留最多四分钟!

这意味着至少有 1000 个端口将被使用至少 60 秒。在现实世界中，您需要考虑传输时间、保持事件请求(多个请求使用同一连接)和服务端口(在 nginx 和后端服务器之间)。让我们任意将其降低到 750 个端口/秒。

在约 37 秒内，所有可用端口都将用完 (28232/750 = 37)。这是个问题，因为释放端口需要 60 秒!

要查看所有正在使用的端口，请运行 apache bench或类似的东西，可以生成您正在调整的每秒请求数。然后运行:

root:~# netstat -n -t -o | grep timewait

你会得到类似的输出(但还有很多很多行):

tcp        0      0 127.0.0.1:40649         127.1.0.2:80            TIME_WAIT   timewait (57.58/0/0)
tcp        0      0 127.1.0.1:9000          127.0.0.1:50153         TIME_WAIT   timewait (57.37/0/0)
tcp        0      0 127.0.0.1:40666         127.1.0.2:80            TIME_WAIT   timewait (57.69/0/0)
tcp        0      0 127.0.0.1:40650         127.1.0.2:80            TIME_WAIT   timewait (57.58/0/0)
tcp        0      0 127.0.0.1:40662         127.1.0.2:80            TIME_WAIT   timewait (57.69/0/0)
tcp        0      0 127.0.0.1:40663         127.1.0.2:80            TIME_WAIT   timewait (57.69/0/0)
tcp        0      0 127.0.0.1:40661         127.1.0.2:80            TIME_WAIT   timewait (57.61/0/0)

对于已分配端口的运行总数:

root:~# netstat -n -t -o | wc -l

如果您收到失败的请求，该数字将达到/接近 28232。

如何解决问题？

1. 将临时端口的数量从 28232 增加到 63976。

   sysctl -w net.ipv4.ip_local_port_range="1024 65000"
   

2. 允许 linux 在超时到期之前重用 TIME_WAIT 端口。

   sysctl -w net.ipv4.tcp_tw_reuse="1"
   

3. 其他 IP 地址。