linux - 奇怪的 Tomcat 中断，可能与 maxConnections 有关

Question

我公司今天遇到了一个严重的问题:我们的生产服务器宕机了。大多数通过浏览器访问我们软件的人无法建立连接，但是已经使用该软件的人能够继续使用它。甚至我们的热备用服务器也无法与使用 HTTP 的生产服务器通信，甚至无法连接到更广泛的互联网。服务器一直可以通过 ping 和 ssh 访问，实际上负载很低——它通常以 5% 的 CPU 负载运行，而此时甚至更低。我们几乎不做磁盘 i/o。

问题开始几天后，我们有了一个新变体:端口 443 (HTTPS) 正在响应，但端口 80 停止响应。服务器负载很低。重启tomcat后，80端口又开始响应了。

我们使用的是 tomcat7，maxThreads="200"，并使用 maxConnections=10000。我们在主内存之外提供所有数据，因此每个 HTTP 请求都非常快地完成，但是我们有大量用户在进行非常简单的交互(这是高中科目选择)。但我们似乎不太可能让 10,000 名用户同时在我们的页面上打开他们的浏览器。

我的问题有几个部分:

• “maxConnections”参数是否可能是我们遇到麻烦的原因？
• 是否有任何理由不将“maxConnections”设置为离谱的高值，例如十万？ (即这样做的成本是多少？)
• tomcat 是否在遇到“maxConnections”消息后在任何地方输出警告消息？ (我们什么也没注意到)。
• 我们是否有可能达到操作系统限制？我们使用的是 CentOS 6.4 (Linux)，“ulimit -f”表示“无限制”。 (防火墙理解Tcp/Ip连接的概念吗？其他地方会不会有限制？)
• 当 tomcat 达到“maxConnections”限制时会发生什么？它是否尝试关闭一些不活动的连接？如果不是，为什么不呢？我不喜欢这样的想法，即我们的服务器可以被安装浏览器的人勒索赎金，发送保持事件状态以保持连接打开。

但主要问题是，“我们如何修复我们的服务器？”

Stefan 和 Sharpy 要求的更多信息:

• 我们的客户直接与该服务器通信
• TCP 连接在某些情况下立即被拒绝，而在其他情况下则超时
• 即使将我的浏览器连接到网络内的服务器，或者使用热备用服务器(也在同一网络中)，问题也很明显，无法执行通常通过 HTTP 发生的数据库复制消息
• IPTables - 是的，IPTables6 - 我不这么认为。无论如何，我发现问题后进行测试时，我的浏览器和服务器之间没有任何问题。

更多信息:当我们意识到我们正在使用 BIO 的默认 Tomcat7 设置时，看起来我们真的解决了问题，每个连接有一个线程，并且我们有 maxThreads=200。事实上，“netstat -an”显示了大约 297 个连接，这与 200 + 队列 100 相匹配。因此我们将其更改为 NIO 并重新启动了 tomcat。不幸的是，第二天又出现了同样的问题。我们可能错误配置了 server.xml。

server.xml 和来自 catalina.out 的提取物可在此处获得: https://www.dropbox.com/sh/sxgd0fbzyvuldy7/AACZWoBKXNKfXjsSmkgkVgW_a?dl=0

更多信息:我做了负载测试。我能够从我的开发笔记本电脑创建 500 个连接，并在每个连接上执行 HTTP GET 3 次，没有任何问题。除非我的负载测试无效(Java类也在上面的链接中)。

Answer 1

如果没有动手调试，很难确定，但我要检查的第一件事就是文件描述符限制(即 ulimit -n )。 TCP 连接使用文件描述符，并且根据正在使用的实现，使用 SelectableChannel 进行轮询的 nio 连接。每个打开的套接字可能会吃掉几个文件描述符。

检查是否是这个原因:

• 使用 ps 查找 Tomcat PIDs
• 检查 ulimit该过程运行:cat /proc/<PID>/limits | fgrep 'open files'
• 检查实际使用了多少描述符:ls /proc/<PID>/fd | wc -l

如果使用的描述符数量明显低于限制，则可能是其他原因导致了您的问题。但是，如果它等于或非常接近极限，则正是这个极限导致了问题。在这种情况下，您应该增加 /etc/security/limits.conf 中的限制对于使用其帐户运行 Tomcat 并从新打开的 shell 重新启动进程的用户，使用 /proc/<PID>/limits 检查如果实际使用了新限制，并查看 Tomcat 的行为是否有所改善。