javascript - Node.js 请求随机开始挂起，直到服务器重启才会清除

Question

我一直在我们的网络应用程序中遇到一个非常奇怪且看似随机的问题，我似乎无法成功调试。它在 10 分钟到 6 小时的任何时间都运行良好，然后突然之间无法向服务器发出远程请求或从服务器发出远程请求，它们只是挂起(这包括常规的 http 和 web 套接字请求)。奇怪的是，定期访问该站点仍然有效，直到达到操作系统文件描述符限制，然后 http 因所有停止的连接而完全崩溃。

虽然在问题开始时会抛出以下错误，但没有错误(我认为这是发生的任何事情的副作用而不是原因)。

TypeError: Cannot read property '0' of null
    at null.<anonymous> (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/collection.js:504:22)
    at args.(anonymous function) (/app/node_modules/strong-agent/lib/proxy.js:85:18)
    at g (events.js:175:14)
    at EventEmitter.emit (events.js:98:17)
    at Base.__executeAllServerSpecificErrorCallbacks (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/base.js:315:29)
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:273:22
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:370:11
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/repl_set/ha.js:352:28
    at _callback (/app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/db.js:670:5)
    at /app/node_modules/mongojs/node_modules/mongodb/lib/mongodb/auth/mongodb_cr.js:47:13

我已经尝试提高文件描述符限制和全局代理 maxSockets 而不影响此行为。发生这种情况时不会有流量涌入，而且在高峰期和非高峰期同样频繁发生。 CPU 使用率始终保持在 5% 以下，并且在崩溃之前或期间没有任何可察觉的变化。服务器的空闲内存也永远不会低于 1GB。

堆栈:SmartOS 云服务器 (Joyent)、Express、Socket.io、MongoDB 和 Redis。

我已经调试了好几天了，完全不知道该去哪里找。希望 SO 上的某个人遇到过类似的事情，或者对可以尝试或测试的内容有不同的想法。

Answer 1

经过无数个小时的调试和更多的调试，我终于找到了罪魁祸首。在几个不同的 mongojs 回调中抛出了一个错误，这些回调似乎已经冒泡并阻止了连接关闭。随着时间的推移，这达到了一个临界点，连接开始挂起，直到达到文件描述符限制。

原来错误出在Now.js Node 模块(已废弃)。如果有人在使用 Now.js 时遇到此问题，我将其 fork 并修补了该错误。你可以在这里找到提交:https://github.com/goldfire/now/commit/b5bd54f8950602f752a710c606be6754b759cab2 .

我发现此错误的方法是将错误监听器附加到 DB 对象:

var db = require('mongojs').connect('...', ['collection']);
db.client.on('error', function(err){
  console.log(err.stack);
});