javascript - 为什么在 Nginx 中增加 worker_connections 会使应用程序在 node.js 集群中变慢？

Question

我正在将我的应用程序转换为 node.js 集群，我希望它能提高我的应用程序的性能。

目前，我正在将应用程序部署到 2 个 EC2 t2.medium 实例。我有 Nginx 作为代理和 ELB。

这是我的 express 集群应用程序，它是文档中非常标准的。

var bodyParser = require('body-parser');
var cors = require('cors');
var cluster = require('cluster');
var debug = require('debug')('expressapp');

if(cluster.isMaster) {
  var numWorkers = require('os').cpus().length;
  debug('Master cluster setting up ' + numWorkers + ' workers');

  for(var i = 0; i < numWorkers; i++) {
    cluster.fork();
  }

  cluster.on('online', function(worker) {
    debug('Worker ' + worker.process.pid + ' is online');
  });

  cluster.on('exit', function(worker, code, signal) {
    debug('Worker ' + worker.process.pid + ' died with code: ' + code + ', and signal: ' + signal);
    debug('Starting a new worker');
    cluster.fork();  
  });
} else {
  // Express stuff
}

这是我的 Nginx 配置。

nginx::worker_processes: "%{::processorcount}"
nginx::worker_connections: '1024'
nginx::keepalive_timeout: '65'

我在 Nginx 服务器上有 2 个 CPU。

这是我之前的表现。

我得到 1,500 个请求/秒，这非常好。现在我想我会增加 Nginx 上的连接数，这样我就可以接受更多的请求。我这样做。

nginx::worker_processes: "%{::processorcount}"
nginx::worker_connections: '2048'
nginx::keepalive_timeout: '65'

这是我的表演后。

我认为这比以前更糟。

我使用 gatling 进行性能测试，这是代码。

import io.gatling.core.Predef._
import io.gatling.http.Predef._
import scala.concurrent.duration._

class LoadTestSparrowCapture extends Simulation {
  val httpConf = http
    .baseURL("http://ELB")
    .acceptHeader("application/json")
    .doNotTrackHeader("1")
    .acceptLanguageHeader("en-US,en;q=0.5")
    .acceptEncodingHeader("gzip, defalt")
    .userAgentHeader("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20100101 Firefox/16.0")

    val headers_10 = Map("Content-Type" -> "application/json")

    val scn = scenario("Load Test")
      .exec(http("request_1")
        .get("/track"))

    setUp(
      scn.inject(
        atOnceUsers(15000)
      ).protocols(httpConf))
}

我将其部署到我的 gatling 集群。因此，我有 3 个 EC2 实例在 30 秒内向我的应用程序发出 15,000 个请求。

问题是，我可以做些什么来提高应用程序的性能，还是我只需要添加更多机器？

我正在测试的路由非常简单，我收到请求并将其发送到 RabbitMQ，以便进一步处理。因此，该路由的响应非常快。

Answer 1

您提到您正在使用 AWS 并在 ELB 中的 EC2 实例的前端。如我所见，您收到了 502 和 503 状态代码。这些可以从 ELB 或您的 EC2 实例发送。确保在进行负载测试时您知道错误来自何处。您可以在 ELB 中的 AWS 控制台中检查此 CloudWatch metrics .

基本上 HTTPCode_ELB_5XX 表示您的 ELB 发送了 50 倍。另一方面，HTTPCode_Backend_5XX 发送了 50 倍。 您还可以在 ELB 的日志中验证这一点。您可以找到更好的 ELB 错误解释 here .

要在 AWS 上进行负载测试，您绝对应该阅读 this .重点是 ELB 只是另一组机器，如果您的负载增加，它需要扩展。默认扩展策略是(引用自“Ramping Up Testing”部分):

Once you have a testing tool in place, you will need to define the growth in the load. We recommend that you increase the load at a rate of no more than 50 percent every five minutes.

这意味着当您从一定数量的并发用户开始时，比如说 1000，默认情况下您应该在 5 分钟内最多增加到 1500。这将保证 ELB 将随着您服务器上的负载而扩展。确切的数字可能会有所不同，您必须自己进行测试。上次我测试它的持续负载为 1200 req./s 没有问题，然后我开始收到 50x。您可以轻松地测试它运行从单个客户端的 X 到 Y 用户的加速场景并等待 50 倍。

下一个非常重要的事情(来自“DNS Resoultion”部分)是:

If clients do not re-resolve the DNS at least once per minute, then the new resources Elastic Load Balancing adds to DNS will not be used by clients.

简而言之，这意味着您必须保证遵守 DNS 中的 TTL，或者您的客户端重新解析和轮换他们通过执行 DNS 查找接收到的 DNS IP，以保证循环方式来分配负载。如果不是(例如，仅从一个客户端而不是您的案例进行测试)，您可以通过将所有流量仅定位到一个实例来使 ELB 的一个实例过载，从而扭曲结果。这意味着 ELB 根本无法扩展。

希望对您有所帮助。