javascript - 用于连接到不同 WebSocket 服务器的多个 WebSocket 客户端的 Node.js 集群？

Question

我正在使用 Node.js 实现一个 Websocket 客户端，该客户端从多个 Websocket 服务器订阅数据源。

foo = new WebSocket('ws://foo.host ...')
bar = new WebSocket('ws://barhost ...')
baz = new WebSocket('ws://baz.host ...')
qux = new WebSocket('ws://qux.host ...')

foo.on('data', data => doSomething(data))  // 5 events per second 
bar.on('data', data => doSomething(data))  // 1 events per second 
baz.on('data', data => doSomething(data))  // 1 events per second 
qux.on('data', data => doSomething(data))  // 1 events per second 

问题:如果我们有一个多核系统(例如4核)，是否可以利用Node.js Cluster来负载平衡传入Websocket数据的处理，例如每个核心大约每秒接收 2 个要处理的事件？

或者最好手动启动 8 个 node.js 实例并向其传递一个参数[foo|bar|baz|qux]来选择它将连接到的 Websocket 服务器？

Answer 1

nodejs 集群模块解决了一个特定问题。当您有一个 http 服务器并且您想要在多个进程之间对传入连接进行负载平衡时，nodejs 集群模块就是这样做的。那不是你所拥有的。您有多个客户端传出 webSocket 连接，并且您显然希望应用多个进程来处理传入数据。这与 Nodejs 集群模块的作用完全不同。

首先，重要的是要了解接收数据对于 Nodejs 来说不是一个 CPU 密集型过程。实际的套接字处理和计算机接收传入数据是由操作系统处理的，位于 Nodejs 进程之外。

因此，如果您实际上需要多个 CPU 来处理此问题，那么它必须是处理传入的数据，而不仅仅是接收数据。

有几种不同的方式可以构建它。

1. 您可以拥有一个包含所有 webSocket 的中央进程，然后拥有一定数量的工作进程或工作线程，您可以将传入数据传递到其中进行处理。这将应用许多 CPU 来处理数据，并且允许负载处理在 CPU 之间分布，而不管数据到达哪个套接字。

2. 您可以创建 4 个独立的子进程，并让每个子进程创建四个 webSocket 连接之一，然后让每个子进程仅处理其 webSocket 的传入数据。这样做的缺点是每个 webSocket 只应用一个进程，如果大部分数据来自一个 webSocket，那么其他进程将基本上处于空闲状态。

3. 如果一个 webSocket 的负载比其他 webSocket 的负载大得多，并且由于某种原因选项 #1 无法正常工作，那么您可以将 #1 和 #2 结合起来。为每个 webSocket 创建一个单独的进程，然后使用一些工作线程来处理每个 webSocket 的传入数据。创建一个工作队列，将传入的数据插入其中，并在每个工作线程完成其先前的数据 block 时将工作发送到每个工作线程。