c# - 在 C# 中使用非常大的数据流像 erlang 一样传递消息

Question

这是一个关于消息传递的问题。这特别涉及用 C# 编写的内部应用程序。但它有一个类似于 erlang 的本土“消息传递”系统。

好的，我们希望可以从 erlang 人员或文档中学习，以找到解决一些消息传递挑战的优雅解决方案。但是遗憾的是，在阅读了 erlang 在线文档和论坛之后，这些主题似乎没有得到解决——我们可以找到。

所以问题是:在 erlang 中，向进程发送消息的队列何时满？ erlang 是否处理队列满的情况？还是 erlang 中的消息传递队列是无限的——仅受系统内存限制？

在我们的系统中，它涉及处理金融数据流，其中可能有数十亿个信息元组从磁盘读取，每个金融信息元组在金融世界中被称为“滴答声”。

因此有必要对我们系统中每个“进程”的队列大小设置一个限制。我们在每个队列中任意选择最多 1000 个项目。现在，这些队列很快就会被滴答消息填满。

问题在于，除了 ticks 之外，进程还需要相互发送其他类型的消息，但 ticks 会填满队列，从而阻止任何其他类型的消息通过。

作为“创可贴”解决方案(很麻烦)，允许每个消息类型的每个进程有多个队列。所以一个进程会有一个滴答队列、一个命令队列和一个填充队列，等等。

但是 erlang 似乎更清晰，因为每个“进程”都有一个队列来承载不同的消息类型。但同样，它如何处理队列被大量仅一种消息类型占用的问题？

所以这也许是关于 erlang 内部结构的问题。 erlang 内部是否对队列中的消息类型有单独的限制？或者它在内部对每种类型的消息都有一个单独的队列？

无论如何，当队列太满而无法接收某些类型的消息时，发送进程如何知道？发送失败？这是否意味着错误处理在 erlang 中成为无法发送的必要条件？

在我们的系统中，它会跟踪队列何时变满，然后阻止任何试图添加到已满队列的进程，直到该队列有更多空间。这避免了困惑的错误处理逻辑，因为流程一旦被调用，就保证有空间发送一条消息。

但同样，如果我们将多种类型的消息放在同一个队列中。必须通过的其他消息类型将被阻止。

我可能错误地认为 erlang 不是为处理这种情况而设计的，所以它可能没有解决队列被大量单一消息类型填满的问题。

但我们希望有人知道如何回答这一点，以获得涵盖此特定场景的良好引用信息或书籍。

Answer 1

Erlang 将所有消息发送到单个队列，系统内存是队列大小的上限。如果您想对消息进行优先级排序，则必须在获取低优先级消息之前扫描整个队列以查找高优先级消息。

有一些方法可以通过产生节流和优先处理流量的处理程序来解决这个问题，但是 erlang VM 本身不支持它。