c++ - 面向低延迟大数据交换的多线程boost C++程序设计

Question

我正在尝试通过 C++ 多线程解决网络流量问题。

给定一个网络(所有节点都由弧连接，每个弧连接2个且只有2个结束节点，一个是输入节点，另一个是输出节点，每个节点可以有多个输入弧和输出弧)，每个节点需要做一些计算然后交换计算结果数据到其连接的输入和输出节点。

多个节点可以组成一个任务，由一个线程运行。这样，整个网络的计算工作量可以划分为多个任务。所有这些任务被插入 boost 线程池，这样所有线程都可以同时运行任务时间。

但是，如果一个节点(在线程任务中)需要与另一个节点(在另一个线程任务)，存在同步问题。数据接收方需要等待数据在数据发送方的数据缓冲区中可用。

我的程序需要对网络进行分区，以便分配每个线程的任务工作量尽可能均匀。如果所有线程共享一个大数据缓冲区结构，则程序并行性不高很好，因为关键部分太大了。有些线程必须等待即使数据结构的一部分(其中对他们有用)已可用于读取或写入。

例如，一个大的数据缓冲区结构有以下缓冲区单元格:单元格 1、单元格 2、单元格 3、单元格 4。

当线程 1 试图写入单元 1 时，它必须锁定整个数据缓冲区结构，以便线程 2 无法读取或写入单元格 2，依此类推。

所以，我想将一个大型数据缓冲区结构分解为多个不同的数据单元根据线程号，使每个单元格只保存一个线程需要的数据任务。

例如，如果我们有 2 个线程，我们创建 2 个数据单元来保存 4 个线程所需的数据单独线程。如果我们有 4 个线程，我们创建 4 个数据单元，分别保存 4 个线程所需的数据。等等。

我的问题是:

(1) 如何设计数据单元格？你可以看到它的大小是基于线程的数量。

(2) 如何减少同步开销？临界区很小但是如果节点间数据交换频率很高，那么获取和释放互斥量的开销可能会非常高。

(3) 当一个节点的计算完成，数据写入到它的cell中时如何通知数据接收方节点，使得通知消息仅由等待线程接收运行接收节点计算任务。所有其他不相关的节点和线程都不是受影响。

程序对时间很敏感，消息交换的延迟应该是非常严格地控制并尽可能减少。

非常感谢任何帮助。

谢谢

Answer 1

我认为处理此问题的常用方法是在线程之间设置消息传递基础结构。

每个线程都有一个消息队列。在您的示例中，假设节点 N1 分配给线程 1，节点 N2 分配给线程 2，并且 N1 和 N2 之间有一条边。然后，当线程1完成N1计算后，向线程2发送消息:

“向节点N2发送输入”

要向线程发送消息，您只需锁定该线程的消息队列并附加您的消息。您使用一个互斥锁和两个条件变量(queue_not_empty_condition 和 queue_not_full_condition)来实现有界队列。当一个线程想要等待新工作时，它只是在其消息队列中休眠。

为了减少同步开销，您可能需要一种方法将多条消息放入队列(“批量发送”)，同时只锁定互斥锁一次。然后在一个线程中循环看起来像这样:

if (I can do work without communicating with other threads)
    do that work
else
    send all pending messages (in batches to each destination thread)
    wait on my input queue and pop the messages off in a batch

不过，消息的“批处理”可能会以复杂的方式与有界队列交互。天下没有免费的午餐。