c++ - 处理与 tbb 顺序的大数据

Question

我正在使用 C++ 应用程序来处理大量报价数据，例如。 (MSFT、AMZN 等)与待定。并且想知道我将如何构建它。我一直在研究 parallel_for 和 pipeline 以及 concurrent_queue。

该过程基本上会解析数据、处理数据并输出到文件。解析和处理可以并行进行，但每个符号的输出应该是有序的。

Eg. Input:    - Msg #1 - AMZN #1    - Msg #2 - AMZN #2    - Msg #3 - IBM #1    - Msg #4 - AMZN #3    - Msg #5 - CSCO #1    - Msg $6 - IBM #2

我想使用无锁解决方案或最小锁定，但似乎我已经保留在 concurrent_queue 中以保持顺序。

任何想法都会有帮助

谢谢，大卫

Answer 1

如果您使用管道模式(tbb::pipeline 类或tbb::parallel_pipeline() 函数)，您可以使用有序过滤器来确保输出会出现与收到输入的顺序完全相同。而且您不需要在代码中进行任何锁定即可进行订购。