java - 不同类同时处理对象列表的最佳方法是什么

Question

我正在尝试同时使用不同的类处理对象列表，但我不确定我是否朝着正确的方向前进。我已经阅读了有关 ExecutorService 和并行流的信息，但不确定这是否是正确的方法。

举个例子:

I have a publisher that collects data and places it in a list. The publisher has multiple subscribers linked to it, which need to process the data and store it in a map. The map is then built up until all the data is processed and is then stored in a database table. Each subscriber has their own table that needs to be populate in some form with the data provided. What I am trying to accomplish is distributing the list to the subscribers at the same time and once all subscribers are finished processing the next set off data is supplied and so forth until all the data has been processed for a date range.

如果有人有一些建议我可以看一下，那就太好了。

Answer 1

我会这样开始:

• 出版商
  • 不要收集到列表，而是将其设为 Observable并让所有订阅者观察他。
  • 在每个批处理中，初始化 CountDownLatch到批量大小，然后等待它清除您。
• 订阅者
  • 应该在不同的线程中观察他们感兴趣的类型的事件(每种类型仅一个)
  • 完成事件处理后 - 他们应通知发布者的 CDL。
• 出版商
  • 所有事件完成后，并且CDL被释放，应该将结果保存到db
  • 然后继续下一批

现在，这一切只是一个建议，还有多种其他可能的解决方案，而且是一个非常高级的解决方案，其中有许多实现细节未提及。工作时您应该保持警惕，如果情况更好，不要害怕改变路线。