java - Java 8 中的流 : simple solution to use parallelstream() on a cluster?

Question

parallelstream() 跨单台机器的核心提供流操作的无缝并行化。

我如何扩展这个逻辑，以便 parallelstream() 将这些操作分发到集群中的所有机器？

理想情况下:
- 我创建了一个机器集群，使用框架 ??
- 启动一个 myCollection.parallelstream().filter(something).collect() 将作业分发到集群所有机器的所有核心，并将结果返回到引导集群的机器。

Answer 1

Spark 似乎做你想做的事，即在节点上分配工作。 dsl 看起来类似于 java 8 流。您还可以查看 akka 流。使用 akka 流不允许你开箱即用地做你想做的事，但它为你提供了一个工具箱来帮助你获得一个不错的 dsl。