用于分布式计算的 Java 8 MapReduce

Question

当我听说 Java 8 中的 parallelStream() 时，我很高兴，它在多个内核上处理并最终在单个 JVM 中返回结果。没有更多的多线程代码行。据我了解，这仅对单个 JVM 有效。

但是，如果我想将处理分布到单个主机甚至多个主机上的不同 JVM 上怎么办？ Java 8 是否包含任何用于简化它的抽象？

在 tutorial at dreamsyssoft.com 中用户列表

private static List<User> users = Arrays.asList(
    new User(1, "Steve", "Vai", 40),
    new User(4, "Joe", "Smith", 32),
    new User(3, "Steve", "Johnson", 57),
    new User(9, "Mike", "Stevens", 18),
    new User(10, "George", "Armstrong", 24),
    new User(2, "Jim", "Smith", 40),
    new User(8, "Chuck", "Schneider", 34),
    new User(5, "Jorje", "Gonzales", 22),
    new User(6, "Jane", "Michaels", 47),
    new User(7, "Kim", "Berlie", 60)
);

像这样处理以获得他们的平均年龄:

double average = users.parallelStream().map(u -> u.age).average().getAsDouble();

在这种情况下，它是在单个主机上处理的。

我的问题是:是否可以利用多个主机进行处理？

例如Host1 处理下面的列表并为五个用户返回 average1:

new User(1, "Steve", "Vai", 40),
new User(4, "Joe", "Smith", 32),
new User(3, "Steve", "Johnson", 57),
new User(9, "Mike", "Stevens", 18),
new User(10, "George", "Armstrong", 24),

类似地，Host2 处理下面的列表并为剩余的五个用户返回 average2:

new User(2, "Jim", "Smith", 40),
new User(8, "Chuck", "Schneider", 34),
new User(5, "Jorje", "Gonzales", 22),
new User(6, "Jane", "Michaels", 47),
new User(7, "Kim", "Berlie", 60)

最后 Host3 计算最终结果如下:

average = (average1 + average2)  / 2

使用分布式架构可以像remoting一样解决。 Java 8 是否有一些更简单的方法来通过一些抽象来解决问题？

我知道 Hadoop、Akka 和 Promises 等框架可以解决这个问题。我说的是纯 Java 8。我可以为多个主机获取 parallelStream() 的任何文档和示例吗？

Answer 1

这是 list of features计划于 2013 年 9 月用于 Java 8。

如您所见，没有专门用于标准化集群分布式计算的功能。最接近的是 JEP 107 ，它建立在 JDK 7 中的 Fork/Join 框架之上，以利用多核 CPU。在 Java 8 中，您将能够使用 lambda 表达式通过将任务分配给多个处理器来并行地对集合执行批量操作。

Java 8 也计划采用 JEP 103 ，它也将构建在 Java 7 Fork/Join 上以并行排序数组。同时，由于 Fork/Join 显然是一件大事，它会随着 JEP 155 进一步发展。 .

因此，对于集群上的分布式计算没有核心 Java 8 抽象——只有多个核心。您将需要使用现有设施为真正的分布式计算设计自己的解决方案。

尽管这可能令人失望，但我要指出的是，在 Hadoop 上仍然有很棒的开源第三方抽象，例如 Cascalog。和 Apache Spark .特别是 Spark，您可以通过 RDD 以分布式方式对数据执行操作。抽象，这让人感觉你的数据只是在一个奇特的数组中。

但是在核心 Java 中你将不得不等待这样的事情。