apache-spark - 如何让两个 Spark RDD 并行运行

Question

例如，我在代码中创建了两个 RDD，如下所示:

val rdd1=sc.esRDD("userIndex1/type1")
val rdd2=sc.esRDD("userIndex2/type2")
val rdd3=rdd1.join(rdd2)
rdd3.foreachPartition{....}

我发现它们是串行执行的，为什么 Spark 不并行运行它们？
我的问题的原因是网络很慢，生成 rdd1 需要 1 小时，生成 rdd2 也需要 1 小时。所以我问为什么Spark没有同时生成两个RDD。

Answer 1

Spark 提供异步操作以异步运行所有作业，因此在您使用并行+并发运行所有计算的用例中可能会有所帮助。一次只会在 Spark 集群中计算一个 RDD，但您可以使它们异步。您可以在此处查看此 API 的 Java 文档 https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html

还有一个关于它的博客在这里查看 https://blog.knoldus.com/2015/10/21/demystifying-asynchronous-actions-in-spark/