apache-spark - "cyclic data flow"在 Apache Spark 中意味着什么？

Question

Spark 是一个 DAG 执行引擎。循环和DAG不是相反的概念吗？很难找到这个明显矛盾的答案。

如您所见:Understanding your Apache Spark Application Through Visualization ，可以使用 Spark UI 可视化执行 DAG。但是，该页面中的示例均未显示循环数据流。在下图中，您可以看到这些示例之一。

Spark execution DAG example

这些迭代(循环数据流)可以在图之外吗？我在 MAPR 中读到“每个 Spark 作业都会创建一个要在集群上执行的任务阶段的 DAG”。然后，可能会在 DAG(作业)之间发生循环数据流。

谢谢。

Answer 1

好吧，看来这是文档中的错字或其他内容。截至今天，我们可以在 Spark homepage 中找到它:

Apache Spark has an advanced DAG execution engine that supports acyclic data flow and in-memory computing.