bigdata - Apache Flink是如何实现迭代的？

Question

大数据的DAG(有向无环图)执行很常见。我想知道 Apache Flink 如何实现迭代，因为该图可能是循环的。

Answer 1

如果Flink执行迭代程序，数据流图不是DAG，而是允许循环。但是，这个循环并不是任意的，必须遵循一定的模式，让 Flink 在一定程度上控制这个循环流程。

其他系统中通常没有严格的技术原因不支持循环。通常禁止以通用方式允许循环，因为它可能会导致无限循环(即元组永远旋转循环并且程序不会终止)。

Flink 通过计算迭代次数来跟踪循环。通过这种方式，Flink 可以跟踪哪些元组属于哪些迭代，并且可以避免新迭代中的元组“接管”旧迭代中的元组。此外，它还允许 Flink 检测迭代结果 n 和 n+1 是否相等。相同的结果表明计算已完成，允许 Flink 打破无限循环并终止(这适用于所谓的定点迭代)。

如需详细阅读，请查看这篇研究论文:https://dl.acm.org/citation.cfm?id=2350245

程序中迭代的用法如下所述:https://ci.apache.org/projects/flink/flink-docs-release-0.10/apis/programming_guide.html#iteration-operators