apache-flink - 如何在 apache-flink 中安排作业

Question

我想写一个任务，每24小时后由apache flink触发，然后由flink处理。有什么可能的方法来做到这一点？ flink 是否提供任何作业调度功能？

Answer 1

Apache Flink 不是作业调度程序，而是一种不同范式的事件处理引擎，因为 Flink 作业应该连续运行而不是由调度触发。

也就是说，您可以通过简单地使用现成的调度程序(即 cron)来实现该功能，该调度程序计划在您的 Flink 集群上启动一项作业，然后在您收到某种作业已完成的通知后停止它(即通过Kafka 主题)或简单地使用超时，在此之后您会假设作业已完成并且您可以停止作业。但同样，特别是因为 Flink 不是为这种用例设计的，你肯定会遇到 Flink 不支持的边缘情况。

或者，您可以简单地使用 24 小时滚动窗口并在相应的触发函数中运行您的任务。见 https://flink.apache.org/news/2015/12/04/Introducing-windows.html有关此事的详细信息。