java - 在 Spark Streaming 中设置检查点间隔有什么用？

Question

**1)我想了解检查点间隔的使用???

2)检查点间隔与窗口大小或滑动间隔或批处理间隔有关系吗？？？

3)在独立集群模式下运行 Spark Streaming 时，任务(或工作)由主节点分配给工作节点？？？

在这里，我正在执行流操作，通过从我的文件系统读取文件列表，始终读取文件任务仅由一名工作人员完成，它不会共享给所有工作人员？？？(目前我有两名工作人员)

感谢您的帮助>>!**

Answer 1

1,2) 检查点间隔一般约为数据集间隔时间的5-7倍。这被认为是好的。 http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/

3)是的