gpt4 book ai didi

java - 在 Spark Streaming 中设置检查点间隔有什么用?

转载 作者:太空宇宙 更新时间:2023-11-04 06:10:48 25 4
gpt4 key购买 nike

**1)我想了解检查点间隔的使用???

2)检查点间隔与窗口大小或滑动间隔或批处理间隔有关系吗???

3)在独立集群模式下运行 Spark Streaming 时,任务(或工作)由主节点分配给工作节点???

在这里,我正在执行流操作,通过从我的文件系统读取文件列表,始终读取文件任务仅由一名工作人员完成,它不会共享给所有工作人员???(目前我有两名工作人员)

感谢您的帮助>>!**

最佳答案

1,2) 检查点间隔一般约为数据集间隔时间的5-7倍。这被认为是好的。 http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/

3)是的

关于java - 在 Spark Streaming 中设置检查点间隔有什么用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28762625/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com