gpt4 book ai didi

spark-streaming - 关于 Spark 流,start()、awaitTermination() 和 stop() 的用例是什么

转载 作者:行者123 更新时间:2023-12-04 18:03:25 26 4
gpt4 key购买 nike

我是 Spark 流的新手。
我正在开发一个从终端获取数据并加载到 HDFS 中的应用程序。
我在互联网上搜索但不明白如何停止流媒体应用程序,一旦它被触发?

如果您能向我解释 sc.awaittermination() 的用例,我将不胜感激和 sc.stop() .

最佳答案

开始 - 到目前为止,代码的实际执行还没有开始。在 start() JobScheduler 启动之后,这又会启动 JobGenerator 来创建作业。

等待终止 - 它在内部使用一些条件变量来检查是否在代码中显式调用了 stop() 或应用程序终止 (Ctrl+C)。

关于spark-streaming - 关于 Spark 流,start()、awaitTermination() 和 stop() 的用例是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37791685/

26 4 0