gpt4 book ai didi

apache-spark - 如何获得 Spark Streaming 的运行时间

转载 作者:行者123 更新时间:2023-12-04 10:50:31 28 4
gpt4 key购买 nike

我需要设置一个 Spark Streaming 应用程序。应用程序的作业需要根据整个应用程序运行时间做出一些决定。

例如,假设 Spark Streaming 应用程序是在 08:00 提交的。在 08:00 和 10:00 之间运行的作业应该做加号运算,而在 10:00 之后运行的作业应该做减号运算。

如何记录第一个作业(或应用程序)的开始时间并确定每个作业和第一个作业之间的间隔?或者有其他好的解决办法吗?

最佳答案

SparkContext startTime() 方法返回它开始事件的时间。

关于apache-spark - 如何获得 Spark Streaming 的运行时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59501863/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com