gpt4 book ai didi

python - 如何将 spark-submit 的执行安排到特定时间

转载 作者:太空宇宙 更新时间:2023-11-04 00:44:10 27 4
gpt4 key购买 nike

我有一个 Spark 批处理代码(基本上是模型训练),我使用来自 AWS EMR 集群的 spark-submit 执行。现在我希望能够在每天的特定时间启动这项工作。这样做的标准方法是什么?我应该更改代码并在代码中添加调度吗?或者有什么方法可以安排 spark-submit 作业?或者也许我应该将其作为每 24 小时执行一次的 Spark Streaming 作业?(尽管我对特定时间段感兴趣,即晚上 11:00 到中午 12 点之间)

最佳答案

如果您使用的是 Linux,您可以设置一个 Cron 作业来调用 spark-submit 脚本 http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/

关于python - 如何将 spark-submit 的执行安排到特定时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40537526/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com