gpt4 book ai didi

hadoop - 如何设置cron作业以运行map reduce?

转载 作者:行者123 更新时间:2023-12-02 21:51:09 27 4
gpt4 key购买 nike

我有三个map reduce作业,需要配置为cron作业。

我尝试创建cron作业来运行mapreduce,但无法正常工作。我的意思是 map 还原作业未启动。

请帮助设置cron作业以运行map reduce作业。我可以使用Oozie设置工作流作业,但只想使用cronjob。

最佳答案

我强烈建议使用Oozie进行MapReduce作业调度。您需要完成许多工作-工作流,数据依赖项,监视。您可以从简单的类似cron的场景开始,然后在不进行大量重新设计的情况下进行扩展。有关示例,请参见https://github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases

关于hadoop - 如何设置cron作业以运行map reduce?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20779549/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com