gpt4 book ai didi

hadoop - 运行独立的MapReduce作业

转载 作者:行者123 更新时间:2023-12-02 20:49:20 24 4
gpt4 key购买 nike

作为调度一系列作业的一部分,从边缘节点使用以下命令运行MapReduce作业是否存在任何风险:

hadoop jar <jar_location> <job_name> -libjars <location of dependent jars> -D mapreduce.job.reduces=0 -D mapreduce.map.speculative=false <location of input data> <location for output>

最佳答案

如果在Shell脚本中注意了作业之间有关调度,输入/输出文件夹,作业执行状态等的依赖关系,则该风险不存在任何风险,该脚本具有根据您的要求触发所有作业的实现。

通常,如果尚未设计Oozie工作流程,他们将在开发环境中执行此操作。

关于hadoop - 运行独立的MapReduce作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46587548/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com