gpt4 book ai didi

logging - Hadoop MapReduce 中间输出

转载 作者:可可西里 更新时间:2023-11-01 14:16:25 25 4
gpt4 key购买 nike

有没有一种方法可以在不编辑应用程序的情况下输出以记录 MapReduce 作业的中间(映射阶段)输出? (应用程序不是我的,集群是我的,我可以随意设置Hadoop集群)

最佳答案

keep.task.files.pattern参数可用于保留中间文件。作业完成后,必须手动清理中间文件。因为,这是一个map/reduce任务属性,所以必须在配置文件中设置,然后重新打包jar文件。

关于logging - Hadoop MapReduce 中间输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7867608/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com