gpt4 book ai didi

hadoop - 我如何在新的 Hadoop API 中设置自定义输出提交者

转载 作者:可可西里 更新时间:2023-11-01 16:18:30 24 4
gpt4 key购买 nike

我一直在使用 JobConf.setOutputCommitter() 方法为 map reduce 作业设置我自己的 OutputCommitter。对于 hadoop v 0.20,由于不推荐使用此类,设置自定义 OutputCommitter 的替代方法是什么?我尝试在 Configuration 中设置属性 mapred.output.committer.class,但这似乎是一个无效属性。无法找到替代方法来执行此操作。

最佳答案

我想这取决于您所说的新 API 的含义 - 在 1.1.1 中至少这是 no longer deprecated - 我想我记得读过整个 mapred 包被过早弃用,并且在以后的版本中没有被弃用。

如果通过新 API,您指的是 mapreduce 包之上的 mapreduce 包,那么 OutputFormats 本身有一个关联的 OutputCommitter,它是通过 OutputFormat.getOutputCommitter 获取的方法

关于hadoop - 我如何在新的 Hadoop API 中设置自定义输出提交者,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14290234/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com