Hadoop 配置 : mapred. * 与 mapreduce.*

Question

我注意到有两组 Hadoop 配置参数:一组带有 mapred.*，另一组带有 mapreduce.。我猜这些可能是由于旧 API 与新 API 造成的，但如果我没记错的话，这些似乎共存于新 API 中。我对么？如果是这样，是否有一个通用的声明什么用于 mapred. 什么用于 mapreduce.*？

Answer 1

检查 0.20.2 的源代码，只有几个 mapreduce.* 属性，它们围绕配置作业输入/输出格式、mapper/combiner/reducer 和 partitioner 类(它们还向作业客户端发出用户正在使用新 API 的信号 - 查看 o.a.h.mapreduce.Job、setUseNewAPI() 方法的源代码)

• mapreduce.inputformat.class
• mapreduce.outputformat.class
• mapreduce.partitioner.class
• mapreduce.map.class
• mapreduce.combine.class
• mapreduce.reduce.class

还有一些属性，但它们是次要配置

输入和输出格式，无论是新的还是旧的 API 版本，通常使用 mapred.* 属性

例如，表示您的 map 减少了您使用 mapred.input.dir 的输入路径(无论您使用的是新 API 还是旧 API)。输出属性相同 mapred.output.dir

所以 if 的长短在于，如果没有实用方法来配置属性 (FileInputFormat.setInputPaths(Job, String))，那么您需要检查来源