hadoop - 有没有办法在命令行中查看 mapreduce/hadoop 配置属性？

Question

有没有一种方法可以让我们从命令行看到 hadoop 配置属性，例如 mapreduce.framework.name、io.sort.mb、mapred.compress.map.output 等。？，类似于在 hive 中设置。

Answer 1

终于找到了查看属性的方法。搜索所有 Apache 类和 Apache 提供的类来为您提供配置属性。有几种方法可以得到它。

1) hadoop org.apache.hadoop.mapred.JobConf -- 这给出了所有 mapreduce 作业的属性。它从 mapred-site 和 mapred-defaults 获取属性。它适用于任何地方并提供所有属性。

2) hadoop org.apache.hadoop.hdfs.tools.GetConf -- 通过运行它，使用选项 -confKey 我们可以看到任何特定属性的属性。例如:hadoop org.apache.hadoop.hdfs.tools .GetConf -confKey io.sort.mb

3) hadoop org.apache.hadoop.conf.Configuration -- 通过运行它我们可以看到 core-site 和 core-defaults 的属性..

要设置配置属性，我们有 GenericConfiguration 或 ToolRunner 有什么办法......希望这对你有帮助..