java - 基于HADOOP_HOME自动加载HDFS Configuration？

Question

我正在开发一个 Java 程序来与已经运行的 hadoop 集群交互。该程序已将 HADOOP_HOME 作为环境变量传递给它。

基于这个值，我需要在开始与 HDFS/MapReduce 交互之前加载所有必要的配置资源。我认为我需要的文件基于 apache documentation .我当前的解决方案如下所示:

final String HADOOP_HOME = System.getEnv("HADOOP_HOME");
Configuration conf = new Configuration();

conf.addResource(new Path(HADOOP_HOME, "src/core/core-default.xml"));
conf.addResource(new Path(HADOOP_HOME, "src/hdfs/hdfs-default.xml"));
conf.addResource(new Path(HADOOP_HOME, "src/mapred/mapred-default.xml"));
conf.addResource(new Path(HADOOP_HOME, "conf/core-site.xml"));
conf.addResource(new Path(HADOOP_HOME, "conf/hdfs-site.xml"));
conf.addResource(new Path(HADOOP_HOME, "conf/mapred-site.xml"));

FileSystem hdfs = new FileSystem(conf);

有没有更简洁的方法来做到这一点？希望有一种不涉及显式设置每个资源的方法？

Answer 1

您使用 hadoop jar <your-jar> 运行您的 jar .这会自动设置所有内容。