hadoop - Java项目如何连接到本地Hadoop实例

Question

我对hadoop很陌生，正在尝试创建一个使用hadoop的Java项目。

我有hadoop在单节点群集中运行，并且我有一个Java项目，在其中将hadoop作为外部jar导入了构建路径。

以下内容是否有意义:
我应如何将Java项目连接到hadoop的本地实例？

谢谢

Answer 1

那应该工作。您无需执行太多操作即可连接到本地Hadoop设置。只需创建一个Configuration对象，然后使用 Configuration.addResource()告诉您的代码在哪里可以找到您的配置文件。一个小例子:

public class CopyToHdfs {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("file:///Users/miqbal1/input.txt"), new Path("/"));

    }
}