eclipse - 将 Hadoop 中的文件获取到 Web 应用程序中

Question

我是 Hadoop 新手。现在我正在尝试在 eclipse 中做一个应用程序，我想在其中使用 HDFS 中存在的数据。如果我们想用 Java 连接到数据库，我们有 JDBC 连接。那么，我需要做什么才能直接连接到 HDFS？

Answer 1

在 Hadoop 中，首先，您必须确保 Hadoop 已启动并正在运行。 Apache Hadoop 提供 Java 类 - FileSystem 以从 Java 应用程序访问 HDFS 中的文件。下面是一个示例，我正在使用 FileSystem 和 IOUtils 访问/books/pg5000.txt。

import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


public class FileSystemCat {

        public static void main(String[] args) throws Exception {
            Configuration conf = new Configuration();
            conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml"));
            conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));
          String uri = "/books/pg5000.txt";
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        InputStream in = null;
        try {
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4096, false);
            } finally {
            IOUtils.closeStream(in);
            }
        }
}