hadoop - 在hadoop中访问文本文件的内容

Question

如何访问jsp页面中hdfs中存储的文本文件的内容？ Web浏览器应显示存储在hdfs中的文本文件的内容。

Answer 1

与HDFS的任何交互都必须通过Hadoop的库或使用Hadoop的WebHDFS来执行。在您的情况下，假设您在可以轻松访问HDFS的节点上运行服务器(理想情况下，在该节点上您已经可以运行hadoop fs -ls hdfs:////)，则需要针对Hadoop FileSystem class进行编码，请确保hdfs-site.xml并可能Hadoop集群的core-site.xml在服务器的类路径上，或显式填写conf:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.BufferedReader;

...
    Configuration conf = new Configuration();
    conf.set("dfs.namenode.rpc-address", "<YOUR NAMENODE URI>");
    conf.set("fs.default.name", "hdfs://<YOUR NAMENODE URI>/");
    FileSystem fs = FileSystem.get(conf);
    BufferedReader reader = new BufferedReader(
        fs.open(new Path("/path/to/your/file/on/hdfs.txt")));
    String lineOfText = reader.readLine();
...