hadoop - 从 HDFS 集群下载文件

Question

我正在开发一个将 hdfs 用作分布式文件存储的 API。我制作了一个 REST api，允许服务器使用 Webhdfs mkdir、ls、创建和删除 HDFS 集群中的文件。但是由于 Webhdfs 不支持下载文件，是否有任何解决方案可以实现这一点。我的意思是我有一台运行我的 REST api 并与集群通信的服务器。我知道 OPEN 操作只支持读取文本文件内容，但假设我有一个大小为 300 MB 的文件，我如何从 hdfs 集群下载它。你们有任何可能的解决方案吗？我想直接 ping 一个文件的数据节点，但这个解决方案是有缺陷的，因为如果文件大小为 300 MB，它会给我的代理服务器带来巨大的负载，所以有没有流式 API 来实现这个。

Answer 1

作为替代方案，您可以使用 DataNode API 提供的 streamFile。

wget http://$datanode:50075/streamFile/demofile.txt

它不会读取整个文件，所以负担会很低，恕我直言。我试过了，但是在伪设置上它工作正常。您可以在完全分布式设置中尝试一下，看看是否有帮助。