hadoop - WebHDFS 与 HttpFS

Question

WebHDFS REST API 之间有什么区别？和 HttpFS ？

如果我理解正确的话:

• HttpFS 是一个独立的服务，在 HDFS 之上公开了一个 REST API
• WebHDFS 是一个内置于 HDFS 中的 REST API。它不需要任何进一步的安装

我说的对吗？

什么时候使用一个而不是另一个是可取的？

Answer 1

我已经阅读了一篇与您的问题相关的文章。以下是链接。

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS 与 HttpFsWebHDFS 和 HttpFs 之间的主要区别:WebHDFS 需要访问集群的所有节点，当读取某些数据时，它会直接从该节点传输，而在 HttpFs 中，单个节点的行为类似于“网关”，并且将是单个节点数据传输点到客户端节点。因此，HttpFs 可能会在大文件传输期间被阻塞，但好消息是我们正在最大限度地减少访问 HDFS 所需的占用空间。