hadoop - 我们如何为 HDFS(Hadoop 分布式文件系统)开发代理

Question

我正在进行一个研究项目，我需要为 HDFS 创建某种代理，这样我们就可以捕获对 HDFS 的调用，并在将其返回给用户之前应用一些访问/拒绝(文件)策略。对于像 HttpFs 和 WebHDFS 这样的 HDFS 接口(interface)，很容易设计代理系统，因为它们使用 HTTP 与客户端通信。但是 HDFS 驱动程序使用使用 Protocol Buffer 定义的协议(protocol)在客户端和名称节点之间进行通信。 HDFS 代码中是否有任何钩子(Hook)来设计围绕 HDFS 本​​机协议(protocol)的代理。 Hadoop 版本为 2.6。

Answer 1

Apache Knox 可能是也可能不是您要找的东西。 Arnon 上面的回答没有正确的 url。请参阅:http://knox.apache.org/

我们没有在提供的授权提供程序中内置文件级 ACL，但您可以创建自定义提供程序并将其插入。

请记住，Knox 是 WebHDFS 访问的代理，不能直接通过 HDFS 访问文件。

因此，在直接访问相同文件时，不会执行在网关上完成的任何授权检查。这就是为什么我们通常在网关进行服务级别授权检查，而让细粒度的授权检查在资源本身完成。

希望对你有用。