python - 如何使用python设置hdfs目录配额

Question

所有，我想使用 python 设置 hdfs 目录配额。

设置配额时，我们应该使用hadoop dfsadmin -setSpaceQuota $QUOTA $DIR

我找到了一个叫 pyhdfs ( https://github.com/vbarter/pyhdfs ) 的 python 库，它可以控制许多 hdfs 操作，但不能控制配额操作。

如果我必须使用 python 创建一个目录:

fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()

那么如何在hdfs中设置一个目录的配额呢？有类似的方法吗？

谢谢

Answer 1

我对 pyhdfs 模块不熟悉，但如果它没有执行您想要的操作，您可以调用一个子 shell。

from subprocess import call
call(["hadoop dfsadmin", "-setSpaceQuota ugi 64310"])

这就是我更喜欢在 python 脚本中进行 hadoop 类型管理的方式。它有缺点，但可以完成工作。