python - 从Pycharm解析HDFS文件

Question

我正在运行一个解析器文件，以从本地目录中的.txt文件中解析文件。现在，这些文件已移至HDFS群集，我想将Pycharm配置为访问HDFS群集。有人可以协助我吗？

Answer 1

I would like to configure my Pycharm to access the HDFS cluster

取决于您所指的访问类型。至于HDFS CLI基础知识，您可以使用 os完成

# Not tested
import os 
import sys 

f = "{}/tmp.txt".format(os.getcwd())
cmds = [
    "touch {}".format(f),
    "hadoop fs -copyFromLocal {} /user/$USER/".format(f),
    "rm -fv {}".format(f),
    "hadoop fs -copyToLocal /user/$USER/tmp.txt $PWD/",
]
for cmd in cmds:
    os.system(cmd)
assert os.path.exists(f)

但是，如果您正在寻找更细粒度的控件，则需要 pyarrow之类的东西(或类似的东西)