hdfs - 使用 PyArrow 从 HDFS 读取 Parquet 文件

Question

我知道我可以使用 pyarrow.hdfs.connect() 通过 pyarrow 连接到 HDFS 集群。

我也知道我可以使用 pyarrow.parquet 读取 Parquet 文件的 read_table()
然而，read_table()接受文件路径，而 hdfs.connect()给我一个 HadoopFileSystem实例。

是否可以仅使用 pyarrow(安装了 libhdfs3)来获取驻留在 HDFS 集群中的 Parquet 文件/文件夹？我希望得到的是to_pydict()函数，然后我可以传递数据。

Answer 1

尝试

fs = pa.hdfs.connect(...)
fs.read_parquet('/path/to/hdfs-file', **other_options)

或者

import pyarrow.parquet as pq
with fs.open(path) as f:
    pq.read_table(f, **read_options)

我开了 https://issues.apache.org/jira/browse/ARROW-1848关于添加一些关于此的更明确的文档