python - 如何读取Python Pandas本地存储的ORC文件？

Question

我可以将 ORC 文件视为类似于 CSV 文件，其中列标题和行标签包含数据吗？如果是这样，我可以以某种方式将其读入一个简单的 pandas 数据框吗？我对 Hadoop 或 Spark 等工具不太熟悉，但是为了在 Python 中查看本地 ORC 文件的内容，是否有必要了解它们？

文件名是someFile.snappy.orc

我可以在网上看到 spark.read.orc('someFile.snappy.orc') 有效，但即使在 import pyspark 之后，它也会抛出错误。

Answer 1

我还没有找到任何好的选择，有一些死项目试图包装java阅读器。但是，pyarrow 确实有一个 ORC 阅读器，不需要您使用 pyspark。虽然有一点限制，但它确实有效。

import pandas as pd
import pyarrow.orc as orc

with open(filename) as file:
    data = orc.ORCFile(file)
    df = data.read().to_pandas()