python - 将 Pandas 数据框从/转换为 ORC 文件

Question

是否可以将 Pandas 数据框从/转换为 ORC 文件？我可以在 Parquet 文件中转换 df，但该库似乎没有 ORC 支持。 Python 中是否有可用的解决方案？如果没有，最好的策略是什么？一种选择是使用外部工具将 Parquet 文件转换为 ORC，但我不知道在哪里可以找到它。

Answer 1

这个答案是用 pyarrow==4.0.1 测试的和 pandas==1.2.5 .
它首先使用 pyarrow.Table.from_pandas 创建一个 pyarrow 表。 .然后它使用 pyarrow.orc.ORCFile 写入 orc 文件.
读兽人

import pandas as pd
import pyarrow.orc  # This prevents: AttributeError: module 'pyarrow' has no attribute 'orc'

df = pd.read_orc('/tmp/your_df.orc')

写兽人

import pandas as pd
import pyarrow as pa
import pyarrow.orc as orc

# Here prepare your pandas df.

table = pa.Table.from_pandas(df, preserve_index=False)
orc.write_table(table, '/tmp/your_df.orc')

截至 pandas==1.3.0 ，没有 pd.to_orc作家呢。