javascript - 将 Parquet 转换为常规 TXT 文件的最快方法是什么？

Question

我正在考虑如何快速地将 parquet 文件格式转换为 TXT。

尝试使用parquet-tools cat parque_file > parque_file.txt但5KB文件需要2秒以上。

我相信这个工具有一定的开销。什么是更快的方法？

(如果可能的话，寻找 500ms 解决方案)..

Answer 1

您可以尝试将 Python 与 pandas 和 pyarrow 一起使用:

import pandas as pd
df = pd.read_parquet('input.parquet')
df.to_csv('out.csv', index=False)             # Exporting to CSV is easy
df.to_csv('out.txt', index=False, sep=' ')    # Text is just a tad more difficult
df.to_csv('out.txt', index=False, sep='\t')   # Alternatively, you can use tab separators
df.to_json('out.json')                        # Exporting to JSON is easy as well

查看相关API文档:

• pandas.read_parquet
• pandas.DataFrame

您还可以更改上面的代码以使用 fastparquet 而不是 pyarrow 并测试这是否会给您带来更好或更差的性能。您需要修改的只是读取 Parquet 文件的行:

df = pd.read_parquet('input.parquet', engine = 'fastparquet')

不要忘记首先通过发出 pip install pandas pyarrow fastparquet (或类似命令，具体取决于您的包管理解决方案)来安装 pandas、pyarrow 和 fastparquet。