pandas - 如何将多个目录中的多个 .parquet 文件读入单个 pandas 数据帧？

Question

我需要从多个目录读取 parquet 文件。

例如，

 Dir---
          |
           ----dir1---
                      |
                       .parquet
                       .parquet
          |
           ----dir2---
                      |
                       .parquet
                       .parquet
                       .parquet

有没有办法将这些文件读取到单个 Pandas 数据框？

注意:所有 parquet 文件都是使用 pyspark 生成的。

Answer 1

使用 read_parquet在列表理解和 concat由glob 生成的所有文件使用 ** (python 3.5+):

import pandas as pd
import glob

files = glob.glob('Dir/**/*.parquet')
df = pd.concat([pd.read_parquet(fp) for fp in files])