python - 如何从保存在谷歌存储中的 Parquet 文件创建 Pandas 数据框

Question

我需要使用 pandas 库创建数据框，使用托管在谷歌云存储桶上的 Parquet 文件。我已经搜索了文档和在线示例，但似乎无法弄清楚如何去做。

你能帮我指出正确的方向吗？

我不是在寻找解决方案，而是在寻找可以寻找更多信息的位置，以便我可以设计自己的解决方案。

提前谢谢你。

Answer 1

您可以使用 gcsfs和 pyarrow图书馆这样做。

import gcsfs
from pyarrow import parquet

url = "gs://bucket_name/.../folder_name"
fs = gcsfs.GCSFileSystem()

// Assuming your parquet files start with `part-` prefix
files = ["gs://" + path for path in fs.glob(url + "/part-*")]
ds = parquet.ParquetDataset(files, filesystem=fs)
df = ds.read().to_pandas()