python - 从 Google Cloud Storage 使用 pandas 读取 parquet 元数据

Question

感谢 this，我能够读取位于 GCS 上的 Parquet 文件答案(阅读第一个答案)。我使用了带有 pyarrow 引擎的 pd.read_parquet 函数。我现在想在不将数据下载到数据框中的情况下访问 Parquet 元数据。有可能用 Pandas 做到这一点吗？

Answer 1

我找到了一个解决方案，在没有 Pandas 的情况下使用 gcsfs:

import pyarrow.parquet as pq
import gcsfs

fs = gcsfs.GCSFileSystem(project=myprojectname)

f = fs.open(myfilepath)
myschema = pq.ParquetFile(f).schema

print(myschema)