python - 如何使用 boto3 将 S3 中的单个 Parquet 文件读入 Pandas 数据帧？

Question

我正在尝试读取存储在 S3 存储桶中的单个 Parquet 文件，并使用 boto3 将其转换为 pandas 数据帧。

Answer 1

对于 python 3.6+ AWS 有一个名为 aws-data-wrangler 的库这有助于 Pandas/S3/Parquet 之间的集成

安装做；

pip install awswrangler

要使用 awswrangler 1.x.x 及更高版本从 s3 读取单个 Parquet 文件，请执行；

import awswrangler as wr
df = wr.s3.read_parquet(path="s3://my_bucket/path/to/data_folder/my-file.parquet")