python - 当 S3 为目标时 pandas.DataFrame.to_parquet 失败

Question

我有一个 Pandas 数据框，我正在尝试将其作为 Parquet 文件保存到 S3 中:

dftest = pd.DataFrame({'field': [1,2,3]})
dftest.to_parquet("s3://bucket_name/test.parquet", engine='pyarrow', 
compression='gzip')

我收到:“FileNotFoundError:bucket_name/test.parquet”

Answer 1

虽然我仍然无法使 pandas.DataFrame.to_parquet 方法与 S3 一起使用，但我确实找到了似乎可行的不同解决方案:

import s3fs
from fastparquet import write
s3 = s3fs.S3FileSystem()
myopen = s3.open
write('s3://bucketname/test.parquet', dftest, compression='GZIP', open_with=myopen)