pandas - 使用 Pandas 将 csv 转换为 Parquet 文件时出错

Question

我想将 csv 作为 Parquet 文件上传到 S3 存储桶。下面是代码片段。

df = pd.read_csv('right_csv.csv')
csv_buffer = BytesIO()
df.to_parquet(csv_buffer, compression='gzip', engine='fastparquet')
csv_buffer.seek(0)

上面给我一个错误:TypeError: expected str, bytes or os.PathLike object, not _io.BytesIO如何让它发挥作用？

Answer 1

根据 documentation ，当使用fastparquet作为引擎时，不能使用io.BytesIO。必须使用 auto 或 pyarrow 引擎。引用文档。

The engine fastparquet does not accept file-like objects.

下面的代码没有任何问题。

import io
f = io.BytesIO()
df.to_parquet(f, compression='gzip', engine='pyarrow')
f.seek(0)