python - 如何使用python将pandas数据帧数据存储到azure blob？

Question

我想将 pandas dataframe 中处理后的数据以 parquet 文件格式存储到 azure blob。但在上传到 blob 之前，我必须将其作为 parquet 文件存储在本地磁盘中，然后上传。我想将pyarrow.table写入pyarrow.parquet.NativeFile并直接上传。谁能帮我这个。下面的代码工作正常:

import pyarrow as pa
import pyarrow.parquet as pq

battery_pq = pd.read_csv('test.csv')

######## 一些数据处理

battery_pq = pa.Table.from_pandas(battery_pq)
pq.write_table(battery_pq,'example.parquet')
block_blob_service.create_blob_from_path(container_name,'example.parquet','example.parquet')

需要在内存中创建文件(I/O文件类型对象)，然后上传到blob。

Answer 1

您可以使用io.BytesIO为此，Apache Arrow 还提供了其 native 实现 BufferOutputStream 。这样做的好处是，无需通过 Python 就可以写入流。因此，制作的副本较少，并且 GIL 被释放。

import pyarrow as pa
import pyarrow.parquet as pq

df = some pandas.DataFrame
table = pa.Table.from_pandas(df)
buf = pa.BufferOutputStream()
pq.write_table(table, buf)
block_blob_service.create_blob_from_bytes(
    container,
    "example.parquet",
    buf.getvalue().to_pybytes()
)