python - Pandas to_hdf 溢出错误

Question

Python新手在这里。

我正在尝试使用 to_hdf 将大数据帧保存到带有 lz4 压缩的 HDF 文件中。

我使用 Windows 10、Python 3、Pandas 20.2

我收到错误“溢出错误:Python int 太大而无法转换为 C long”。

没有任何机器资源接近其极限(RAM、CPU、SWAP 使用)

以前的帖子讨论了 dtype，但下面的例子表明还有一些其他问题，可能与大小有关？

import numpy as np
import pandas as pd


# sample dataframe to be saved, pardon my French 
n=500*1000*1000
df= pd.DataFrame({'col1':[999999999999999999]*n,
                  'col2':['aaaaaaaaaaaaaaaaa']*n,
                  'col3':[999999999999999999]*n,
                  'col4':['aaaaaaaaaaaaaaaaa']*n,
                  'col5':[999999999999999999]*n,
                  'col6':['aaaaaaaaaaaaaaaaa']*n})

# works fine
lim=200*1000*1000
df[:lim].to_hdf('df.h5','table', complib= 'blosc:lz4', mode='w')

# works fine
lim=300*1000*1000
df[:lim].to_hdf('df.h5','table', complib= 'blosc:lz4', mode='w')


# Error
lim=400*1000*1000
df[:lim].to_hdf('df.h5','table', complib= 'blosc:lz4', mode='w')


....
OverflowError: Python int too large to convert to C long

Answer 1

我遇到了同样的问题，它似乎确实与数据框的大小有关，而不是与 dtype 相关(我将所有列都存储为字符串，并且能够将它们分别存储到 .h5)。
对我有用的解决方案是使用 mode='a' 以块的形式保存数据帧.
正如 pandas documentation 中所建议的:模式{‘a’，‘w’，‘r+’}，默认‘a’: ‘a’:追加，打开现有文件进行读写，如果文件不存在则创建。
所以示例代码看起来像:

batch_size = 1000
for i, df_chunk in df.groupby(np.arange(df.shape[0]) // batch_size):
    df_chunk.to_hdf('df.h5','table', complib= 'blosc:lz4', mode='a')