python-3.x - Pandas to_hdf() 溢出警告

Question

我需要将一个大数据帧保存到 hdf5 文件，所以我使用了:

self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a', format='table')

然后会出现运行时警告:

F:\Anaconda3\lib\site-packages\tables\leaf.py:357: RuntimeWarning: overflow encountered in long_scalars

expected_mb = (expectedrows * rowsize)//MB

但是当我不使用灵活格式的hdf时，就不会出现这样的问题。

self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a')

我想知道这个问题的原因是什么，我该如何解决？

Answer 1

好吧，我在保存 pandas 数据框时收到了同样的消息:

RuntimeWarning: overflow encountered in long_scalars expected_mb = (expectedrows * rowsize) // MB

我已经解决了它设置数字列的数据类型:

df_book[["year","bnumber","cnumber","vnumber"]] = \
    df_book[["year","bnumber","cnumber","vnumber"]].apply(pd.to_numeric)

就我而言，我之前知道类型。