gpt4 book ai didi

ubuntu - c pickle :SystemError: error return without exception set

转载 作者:太空宇宙 更新时间:2023-11-03 16:47:26 24 4
gpt4 key购买 nike

同时转储大矩阵(170000*20000)如下

 cPickle.dump(train_set,gzip.open('train.pickle.gz','wb'), cPickle.HIGHEST_PROTOCOL)

我收到以下错误:

SystemError: error return without exception set

在这种情况下我该如何处理?

最佳答案

cPickle 不能用于存储非常大的对象(参见 http://bugs.python.org/issue11564)。

您有多种选择:

  • 将数据拆分成 block 并将其存储在多个文件中
  • > numpy.save
  • > h5py <- 我最喜欢的是因为它方便的类似 numpy 的界面,而且数据存储在 hdf5 中,这使得与其他软件/语言的互操作性成为可能。
  • > pytables

关于ubuntu - c pickle :SystemError: error return without exception set,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34681401/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com