tensorflow - 无法在深度学习中序列化大于 4 GiB 的字节对象

Question

我正在使用 Google Colab 环境创建一个 Siamese 网络，使用 Keras 来验证图像。我用过this来自 GitHub 的代码。但是当我尝试运行 pickle.dump 代码时出现错误:

with open(os.path.join(save_path,"train.pickle"), "wb") as f:
    pickle.dump((X,c),f)

错误信息是:

---------------------------------------------------------------------------
OverflowError                             Traceback (most recent call last)
<ipython-input-7-af9d0618d385> in <module>()
      3 
      4 with open(os.path.join(save_path,"train.pickle"), "wb") as f:
----> 5         pickle.dump((X,c),f)
      6 
      7 

OverflowError: cannot serialize a bytes object larger than 4 GiB

我在这个网站上找到了一些相关的问题，但找不到有用的答案。我该如何解决这个错误？

Answer 1

使用 protocol=4 的 pickle，例如，

pickle.dump((X,c), f, protocol=4)