python - 加载在 linux 中 pickle 的数据在 mac 中失败

Question

我正在 Linux 机器上保存一个 python 数据集，其中包含一个类，以及引用的字典和类。该文件在 Windows 或 Linux 上正常加载，但在 Mac 上，如果使用 'rb' 修饰符加载，我会收到以下错误:

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1378, in load
return Unpickler(file).load()
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
KeyError: '\x00'

如果使用 'rU' 修饰符加载，则会出现此错误:

File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1378, in load
return Unpickler(file).load()
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
KeyError: '\x06

尝试使用 pickle、cPickle 和 dill 进行保存和加载，结果都相似。

更新:在 linux 中保存并在 mac large pandas DataFrames 中加载时，我得到了这个确切的错误:

import pandas as pd
import numpy as np
pd.DataFrame(np.random.randn(100000,5)).to_pickle("1.dat")

尝试使用此代码打开 1.dat im mac 时错误再次出现:

pd.read_pickle("1.dat")

Answer 1

问题已解决。

是在mac上挂载linux网络驱动后，导致每次传输的大数据 block 末尾插入一个空字符导致错误。