python - 如何在 Python 3 中腌制和取消腌制到可移植字符串

Question

我需要将 Python3 对象腌制为一个字符串，我想从 Travis CI 构建中的环境变量中解压缩该字符串。问题是我似乎无法在 Python3 中找到一种方法来腌制可移植字符串(unicode):

import os, pickle    

from my_module import MyPickleableClass


obj = {'cls': MyPickleableClass, 'other_stuf': '(...)'}

pickled = pickle.dumps(obj)

# raises TypeError: str expected, not bytes
os.environ['pickled'] = pickled

# raises UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbb (...)
os.environ['pickled'] = pickled.decode('utf-8')

pickle.loads(os.environ['pickled'])

有没有办法将复杂对象(如 datetime.datetime)序列化为 unicode 或 Python3 中的其他字符串表示形式，我可以将其传输到不同的机器并反序列化？

更新

我已经测试了@kindall 建议的解决方案，但是 pickle.dumps(obj, 0).decode() 引发了 UnicodeDecodeError。尽管如此，base64 方法仍然有效，但它需要一个额外的解码/编码 步骤。该解决方案适用于 Python2.x 和 Python3.x。

# encode returns bytes so it needs to be decoded to string
pickled = pickle.loads(codecs.decode(pickled.encode(), 'base64')).decode()

type(pickled)  # <class 'str'>

unpickled = pickle.loads(codecs.decode(pickled.encode(), 'base64'))

Answer 1

pickle.dumps() 产生一个 bytes 对象。期望这些任意字节是有效的 UTF-8 文本(您通过尝试将其解码为 UTF-8 字符串所做的假设)是相当乐观的。如果它成功了，那将是一个巧合!

一种解决方案是使用完全使用 ASCII 字符的旧式酸洗协议(protocol)。这仍然以 bytes 的形式出现，但由于这些字节仅包含 ASCII 代码点，因此可以毫无压力地转换为字符串:

pickled = str(pickle.dumps(obj, 0))

您还可以使用其他一些编码方法将二进制腌制对象编码为文本，例如 base64:

import codecs
pickled = codecs.encode(pickle.dumps(obj), "base64").decode()

然后解码将是:

unpickled = pickle.loads(codecs.decode(pickled.encode(), "base64"))

将 pickle 与协议(protocol) 0 一起使用似乎会导致比 base64 编码二进制泡菜更短的字符串(并且 abarnert 建议的十六进制编码将比 base64 更大)，但我没有严格测试它或任何东西。用你的数据测试一下看看。