python - json.dumps(pickle.dumps(u'å')) 引发 UnicodeDecodeError

Question

这是一个错误吗？

>>> import json
>>> import cPickle
>>> json.dumps(cPickle.dumps(u'å'))
Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/json/__init__.py", line 230, in dumps
    return _default_encoder.encode(obj)
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/json/encoder.py", line 361, in encode
    return encode_basestring_ascii(o)
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1-3: invalid data

Answer 1

json 模块需要字符串来编码文本。 pickle 数据不是文本，而是 8 位二进制。

如果您真的需要通过 JSON 发送 pickled 数据，一个简单的解决方法是使用 base64:

j = json.dumps(base64.b64encode(cPickle.dumps(u'å')))
cPickle.loads(base64.b64decode(json.loads(j)))

请注意，这显然是一个 Python 错误。协议(protocol)版本 0 明确记录为 ASCII，但 å 作为非 ASCII 字节 \xe5 发送，而不是将其编码为 "\u00E5"。这个错误是在上游报告的——并且在没有修复错误的情况下关闭了票证。 http://bugs.python.org/issue2980