python - 在 Python 中从套接字读取时解码内容

Question

假设我在 Python 中从套接字读取了一些内容并且必须即时将其解码为 UTF-8。

我不能把所有的内容都保存在内存中，所以我必须在收到并保存到文件时对其进行解码。

可能会发生，我只会收到字符的部分字节，(€ 符号由三个字节表示，例如在 Python 中为 '\xe2\x82\xac')。

假设我只收到前两个字节 (\xe2\x82)，如果我尝试解码它，正如预期的那样，我得到了“UnicodeDecodeError”。

我总是可以尝试解码当前内容并检查它是否抛出异常

• 但是这种方法的可靠性如何？
• 我如何知道或确定我是否可以解码当前内容？
• 如何做正确？

谢谢

Answer 1

Guido 的时间机器再次启动。

>>> dec = codecs.getincrementaldecoder('utf-8')()
>>> dec.decode('foo\xe2\x82')
u'foo'
>>> dec.decode('\xac')
u'\u20ac'