python - 将 Unicode 与字符串 : print '£' + '1' works, 连接但打印 '£' + u'1' 会抛出 UnicodeDecodeError

Question

我观察到以下情况:

>>> print '£' + '1'
£1
>>> print '£' + u'1'
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 0: ordinal not in range(128)
>>> print u'£' + u'1'
£1
>>> print u'£' + '1'
£1

为什么 '£' + '1' 有效而 '£' + u'1' 无效？

我查看了类型:

>>> type('£' + '1')
<type 'str'>
>>> type('£' + u'1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 0: ordinal not in range(128)
>>> type(u'£' + u'1')
<type 'unicode'>

这也让我很困惑。如果 '£' + '1' 是 str 而不是 unicode，为什么它能在我的终端上正确打印？它不应该打印类似 '\xc2\xa31' 的内容吗？

添加到组合中，我还观察到以下内容:

>>> u'£' + '1'
u'\xa31'
>>> type('1')
<type 'str'>
>>> type(u'£')
<type 'unicode'>
>>> print u'£' + '1'
£1

为什么 u'£' + '1' 不能正确打印出 £ 符号，而 print u'£' + '1' 是吗？是不是因为前者用的是repr，而后者用的是str？

此外，unicode 和 str 的串联如何在这种情况下起作用，但在 '£' + u'1' 案例？

Answer 1

您正在混合对象类型。

'£' 是一个字节串，包含编码数据。这些字节恰好代表您的终端或控制台中的井号既不存在也不存在，它可能只是图像中的像素。您的终端或控制台配置为生成和接受 UTF-8 数据，因此当以十六进制表示时，该字节串的实际内容是两个字节 C2 和 A3。

另一方面，

u'1' 是一个 Unicode 字符串。它是明确的文本数据。如果您想将其他数据连接到它，它也应该是 Unicode。如果您尝试这样做，Python 2 将使用默认的 ASCII 编解码器自动将 str 字节解码为 Unicode。

但是，'£' 字节串不能解码为 ASCII。它可以解码为UTF-8；显式解码字节，因为我们在这里知道正确的编解码器:

print '£'.decode('utf8') + u'1'

将字节写入终端或控制台时，是您的终端或控制台 解释字节并理解它们。如果您将 unicode 对象写入终端，sys.stdout 对象负责编码，将文本转换为您的终端或控制台可以理解的字节。

这同样适用于接受输入； sys.stdin 流产生字节，当您使用 u'£' 语法创建 Unicode 对象时，Python 可以透明地解码这些字节。您在键盘上键入字符，它会被终端或控制台转换为 UTF-8 字节，并写入 Python 进行解释。

用 print 编写 '\xc2\xa3' 是一个巧合。您可以获取 unicode 对象，将其编码为不同的编解码器，并以垃圾输出结束:

>>> print u'£1'.encode('latin-1')
?1

我的 Mac 终端将为 £ 符号写入的数据转换为 ?，因为 A3 字节(井号的 Latin-1 代码点)不在解释为 UTF-8 时映射到任何内容。

Python 根据 locale.getpreferredencoding() function 确定终端或控制台编解码器，您可以通过 sys.stdout.encoding 和 sys.stdin.encoding 属性观察您的终端或控制台使用的通信内容:

>>> import sys
>>> sys.stdout.encoding
'UTF-8'

最后但同样重要的是，您不应将打印 与解释器在交互模式下回显的表示相混淆。解释器使用 repr() 函数显示表达式的结果，该函数是一种调试工具，它尝试尽可能地生成 Python 文字符号，仅 ASCII 字符。对于 Unicode 值，这意味着任何不可打印、非 ASCII 字符 都使用转义序列反射(reflect)。这使得该值适用于复制和粘贴，而无需支持 ASCII 的介质。

str 的 repr() 结果使用 \n 作为换行符，例如，\xhh 字节的十六进制转义没有专用转义序列，在可打印范围之外。此外，对于 unicode 对象，Latin-1 范围之外的代码点根据是否使用 \uhhhh 和 \Uhhhhhhhh 转义序列表示它们是基本多语言平面的一部分:

>>> u'''\
... A multiline string to show newlines
... can contain £ latin characters
... or emoji 💩!
... '''
u'A multiline string to show newlines\ncan contain \xa3 latin characters\nor emoji \U0001f4a9!\n'
>>> print _
A multiline string to show newlines
can contain £ latin characters
or emoji 💩!