python - 为什么我必须做 `sys.stdin = codecs.getreader(sys.stdin.encoding)(sys.stdin)` ？

Question

我正在编写一个 python 程序，它将所有输入都大写(替代非工作 tr '[:lowers:]' '[:upper:]')。语言环境是 ru_RU.UTF-8，我使用 PYTHONIOENCODING=UTF-8 来设置 STDIN/STDOUT 编码。这正确地设置了 sys.stdin.encoding。 那么，如果 sys.stdin 已经知道编码，为什么我还需要显式创建解码包装器？如果我不创建包装读取器， .upper() 函数无法正常工作(对非 ASCII 字符不执行任何操作)。

import sys, codecs
sys.stdin = codecs.getreader(sys.stdin.encoding)(sys.stdin) #Why do I need this?
for line in sys.stdin:
    sys.stdout.write(line.upper())

为什么 stdin 没有使用 .encoding ？

Answer 1

要回答“为什么”，我们需要了解 Python 2.x 的内置 file类型，file.encoding , 以及它们的关系。

内置的 file 对象处理原始字节——总是读取和写入原始字节。

encoding 属性描述了流中原始字节的编码。此属性可能存在也可能不存在，甚至可能不可靠(例如，我们在标准流的情况下错误地设置了 PYTHONIOENCODING)。

唯一一次由 file 对象执行的任何自动转换是在将 unicode 对象写入该流时。在这种情况下，它将使用 file.encoding(如果可用)来执行转换。

在读取数据的情况下，文件对象不会做任何转换，因为它返回的是原始字节。本例中的 encoding 属性提示用户手动执行转换。

file.encoding 在您的案例中设置，因为您设置了 PYTHONIOENCODING 变量和 sys.stdin 的 encoding 属性已相应设置。要获取文本流，我们必须像您在示例代码中所做的那样手动包装它。

换个角度思考，假设我们没有单独的文本类型(如 Python 2.x 的 unicode 或 Python 3 的 str)。我们仍然可以使用原始字节来处理文本，但要跟踪所使用的编码。这就是 file.encoding 的用途(用于跟踪编码)。我们自动创建的阅读器包装器会为我们进行跟踪和转换。

当然，自动包装 sys.stdin 会更好(这就是 Python 3.x 所做的)，但是更改 sys.stdin 的默认行为Python 2.x 将破坏向后兼容性。

下面是Python 2.x和3.x中sys.stdin的对比:

# Python 2.7.4
>>> import sys
>>> type(sys.stdin)
<type 'file'>
>>> sys.stdin.encoding
'UTF-8'
>>> w = sys.stdin.readline()
## ... type stuff - enter
>>> type(w)
<type 'str'>           # In Python 2.x str is just raw bytes
>>> import locale
>>> locale.getdefaultlocale()
('en_US', 'UTF-8')

io.TextIOWrapper class自 Python 2.6 以来是标准库的一部分。此类有一个 encoding 属性，用于将原始字节与 Unicode 相互转换。

# Python 3.3.1
>>> import sys
>>> type(sys.stdin)
<class '_io.TextIOWrapper'>
>>> sys.stdin.encoding
'UTF-8'
>>> w = sys.stdin.readline()
## ... type stuff - enter
>>> type(w)
<class 'str'>        # In Python 3.x str is Unicode
>>> import locale
>>> locale.getdefaultlocale()
('en_US', 'UTF-8')

buffer 属性提供对支持stdin 的原始字节流的访问；这通常是一个 BufferedReader。请注意，它不具有encoding 属性。

# Python 3.3.1 again
>>> type(sys.stdin.buffer)
<class '_io.BufferedReader'>
>>> w = sys.stdin.buffer.readline()
## ... type stuff - enter
>>> type(w)
<class 'bytes'>      # bytes is (kind of) equivalent to Python 2 str
>>> sys.stdin.buffer.encoding
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: '_io.BufferedReader' object has no attribute 'encoding'

在 Python 3 中，是否存在 encoding 属性与使用的流类型一致。