python-3.x - 在 Python3 中读取 UTF-8 编码文件和文本文件

Question

好的，所以python3和unicode。我知道所有 python3 字符串实际上都是 unicode 字符串，所有 python3 代码都存储为 utf-8。但是python3是如何读取文本文件的呢？它是否假设它们是用 utf-8 编码的？读取文本文件时是否需要调用 decode('utf-8') ？ Pandas read_csv() 和 to_csv() 怎么样？

Answer 1

Python的built-in function open() 有一个可选参数 encoding :

encoding is the name of the encoding used to decode or encode the file. This should only be used in text mode. The default encoding is platform dependent (whatever locale.getpreferredencoding() returns), but any text encoding supported by Python can be used. See the codecs module for the list of supported encodings.

类似的参数可以在 pandas 中找到:

pandas.read_csv() :encoding :str，默认无。读取/写入时用于 UTF 的编码(例如 ‘utf-8’ )。

Series.to_csv() :encoding : 字符串，可选。对于 3 之前的 Python 版本，表示内容为非 ascii 时要使用的编码的字符串。

DataFrame.to_csv() :encoding : 字符串，可选。表示在输出文件中使用的编码的字符串，默认为 ‘ascii’在 Python 2 和 ‘utf-8’ 上在 Python 3 上。