Python 在应该使用 'ascii' 的地方解码时使用 'UTF-8' 编解码器

Question

我有一段代码:

with open('filename.txt','r') as textfile:
    kwList = [x.strip('\n') for x in textfile.readlines()]

我得到一个:UnicodeDecodeError:'ascii' 编解码器无法解码位置 5595 中的字节 0xc4:序号不在第 2 行的范围(128)中

问题是根据 python 文档: https://docs.python.org/3/library/functions.html#open

Python3 使用 locale.getpreferredencoding(False) 获取在 open 方法中没有指定编码时使用的默认编码。

当我运行 locale.getpreferredencoding(False) 时，我得到“UTF-8”。

当 Python 应该使用“utf-8”执行此操作时，为什么我在 UnicodeDecodeError 中得到“ascii”编解码器失败？

Answer 1

语言环境取自上下文；在 POSIX 系统上，这意味着环境变量，请参阅 POSIX locale documentation .如果您想测试 Python 将决定哪种编码(例如，也复制生产环境使用的环境变量)，则需要重现生产环境的确切上下文。

您可能正在将您的程序作为仅设置(或继承)有效用户但不复制该用户环境的子进程运行。该父进程已设置显式语言环境，或者如果未设置，则使用默认的 C 语言环境。该语言环境的默认编码是 ASCII；一些系统将通过名称 ANSI_X3.4-1968 报告这一点:

$ LANG=C python -c 'import locale; print(locale.getpreferredencoding(False))'
ANSI_X3.4-1968

例如，如果您的生产代码是从 cron 运行的，那么当您设置特定用户时，不会设置环境变量。在 crontab 的顶部显式设置 LC_ALL 环境变量:

LC_ALL=en.UTF-8

如果您的 cron 实现支持以这种方式设置变量，或者在您要运行的命令行上设置它:

* * * * *    LC_ALL=nb_NO.UTF-8 /path/to/your/program

参见 Where can I set environment variables that crontab will use?