python - 在 Python 中写入 UTF-8 文件

Question

我真的对 codecs.open 函数感到困惑。当我这样做时:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

它给了我错误

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

如果我这样做:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

效果很好。

问题是为什么第一种方法会失败？以及如何插入 bom？

如果第二种方法是正确的做法，那么使用 codecs.open(filename, "w", "utf-8") 有什么意义？

Answer 1

我认为问题在于 codecs.BOM_UTF8是字节字符串，而不是 Unicode 字符串。我怀疑文件处理程序试图根据“我打算将 Unicode 编写为 UTF-8 编码文本，但你给了我一个字节字符串!”来猜测你的真正意思。

尝试直接为字节顺序标记编写 Unicode 字符串(即 Unicode U+FEFF)，以便文件将其编码为 UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(这似乎给出了正确的答案 - 一个字节为 EF BB BF 的文件。)

编辑:S. Lott 的 suggestion使用“utf-8-sig”作为编码比自己明确编写 BOM 更好，但我将把这个答案留在这里，因为它解释了之前出了什么问题。