python - 在 Python 中将带 BOM 的 UTF-8 转换为不带 BOM 的 UTF-8

Question

这里有两个问题。我有一组通常是带有 BOM 的 UTF-8 文件。我想将它们(理想情况下)转换为没有 BOM 的 UTF-8。似乎 codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors) 会处理这个问题。但我真的没有看到任何关于使用的好例子。这是处理这个问题的最好方法吗？

source files:
Tue Jan 17$ file brh-m-157.json 
brh-m-157.json: UTF-8 Unicode (with BOM) text

此外，如果我们可以在不明确知道的情况下处理不同的输入编码(见 ASCII 和 UTF-16)，那将是理想的。看来这一切都应该是可行的。有没有一种解决方案可以将任何已知的 Python 编码和输出为 UTF-8 而无需 BOM？

edit 1 从下方提出 sol'n(谢谢!)

fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding  
fp.write(s)

这给了我以下错误:

IOError: [Errno 9] Bad file descriptor

新闻快讯

我在评论中被告知错误是我使用模式“rw”而不是“r+”/“r+b”打开文件，所以我最终应该重新编辑我的问题并删除已解决的部分。

Answer 1

只需使用 "utf-8-sig" codec :

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

这会给你一个没有 BOM 的 unicode 字符串。然后你可以使用

s = u.encode("utf-8")

在 s 中获取正常的 UTF-8 编码字符串。如果您的文件很大，那么您应该避免将它们全部读入内存。 BOM 只是文件开头的三个字节，因此您可以使用以下代码将它们从文件中删除:

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打开文件，读取一个 block ，然后将其写入文件，比读取它的位置早 3 个字节。该文件被就地重写。更简单的解决方案是将较短的文件写入新文件，如 newtover's answer .这会更简单，但会在短时间内使用两倍的磁盘空间。

至于猜测编码，那么你可以从最具体到最不具体的编码循环:

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16 编码的文件不会解码为 UTF-8，因此我们先尝试使用 UTF-8。如果失败，那么我们尝试使用 UTF-16。最后，我们使用 Latin-1——这将始终有效，因为所有 256 个字节都是 Latin-1 中的合法值。在这种情况下，您可能希望返回 None ，因为它实际上是一个后备，并且您的代码可能希望更仔细地处理这个问题(如果可以的话)。