python - 从列表中的对象中删除字节顺序标记

Question

我正在使用 Python(3.4，在 Windows 7 上)下载一组文本文件，当我读取(和写入，修改后)这些文件时，这些文件的值中似乎有一些字节顺序标记 (BOM)保留，主要是UTF-8 BOM。最终我将每个文本文件用作列表(或字符串)并且我似乎无法删除这些 BOM。所以请问是否可以去除BOM？

有关更多上下文，文本文件是从用户上传自己的文档的公共(public) ftp 源下载的，因此原始编码是高度可变的，我不知道。为了让下载运行无误，我将编码指定为 UTF-8(使用 latin-1 会出错)。因此，我拥有 BOM 对我来说并不神秘，而且我不认为前期编码/解码解决方案可能是我的答案(Convert UTF-8 with BOM to UTF-8 with no BOM in Python)——它实际上似乎使其他 BOM 的频率增加增加。

当我在下载后修改文件时，我使用以下语法:

with open(t, "w", encoding='utf-8') as outfile:
    with open(f, "r", encoding='utf-8') as infile:
        text = infile.read
        #Arguments to make modifications follow

稍后，在将“outfiles”作为列表读入后，我看到一些单词具有 UTF-8 BOM，例如 \ufeff。我尝试使用以下列表理解删除 BOM:

g = list_outfile    #Outfiles now stored as list
g = [i.replace(r'\ufeff','') for i in g]

虽然这个论点会运行，但不幸的是，例如，当我打印列表时，BOM 仍然存在(我相信即使我尝试从字符串而不是列表中删除 BOM，我也会遇到类似的问题:How to remove this special character?)。如果我在列表理解中放入一个普通词(非 BOM)，该词将被替换。

我明白如果我逐个对象打印列表对象，BOM 将不会出现 (Special national characters won't .split() in Python)。并且 BOM 不在原始文本文件中。但我担心那些 BOM 会在稍后运行文本分析参数时保留，因此列表中显示为 \ufeffword 而不是 word 的任何对象都将被分析为 \ufeffword.

同样，是否可以事后删除 BOM？

Answer 1

问题是您正在替换特定 字节，而您的字节顺序标记的表示可能会有所不同，具体取决于文件的编码。实际上，使用编解码器库检查是否存在 BOM 非常简单。 Codecs 对不同的 UTF 编码都有特定的字节顺序标记。此外，您可以从打开的文件中自动获取编码，无需指定。假设你正在读取一个 utf-8 编码的 csv 文件，它可能使用也可能不使用字节顺序标记。然后你可以这样做:

import codecs

with open("testfile.csv", "r") as csvfile:
    line = csvfile.readline()
    if line.__contains__(codecs.BOM_UTF8.decode(csvfile.encoding)):
        # A Byte Order Mark is present
        line = line.strip(codecs.BOM_UTF8.decode(csvfile.encoding))
    print(line)

在上述代码产生的输出中，您将看到没有字节顺序标记的输出。为了进一步改进这一点，您还可以将此检查限制为仅在文件的第一行进行(因为字节顺序标记始终位于此位置，它是文件的前几个字节)。使用 strip 而不是 replace 不会替换任何东西，如果指示的字节顺序标记不存在，实际上也不会做任何事情。因此，您甚至可以完全跳过对字节顺序标记的手动检查，而只需对文件的全部内容运行 strip 方法:

import codecs

with open("testfile.csv", "r") as csvfile:
    with open("outfile.csv", "w") as outfile:
        outfile.write(csvfile.read().strip(codecs.BOM_UTF8.decode(csvfile.encoding)))

瞧，您最终得到包含原始文件 (testfile.csv) 的确切内容但没有字节顺序标记的“outfile.csv”。