python -\ufeff 标识符中的无效字符

Question

我有以下代码:

import urllib.request

try:
    url = "https://www.google.com/search?q=test"

    headers = {}
    usag = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'
    headers['User-Agent'] = usag.encode('utf-8-sig')
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.request.urlopen(req)
    respData = resp.read()

    saveFile = open('withHeaders.txt','w')
    saveFile.write(str(respData))
    saveFile.close()

except Exception as e:
    print(str(e))

它给了我以下错误:

D:\virtualenv\samples\urllibb>python 1.py
  File "1.py", line 35
    usag = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'\ufeff
                                                                                              ^
 SyntaxError: invalid character in identifier

但我在代码中看不到 \ufeff。

Answer 1

\ufeff 是 ZERO WIDTH NO-BREAK SPACE codepoint ;打印时不会渲染。它用作 byte order mark以 UTF-16 和 UTF-32 记录编码字节的解码顺序(大端或小端)。

UTF-8 不需要 BOM(它只有一个固定的字节顺序，无需跟踪替代方案)，但 Microsoft 认为这是其工具的一个方便的签名字符检测 UTF-8 文件与 8 位编码(例如大多数 Windows 代码页使用的)。

我怀疑您正在使用记事本等 Microsoft 文本编辑器来保存代码。不要这样做，它会包含 BOM，但 Python 不支持它或从 UTF-8 源文件中删除它。您可能使用记事本保存了该文件，然后继续使用不同的工具在开头添加更多代码，但 BOM 被夹在中间。

删除整行和下一行并重新输入它们，或者从您定义的字符串的结束引号中进行选择，直到 headers 的 h 之前下一行，删除该部分并重新插入换行符和足够的缩进。

如果您的编辑器支持在搜索和替换时使用转义序列(例如，SublimeText 在正则表达式模式下支持)，您可以仅使用 that 来搜索字符并将其替换为空字符串。在 SublimeText 中，打开正则表达式支持并搜索 \x{feff}，将出现的这些内容替换为空字符串。

您在此处使用的 Python utf-8-sig 编码还包括该 BOM:

headers['User-Agent'] = usag.encode('utf-8-sig')

HTTP header 也不应该不包含该代码点。 HTTP header 通常坚持 Latin-1；即使 ASCII 在这里也足够了，但否则使用 'utf-8' (没有 -sig)。

你实际上并不需要在那里使用str.encode()，你也可以也定义一个字节串:

headers = {}
usag = b'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'
headers['User-Agent'] = usag

请注意字符串文字的 b 前缀。