python - Python 字符串中的 u'\ufeff'

Question

我收到以下异常消息的错误:

UnicodeEncodeError: 'ascii' codec can't encode character u'\ufeff' in
position 155: ordinal not in range(128)

不确定 u'\ufeff' 是什么，它在我进行网络抓取时出现。我该如何补救这种情况？ .replace() 字符串方法对它不起作用。

Answer 1

我在 Python 3 上遇到了这个问题，发现了这个问题(和 solution)。在打开文件时，Python 3 支持 encoding 关键字来自动处理编码。

没有它，BOM 包含在读取结果中:

>>> f = open('file', mode='r')
>>> f.read()
'\ufefftest'

给出正确的编码，结果中省略了 BOM:

>>> f = open('file', mode='r', encoding='utf-8-sig')
>>> f.read()
'test'

只要我的 2 美分。