google-app-engine - UnicodeEncodeError 谷歌应用引擎

Question

我越来越熟悉了:

UnicodeEncodeError: 'ascii' 编解码器无法对位置 24 中的字符 u'\xe8' 进行编码:序号不在范围内 (128)

我查看了关于 SO 的多个帖子，他们推荐 - variable.encode('ascii', 'ignore')

然而，这是行不通的。即使在这之后我也会遇到同样的错误......

堆栈跟踪:

'ascii' codec can't encode character u'\x92' in position 18: ordinal not in range(128)
Traceback (most recent call last):
  File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 513, in __call__
    handler.post(*groups)
  File "/base/data/home/apps/autominer1/1.343038273644030157/siteinfo.py", line 2160, in post
    imageAltTags.append(str(image["alt"]))
UnicodeEncodeError: 'ascii' codec can't encode character u'\x92' in position 18: ordinal not in range(128)

负责相同的代码:

siteUrl = urlfetch.fetch("http://www."+domainName, headers = { 'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9b5) Gecko/2008032620 Firefox/3.0b5' } )


 webPage = siteUrl.content.decode('utf-8', 'replace').encode('ascii', 'replace')


 htmlDom = BeautifulSoup(webPage)

 imageTags = htmlDom.findAll('img', { 'alt' : True } )


 for image in imageTags :
                        if len(image["alt"]) > 3 :
                                imageAltTags.append(str(image["alt"]))

如有任何帮助，我们将不胜感激。谢谢。

Answer 1

Python 将两种不同的东西视为字符串——“原始”字符串和“unicode”字符串。只有后者才真正代表文本。如果您有原始字符串，并且想将其视为文本，则首先需要将其转换为 unicode 字符串。为此，您需要知道字符串的编码 - 他们将 unicode 代码点表示为原始字符串中的字节 - 并在原始字符串上调用 .decode(encoding)。

当您在 unicode 字符串上调用 str() 时，会发生相反的转换 - Python 将 unicode 字符串编码为字节。如果不指定字符集，则默认为 ascii，它只能表示前 128 个代码点。

相反，您应该做以下两件事之一:

• 将“imageAltTags”表示为 unicode 字符串列表，从而转储 str() 调用 - 这可能是最好的方法
• 调用 x.encode(encoding) 而不是 str(x)。要使用的编码取决于您在做什么，但最有可能的选择是 utf-8 - 例如，x.encode('utf-8')。