python - python 2.7 urllib2 和 json 中的脚本引发 unicode 错误

Question

import json
import urllib2
url='http://search.twitter.com/search.json?q=python'
open=urllib2.urlopen(url)
response=open.read().encode('utf8')
data=json.loads(response)
results=data['results']
for result in results:
  print result['from_user'] + ': ' + result['text'] + '\n'

给出错误UnicodeEncodeError: 'charmap' codec can't encode characters in position 16-24: character maps to <undefined> .

有人有解决办法吗？

Answer 1

您想要做的可能是解码而不是编码响应。

一个非常简短的解释是，http 服务器不知道如何发送 unicode 字符，而只是发送字节。因此，它使用像 utf-8 这样的编码将这些字符转换为字节。当您收到服务器的响应时，您会收到这 block 字节，如果您想将其转换回 unicode 字符列表(基本上是 python 中的 unicode 对象)，您必须对它们进行解码。

更令人困惑的是，使用 utf-8 时，较低范围的 ascii 字符(代码点 < 127)与较低范围的 unicode 代码点完全相同。一种情况，其中 unicode 代码点的编码相同，并且适合每个字符用单个字节表示的范围。

希望这对您有所帮助。