python urllib2 utf-8编码

Question

好的，我的 python 文件中有:# -*- coding: utf-8 -*-。

片段:

opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.addheaders = [('Accept-Charset', 'utf-8')]
f =opener.open(url)
doc = f.read().decode('utf-8')

服务器响应是:(通过 f.info())

Content-Type: text/html; charset=UTF-8

但是我得到了错误:

UnicodeDecodeError: 'utf8' codec can't decode byte[...]: invalid continuation byte

这里有什么问题吗？

Answer 1

尝试使用“latin-1”解码数据以查看其外观。您所看到的表示 UTF-8 解码错误(请参阅 UnicodeDecodeError, invalid continuation byte )。

如果您发布 list(f.read())[:100] 的结果会很有帮助，这样我们就可以看到数据。

仅供引用，放置 # -*- coding: utf-8 -*- 与您的问题无关。 那个编码指的是你的python脚本本身的编码，而不是它正在处理的数据:-)