python url 解码 %E3

Question

我从 freebase 转储中得到一些维基百科 URL:

网址 1:http://pt.wikipedia.org/wiki/Pedro_Miguel_de_Castro_Brand%25C3%25A3o_Costa

网址 2:http://pt.wikipedia.org/wiki/Pedro_Miguel_de_Castro_Brand%E3o_Costa

它们指的是维基百科上的同一个页面:

网址 3:http://pt.wikipedia.org/wiki/Pedro_Miguel_de_Castro_Brandão_Costa

urllib.unquote 适用于 url 1

url = 'Pedro_Miguel_de_Castro_Brand%25C3%25A3o_Costa'
url = urllib.unquote(url)
url = urllib.unquote(url)
print url

结果是

Pedro_Miguel_de_Castro_Brandão_Costa

但不适用于 url 2。

url = 'Pedro_Miguel_de_Castro_Brand%E3o_Costa'
url = urllib.unquote(url)
print url

结果是

Pedro_Miguel_de_Castro_Brand�o_Costa    

有什么问题吗？

Answer 1

前者是双引号UTF-8，由于您的终端使用UTF-8，因此可以正常打印。后者引用Latin-1，需要先解码。

>>> print 'Pedro_Miguel_de_Castro_Brand\xe3o_Costa'
Pedro_Miguel_de_Castro_Brand�o_Costa
>>> print 'Pedro_Miguel_de_Castro_Brand\xe3o_Costa'.decode('latin-1')
Pedro_Miguel_de_Castro_Brandão_Costa