Python POST 请求编码

Question

情况如下，我正在发送 POST 请求并尝试使用 Python 获取响应问题是它会扭曲非拉丁字母，当我使用直接链接(没有搜索结果)获取同一页面时不会发生这种情况，但 POST 请求不会生成链接

这就是我所做的:

import urllib
import urllib2
url = 'http://donelaitis.vdu.lt/main_helper.php?id=4&nr=1_2_11'
data = 'q=bus&ieskoti=true&lang1=en&lang2=en+-%3E+lt+%28+71813+lygiagre%C4%8Di%C5%B3+sakini%C5%B3+%29&lentele=vertikalus&reg=false&rodyti=dalis&rusiuoti=freq' 
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()
file = open("pagesource.txt", "w")
file.write(the_page)
file.close()

每当我尝试

thepage = the_page.encode('utf-8')

我收到此错误:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc5 in position 1008: ordinal not in range(128)

每当我尝试更改响应 header Content-Type:text/html;charset=utf-8 时，我都会这样做

response['Content-Type'] = 'text/html;charset=utf-8'

我收到此错误:

AttributeError: addinfourl instance has no attribute '__setitem__'

我的问题:是否可以编辑或删除响应或请求 header ？ 如果没有，除了将源代码复制到notepad++并手动修复编码之外，还有其他方法可以解决这个问题吗？

我是Python和数据挖掘的新手，真的希望你能让我知道我是否做错了什么

谢谢

Answer 1

为什么不尝试 thepage = the_page.decode('utf-8') 而不是 encode 因为您想要的是从 utf-8 编码移动文本到 unicode - 编码不可知 - 内部字符串？