python - Scrapy 返回奇怪编码的字符串

Question

我正在使用 scrapy 并得到一个奇怪的响应。 url 看起来像这样(注意 utf-8 编码的复选标记:https://www.example.com?sort=relevancy&utf8=%E2%9C%9

我收到 200 响应，但字符串是字节，如下所示:

b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xec\xbd\xedv\xdb\xb6\xb20\xfc?W\x81r\x9f\'\xb6OE\x8a\....

这是什么？我该如何处理？我可以让 scrapy 自动解码看起来像这样的东西吗？

Answer 1

答案在@drec4s 和@furas 评论中。

您可以先尝试解码响应

response.body.decode('utf-8')

或者还有

response.body_as_unicode()

如果您遇到解码错误或无法读取的字符串，您可能会尝试不同的编码，但很可能是响应的正文被压缩了。检查响应 header 中是否有类似

的内容

content-encoding: br

或者也可以是'gzip'

在这种情况下，您需要通过在请求 header 中设置要求服务器返回未压缩的响应:

accept-encoding: deflate