Python 抓取和读取带有请求的加密返回

Question

我正在抓取一些网站的数据。许多网站我完全没有问题，但有几个网站返回加密数据。我在下面创建了一个基本演示，说明正在发生的事情。有没有办法解密返回的结果？

headers_Get = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}

q = 'www.nike.com'
s = requests.Session()
url = 'http://' + q 
r = s.get(url, headers=headers_Get)
r.text

以上代码从 Nike.Com 返回预期的 html。

但是，如果我们运行相同的代码并将 q = 'www.nike.com' 替换为 q = 'www.vanityfair.com'，我们会收到如下代码:

\x1bX�U?�(J�\x1a��|=;�:���N�\x01��J�.��$�D[����1�\x11[T2/����rq}�\x00ʁ�\x06(��J,�ܳR�\'Gs�я�l�\n���)�Qf��\x11�\x15�\x80��\r\x1d�o �<�o�??>}�������\x07��\n�\x1dE\ti�\x19\x01D�)�z\x06\x00p�\x18�e\n(�s&��\x1c��ga$e\n�PGd\x07琚\x17I�8�ީ�A�\x1f�c^�C�zh�Ǵ�t��@�X��wbl\x18�|}[��o���g\x02;����8+��:6\x039���-\x19\x1b��Q���\t\x1aJJ\x1b�\x11��\rq\x0c\x11��p�Q\x10\x18����\x14͋��\x0bus��e3X�w�狔�\x1d��6�nwen�\x02\x08�J�O�߯ףQ�T\x0c�P����0���]]��bI��5��Em/n��������ze�n.Wx��(\x05���+}���^�.qa����E�V�e���}w}�\x16�U]/�]-�d͋$ਡ�aėup��m���o\x06'

我猜这是升级不安全请求的网站，但我如何解密这些结果以接收 Nike 等预期的 html 代码？

注意:我使用 post 和 get 得到相同的结果。

Answer 1

在没有Accept-Encoding header 的情况下发出请求，这样服务器就不会压缩要发送的消息