python - 使用 Python 进行异步请求爬取

Question

我想抓取链接:
http://data.eastmoney.com/hsgt/index.html

但是我发现XHR的文档都是没有数据的，而是EventSteam，那怎么爬取页面的完整信息。

比如我想在页面上爬-94.67人民币。

我的代码如下:

import requests
import pandas as pd
from pyquery import PyQuery
from lxml import etree
import time

response = requests.get(url='http://data.eastmoney.com/hsgt/index.html',
                        headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'})
response.encoding = 'GB2312'

# this shows False
'-94.67' in response.text

然后我尝试安装dryscape但失败了，它说我没有网络服务器文件。

非常感谢您的帮助。

Answer 1

正如您提到的，由客户端中运行的 javascript 管理的 XHR 请求没有被执行。这归结为 request` 包不执行 javascript 并且不试图模仿 Web 浏览器的事实。您应该研究另一种方法。有很多。你有很多选择，我建议你阅读像 the following 这样的页面。有关该问题的更多背景信息。

而且，另外，也许看看类似 dryscrape 的东西.我自己没用过，好像有点像

import dryscrape

sess = dryscrape.Session()
sess.visit('http://data.eastmoney.com/hsgt/index.html')
source = sess.body()

是你所追求的。玩得开心。