javascript - 如何使用scrapy或selenium抓取动态页面？

Question

我正在尝试抓取网页动态页面，但使用 scrapy，我无法检索所有信息，因为我想要的信息是动态的。

我尝试使用 Selenium，但与 Scrapy 不同，你无法指定 header ，并且该网站阻止了我。 (我不能说出该网站的名称，因为抓取是非法的，但它是一个著名的旅游元搜索引擎......)。我有一个带有验证码求解器的页面(重新验证码很难用脚本解析)，因为该网站将我检测为机器人。

我想要拥有所有动态信息并访问网站，但是使用selenium和scrapy不可能无法提供我想要的所有信息，我认为这是因为scrapy读取页面时页面未完全加载。

Answer 1

您可以将 Selenium 与美丽的汤一起使用，您可以抓取所有数据。 请按照这个喜欢。 https://code.tutsplus.com/tutorials/modern-web-scraping-with-beautifulsoup-and-selenium--cms-30486 。