javascript - mechanize python 库是否能够等到 javascript 动态加载内容后再获取页面内容

Question

我想抓取一个使用 JavaScript 动态加载内容的网站。

我想抓取 javascript 加载的内容。

我知道有一些方法可以加载 javascript(ghost 或 pywt4 webkit)，但是我无法安装 pyqt4 并被我的 ipython 安装识别。

因此，由于我使用了 requests(并且已经使用了 mechanize)，requests 是否能够在 javascript 完成动态加载页面内容(即 div、img、href、链接等)后抓取页面内容

Answer 1

据我所知，mechanize 不支持这一点，但是有一个简单的方法可以使用 selenium 来做到这一点。 :

from selenium import webdriver

driver = webdriver.Firefox()
driver.get(url)
driver.set_window_position(0, 0)
driver.set_window_size(100000, 200000)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(5) # wait to load

# now print the response
print driver.page_source

在这种情况下，您还必须安装 Firefox。