python - Selenium，加载 HTML，无需媒体

Question

我正在使用 Selenium 和 Python2.7 来抓取一些网站，问题是从一个 url 跳转到另一个 url 需要花费太多时间，因为使用 Firefox 的 selenium 驱动程序会等到声音、图片和视频加载完成。我想知道是否有办法只加载 HTML，而不等待媒体加载。

我的代码是什么样的:

from selenium import webdriver

driver = webdriver.Firefox()
driver.get(url)
url_list = scrape_urls(driver.page_source)

for url in url_list:
    driver.get(url) # this line takes time to load
    scrape(driver.page_source)

检查docs ，似乎没有什么可以做到这一点。

注意:手动单击浏览器停止按钮即可解决问题。

Answer 1

将 Firefox 配置为不加载媒体怎么样？

编辑您的 Firefox about:config 页面并更改这些设置:

configplugins.click_to_play 为 true(对于 flash、silverlight 等插件)

permissions.default.image 为 2(不自动加载图像)