selenium - 如何加快 Selenium/Firefox 的浏览速度？

Question

我正在使用 python 来自动化 selenium/firefox。我的代码将加载大约 85,000 个不同的网页。我知道这将需要很长时间，但如果可以做到的话，我不介意它比现在更快。目前，一个网页的加载时间可以从 5 到 10 秒不等。我知道这可能是网站和/或我的互联网连接，但我想知道是否有一种方法可以让我加载重要的内容，以便速度更快。我以前在浏览器中见过这个。不加载图像和javascript等。我想知道这对于selenium中的firefox是否可行。谢谢。

Answer 1

您可以禁用图像/css/javascript，但据我所知，这是一个全有或全无的开关，您可能需要其中一些才能使您的应用程序正常运行。

FirefoxProfile profile = new FirefoxProfile();
profile.setPreference("permissions.default.stylesheet", 2);
profile.setPreference("permissions.default.image", 2);
profile.setPreference("javascript.enabled", false);
FirefoxDriver browser = new FirefoxDriver(profile);

上面的内容允许您禁用这些。

我建议的一件事可能更容易，那就是在 headless 浏览器(如 htmlunit 或 phantomjs)中运行 selenium，这些浏览器也应该更快地运行您的测试。