python - Selenium 不能在服务器上工作，因为它在本地机器上工作

Question

我最近完成了我的 Selenium Python 爬虫。当我在我的个人机器上运行它时，它工作得很好，但当我在服务器上运行它时，结果就不一样了。在服务器上，我使用 pyvirtualdisplay

headless 运行

browser.get('https://example.com')  
html = browser.page_source

这是我的 pyvirtualdisplay 代码。

display = Display(visible=0, size=(800, 600))
display.start()

在本地机器上运行时，它完全抓取由 JavaScript 生成的 HTML，但是当我在我的服务器上运行它时，它不会抓取由 JavaScript 生成的 HTML 内容，所以我最终只得到一个没有任何内容的部分页面JS 生成的内容。

更新:我还根据使用 Selenium 的建议截取了屏幕截图。屏幕截图显示页面已部分加载，并且 JS 的内容未加载到屏幕上。

Answer 1

这听起来像是操作系统或浏览器配置的问题。您应该做的第一件事是在您的帧缓冲区中截取结果并确保 firefox 正确加载 JS 内容。如果不是，那么您可能需要检查您的浏览器/操作系统配置。

pyvirtualdisplay有一种截图方式，大家可以看看here

specflow也可以截图，说明here

如果是 FireFox/浏览器问题，请确保您已经安装了在服务器上运行 javascript 所需的所有正确插件和 Java。确保为该浏览器启用了 javascript。