python - 在 Linux 服务器上使用 Selenium 运行 Scrapy Web Crawler

Question

我用 scrapy 和 selenium(python) 开发了一个网络爬虫。它可以在我的本地成功运行。我很好奇我可以将我的整个爬虫项目上传到我的 linux 服务器，然后像在本地一样运行它吗？？？

唯一担心的是在我的本地，程序运行的时候会打开浏览器模仿人的 Action ，但是在linux服务器上，如你所知，没有浏览器可以打开。

那么我们可以这样做吗？？？

Answer 1

您可以使用虚拟显示来运行 headless X-server。

如果还没有，先安装包:

sudo apt-get install xvfb python-pip
sudo pip install pyvirtualdisplay

并在启动 Selenium webdriver 之前添加以下代码:

from pyvirtualdisplay import Display
display = Display(visible=0, size=(800, 600))
display.start()

然后在执行结束时关闭驱动:

display.stop()