python - PhantomJS 网络驱动程序错误代码 -6

Question

我在定期抓取网页的远程服务器上运行 Python 脚本，使用 PhantomJS 作为 Selenium 中的网络驱动程序。

脚本在运行数小时后意外停止，并抛出以下错误:

Traceback (most recent call last):
  File "long.py", line 74, in <module>
    data = scrape_page_long()
  File "long.py", line 19, in scrape_page_long
    driver = webdriver.PhantomJS(service_args=['--ignore-ssl-errors=true', '--ssl-protocol=any'])
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/phantomjs/webdriver.py", line 52, in __init__
    self.service.start()
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/common/service.py", line 96, in start
    self.assert_process_still_running()
  File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/common/service.py", line 109, in assert_process_still_running
    % (self.path, return_code)
selenium.common.exceptions.WebDriverException: Message: Service phantomjs unexpectedly exited. Status code was: -6 

起初我认为它与 ssl 错误有关(因此有争论)，但我认为这似乎并不相关。

关于导致此问题的原因有什么想法吗？

Answer 1

您的脚本永远无法抓取网页，因为 PhantomJS 在服务器上根本不工作。

如果你登录到服务器并运行 phantomjs --version 你会看到这个:

QXcbConnection: Could not connect to display
PhantomJS has crashed. Please read the bug reporting guide at
<http://phantomjs.org/bug-reporting.html> and file a bug report.
Aborted

您可以通过将 export QT_QPA_PLATFORM=offscreen 添加到您的用户帐户的 .bashrc 或通过将 QT_QPA_PLATFORM=offscreen 添加到服务器的/etc/environment.