javascript - 在不打开浏览器的情况下读取 selenium 中的 javascript 代码

Question

我正在使用 selenium API 在使用 javascript 的页面上进行 webcrapping。

是否有一些方法可以在不打开网络浏览器屏幕的情况下获取代码？

我是这个 API 的新手

可能吗？

Answer 1

您至少有 3 个基本选项:

• 使用 headless 浏览器，例如PhantomJS , 例子:

  >>> from selenium import webdriver
  >>> driver = webdriver.PhantomJS()
  >>> driver.get('http://stackoverflow.com')
  >>> driver.title
  u'Stack Overflow'
  

• 在 xvfb 的帮助下使用虚拟显示(参见 pyvirtualdisplay ) ，这里的例子:

  • How do I run Selenium in Xvfb?
  • Selenium with pyvirtualdisplay unable to locate element

• 使用远程 selenium 服务器，可以是您自己的并在网格中设置自己的节点，或者位于，例如 BrowserStack。 , 或 Sauce Labs :

  >>> from selenium import webdriver
  >>> from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
  >>> 
  >>> desired_cap = {'os': 'Windows', 'os_version': 'xp', 'browser': 'IE', 'browser_version': '7.0' }
  >>> driver = webdriver.Remote(command_executor='http://username:key@hub.browserstack.com:80/wd/hub', desired_capabilities=desired_cap)
  >>> 
  >>> driver.get('http://stackoverflow.com')
  >>> driver.title
  u'Stack Overflow'