javascript - 我如何从Python中的selenium.webdriver获取html？

Question

感谢您的关注，并对我糟糕的英语表示歉意。

我正在从 http://flvxz.com/ 获取 html当我在输入框中输入一些单词并单击时，它就像:

• 加载雅虎主页
• 搜索“某事”(输入某个单词并点击按钮)
• 获取返回的html

我的网站通过javaScrip返回消息

这是我的代码

browser = webdriver.Firefox()

browser.get('http://flvxz.com/')

input_box = browser.find_element_by_id("videoPageURI")  # Find the search box
button = browser.find_element_by_id("fetchButton")  # find the button

input_box.send_keys(url)  # input some string
button.click()  # click

那么，我怎样才能得到新的html呢？我尝试如下，不起作用。

html = browser.find_element_by_tag_name('html').text();

我的问题:

1. 如何获取 html？
2. 有没有更好的方法或工具来完成这项工作(我不喜欢它打开窗口，但我喜欢它控制浏览器的方式)？

非常感谢，我正在提高我的英语...

Answer 1

第1点如何获取html代码:

首先，您可能需要等待页面完全加载(请参阅 this article )

然后您所需要做的就是访问 page_source 属性:

html = browser.page_source

第 2 点。有更好的方法吗:

据我所知，这是使用 Selenium 的正确方法。有其他方法可以在页面中查找所需的元素，但在性能方面不会有太大变化。

如果您不需要看到实际显示的页面，我建议使用 headless 浏览器(例如 PhantomJS)而不是 Firefox

driver=webdriver.PhantomJS('your pahtomjs exe file location')

参见this SO QA了解更多信息和 this tutorial关于如何使用 python 设置 PhantomJS