python - HTML 标签之间的 Selenium

Question

将由 Javascript 创建的页面中的所有 HTML 传递给 BeautifulSoup 的最佳方法是什么？

我目前正在使用:

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys

from BeautifulSoup import BeautifulSoup

browser = webdriver.Firefox()
browser.get("http://www.yahoo.co.uk")
html = browser.find_elements_by_id("html")

但是“html”始终是一个空列表。我做错了什么？

Answer 1

从 Selenium 将页面源传递给 Beautiful Soup 的正确方法是:

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys

from BeautifulSoup import BeautifulSoup

browser = webdriver.Firefox()
browser.get("http://www.yahoo.co.uk")
html_source = browser.page_source
html = BeautifulSoup(html_source)

这样，浏览器加载页面，提取完整的 html 源并将其传递给 BeautifulSoup。结果可以像任何其他 Beautiful Soup 对象一样进行解析。