python - Selenium 抓取 JavaScript 元素

Question

我正在尝试使用 selenium 和 PhantomJS 来抓取 JavaScript 生成的一些元素。

我的代码:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.ui import Select

from bs4 import BeautifulSoup
from selenium import webdriver
from collections import OrderedDict
import time

driver = webdriver.PhantomJS()
driver.get('http://www.envirostor.dtsc.ca.gov/public/profile_report?global_id=01290021&starttab=landuserestrictions')

driver.find_element_by_id('sitefacdocsTab').click()
time.sleep(5)

html = driver.page_source
soup = BeautifulSoup(html)

点击操作后，我仍然得到旧的页面数据，而不是 jQuery 给出的新数据。

Answer 1

使用请求

在浏览器中打开开发人员工具 > 网络 > XHR 选项卡。然后，单击站点/设施文档选项卡。您将在 XHR 选项卡中看到 AJAX 请求。请求发送至this site获取选项卡数据。

只需使用 requests 模块，您就可以从该选项卡中抓取任何您想要的内容。

import requests

r = requests.get('http://www.envirostor.dtsc.ca.gov/public/profile_report_include?global_id=01290021&ou_id=&site_id=&tabname=sitefacdocs&orderby=&schorderby=&comporderby=&rand=0.07839738919075079&_=1521609095041')
soup = BeautifulSoup(r.text, 'lxml')

# And to check whether we've got the correct data:
table = soup.find('table', class_='display-v4-default')
print(table.find('a', target='_documents').text)
# Soil Management Plan Implementation Report, Public Market Infrastructure Relocation, Phase 1-B Infrastructure Area

<小时/>

使用Selenium

当您想要等待页面加载时，您不应该永远使用time.sleep()。您应该使用 Eplicit Waits反而。使用后，您可以使用 .get_attribute('innerHTML') 属性获取整个选项卡内容。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('http://www.envirostor.dtsc.ca.gov/public/profile_report?global_id=01290021&starttab=landuserestrictions')

driver.find_element_by_id('sitefacdocsTab').click()
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, 'docdatediv')))

html = driver.find_element_by_id('sitefacdocs').get_attribute('innerHTML')
soup = BeautifulSoup(html, 'lxml')
table = soup.find('table', class_='display-v4-default')
print(table.find('a', target='_documents').text)
# Soil Management Plan Implementation Report, Public Market Infrastructure Relocation, Phase 1-B Infrastructure Area

其他信息:

带有 id="docdatediv" 的元素是包含日期范围过滤器的 div 标记。我使用它是因为它不存在于第一个选项卡上，但存在于您想要的选项卡上。您可以将任何此类元素用于 WebDriverWait。

并且，带有 id="sitefacdocs" 的元素是 div 标记，其中包含整个选项卡内容(即日期过滤器和下面的所有表格)。因此，您的 soup 对象将包含所有需要抓取的内容。