python - BeautifulSoup 从 Selenium 已经打开的网页中抓取

Question

我想抓取一个由 Selenium 从不同网页打开的网页。

我使用 Selenium 在网站中输入了一个搜索词，这使我进入了一个新页面。我的目标是用这个新页面创造汤。但是，汤是从我输入搜索词的上一页创建的。请帮忙!

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get('http://www.ratestar.in/')
inputElement = driver.find_element_by_css_selector("#txtStock")
inputElement.send_keys('GM Breweries')
inputElement.send_keys(Keys.ENTER)
driver.wait.until(staleness_of('txtStock')

source = driver.page_source
soup = BeautifulSoup(source)

Answer 1

您需要知道您搜索的确切公司名称。使用 send_keys 后，您尝试检查元素是否陈旧。我不明白该声明应该如何运作。我为新页面的一个元素添加了 WebDriverWait。

以下内容适用于我重新调整 Selenium 部分以获取页面源:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get('http://www.ratestar.in/')
inputElement = driver.find_element_by_css_selector("#txtStock")
inputElement.send_keys('GM Breweries Ltd.')
inputElement.send_keys(Keys.ENTER)
company = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'lblCompany')))

source = driver.page_source

您应该添加异常处理。