python - 使用 Selenium 在网页上抓取隐藏的产品详细信息

Question

抱歉，我是一个 Selenium 菜鸟，已经阅读了大量的资料，但仍然无法从此页面获取产品价格(0.55 英镑): https://groceries.asda.com/product/spaghetti-tagliatelle/asda-spaghetti/36628 .使用 bs4 解析 html 时，产品详细信息不可见。使用 Selenium 我可以获得整个页面的字符串并可以在其中查看价格(使用以下代码)。我应该能够以某种方式从中提取价格，但更喜欢一个不那么骇人听闻的解决方案。

browser = webdriver.Firefox(executable_path=r'C:\Users\Paul\geckodriver.exe')
browser.get('https://groceries.asda.com/product/tinned-tomatoes/asda-smart-price-chopped-tomatoes-in-tomato-juice/19560')
content = browser.page_source

如果我运行这样的程序:

elem = driver.find_element_by_id("bodyContainerTemplate")
print(elem)

它只是返回:selenium.webdriver.firefox.webelement.FirefoxWebElement (session="df23fae6-e99c-403c-a992-a1adf1cb8010", element="6d9aac0b-2e98-4bb5-b8af-fcbe443af906")

价格是与此元素关联的文本:p class="prod-price"但我似乎无法正常工作。我应该如何获取此文本(产品价格)？

Answer 1

elem 的类型是WebElement。如果您需要提取网络元素的文本值，您可以使用以下代码:

elem = driver.find_element_by_class_name("prod-price-inner")
print(elem.text)