python - 仅在使用Python请求延迟数据加载后才抓取html？

Question

我正在尝试使用 python 学习数据抓取，并且一直在使用 Requests 和 BeautifulSoup4 库。它适用于普通的 html 网站。但是，当我尝试从延迟加载数据的网站中获取一些数据时，我发现我得到了一个空值。一个例子是

from bs4 import BeautifulSoup
from operator import itemgetter
from selenium import webdriver
url = "https://www.example.com/;1"
browser = webdriver.PhantomJS()
browser.get(url)
html = browser.page_source
soup = BeautifulSoup(html, 'lxml')
a = soup.find('span', 'buy')
print(a)

我试图从这里获取:(值)

我已经提到了类似的主题，并尝试在与此处提供的解决方案类似的行上执行我的代码。但不知怎的，它似乎不起作用。我是这里的新手，因此需要帮助来完成这项工作。 How to scrape html table only after data loads using Python Requests?

表格(内容)可能是由 JavaScript 生成的，因此无法“看到”。我正在使用 python3.6/PhantomJS/Selenium，正如这里很多答案所建议的那样。

Answer 1

您必须运行 headless 浏览器才能运行延迟抓取。请使用 Selenium 。这是示例代码。代码使用chrome浏览器作为驱动

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome(<chromedriver path here>)
browser.set_window_size(1120, 550)
browser.get(link)
element = WebDriverWait(browser, 3).until(
   EC.presence_of_element_located((By.ID, "blabla"))
)
data = element.get_attribute('data-blabla')
print(data)
browser.quit()