python - 使用 Python 和 Selenium 进行网页抓取，不知道如何获取动态数据

Question

我正在尝试从表中获取值，但它们不在 HTML 中。但是，当我在浏览器中检查它们时，它们 在 HTML 中。我猜它们是动态生成的，但我如何在 Selenium 或 Python 中以其他方式捕获它们？

Answer 1

你可以这样做

from selenium import webdriver
import pandas as pd
import time

driver = webdriver.Chrome()
driver.get('https://www.predictit.org/Contract/7422/Will-Trump-veto-Russian-sanctions-bill-by-August-31#prices')

time.sleep(2)
tables = pd.read_html(driver.page_source) # returns list of dataframes
print(len(tables))
print(tables[2]) # this is table with YES
print(tables[3]) # this is the table with NO

此代码仅获取表格，但您需要进行一些清理。您可以阅读 pandas.DataFrame 的文档