python - 使用selenium获取动态html表并使用beautifulsoup解析它

Question

我正在尝试获取网页中由 JavaScript 动态生成的 HTML 表格的内容，并使用 BeautifulSoup 对其进行解析以使用表格中的某些值。

由于内容是由 JavaScript 生成的，因此在源代码 (driver.page_source) 中不可用。

还有其他方式获取内容并使用吗？它是包含任务列表的表，我需要解析该表并确定我正在搜索的特定任务是否可用。

Answer 1

正如 Julian 所提到的，我宁愿检查 Firebug 中的“Net”选项卡(或其他浏览器中的类似工具)并获取这样的数据。如果数据是JSON，则使用 json.loads() ，如果它是html，你可以使用BS或任何其他lib来解析它，正如你所说的。也许你想试试我的dummy lib ，它简化了这一过程并将表作为 tablib 对象返回，您可以将其作为 csv、excel、json 等获取。