python - 使用带有 Python BeautifulSoup 的 LazyLoader 抓取页面

Question

我正在研究 BeautifulSoup，目前为止我很喜欢它。

问题是我要废弃的网站有一个延迟加载器...它只会废弃网站的一部分。

我可以提示如何进行吗？我必须查看 lazyloader 的实现方式并对其他任何内容进行参数化吗？

Answer 1

原来问题本身不是BeautifulSoup，而是页面本身的动态。对于这种特定情况。

页面返回页面的一部分，因此需要对header进行分析并相应地发送到服务器。这本身不是 BeautifulSoup 问题。

因此，了解数据在特定站点上的加载方式很重要。它并不总是“加载整个页面，处理整个页面”的范例。在某些情况下，您需要加载页面的一部分并将特定参数发送到服务器，以便继续加载页面的其余部分。