javascript - HtmlAgilityPack下载由javascript异步加载的网页

Question

我正在使用 HtmlAgilityPack 并尝试加载一些网页。有些网页是基于 JavaScript 的并且异步加载。有没有办法在 x 秒后或确保页面完全加载后加载网页

Answer 1

Html Agility Pack 不会模仿客户端调用来将内容动态加载到 DOM 中。它是一个 headless 抓取工具，正在下载服务器给出的静态页面；如果您想要该内容，您将不得不模仿客户端浏览器发出的调用。如果您不想尝试模拟浏览器进行的调用，则可以使用类似 Selenium 的内容，而不是使用 headless 抓取器。为您执行此操作的缺点是，浏览器将在主机上打开。