java html解析器不读取所有页面

Question

我正在解析html页面以获取特定信息，但有些页面我无法获取网页上显示的所有信息，例如this page

我无法获取评论信息。顺便说一下，如果你看页面的源代码，会发现有很多空行，并且没有出现评论信息。

你知道为什么吗？有哪些库可以读取这种类型的页面？

谢谢

Answer 1

我敢打赌他们正在使用某种 JavaScript 来加载评论信息。为了访问该信息，您需要以某种方式模拟请求或评估 javascript，然后解析结果页面。我建议检查他们的 javascript 并模仿他们用于下载评论信息的请求，因为这比尝试评估代码中的 javascript 容易得多。