java网页阅读器

Question

我想检索网页中的所有链接，但网页使用javascript，并且每个页面包含多个链接

我怎样才能转到下一页并读取它在java程序中的内容

Answer 1

从 Javascript 页面获取此信息可能是一项艰巨的工作。你的程序必须解释整个页面并理解 JS 在做什么。并非所有网络蜘蛛都这样做。

大多数现代 JS 库(jquery 等)主要是操作 CSS 和 HTML 元素的属性。因此，首先您必须从 HTML 源代码和 JS 生成“平面”HTML，然后可能在平面 HTML 代码上运行经典的网络蜘蛛。

(例如FF webdeveloper插件允许在所有JS完成后查看页面的原始源代码和页面生成的代码)。