javascript - 加载 JavaScript 后如何从 URL 获取 HTML 代码

Question

我正在制作一个从网站获取数据的应用程序。该网站不提供 API，所以我尝试自己制作。

所以问题来了:我使用以下代码从 URL 中提取 HTML:

//Get the html code from the URL
BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream()));
String input;
StringBuffer stringBuffer = new StringBuffer();
while ((input = in.readLine()) != null) {
    stringBuffer.append(input);
}
in.close();
String htmlData = stringBuffer.toString();

现在这给了我网站的加载页面。我知道 javascript 会加载网站的其余部分，所以我的问题是:在 javascript 加载完成后，如何从 url 获取 HTML。

Answer 1

您必须使用一些网页抓取库。根据您的编程语言，有不同的网页抓取库，下面是其中之一

https://github.com/cheeriojs/cheerio