java - 如何只从网上获取网页的一部分而不是下载整个页面

Question

目前我正在使用名为 Android Query 的第三方库.我用它来下载网页，然后我解析我想要的位的 html。这些位主要位于页面的一小部分，因此其余部分将被丢弃。

每页大约 100kb，我正在获取 200-300 页，这需要一段时间，尤其是在连接速度较慢的情况下。

是否有任何方法或库允许我获取某个 div？

我正在获取的页面来自 google play market。

我正在使用的示例代码

String url = "https://play.google.com/store/apps/details?id=com.touchtype.swiftkey";

aq.ajax(url, String.class, new AjaxCallback<String>() {

        @Override
        public void callback(String url, String html, AjaxStatus status) {
                parseHtml(html);
        }

});

编辑:如果不可能，是否有我可以访问和下载的轻量级 Google Play 页面版本？

Answer 1

在这里查看另一个答案: Is there a way to download partial part of a webpage, rather than the whole HTML body, programmatically?

看起来有办法做到这一点，但您需要知道字节范围。这很容易出错，因为如果 Google 更改了页面的不同部分，内容很容易随时间发生变化。

您可以设置自己的网络服务器，使其位于您的应用和 Google Play 之间，并返回您查询的数据。

有一个 Hacker News 主题是关于这个的: https://news.ycombinator.com/item?id=4634259

显然 Apple 有 JSON API，但 Google 没有。

这里有两个服务器端库，您可以使用它们来简化任务:

• > https://github.com/chadrem/market_bot ( ruby )
• > https://github.com/pastfuture/MarketBot (PHP)

您可以只从您的网络应用程序返回您需要的数据，使其尽可能精简。您还可以将其缓存在您的服务器上，这样您就不必为每个请求都点击谷歌。在一个请求中发送多个应用 ID，以最大限度地减少往返。