java - 下载 Google Play 主页

Question

我正在尝试从新的 Google Play 市场下载页面，但似乎得到了奇怪的结果。我使用网址 https://play.google.com/store/apps/details?id=package.name 和以下方法:

private static String downloadString(final URL url) throws IOException {
    final HttpsURLConnection conn = (HttpsURLConnection) url
            .openConnection();
    conn.setHostnameVerifier(new HostnameVerifier() {

        @Override
        public boolean verify(final String hostname,
                final SSLSession session) {
            return true;
        }
    });
    conn.setReadTimeout(10000);

    String html;

    try {
        final InputStream is = conn.getInputStream();
        final BufferedInputStream bis = new BufferedInputStream(is);
        final ByteArrayBuffer baf = new ByteArrayBuffer(50);

        int current = 0;
        while ((current = bis.read()) != -1) {
            baf.append((byte) current);
        }

        /* Convert the Bytes read to a String. */
        html = new String(baf.toByteArray());

    } finally {
        conn.disconnect();
    }

    return html;
}

结果不包含描述、更改日志或任何重要的内容，但我的 html 知识不足以理解到底正在下载什么。我把下载的源码here对于任何有兴趣的人。它比所需页面(任何 Google Play 应用页面)小 10 倍。

我的问题是，如何获取原始应用页面的源代码？

Answer 1

您从方法中得到的结果可能是正确的。 Google 喜欢使用 javascript 加载资源来提高性能，而所有 Javascript 都是经过编译的，所以它根本不可读。

那么，当您下载页面时，您可能会收到非常少量的 HTML，并且您提到更改日志等不存在？这意味着它们正在使用某种客户端运行时(最有可能是 javascript)加载。

要下载此文件，您需要一个可以执行 Javascript、CSS 并布局 HTML 的浏览器或库。

也许检查像占碑这样的图书馆？我知道 QT 有一个使用 Webkit 的 QWebView 组件，但我不知道这是否会运行 Javascript。

希望至少能为您指明正确的方向。