java - url.openStream() 不适用于某些网页

Question

我有一段代码可以读取 url 页面内容，这段代码适用于许多页面，但不适用于某些页面，例如下面的链接:

http://www.sciencedirect.com/science/article/pii/S1351421012701725?np=y

public static String getDataFromWebPage(String url) {
    try {
        URL urlpage = new URL(url);
        InputStream is = urlpage.openStream();
        BufferedReader br = new BufferedReader(new InputStreamReader(is));
        String line = "";
        while ((line = br.readLine()) != null) {
            System.out.println(line);
        }
        br.close();
        is.close();
    } catch (Exception e) {
        e.printStackTrace();
        return "";
    }
}


public static void main(String[] args) {
    System.out.println("*******************************");
    System.out.println("*******************************");
    System.out.println(getDataFromWebPage("http://www.sciencedirect.com/science/article/pii/S1351421012701725?np=y"));

    System.out.println("*******************************");
    System.out.println("*******************************");

}

这需要很多时间，但在输出中没有得到任何结果(或任何异常)。

服务器是否有某种算法可以不响应来自机器人的请求？

如何解决这个问题？

Answer 1

您应该使用 httpclient istead。你会在这里找到一个很好的例子:http://www.mkyong.com/java/how-to-send-http-request-getpost-in-java/