java - 如何使用Jsoup爬取单个网站？

Question

我从网站主页开始。我正在解析整个网页，并收集该主页上的所有链接并将它们放入队列中。然后我从队列中删除每个链接并执行相同的操作，直到获得我想要的文本。但是，如果我得到像 youtube.com/something 这样的链接，那么我将访问 youtube 上的所有链接。我想限制这一点。

我只想在同一域内进行爬网。我该怎么做？

private void crawler() throws IOException {
    while (!q.isEmpty()){
        String link  = q.remove();
        System.out.println("------"+link);
        Document doc = Jsoup.connect(link).ignoreContentType(true).timeout(0).get();
        if(doc.text().contains("publicly intoxicated behavior or persistence")){
            System.out.println("************ On this page ******************");
            System.out.println(doc.text());
            return;
        }
        Elements links = doc.select("a[href]");
        for (Element link1 : links){ 
            String absUrl = link1.attr("abs:href");
            if (absUrl == null || absUrl.length() == 0) {
                continue;
            }
//          System.out.println(absUrl);
            q.add(absUrl);
        }
    }
}

Answer 1

This article展示如何编写网络爬虫。以下行强制所有已爬网链接位于 mit.edu 域中。

if(link.attr("href").contains("mit.edu"))

该行可能存在错误，因为相对 URL 没有域。我建议添加 abs: 可能会更好。

if(link.attr("abs:href").contains("mit.edu"))