java - Jsoup select 没有返回所有节点

Question

我刚刚开始将 jsoup 与这个 site 结合使用一些奇怪的事情正在发生。

我只想选择列标题下的文本，您可以使用以下 html 找到它:

<div class="Table1_A1 grow clear-fix">
    <div class="grd-col grd-col-1a"> … </div>
    <div class="grd-col grd-col-2b">
       <p>
         <span class="T1">
                <a href="...."> TITLE TEXT IS HERE
                </a>
          </span>
        </p>
     </div>
     ...
</div>

查看此 html 结构，我想出了以下用于 jsoup 选择的内容:

try {
  Document htmlDocument = Jsoup.connect(url).get();
  Elements as = htmlDocument.select("div.grow > div.grd-col-2b > p > span.T1 > a");
  System.out.println(as.html());

} catch (IOException e) {
    e.printStackTrace();
}

事情是这样的:它只打印到标题“ASAP”，但在那之后有很多负载，它们根本就不会出现。所以我想知道，jsoup“.select()”是否对它返回的节点有限制？我不知道如何解决这个问题，非常感谢任何帮助。

Answer 1

Jsoup 对选择没有限制，但对请求的正文大小有一个默认限制，即 1MB。这应该可以解决问题:

Document doc = Jsoup.connect(url).timeout(60000).maxBodySize(10*1024*1024).get();