java - JSoup 无法检索此文档

Question

这是网址: http://immobilier.nc/recherche?section=offres_vente&bien=&prix_location=&prix_vente=&pays=nc&ville=&quartier=&par_page=25&orderBy=&orderDirection=DESC&moteurRecherche_option=last_offr

这是我的代码:

Jsoup.connect(url)
                   .timeout(10000)
                   .followRedirects(true)
                   .validateTLSCertificates(false)
                   .get();

问题是我得到的页面与浏览器上的页面不同。

例如，此标签不在 Jsoup 文档中(但在浏览器中):

<tr style="cursor:pointer;" id="235005" class="showOffre setPushStat ajax" href="menu_detail_offre.php?checksum=IM-O-58cf724c03e64" data-divdest="detail_235005" data-godiv="detail_235005" data-pushstat_url="!O-235005">
            <td align="left" style="vertical-align:middle"><img src="/photos.immobilier.nc//gw/2017/4/_thumbs/bb3dfed8-66f6-4a6b-939a-a47b70c998ba.jpeg" width="100"></td>
            <td nowrap="" align="left" style="vertical-align:middle"> 235005</td>
            <td align="left" style="vertical-align:middle">Vente</td>
            <td align="left" style="vertical-align:middle"><img src="http://immobilier.nc/images/part_promobat_mini.jpg" style="display: none !important;"> </td>
            <td align="left" style="vertical-align:middle">Appartement</td>
            <td align="left" style="vertical-align:middle">F3</td>
            <td align="left" style="vertical-align:middle">Nouméa</td>
            <td align="left" style="vertical-align:middle">Ouémo</td>
            <td nowrap="" align="left" style="vertical-align:middle">35.278 U</td>
            <td align="left" style="vertical-align:middle">17/04/2017</td>
          </tr>

Answer 1

您显示的第一个请求中缺少的部分是包含报价的表的内容。该表是通过 ajax 调用 http://immobilier.nc/immo_offres.php 从网页加载的。然后集成到显示的网页中。

Jsoup 从您在浏览器中显示的 url 加载相同的内容，但仅加载第一页。 Jsoup 不会解释页面中的 javascript 代码，也不会额外加载其他数据，因此您不会获得与浏览器加载页面并使用其他 ajax 调用的结果填充页面时相同的内容。