java - JSOUP 带有加载文本和圆圈的网页抓取页面

Question

我正在抓取网页。但是，在商店列表出现之前会出现一个加载文本和圆圈。如何获取加载动画后出现的商品详情的 HTML？

这是我的输出 -

            <div class="content"> 
             <h1 class="title"> Airdrie store listing(s)</h1> 
             <p class="store-list-intro" data-store-message="There are {0}                                  stores in Airdrie" data-nostore-message="No stores  available in
                                &nbsp;Airdrie"> </p> 
            <div class="loader"> 
            <img src="/etc/designs/lclonline/images/global/loader.gif" alt=""> 
              <p> Loading...</p> 
             </div> 
            </div>

Answer 1

你不能用 Jsoup 来做到这一点。看起来内容是通过 JavaScript 异步加载的，而 Jsoup 只能在 JavaScript 加载之前从 url 检索内容。

您需要一个不同的 html 客户端，例如 HtmlUnit，它可以实际呈现 JavaScript 并等待内容加载。