java - XPath:帮助定位使用 HTMLUnit 抓取的 DOM 中的特定元素

Question

我正在使用 HTMLUnit 抓取网页，并从该网页收集了 DOM 节点列表。

在每个“公司”DOM 节点中都有一些我想要抓取的数据。例如，我想要来自此节点内部的电话号码文本:

现在，该元素将是 div 元素的子元素，而 div 元素又是公司节点内另一个 div 元素的子元素。访问它的正确 XPath 行是什么？这是我最近的尝试，但没有返回任何结果。

 List<DomNode> companies = (List<DomNode>) page.getByXPath("//li[@class='featured block twoblock    boxshadow']");
        for (int j = 0; j < companies.size(); j++) {

            DomNode company = companies.get(j);

                // retrieve telephone number
                DomNode telephone = (DomNode) company.getByXPath(
                        "//li[@data-pvd-p='"+j+1+"']/div[@class='listingWrapper']/div[@class='itemInfo']/span[@class='tel']").get(0);

}

这是一个 HTML 示例，内容如下:

        <li class="featured block twoblock boxshadow" data-pvd-p="3" data-pvd-c="0046176330000011028" data-pvd-et="sv" data-pvd-l="true">

    <div class="listingWrapper" itemtype="http://schema.org/LocalBusiness" itemscope="">
        <a href="/Craddock-Electrical-Services-Ltd/0046176330000011028/"></a>
        <div class="itemInfo">
            <div class="tradeImage" itemprop="member" itemscope="" itemtype="http://schema.org/Organization"></div>
            <h2>
                <a itemprop="name" href="/Craddock-Electrical-Services-Ltd/0046176330000011028/"></a>
            </h2>
            <span class="tel" itemprop="telephone"></span>
            <div class="listLinks"></div>
            <div id="addressBar"></div>
        </div>
        <div class="itemInfo2"></div>
        <div class="clearLeft"></div>
        <ul class="features"></ul>
        <div class="clearLeft"></div>
        <p class="promo" itemprop="description"></p>
    </div>
</li>

更新2:

这是我的 XPath 代码的当前状态。

List<DomNode> companies = (List<DomNode>) page
                .getByXPath("//li[contains(@class, 'featured block')]");
        for (int j = 0; j < companies.size(); j++) {

            String url = "";
            DomNode company = companies.get(j);
            DomElement web = null;

            // retrieve name
            DomNode name = (DomNode) company.getByXPath("//a[@itemprop='name']").get(j);

            if (companiesLogged.contains(name.getTextContent().trim()) != true) {
                companiesLogged.add(name.getTextContent().trim());

                // retrieve telephone number
                DomNode telephone = (DomNode) company.getByXPath("div[@class='listingWrapper']/div[@class='itemInfo']/span[@class='tel']").get(0);


                // retrieve website
                try{
                web = (DomElement) company.getByXPath("div[@class='listingWrapper']/div[@class='itemInfo']" +
                        "/div[@class='listLinks']/a[@id='linkWebsite']").get(0);
                } catch(IndexOutOfBoundsException e){
                    System.out.print(" (No Website) ");
                }

                try{
                url = web.getAttribute("href");
                } catch (IndexOutOfBoundsException e){
                    url = "N/A";
                }

                System.out.println(name.getTextContent().trim() + "   "
                        + telephone.getTextContent().trim()
                 +"   "+url.trim());

            } else {
                System.out.println("Company already logged");
            }
        }

Answer 1

我看到的第一件事是你如何检索 <li> 组节点。只是看看你的@class属性，您无法真正判断“featured block twoblock boxshadow ”中有多少个空格，但 XPath 仅当完全等于时才会返回结果。在这方面，尝试使用更灵活的东西，例如 contains() ，即//li[contains(@class, 'featured block')] .

在没有看到您的目标来源的情况下，我无法提供更多建议，但会在将其添加到问题时更新答案。

我已经在给定的代码片段上尝试了您的 XPath(只是/div 部分，因为这是提供的)并返回 <span class="tel" itemprop="telephone"/>因此。您检索 <li> 的方式似乎存在问题公司节点。

更新 2:从更新的 XML 片段中，您的第一个 XPath //li[@class='featured block twoblock boxshadow']"看起来与父项 <li> 不匹配节点，基于我之前提到的空格。其次，如果确实如此，您正在检查 <li>节点的属性在单独的查询中两次，并假设您给出的索引 data-pvd-p值(在代码片段中从 3 开始)将始终与列表索引(从 0 开始，添加 +1)匹配。我建议删除这部分//li[@data-pvd-p='"+j+1+"']并从 //div 开始。

所以像这样:

List<DomNode> companies = (List<DomNode>) page.getByXPath("//li[contains(@class, 'featured block']");
        for (DomNode node : companies) {

                // retrieve telephone number
                DomNode telephone = (DomNode) node.getByXPath(
                        "div[@class='listingWrapper']/div[@class='itemInfo']/span[@class='tel']").get(0);