个人中心
gpt4 book ai didi

c# - XPath 在浏览器和 HtmlAgilityPack 中给出不同的结果

转载 作者：行者123 更新时间：2023-11-30 12:44:31 24 4
gpt4 key购买 nike

我正在尝试在 C# 程序中使用 HtmlAgilityPack 解析网页的一部分。以下是页面这一部分的简化版本(编辑于 2015 年 1 月 30 日下午 2:40 EST):

<html>
    <body>
        <div id="main-box">
            <div>
                <div>...</div>
                <div>

                    <div class="other-classes row-box">
                        <div>...</div>
                        <div>...</div>
                        <div>
                            <p>
                                <a href="/some/other/path">
                                    <img src="/path/to/img" />
                                </a>
                            </p>
                            <p>
                                ...
                                <a href="/test/path?a=123">Correct</a> extra text
                            </p>
                        </div>
                        <div>
                            ...
                            <p>
                                <ul>
                                    ...
                                    <li>
                                        <span>
                                            <a href="/test/path?a=456&b=123">Never Selected</a>
                                            and <a href="/test/path?a=789">Never Selected</a>.
                                        </span>
                                    </li>
                                </ul>
                            </p>
                        </div>
                        ...
                    </div>

                    <div class="other-classes row-box">
                        <div>...</div>
                        <div>...</div>
                        <div>
                            <p>
                                No "a" tag this time
                            </p>
                        </div>
                        <div>
                            <p>
                                <ul>
                                    <li>
                                        <span>
                                            <span style="display:none;">
                                                <a href="/some/other/path">Never Selected</a>
                                            </span>
                                        </span>
                                    </li>
                                    <li>
                                        <span>
                                            <a href="/test/path?a=abc&b=123">Correct</a>
                                            and <a href="/test/path?a=def">Wrongly Selected</a>.
                                        </span>
                                    </li>
                                </ul>
                            </p>
                        </div>
                        ...
                    </div>

                    <div class="other-classes row-box">
                        <div>...</div>
                        <div>...</div>
                        <div>
                            <p>
                                <span>
                                    <a href="/test/path?a=ghi">Correct</a>
                                </span>
                            </p>
                            <p>
                                ...
                                <a href="/test/path?a=jkl">Wrongly Selected</a> extra text
                            </p>
                        </div>
                        <div>
                            <p>
                                <ul>
                                    ...
                                    <li>
                                        <span>
                                            <a href="/test/path?a=mno&b=123">Never Selected</a>
                                            and <a href="/test/path?a=pqr">Never Selected</a>.
                                        </span>
                                    </li>
                                </ul>
                            </p>
                        </div>
                        ...
                    </div>

                </div>
            </div>
        </div>
    </body>
</html>

我试图在每个 div 的第 3 个或第 4 个子 div 中使用 GET 参数“a”获取第一个也是唯一的第一个“a”标签，类为“row-box”(那些带有单词在上面的例子中“正确”)。我提出了以下 XPath，它获取这些节点，并且仅在 Chrome 的检查器和 Firefox 的 Firepath 附加组件中获取这些节点(为了易读性而包装):

//div[@id="main-box"]/div/div[2]/div[contains(@class, "row-box")]/div[
  (position() = 3 or position() = 4) and descendant::a[
    contains(@href, "a=")
  ]
][1]/descendant::a[contains(@href, "a=")][1]

但是，当我使用 HttpWebRequest 加载此页面，将响应流加载到 HtmlDocument 对象中，并使用此 XPath 在其 DocumentNode 属性上调用 SelectNodes(xpath) 时，它不仅返回三个正确的节点，还返回两个标记在上面的示例中使用文本“错误选择”。我注意到这实际上与我使用上面的 XPath 相同，只是没有最后一个“[1]”，就像这样(为便于阅读而包装):

//div[@id="main-box"]/div/div[2]/div[contains(@class, "row-box")]/div[
  (position() = 3 or position() = 4) and descendant::a[
    contains(@href, "a=")
  ]
][1]/descendant::a[contains(@href, "a=")]

我已经确保我使用的是最新版本的 HtmlAgilityPack，尝试了我的 XPath 的几个变体以确定它是否达到了一些任意的最大长度或其他类似的简单问题，并尝试研究类似的问题但没有成功。我尝试使用相同的基本概念组合一个更简单的 HTML 结构进行测试，但无法重现问题，因此我怀疑 HtmlAgilityPack 如何解析此结构中的某些内容可能存在一些微妙的问题。

如果有人知道什么可能导致这个问题，或者有更好的方法来编写一个 XPath 表达式，它将获得正确的节点并且希望不会在 HtmlAgilityPack 中引起问题，我将不胜感激。

编辑

按照建议，这是我正在使用的 C# 代码的简化版本，我已确认它确实为我重现了问题。

using System;
using System.Net;
using HtmlAgilityPack;

...

static void Main(string[] args)
{
    string url = "http://www.deerso.com/test.html";
    string xpath = "//div[@id=\"main-box\"]/div/div[2]/div[contains(@class, \"row-box\")]/div[(position() = 3 or position() = 4) and descendant::a[contains(@href, \"a=\")]][1]/descendant::a[contains(@href, \"a=\")][1]";
    int statusCode;
    string htmlText;

    HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);

    request.Accept = "text/html,*/*";
    request.Proxy = new WebProxy();
    request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0";

    using (var response = (WebResponse)request.GetResponse())
    {
        statusCode = (int)((HttpWebResponse)response).StatusCode;
        using (var stream = response.GetResponseStream())
        {
            if (stream != null)
            {
                using (var reader = new System.IO.StreamReader(stream))
                {
                    htmlText = reader.ReadToEnd();
                }
            }
            else
            {
                Console.WriteLine("Request to '{0}' failed, response stream was null", url);
                htmlText = null;
                return;
            }
        }
    }

    HtmlNode.ElementsFlags.Remove("form"); //fix for forms
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(htmlText);

    HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes(xpath);

    foreach (HtmlNode node in nodes)
    {
        Console.WriteLine("Node Found:");
        Console.WriteLine("Text: {0}", node.InnerText);
        Console.WriteLine("Href: {0}", node.Attributes["href"].Value);
        Console.WriteLine();
    }

    Console.WriteLine("Done!");
}

最佳答案

基于更新的 Html 的新答案

我们不能使用 //a[contains(@href,'a=')][1]过滤器，因为那是选择第一个 <a>来自其直接父级的元素。

我们需要添加括号以在过滤器中包含后代运算符，即

(//a[contains(@href,'a=')])[1]

但是，如果我们将其扩展以将第一个后代过滤器应用于另一个节点集中的每个节点，则生成的 xpath 表达式将无效:

//div[contains(@class,'row-box')](//a[contains(@href,'a=')])[1]

我认为我们需要将其分为两步:

  1. 获取包含我们想要的特定链接的 div 元素组。
  2. 从该组中的每个元素中获取第一个后代链接元素

在 C# 中，这看起来像:

// Get the <div> elements we know are ancestors to the <a> elements we want
HtmlNodeCollection topDivs = doc.DocumentNode.SelectNodes("//a[contains(@href,'?a=')]/ancestor::div[contains(@class,'row-box')]");

// Create a new list to hold the <a> elements
List<HtmlNode> linksWeWant = new List<HtmlNode>(topDivs.Count)

// Iterate through the <div> elements and get the first descendant
foreach(var div in topDivs)
{
    linksWeWant.Add(div.SelectSingleNode("(//a[contains(@href,'?a=')])[1]"));
}

旧答案

使用这个 page作为指南，我将 xpath 表达式放在一起:

当我在 HtmlAgilityPack 中运行它时，我只返回了这三个元素:

<a href = "/test/path?a=123">
<a href = "/test/path?a=abc&b=123">
<a href = "/test/path?a=ghi">

下面是表达式的分解:

//div[contains(@class,'row-box')]        -> Get nodeset of <div class="*row-box*"> elements
/descendant::a                           -> From here get all descendant <a> elements
[contains(@href,'a=') and position()=1]  -> Filter according to href value and element being the first descendant

我认为您问题中 xpath 的主要区别是 /descendant::a[contains(@href,'a=') and position()=1]对比/descendant::a[contains(@href,'a=')][1] .应用 [1]分别作为第一个 child 而不是第一个后代进行过滤。

关于c# - XPath 在浏览器和 HtmlAgilityPack 中给出不同的结果，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28224299/

24 4 0
文章推荐： javascript - 使用 div 切换更改图像 onclick
文章推荐： ios - 以编程方式创建 UITabBarController subview 而不加载 UITabBarItem 图像
文章推荐： javascript - 将++ 运算符应用于函数的返回值会导致错误
文章推荐： c# - Linq 匿名类型成员必须在子查询中声明
行者123
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com