c# - 从 html C# 中检索某些 href 链接

Question

我对如何提取特定的 href 有点困惑来自 HTML 页面的链接。当然有很多例子，但它们似乎涵盖了收集 href当页面上只有一个，或收集所有链接时。

所以我目前使用 HttpWebRequest 将 HTML 文档推送到文本文件中, HttpWebResponse , 和 StreamReader .

这是我正在使用的小示例，它只是下载我选择的 URL 并将其保存到文本文件中。

protected void btnURL_Click(object sender, EventArgs e)
{
    string url = txtboxURL.Text;
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    StreamReader sr = new StreamReader(response.GetResponseStream());
    //lblResponse.Text = sr.ReadToEnd();
    string urldata = sr.ReadToEnd();

    if (File.Exists(@"C:\Temp\test.txt"))
    {
        File.Delete(@"C:\Temp\test.txt");
    }
    File.Create(@"C:\Temp\test.txt").Close();
    File.WriteAllText(@"C:\Temp\test.txt", urldata);


    sr.Close();
    response.Close();
} 

我可以在整个文本文件中搜索 href , 但每一页上都有很多，我要找的在 <nav> 中分段。标记，然后它们都在 <div> 中具有相同类别的标签，有点像这样:

<nav class="deptVertNav>
        <div class="acTrigger">
                <a href="*this is what I need to get*" ....
                ....
                </a>
        </div>
        <div class="acTrigger">
                <a href="*etc*" ....
                ....
                </a>
        </div>
        <div class="acTrigger">
                <a href="*etc*" ....
                ....
                </a>
        </div>
</nav>

本质上，我正在尝试创建一个文本爬虫/抓取器来检索链接。我正在使用的当前页面从主页开始，在导航栏的一侧有链接。导航栏中的那些链接是我想要访问的，因此我可以下载每个页面的内容，然后检索我正在寻找的真实数据。所以这只是一个大的解析工作，我的解析很糟糕。如果我能弄清楚如何解析第一个主页，那么我就能解析子页面。

我不想让任何人直接给我答案，我只是想知道在这种情况下什么是好的解析方法。 IE 如何将解析范围缩小到仅那些标记，然后什么是存储这些链接以便我以后可以访问它们的良好动态方式？我希望这是有道理的。

编辑:好吧，我现在正尝试使用 HtmlAgilityPack 时感到很困惑。据我所知，这将检索所有属于 <div class="acTrigger"> 的节点。在我加载的页面中:

var div = html.DocumentNode.SelectNodes("//div[@class='acTrigger']");

下一个问题是我如何进入 <div>标记并放入 <a>标记，然后检索 href值，并存储起来。

Answer 1

与其尝试手动解析文本文件，我建议将 HTML 放在 HtmlDocument 控件 ( https://msdn.microsoft.com/en-us/library/system.windows.forms.htmldocument(v=vs.110).aspx ) 或 WebBrowser 控件 ( https://msdn.microsoft.com/en-us/library/system.windows.forms.webbrowser(v=vs.110).aspx ) 中。这允许您访问已经解析的元素。从那里您可以轻松找到具有适当类的所有 DIV 元素，然后是其中的 A 元素。