c# - 在 C# 中获取 Yahoo 结果页面的标题和 URL

Question

我想用 htmlagility pack 获取 Yahoo 结果页面的标题和 URL

HtmlWeb w = new HtmlWeb();

string SearchResults = "https://en-maktoob.search.yahoo.com/search?p=" + query.querytxt;

var hd = w.Load(SearchResults);


    var nodes = hd.DocumentNode.SelectNodes("//a[@cite and @href]");
    if (nodes != null)
    {
        foreach (var node in nodes)
        {

            {
                string Text = node.Attributes["title"].Value;
                string Href = node.Attributes["href"].Value;

            }
        }

它有效，但搜索结果中的所有链接都不是适当的链接如何省略广告链接，雅虎链接等。
我想访问正确的链接

Answer 1

这个怎么样:

HtmlWeb w = new HtmlWeb();

string search = "https://en-maktoob.search.yahoo.com/search?p=veverke";
//ac-algo ac-21th lh-15
var hd = w.Load(search);

var titles = hd.DocumentNode.CssSelect(".title a").Select(n => n.InnerText);
var links = hd.DocumentNode.CssSelect(".fz-15px.fw-m.fc-12th.wr-bw.lh-15").Select(n => n.InnerText);

for (int i = 0; i < titles.Count() - 1; i++)
{
    var title = titles.ElementAt(i);
    string link = string.Empty;
    if (links.Count() > i)
        link = links.ElementAt(i);

    Console.WriteLine("Title: {0}, Link: {1}", title, link);
}

请记住，我正在使用来自 nuget 包的 ScrapySharp 的扩展方法 CssSelect。就像安装 HtmlAgilityPack 一样安装它，然后在代码顶部添加一个 using 语句，例如 using ScrapySharp.Extensions; 就可以了。 (我使用它是因为它更容易引用 css 选择器而不是 xpath 表达式...)

关于跳过广告，我注意到这些雅虎搜索结果中的广告只会出现在最后一条记录上？假设我是正确的，请直接跳过最后一个。

这是我运行上面代码得到的输出: