c# - HTMLAgility 加速 webget

Question

写一些网络抓取的东西还很陌生，所以我很抱歉。我正在尝试减少此应用程序的运行时间。浏览大约 100 只股票的列表需要 30 多秒(为简洁起见，我只列出了 5 只股票)。有什么方法可以提高线程/异步编程的效率吗？我可能遇到了雅虎服务器想要一次发送回单个 IP 的限制。最终我的目标是创建一个类“stock”，其中有一堆属性可以像这样获取基于 Web 的数据。

    static void Main(string[] args)
    {
        List<string> stocks = new List<string>() { "AA", "AAL", "AAPL", "ABX", "ADBE" };
        foreach (var stock in stocks)
        {
            Task.Factory.StartNew(() => { getPrice(stock); });
        }
        Console.ReadLine();

    }
    private static void getPrice(string stock)
    {
        var webGet = new HtmlWeb();
        var doc = webGet.Load("http://finance.yahoo.com/q?s=" + stock);
        HtmlNode ourNode = doc.DocumentNode.SelectSingleNode("//*[@id=\"yfs_l84_" + stock.ToString().ToLower() + "\"]");
        if (ourNode != null)
        {
            Console.WriteLine(stock + ": " + ourNode.InnerText);
        }
    }

Answer 1

使用 Parallel.ForEach 循环，但不要期望有很大的改进，因为速度 99% 取决于 yahoo 响应时间。

Parallel.ForEach(stocks, stock =>
{
    getPrice(stock);
});

使用 Parallel.ForEach，您还可以设置并行度(正在执行的并发操作数)。

Parallel.ForEach(stocks, new ParallelOptions() { MaxDegreeOfParallelism = 3 }, stock =>
{
    getPrice(stock);
});

有关详细信息，请查看 MSDN 文档:https://msdn.microsoft.com/en-us/library/dd460720%28v=vs.110%29.aspx和 https://msdn.microsoft.com/en-us/library/system.threading.tasks.parallel%28v=vs.110%29.aspx