c# - 如何使用 Task.Any 处理 10 个 Web 请求，当带宽太慢时

Question

我正在使用 httpClient.GetAsync 异步查询 10 个网络请求我正在使用 Task.Any 在 10 个请求之一完成下载后立即处理数据

问题是，每 10 个请求大约需要 2-3 秒来下载并使用 Task.Any 意味着我的应用程序正在同时下载 10 个网络请求

如果我的连接带宽很慢，数据处理就会延迟

解决方案是下载一些请求，例如 10 个请求中的 2 个并休眠其他 8 个请求。然后在处理第一个网络请求时继续唤醒网络请求的其余部分。

我不知道该怎么办现在，我的代码看起来像这样

private async void OnLaunchClick(object sender, RoutedEventArgs e)
{
       var quotesTask = new List<Task<IEnumerable<Symbol>>>();

            for (int i = 0; i < userInput.Symbols.Count(); i = i + SYMBOLS_PAGINATION_PER_REQUEST)
            {
                var input = new UserInput(userInput.Symbols.Skip(i).Take(SYMBOLS_PAGINATION_PER_REQUEST), userInput.StartDate, userInput.EndDate, userInput.Interval);

                quotesTask.Add(quotesQuery.GetSymbolsInternal(input, _cts.Token));
            }

       while (quotesTask.Count > 0)
            {
                Task<IEnumerable<Symbol>> quotesFinishedTask = await Task.WhenAny(quotesTask);
                quotesTask.Remove(quotesFinishedTask);

      // Update UI
      }
 }

public async Task<IEnumerable<Symbol>> GetSymbolsInternal(UserInput filteredInput, CancellationToken token)
    {
        if (filteredInput == null) throw new ArgumentNullException("filteredInput");

        string url = BuildUrl(filteredInput);

        logger.Debug(string.Format("Start downloading quotes: {0}\n{1}", 
                                filteredInput.Symbols.Select(a => a.Name).Join(","),
                                url));
        string content = await _webRequest.GetData(url, token).ConfigureAwait(false);
        logger.Debug(string.Format("End downloading quotes: {0}", filteredInput.Symbols.Select(a => a.Name).Join(",")));

        var symbols = Parse(filteredInput.Symbols, content);

        return symbols;
    }

public class WebRequest
{
    private static readonly Logger logger = LogManager.GetCurrentClassLogger();

    public virtual async Task<string> GetData(string uri, CancellationToken token)
    {
        string result = string.Empty;
        using (var client = new HttpClient())
        using (var response = await client.GetAsync(uri, token).ConfigureAwait(false))
        {
            if (response.IsSuccessStatusCode)
                result = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
            else
                logger.Error("Unable to retrieve data from the following url: {0} - StatusCode: {1}", uri, response.StatusCode);
        }
        return result;     
    }

}

目标是加快10个webrequests中1个的下载速度，以便尽快处理数据和更新UI，而不是在带宽有限的情况下同时下载10个webrequests，不得不更新UI几秒钟后。

Answer 1

你可以在你的循环中移动它:

int tasksToRunAtOnce = 3;
var quotesTasks = new List<Task<IEnumerable<Quote>>(); 
for(int i=0; i<10;i++)
{
     quotesTasks.Add(GetQuotesAsync(i)); 

     if (i < tasksToRunAtOnce - 1)
         continue;

     var quotesFinished = await Task.WhenAny(quotesTasks);
     quotesTasks.Remove(quotesFinished);

     // process data for quotesTasks
     // update the UI
}

while(quoteTasks.Any())
{
     var quotesFinished = await Task.WhenAny(quotesTasks);
     quotesTasks.Remove(quotesFinished);

     // process data for quotesTasks
     // update the UI
}

请注意，我们跳过了第一个元素，因此这将启动 tasksToRunAtOnce 任务，然后开始等待，因此第 3 个元素不会触发，直到前 2 个中的一个完成，等等。