c# - 异步循环 不再有可用的 HttpContext

Question

我有一个要求，是处理 X 个文件，通常我们每天可以收到大约 100 个文件，是一个 zip 文件，所以我必须打开它，创建一个流，然后将它发送到 WebApi 服务，这是一个工作流，此工作流调用另外两个 WebApi 步骤。

我实现了一个控制台应用程序，它循环遍历文件，然后调用包装器，该包装器使用 HttpWebRequest.GetResponse() 进行 REST 调用。

我强调测试了解决方案并创建了 11K 个文件，在同步版本中处理所有文件大约需要 17 分钟，但我想创建它的异步版本并能够使用 await HttpWebRequest.GetResponseAsync() .

这是异步版本:

private async Task<KeyValuePair<HttpStatusCode, string>> REST_CallAsync(
        string httpMethod,
        string url,
        string contentType,
        object bodyMessage = null,
        Dictionary<string, object> headerParameters = null,
        object[] queryStringParamaters = null,
        string requestData = "")
    {
        try
        {
            HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("some url");
            req.Method = "POST";
            req.ContentType = contentType;

                //Adding zip stream to body
                var reqBodyBytes = ReadFully((Stream)bodyMessage);
                req.ContentLength = reqBodyBytes.Length;
                Stream reqStream = req.GetRequestStream();
                reqStream.Write(reqBodyBytes, 0, reqBodyBytes.Length);
                reqStream.Close();                
            //Async call
            var resp = await req.GetResponseAsync();
            var httpResponse = (HttpWebResponse)resp as HttpWebResponse;
            var responseData = new StreamReader(resp.GetResponseStream()).ReadToEnd();                
            return new KeyValuePair<HttpStatusCode,string>(httpResponse.StatusCode, responseData);
        }
        catch (WebException webEx)
        {
        //something
        }
        catch (Exception ex)
        {
        //something
        }

在我的控制台应用程序中，我有一个循环来打开并调用异步(幕后的 CallServiceAsync 调用上面的方法)

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            await _restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true);
                                        }
                                        processId++;
                                    }
                                }

最终发生的是 11K 中只有 2K 得到处理并且没有抛出任何异常所以我一无所知所以我将调用异步的版本更改为:

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {      
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true));
                                        }
                                    }
                                }

还有另一个循环等待任务:

foreach (var task in await System.Threading.Tasks.Task.WhenAll(tasks))
                {
                    if (task.Value != null)
                    {
                        Console.WriteLine("Ending Process");
                    }
                }

现在我面临一个不同的错误，当我处理三个文件时，第三个收到:

客户端已断开连接，因为底层请求已完成。不再有可用的 HttpContext。

我的问题是，我在这里做错了什么？我使用 SimpleInjector 作为 IoC 会是这个问题吗？

还有当你做WhenAll是在等待每个线程运行？是不是让它同步所以它等待一个线程完成以执行下一个线程？我是这个异步世界的新手，所以非常感谢任何帮助。

Answer 1

好吧，对于那些在我的问题中添加了 -1 而不是提供某种类型的解决方案而只是提出一些毫无意义的建议的人来说，这就是答案，也是说明尽可能多的细节有用的原因。

第一个问题，因为我使用的是 IIS Express，如果我没有运行我的解决方案 (F5)，那么 Web 应用程序将不可用，这种情况有时并不总是发生在我身上。

第二个问题也是让我非常头疼的一个问题是并非所有文件都得到处理，我之前应该知道这个问题的原因是在控制台应用程序中使用了 async - await。我通过执行以下操作强制我的控制台应用程序使用异步:

static void Main(string[] args)
    {
        System.Threading.Tasks.Task.Run(() => MainAsync(args)).Wait();
    }

    static async void MainAsync(string[] args)
    {
      //rest of code

然后，如果您在我的 foreach 中注意到我有 await 关键字，并且发生的事情是，根据概念 await 将控制流发送回调用者，在这种情况下，操作系统是调用控制台应用程序的那个(这就是为什么不在控制台应用程序中使用 async - await 没有多大意义，我这样做是因为我错误地通过调用 async 方法使用了 await )。所以结果是我的进程只处理了一些 X 数量的文件，所以我最终做的是:

添加任务列表，方法同上:

tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(....

运行线程的方式是(在我的控制台应用程序中):

ExecuteAsync(tasks);

最后是我的方法:

static void ExecuteAsync(List<System.Threading.Tasks.Task<KeyValuePair<HttpStatusCode, WorkflowResponse>>> tasks)
    {
         System.Threading.Tasks.Task.WhenAll(tasks).Wait();
    }

更新:根据 Scott 的反馈，我更改了执行线程的方式。

现在我能够处理我所有的文件，我测试了它并在我的同步过程中处理 1000 个文件花了大约 160 多秒来运行所有过程(我有一个包含三个步骤的工作流来处理文件)，当我将我的异步进程放置到位时，它花费了 80 多秒，几乎是一半的时间。在带有 IIS 的生产服务器中，我相信执行时间会更短。

希望这对面临此类问题的任何人有所帮助。