个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
背景:File upload
我的场景:我需要将大量文件上传到 Azure blob，可能是 10,000 到 100,000 个文件。每个文件大小为 10KB-50KB。
我使用了上面讨论中的解决方案，我看到文件正在快速上传，但是，我有太多文件，所以我发现我的应用程序导致 CPU 使用率非常高，总是 100%...更糟糕的是下一步我需要运行数百个进程，我的意思是我需要运行数百个进程，每个进程需要上传10,000个文件或更多。到目前为止我已经测试过了，不幸的是，我看到了很多奇怪的问题，比如异常“连接已关闭”等......
你们有什么想法可以 reduce task 的 CPU 使用率...
最佳答案
我看到的问题是，您旋转了如此多的线程，以至于您只需管理所有排队的线程即可使机器资源重载，即使从技术上讲它们不会尝试同时运行所有线程。他们将占用 RAM，在没有 RAM 的情况下，将使用 SWAP 空间 - 这将使机器陷入困境。
我将使用队列(azure队列、msmq、Systems.Collections.Queue)对所有对象进行排队，使用有限数量的线程，这些线程将使用后台链接中描述的异步方法处理文件，然后使用线程已完成执行检查队列中的下一项并处理该项。我的建议是使用非内存队列 - 我将在下面解释。主要好处是节省内存，这样您的软件就不会因为队列太大而崩溃或变慢。
Parallel.ForEach 等可以节省大量时间，但当您处理大量项目时，确实会破坏机器的性能 - 如果机器出现故障，那么您将无法从中恢复，除非您在某个地方有检查点。使用持久队列不仅可以让您正确管理机器资源，还可以让您正确管理流程中的位置。
然后，您可以使用 MSMQ 等持久队列或 Azure 队列(如果在云中)在多台计算机上进行扩展。如果您使用检查 azure 队列有多大的服务，您甚至可以不时启动实例以减少负载，然后终止额外的实例。
这是我要实现的场景:
使用标准ThreadPool大小当您检测到新文件/批处理时 - 提交到队列每次在队列中插入新项目时都会触发事件(如果是内存队列)让进程检查队列(如果是持久队列)如果队列中有新项目，首先检查 ThreadPool 中是否有空间，如果没有则忽略(使用 PEEK 方法，这样就不会删除该项目) - 如果有空间，则向 ThreadPool 添加一个工作线程进程线程(在 ThreadPool 下运行)应该执行，然后检查队列中是否有另一个项目 - 如果没有 - 线程将终止，这很好
使用此方法，您可以在 1 台计算机或 50,000 台计算机上运行此方法 - 如果您对 1 台以上的计算机使用持久队列，则不会出现任何问题。当然，如果您使用 Azure 队列，请确保正确测试重复项目，因为您可能会收到已分配给另一台计算机的排队项目。
这是一种简单的方法，可扩展，并且如果使用持久队列(甚至文件系统)可以从故障中恢复。然而，它不会通过强制机器管理具有超过 100 万个项目的线程池来滥用资源，从而使机器过载。
希望这有帮助
关于azure - 使用Task上传blob，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12855626/
26
4
0
这个问题在这里已经有了答案: Why use async and return await, when you can return Task directly? (8 个答案) 关闭 6 年前。
这个问题在这里已经有了答案: Are the days of passing const std::string & as a parameter over? (13 个答案) 关闭 8 年前。 我
我有一组标记为执行的通用任务。当任务完成时(使用 Task.WaitAny )，我将其添加到 ObservableCollection 中. 但是，问题出在 Task.WaitAny(...)行，上面
经过几个小时的努力，我在我的应用程序中发现了一个错误。我认为下面的 2 个函数具有相同的行为，但事实证明它们没有。 谁能告诉我引擎盖下到底发生了什么，以及为什么它们的行为方式不同？ public as
这也与 Python 的导入机制有关，特别是与在函数内使用 import 有关。使用 Python 2.7.9 和 Fabric 1.10.0，创建以下三个文件: fabfile.py: from a
我有一个 Web API Controller (ASP.NET Core 5)。我的一些 API 是异步的，而其中一些不是。我接下来的问题是:使用 public **Task** WebApiMet
我们有类似下面的内容 List uncheckItems = new List(); for (int i = 0; i new Task(async () => await Process
我的代码没问题，但我想知道哪种风格更好，你会怎么看，我正在玩异步方法。 让我建立上下文: Parallel.ForEach(xmlAnimalList, async xml => {
这两种使用 await 的形式在功能上有什么区别吗？ string x = await Task.Factory.StartNew(() => GetAnimal("feline")); Task m
我刚刚看到 3 个关于 TPL 使用的例程，它们做同样的工作；这是代码: public static void Main() { Thread.CurrentThread.Name = "Ma
考虑以下代码: public void CacheData() { Task.Run((Action)CacheExternalData); Task.Run(() => CacheE
Task> GetTaskDict() { return Task.FromResult(new Dictionary () ); } 此代码无法编译，因为我们无法在 Task> 到 Tas
我正在使用 ASP.NET 5 RC1 _MyPartial @model MyViewModel @using (Html.BeginForm())
当我尝试在 VS Code 中构建 C 任务时，它显示以下消息: 输出仅显示:The task provider for "C/C++" tasks unexpectedly provided a t
一些背景: 基本上归结为我希望能够在当前线程中“执行”任务。为什么？ -我有一个任务创建程序例程，有一次我希望任务在后台任务中立即执行，而其他时候我希望使用 IOmniThreadPool 安排任务。
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
我试图将run-sequence添加到我的gulp工作流程中，但是每次尝试执行使用run-sequence的任务时，都会出现此错误: 任务未配置为gulp上的任务。 根据运行序列的来源，这是由以下te
此代码在VS2015中给出了编译时错误 Error CS0266 Cannot implicitly convert type 'System.Threading.Tasks.Task' to 'Sy
我正在尝试通过我的代码通过Google登出: suspend fun signOut(context: Context): Boolean = with(Dispatchers.IO) { t
谁能解释一下这两种说法的区别: Task bTask = backup.BackupCurrentDatabaseAsync() .ContinueWith(_ => CompressArch
我是一名优秀的程序员,十分优秀！