- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我想要一个长时间运行的进程通过队列(或类似的东西)返回它的进度,我将把它提供给进度条对话框。当过程完成时,我还需要结果。此处的测试示例失败并出现 RuntimeError: Queue objects should only be shared between processes through inheritance
。
import multiprocessing, time
def task(args):
count = args[0]
queue = args[1]
for i in xrange(count):
queue.put("%d mississippi" % i)
return "Done"
def main():
q = multiprocessing.Queue()
pool = multiprocessing.Pool()
result = pool.map_async(task, [(x, q) for x in range(10)])
time.sleep(1)
while not q.empty():
print q.get()
print result.get()
if __name__ == "__main__":
main()
我已经能够使用单独的 Process 对象(我 am 允许传递 Queue 引用)让它工作,但是我没有一个池来管理我的许多进程想启动。有什么更好的模式建议吗?
最佳答案
以下代码似乎有效:
import multiprocessing, time
def task(args):
count = args[0]
queue = args[1]
for i in xrange(count):
queue.put("%d mississippi" % i)
return "Done"
def main():
manager = multiprocessing.Manager()
q = manager.Queue()
pool = multiprocessing.Pool()
result = pool.map_async(task, [(x, q) for x in range(10)])
time.sleep(1)
while not q.empty():
print q.get()
print result.get()
if __name__ == "__main__":
main()
请注意,队列来自 manager.Queue() 而不是 multiprocessing.Queue()。感谢 Alex 为我指明了这个方向。
关于python - 如何将队列引用传递给 pool.map_async() 管理的函数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3217002/
我有一个关于 map_async 的有趣问题,我无法弄清楚。 我正在使用带有进程池的 python 多处理库。我正在尝试传递要比较的字符串列表和要与使用 map_async() 的函数进行比较的字符串
我按预期使用map_async - 使用以下方法将可迭代映射到多个处理核心: cores = mp.cpu_count() pool = mp.Pool() r = pool.map_async(fu
我想跳过从 map_async 返回的结果.它们在内存中增长,但我不需要它们。 这是一些代码: def processLine(line): #process something pr
我有一个通过话语解析器运行的 80,000 个字符串的列表,为了提高这个过程的速度,我一直在尝试使用 python 多处理包。 解析器代码需要 python 2.7,我目前正在使用字符串的子集在 2
我使用 iPython 的并行处理工具进行大 map 操作。在等待 map 操作完成时,我想向用户显示有多少作业已完成,有多少正在运行,还有多少剩余。我怎样才能找到这些信息? 这是我的工作。我创建了一
我有以下功能 from multiprocessing import Pool def do_comparison(tupl): x, y = tupl # unpack arguments
调试代码花了我一晚上的时间,终于发现了这个棘手的问题。请看下面的代码。 from multiprocessing import Pool def myfunc(x): return [i fo
使用map和map_async有什么区别?将列表中的项目分配给 4 个进程后,它们是否运行相同的功能? 那么假设两者都异步且并行运行是错误的吗? def f(x): return 2*x p=P
在处理由 pool.map 调用的函数内的数据时,我遇到了非常奇怪的问题。例如,以下代码按预期工作... import csv import multiprocessing import iterto
阅读 multiprocessing.Pool doc我知道 map_async 和 apply_async 是 map 和 appy 的两个版本,应该更快,但是不保证输入的处理顺序与提供的顺序相同。
我正在尝试运行一个与 pool.apply_async 配合得很好的胖函数 现在,我正在尝试 pool.map_async 函数(使用 functools.partial 方法传递了 2 个参数),程
我正在将 800,000 行表读入数据帧。然后,我循环遍历每一列和列中的每一行,以收集统计信息,例如最大长度、最小长度、最大值、不同值等。 我可以使用 SLURM 访问 32 核计算,因此我想使用 p
尝试围绕执行 map_async() 的函数编写一些单元测试手术。更具体地说,我想确认在某个进程中发生异常时某些文件会被清理。下面提供了具有意图的示例伪代码。 foo.py def write_chu
我似乎无法在使用 map_async() 时让我的回调工作。当我使用稍微修改过的代码来循环遍历我的数组时,它会通过 apply_async() 添加任务。从文档看来我应该能够将回调与 map_asyn
我尝试在 python 中将多处理包与池一起使用。 我有一个由 map_async 函数调用的函数 f: from multiprocessing import Pool def f(host, x)
我想要一个长时间运行的进程通过队列(或类似的东西)返回它的进度,我将把它提供给进度条对话框。当过程完成时,我还需要结果。此处的测试示例失败并出现 RuntimeError: Queue objects
我这里有一个奇怪的问题。 我有一个 python 程序,它执行保存在单独的 .py 文件中的代码,这些代码被设计为依次执行,一个接一个。这些代码工作正常,但运行时间太长。我的计划是使用 multipr
因此,我正在开发一个应用程序,每次启动时都必须根据哈希列表检查约 50 GB 的数据。显然这需要并行化,我不希望应用程序在“正在加载...”屏幕上挂起一分半钟。 我正在使用 multiprocessi
我有这样的程序: from multiprocessing import Pool import time def f(x): # I make a heavy code here to take t
下面的代码在 Unix 上完美运行,但在 Windows 7 上生成一个 multiprocessing.TimeoutError(两个操作系统都使用 python 2.7)。 知道为什么吗?谢谢。
我是一名优秀的程序员,十分优秀!