python - 在 Python 中使用 concurrent.futures 的多线程不起作用

Question

我正在尝试让多线程在我的程序中工作。但它从不执行我的辅助函数 functionName。 future.done() 总是返回 False 并且永远不会打印文本“function entered”。

def functionName(par1, par2, par3):
    print("function entered")

with ThreadPoolExecutor(max_workers=2) as executor: 
    for x in items:      #this loops 8000 times
        future = executor.submit(functionName, parameter1, parameter2, parameter3)
        if future.done():
            print("true")

Answer 1

并发很难。幸运的是，Python 的 concurrent.futures模块设法通过 futures 的概念很好地将工作人员(结果生产者)与主程序(结果消费者)分离。 .此外，执行器(线程池或进程池)将为您处理线程/进程生成、同步和加入的所有脏细节。

将作业提交给执行者后，您收到的 future 将掌握结果。使用 future.done() 完成状态的非阻塞检查并阻止使用 future.result() 获取结果.

解决 future 和提供结果的确切顺序是不确定的(除非您正在运行一些实时操作系统)，并且取决于操作系统的线程/进程调度程序。此外，由于您在提交作业后立即检查 .done()，因此到那时该作业可能并未真正完成。如果您的辅助函数比示例中的更复杂，则很可能不会。当我运行您的示例时，它在大约 50% 的时间内完成(打印了几次 true)。

但是，要等待和迭代结果，以便它们变得可用(不一定按照它们提交的顺序)，您可以使用 concurrent.futures.as_completed .

例如:

from concurrent.futures import ThreadPoolExecutor, as_completed

def function(param):
    return "function result for param: %s" % param

with ThreadPoolExecutor(max_workers=2) as executor:
    futures = [executor.submit(function, x) for x in [1,2,3]]

for future in as_completed(futures):
    print(future.result())

这个输出:

function result for param: 1
function result for param: 3
function result for param: 2

另一种方法是提交所有任务，然后遍历所有 futures，对所有任务进行阻塞结果提取，按提交顺序:

# submit all
...
# read results in order
for future in futures:
    print(future.result())

但这在某种程度上违背了异步 future 的目的。不完全是，假设当您将所有 8000 个任务排入队列时，第一个任务将完成。但这是很多不必要的假设。使用 as_completed。