gpt4 book ai didi

python - 正确使用带生成器的线程池

转载 作者:太空宇宙 更新时间:2023-11-04 09:52:07 25 4
gpt4 key购买 nike

在 Python 2.7 中处理 CSV 文件时,我无法将 ThreadPoolGenerator 一起使用。下面是一些示例代码来说明我的观点:

from multiprocessing.dummy import Pool as ThreadPool
import time

def getNextBatch():
# Reads lines from a huge CSV and yields them as required.
for i in range(5):
yield i;

def processBatch(batch):
# This simulates a slow network request that happens.
time.sleep(1);
print "Processed Batch " + str(batch);

# We use 4 threads to attempt to aleviate the bottleneck caused by network I/O.
threadPool = ThreadPool(processes = 4)

batchGenerator = getNextBatch()

for batch in batchGenerator:
threadPool.map(processBatch, (batch,))

threadPool.close()
threadPool.join()

当我运行它时,我得到了预期的输出:

Processed Batch 0

Processed Batch 1

Processed Batch 2

Processed Batch 3

Processed Batch 4

问题是它们在每次打印之间有 1 秒的延迟。实际上,我的脚本是按顺序运行的(并没有像我希望的那样使用多个线程)。

这里的目标是让这些打印的语句在大约 1 秒后全部出现,而不是每秒一个,持续 5 秒。

最佳答案

这是你的问题

for batch in batchGenerator:
threadPool.map(processBatch, (batch,))

当我尝试过

threadPool.map(processBatch, batchGenerator)

它按预期工作(但不按顺序)。 for 循环使用线程池一次处理一个批处理。所以它完成了一个,然后继续前进,然后......

关于python - 正确使用带生成器的线程池,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47356159/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com