python - 将队列传递给线程池 - Python

Question

使用带有列表和队列的池感到困惑。我收到错误: TypeError: 'int' object is not iterable 当传递 q.get 代替列表时。希望这只是一个疏忽。

from multiprocessing.dummy import Pool 
import Queue

numbers = [11,12,13,14]

def printNumbers(n):
    print n

q = Queue.Queue()    
for i in (1,2,3,4):
   q.put(i)

#multiThread with list numbers
pool = Pool(4) 
results = pool.map(printNumbers, numbers)
pool.close() 
pool.join() 

#multiThread with queue
pool2 = Pool(4) 
results2 = pool2.map(printNumbers, q.get())
pool2.close() 
pool2.join()

Answer 1

Queue 类没有实现可迭代协议(protocol)。您需要提供自己的队列实现。这是一个例子:

class IterableQueue(Queue.Queue):

    _sentinel = object()

    def __init__(self, maxsize=0):
        Queue.Queue.__init__(self, maxsize)
        self.put(self._sentinel)

    def __iter__(self):
        return iter(self.get, self._sentinel)

您可以在https://docs.python.org/2/library/functions.html#iter阅读__iter__的详细信息以及哨兵的使用方法。

请注意，如果您想要一个在空时阻塞直到添加更多项目的队列，那么我的示例队列并不是您想要的。为此，请参阅Python iterable Queue

但是，当我在您的代码中使用该版本时，它从未终止。要使用该方法，您需要进行一些重构，以便在知道没有更多项目可以添加到队列中时可以调用 close 方法。