python - 读取一个文件并做一些事情，多线程

Question

这个来源只是一个例子:

inputf = open('input', 'r')
outputf = open('output', 'a')

for x in inputf:
    x = x.strip('\n')
    result = urllib2.urlopen('http://test.com/'+x).getcode()
    outputf.write(x+' - '+result+'\n')

我想为此添加线程以同时检查几个 URL。用户应该每次都决定他想使用多少线程。输出顺序并不重要。

最好和最漂亮的方法是什么？

Answer 1

我喜欢multiprocessing.pool.ThreadPool(或multiprocessing.pool.Pool)

喜欢:

from multiprocessing.pool import ThreadPool

n_threads = 5
pool = ThreadPool(processes=n_threads)

threads = [pool.apply_async(some_function, args=(arg1,)) for arg1 in args]

pool.close()
pool.join()

results = [result.get() for result in threads]